並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 321件

新着順 人気順

"distributed systems"の検索結果1 - 40 件 / 321件

  • This is The Entire Computer Science Curriculum in 1000 YouTube Videos

    This is The Entire Computer Science Curriculum in 1000 YouTube Videos In this article, we are going to create an entire Computer Science curriculum using only YouTube videos. The Computer Science curriculum is going to cover every skill essential for a Computer Science Engineer that has expertise in Artificial Intelligence and its subfields, like: Machine Learning, Deep Learning, Computer Vision,

      This is The Entire Computer Science Curriculum in 1000 YouTube Videos
    • Googleに入社します|ばやしこ

      こんにちは。ばやしこと申します。 2022年7月より、Googleでソフトウェアエンジニアとして働くことになりました。 アメリカのTexas A&M大学のMaster of Computer Scienceを今年の5月に無事卒業し、卒業後の職としてGoogleからフルタイムのオファーを頂くことができました。 今後Googleを目指す方の助けになればと思い、Googleからオファーをもらうまで自分がどんな勉強や対策をしていたかについて、書かせていただきます。 また、留学に至るまでの流れはこちらの記事を読んでいただければと思います。 (入社予定のDurham, NCオフィス) はじめにこちらは私の体験をもとに書いている記事です。諸々の条件が異なれば、面接の構成や対策も大きく異なります。例えばシニア以上(GoogleだとL5以上、MetaだとE5以上。私はL4でオファーをもらいました)でのポジシ

        Googleに入社します|ばやしこ
      • 5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる

        はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、

          5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
        • 監視の考え方 〜あるいは可観測性とはなんなのか〜 - estie inside blog

          みなさん、監視作ってますか? システムを作ったら、そのシステムを監視していく必要がありますよね。どうやったら「いい監視」が作れるのでしょうか。「いい監視」とそうでない監視との違いとは、いったいなんでしょうか。 今の時代、「監視」ではなくて「可観測性」、 Observability (o11y) の時代になっていて、良いプラクティスや考え方が色々とあります。 この記事は、監視や o11y についての考え方を社内に共有するため書いたものを、社外共有用に調整し直したものです。新しい Observability の時代を、一緒に生きていきましょう。 監視を作ろう あなたはシステムを作りました。そのシステムに「監視」をつけようと思ったとき、最初にすることはなんでしょうか? まずは、システムを何らかのツールで監視するところから始めましょう。やらなきゃはじまらない。 Nagios, Cacti, Mun

            監視の考え方 〜あるいは可観測性とはなんなのか〜 - estie inside blog
          • 分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO

            基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏  Twitter:@taroleo / Github:@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.

              分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
            • How to recover from microservices

              I won't deny there may well be cases where a microservices-first architecture makes sense, but I think they're few and far in between. The vast majority of systems are much better served by starting and staying with a majestic monolith. The Prime Video case study that blew up the internet yesterday is but the latest illustration. Maybe once you reach the scale of Netflix or Amazon, there are areas

                How to recover from microservices
              • PostgreSQL and UUID as primary key

                UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P

                  PostgreSQL and UUID as primary key
                • Consider SQLite

                  If you were creating a web app from scratch today, what database would you use? Probably the most frequent answer I see to this is Postgres, although there are a wide range of common answers: MySQL, MariaDB, Microsoft SQL Server, MongoDB, etc. Today I want you to consider: what if SQLite would do just fine? For those who are unfamiliar, SQLite is a implementation of SQL as a library — this means t

                  • Web3 — A vision for a decentralized web

                    By reading this, you are a participant of the web. It's amazing that we can write this blog and have it appear to you without operating a server or writing a line of code. In general, the web of today empowers us to participate more than we could at any point in the past. Last year, we mentioned the next phase of the Internet would be always on, always secure, always private. Today, we dig into a

                      Web3 — A vision for a decentralized web
                    • Go Optimization Guide

                      Patterns and Techniques for Writing High-Performance Applications with Go¶ The Go App Optimization Guide is a collection of technical articles aimed at helping developers write faster, more efficient Go applications. Whether you're building high-throughput APIs, microservices, or distributed systems, this series offers practical patterns, real-world use cases, and low-level performance insights to

                      • Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services

                        AWS News Blog Amazon S3 Update – Strong Read-After-Write Consistency When we launched S3 back in 2006, I discussed its virtually unlimited capacity (“…easily store any number of blocks…”), the fact that it was designed to provide 99.99% availability, and that it offered durable storage, with data transparently stored in multiple locations. Since that launch, our customers have used S3 in an amazin

                          Amazon S3 Update – Strong Read-After-Write Consistency | Amazon Web Services
                        • 自分の研究内容(DBMS実装)に関する最強の本一式揃えた - サノメモ

                          最強の本一式 揃えたぞー!! アフィリンクとかないので純粋に揃えたことをアピールしたい。書評することになる本の予告です。他にもおすすめがあればリコメンド待ってます! 結構それぞれ高いので、学生なら大学の図書館に取り寄せてもらうか、社会人なら気前よく購入!!という感じでいいんじゃないかと思います Designing Data-Intensive Applications 分散システムといえば!!!!この本一択!!! 一応日本語もある。一般的なエンジニアにもおすすめされている本 イノシシ本と呼ばれている https://www.amazon.co.jp/-/en/Martin-Kleppmann/dp/1449373321 Transaction Processing Concepts and Techniques トランザクション技術といえば...この本!! といっても当初は辞書みたいに使う

                            自分の研究内容(DBMS実装)に関する最強の本一式揃えた - サノメモ
                          • Go: A Documentary

                            Go: A Documentary by Changkun Ou <changkun.de> (and many inputs from contributors) This document collects many interesting (publicly observable) issues, discussions, proposals, CLs, and talks from the Go development process, which intends to offer a comprehensive reference of the Go history. Disclaimer Most of the texts are written as subjective understanding based on public sources Factual and ty

                            • Courseraのオンライン修士2年目が終わった

                              以前にこちらのブログを書いて、その後も継続して読まれているようなので、近況をアップデートしておきます。 私は誰?高山です。2020年からNewsPicksでCTOをしています。上の記事を書いたときはピクシブでCTOをしていました。 2017年頃からぼんやりと大学院入学を考えはじめたのですが、そしたらたまたまイリノイ大学のことを知って書いたのが上の記事です。それから1年ほどかけて準備して出願して、ちょうど転職した月とまったく同じ2020年の2月に入学して社会人大学院生をしています。 コースについてまず、University of Illinoisと名の付く大学にはUrbana-Champaign (UIUC)とChicago (UIC)とSpringfield (UIS)の3つの大学があります。これらは別々の大学です。早稲田と慶應ぐらい別物だと思います。 Courseraで入学できるのはUI

                                Courseraのオンライン修士2年目が終わった
                              • もう一度読むObservability Engineering - じゃあ、おうちで学べる

                                はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して

                                  もう一度読むObservability Engineering - じゃあ、おうちで学べる
                                • Reflections on 10,000 Hours of Programming

                                  The key to achieving world-class expertise in any skill, is to a large extent, a matter of practicing the correct way, for a total of around 10,000 hours — Malcolm Gladwell in Outliers I'm certainly not a world-class expert, but I have put my 10,000 hours of deliberate practice into programming. Here are 31 of my reflections on programming. These are reflections only about pure coding — no lessons

                                    Reflections on 10,000 Hours of Programming
                                  • Railway

                                    Shipping great products is hard. Scaling infrastructure is easy.Shipping great products is hard. Scaling infrastructure is easy.Railway simplifies your infrastructure stack from servers to observability with a single, scalable, easy-to-use platform.Railway simplifies your infra stack with a single, scalable, easy-to-use platform. SyncCreateActivityNov 12 00:00:00Nov 12 00:00:10Nov 12 00:00:20Nov 1

                                      Railway
                                    • アメリカに留学に来て1年が経った - pco2699’s blog

                                      アメリカに来て1年が経ったので、1年で思い出深かったことなどをざっと振り返ろうかと思う。 2023春 2023夏 これから アメリカに来た過去の経緯などは以下を参照。 blog.pco2699.net blog.pco2699.net 2023春 2023春は今振り返っても「コンパイラデザイン」という授業が地獄だった、という記憶しかない。 www.cs.cmu.edu コンパイラデザインはCMUの中でOSと双璧をなす、課題がエグい授業として有名なのだが、噂通りであった。 www.quora.com The work is spread fairly evenly throughout the semester; each assignment is similarly sized, and they all have the same amount of time, roughly. It

                                        アメリカに留学に来て1年が経った - pco2699’s blog
                                      • Why I'm No Longer Talking to Architects About Microservices

                                        Check out our Cloud Native Services and book a call with one of our experts today! It happened again last week. I was at an architecture review meeting when a fellow architect eagerly started another debate about *microservices*. Within minutes, eyes glazed over and we were knee-deep in an absurd discussion about something that should have been a means to an end, but had morphed into the end itsel

                                          Why I'm No Longer Talking to Architects About Microservices
                                        • Goは本当に1980年代の言語みたいなのか。 - Qiita

                                          Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 2020年8月15日現在、golang.orgのトップページに、The Why of Goという動画が、Featured Videoとして紹介されています。 Goに初めて触れて、ちょうどなぜこうなっている?と思う機会が多かったので、自分なりにまとめてみようと思います。 注: 要約というよりは、気になる部分をピックアップして解釈して文字にしているものなので、総合的な内容は動画を見てください。 Goとは1980年代の言語なのか Goとは1980年代の言語のようだと批判される。糖衣構文、多態、Genericsが使えない、依存性管理が

                                            Goは本当に1980年代の言語みたいなのか。 - Qiita
                                          • Introducing Domain-Oriented Microservice Architecture

                                            You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction Recently there has been substantial discussion around the downsides of service oriented architectures and microservice architectures in particular. While only a few years ago, many people readily adopted microservice architectures due to the numerous benefi

                                              Introducing Domain-Oriented Microservice Architecture
                                            • Distributed Systems Course

                                              This is an introductory course in Distributed Systems. Distributed systems is the study of how to build a computer system where the state of the program is divided over more than one machine (or "node"). This course is in active development. At the moment, it consists of a series of short videos. The intention is to create a complete set of video lectures and then add additional content (such as m

                                              • 海外転職を成功させたので、海外エンジニア転職を阻むものを払拭したい - Qiita

                                                筆者の経緯 スペック toeicは5年前、計測したとき800点(+50 - 100 はいってそう) SIer出身のため、非常に実践経験に悩み、長らく苦戦 オランダでの日系企業勤務を歴て、イスララエル系の完全外資への転職 なんかこれだけ書くとスペック高めですが、SIerでは同期にぶっちぎりで出世競争に遅れてました。 最近はオフショアを利用した受託開発やっております。よかったらフォローお願いします 超優秀勢のアメリカ転職しか書いてはいけないムードを払拭したい ずっと海外に行きたい思いを燻ぶらせていました。大体ハテブとかで観測していると出てくるのは、シリコンバレー勢ばっか。アメリカの過当競争みたいなのはビビりますし、個人的に興味のあった、欧州就職はあまりなかったです。ましてはSIerからいった人も見たことないです。 たまにSIerから日本の外資に入る人はいて、結構その後アメリカ狙うみたいに行って

                                                  海外転職を成功させたので、海外エンジニア転職を阻むものを払拭したい - Qiita
                                                • [#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita

                                                  Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに July Tech Festa 2020において、「マイクロサービスの今だからこそ!理解して拡げる 分散システムの基礎知識」のタイトルで登壇をしてきました。スライドはこちらにありますが、資料内や当日のトークで話せていない部分を含めて、こちらでblogとして解説をしておきたいと思います。 1. セッションの導入 - 新たなムチャブリ - 今回は昨年の#JTF2019で私が話した、「Cloud Native開発者のためのDatabase with Kubernetes」からの続編という形にしてみました。 昨年は、 「せっかくKub

                                                    [#JTF2020 解説版]理解して拡げる 分散システムの基礎知識 - Qiita
                                                  • Just make it scale: An Aurora DSQL story

                                                    Just make it scale: An Aurora DSQL storyMay 27, 2025 • 3404 words At re:Invent we announced Aurora DSQL, and since then I’ve had many conversations with builders about what this means for database engineering. What’s particularly interesting isn’t just the technology itself, but the journey that got us here. I’ve been wanting to dive deeper into this story, to share not just the what, but the how

                                                      Just make it scale: An Aurora DSQL story
                                                    • Why is observability so expensive?

                                                      It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u

                                                      • Web VitalsとJavaScript Errorの可視化

                                                        こんにちは、@watilde です。Amplifyの開発者体験体験の向上をすべく、ツイートのウォッチやGitHubでの反応などしています。もう去年のことですが、最近はcliの改善としてcreate-react-appのようにinitの実行時にREADMEの生成を行うPRなど作ったりしてます。参考: aws-amplify/amplify-cli#5808 この記事は英語で書いた Improve UX by observability in front-end with Amplify and QuickSight を自分で日本語に意訳してみたものです。Node学園 35時限目 オンライントライアル でも同様の内容を発表予定です。 JavaScriptのエラー例 JavaScriptは100%動いているのか 私達の作るWebアプリ・Webサイトが様々なデバイスで100%動作しているかは、実態

                                                          Web VitalsとJavaScript Errorの可視化
                                                        • Diving Deep on S3 Consistency

                                                          Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia

                                                            Diving Deep on S3 Consistency
                                                          • Every System is a Log: Avoiding coordination in distributed applications

                                                            Every System is a Log: Avoiding coordination in distributed applications How Restate works, Part 1Posted January 22, 2025 by Stephan Ewen and Jack Kleeman and Giselle van Dongen ‐ 13 min read Building resilient distributed applications remains a tough challenge. It should be possible to focus almost entirely on the business logic and the complexity inherent to the domain. Instead, you need to revi

                                                              Every System is a Log: Avoiding coordination in distributed applications
                                                            • 「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブログ記事が大反響を呼ぶ理由とは?

                                                              分散システムの開発者向けツールを構築するOpenZeppelinの元CTOであるマヌエル・アラオス氏が公開した「OpenAIのGPT-3はビットコイン以来で最大のものかもしれない」というブログ記事が大きな反響を呼んでいます。高精度なテキストを作れる言語モデル・GPT-3は確かにすごい技術なのですが、このブログ記事のポイントはまた別のところにありました。 OpenAI's GPT-3 may be the biggest thing since bitcoin https://maraoz.com/2020/07/18/openai-gpt3/ 記事は冒頭に「OpenAIの新たな言語予測モデル(GPT-3)を用いた初期の実験内容を共有します。なぜ私がGPT-3にブロックチェーン技術に匹敵する破壊的可能性があると思っているのかという理由を説明します」という要約があります。 本文では、bitco

                                                                「GPT-3はビットコイン以来の破壊的な可能性を秘めている」というブログ記事が大反響を呼ぶ理由とは?
                                                              • Continuous reinvention: A brief history of block storage at AWS

                                                                Continuous reinvention: A brief history of block storage at AWSAugust 22, 2024 • 4802 words Marc Olson has been part of the team shaping Elastic Block Store (EBS) for over a decade. In that time, he’s helped to drive the dramatic evolution of EBS from a simple block storage service relying on shared drives to a massive network storage system that delivers over 140 trillion daily operations. In thi

                                                                  Continuous reinvention: A brief history of block storage at AWS
                                                                • Catalog of Patterns of Distributed Systems

                                                                  Distributed systems provide a particular challenge to program. They often require us to have multiple copies of data, which need to keep synchronized. Yet we cannot rely on processing nodes working reliably, and network delays can easily lead to inconsistencies. Despite this, many organizations rely on a range of core distributed software handling data storage, messaging, system management, and co

                                                                    Catalog of Patterns of Distributed Systems
                                                                  • Why we are changing the license for Akka

                                                                    Today, we are announcing a change to Akka’s license model so that Akka can be a thriving project for many decades. I created Akka 13 years ago out of love for programming, distributed systems, learning new things, and open source. It’s been a fantastic journey so far. Today, Akka is exceptionally reliable, scalable, and performant. It is the runtime core for 1000s of products, many built by the Gl

                                                                      Why we are changing the license for Akka
                                                                    • GPU向けコンパイラの最適化の紹介と論文のサーベイ - Jicchoの箱

                                                                      この記事では,私の研究分野であるGPU向けコンパイラの最適化の紹介と論文のサーベイを行う. 以下,随時更新. 分岐発散 (Branch Divergence) 分岐発散とは Independent Thread Scheduling 分岐発散に対する最適化 Software based approaches Hardware based approaches その他 サーベイ論文 カーネル融合 (Kernel Fusion) Kernel Fusionとは 垂直融合(vertical fusion) 水平融合(horizontal fusion) Inner Thread Block Inter Thread Block カーネル融合に関する論文 その他のGPU関連の論文 Dimensionally redundant instruction elimination Others 分岐発散

                                                                        GPU向けコンパイラの最適化の紹介と論文のサーベイ - Jicchoの箱
                                                                      • Introducing the Cloud Development Kit for Terraform (Preview) | Amazon Web Services

                                                                        AWS Developer Tools Blog Introducing the Cloud Development Kit for Terraform (Preview) Infrastructure as Code (IaC) is a fundamental component of modern DevOps practices because it enables you to deploy any version of your application infrastructure at will, and facilitates the full lifecycle management of all the resources required to run and monitor your application. Organizations who have adopt

                                                                          Introducing the Cloud Development Kit for Terraform (Preview) | Amazon Web Services
                                                                        • 最近何をやっているのか - Martin Fowler's Bliki (ja)

                                                                          https://martinfowler.com/articles/202107-what-doing-now.html 数か月前、私は講演活動から退くことを記事にしました。執筆活動は続けているのかと疑問に思った方もいるでしょう。その記事の中では執筆中であると書きましたが、最近取り組んでいることについて、もう少しお話したほうがいいのではないかと考えました。 これまでの執筆活動と違うのは、本になるような大きなテーマには取り組んでいないことです。『リファクタリング』の第2版を完成させてからは、ほとんどの期間をこのウェブサイトに費やしてきました。数年間ずっと悩んでいたソースコードブランチ管理のパターンの記事にも数か月かかりました。それが終わってからは、放置したままだった2つの大きなテーマであるフロントエンドアーキテクチャとイベントに改めて取り組んでみようと考えました。しばらくの間、フロントエンド

                                                                          • Building Netflix’s Distributed Tracing Infrastructure

                                                                            “@Netflixhelps Why doesn’t Tiger King play on my phone?” — a Netflix member via Twitter This is an example of a question our on-call engineers need to answer to help resolve a member issue — which is difficult when troubleshooting distributed systems. Investigating a video streaming failure consists of inspecting all aspects of a member account. In our previous blog post we introduced Edgar, our t

                                                                              Building Netflix’s Distributed Tracing Infrastructure
                                                                            • The New Three-Tier Application | DBOS

                                                                              In the beginning (that is, the 90’s), developers created the three-tier application. Per Martin Fowler, these tiers were the data source tier, managing persistent data, the domain tier, implementing the application’s primary business logic, and the presentation tier, handling the interaction between the user and the software. The motivation for this separation is as relevant today as it was then:

                                                                                The New Three-Tier Application | DBOS
                                                                              • Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner

                                                                                You’re seeing information for Japan . To see local features and services for another location, select a different city. Show more Introduction The Fulfillment Platform is a foundational Uber domain that enables the rapid scaling of new verticals. The platform handles billions of database transactions each day, ranging from user actions (e.g., a driver starting a trip) and system actions (e.g., cre

                                                                                  Building Uber’s Fulfillment Platform for Planet-Scale using Google Cloud Spanner
                                                                                • Debugging Incidents in Google’s Distributed Systems - ACM Queue

                                                                                  June 6, 2020 Volume 18, issue 2 PDF Debugging Incidents in Google's Distributed Systems How experts debug production issues in complex distributed systems Charisma Chan and Beth Cooper Google has published two books about SRE (Site Reliability Engineering) principles, best practices, and practical applications.1,2 In the heat of the moment when handling a production incident, however, a team's act