This is The Entire Computer Science Curriculum in 1000 YouTube Videos
This is The Entire Computer Science Curriculum in 1000 YouTube Videos In this article, we are going to create an entire Computer Science curriculum using only YouTube videos. The Computer Science curriculum is going to cover every skill essential for a Computer Science Engineer that has expertise in Artificial Intelligence and its subfields, like: Machine Learning, Deep Learning, Computer Vision,
Googleに入社します｜ばやしこ
こんにちは。ばやしこと申します。 2022年7月より、Googleでソフトウェアエンジニアとして働くことになりました。 アメリカのTexas A&M大学のMaster of Computer Scienceを今年の5月に無事卒業し、卒業後の職としてGoogleからフルタイムのオファーを頂くことができました。 今後Googleを目指す方の助けになればと思い、Googleからオファーをもらうまで自分がどんな勉強や対策をしていたかについて、書かせていただきます。 また、留学に至るまでの流れはこちらの記事を読んでいただければと思います。 (入社予定のDurham, NCオフィス) はじめにこちらは私の体験をもとに書いている記事です。諸々の条件が異なれば、面接の構成や対策も大きく異なります。例えばシニア以上（GoogleだとL5以上、MetaだとE5以上。私はL4でオファーをもらいました）でのポジシ
「Amazonでさえサーバレスやマイクロサービスを理解できない」とDHH氏が主張する一方で、「進化可能なアーキテクチャこそ重要」とAmazonのVogels博士
Ruby on Railsの作者として知られるDavid Heinemeier Hansson（DHH）氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」（Amazonでさえサーバレスやマイクロサービスを理解できない）が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」（Prime Videoの音声映像監視サービスにおけるスケールアップと90％のコスト削減の実現）で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
DNS前史：HOSTS.TXTとドメイン名ができるまで
こんにちは、技術開発室の滝澤です。 先月（2022年7月）、『Software Design 2022年8月号』の特集記事『WebエンジニアのためのDNS速習講座』に『第2章：DNSの構成要素と名前解決のしくみ』という記事を寄稿しました。第1章でも滝澤が趣味で作成した資料『ドメイン名の歴史』が参考文献として掲載されていました。よい機会なので、ドメイン名ができるまでの歴史について文章としてまとめようと思い、この本ブログ記事を書きました。 なお、筆者自身はインターネットの原型であるARPANETや80年代のインターネットをリアルタイムには体験してはいないため、RFC（Request for Comments）やインターネット上にある当時のホストのアーカイブを元に調査した内容をまとめたものになります。 ARPANETの時代 1969年から1980年代初期にかけてのインターネットの原型となったAR
7 年勤めた Amazon を辞めて、Autify という startup に Technical Support Engineer として入りました。場所は変わらず Vancouver, Canada のままです。これからは副業も何かやってみようと思っているので、お気軽にお声がけ下さい。 Today is my last day at Amazon. Lots of excitements and learnings in the past 7 years. Thank you for all of my customers and colleagues. I’ll start the next job soon and will update the status here. Stay tuned! pic.twitter.com/uqGv50jhvN — Ryosuke Iwanag
最近「マイクロサービスって大変だな」と感じることが多いので、書いてみた。 単なる感想です。 pospomeのマイクロサービス歴 面倒なのは技術ではない モノリスだと厳しい 楽しくもある 宣伝 pospomeのマイクロサービス歴 以下の企業で7年ほどマイクロサービスに携わっている。 DeNA（ゲームプラットフォーム） メルカリ（認証認可基盤） DMM（DMMプラットフォーム） DeNA, メルカリではサーバサイドエンジニアとして仕事をしていて、 DMMではプラットフォーム事業本部という120人のエンジニアが在籍する開発組織のアーキテクトとして仕事をしている。 それぞれの会社で開発の規模感、開発体制、自分の役割などが異なるので、 直接比較できないが、やはりポジション的に今のDMMが一番大変だなーと感じる。 面倒なのは技術ではない マイクロサービスというと "分散トランザクション" とか "通信
zenn.dev を読んでの感想です。「シーケンスナンバーをPKにする」以外の項目については言及しませんが、言及しないことは正当性や妥当性を保証していることにはならないです。 InnoDB(MySQL)を想定してます。が、原理は割と一般的なので他のDBでも適用できることが多いと思います。 追記:一般的とは分散でないような"普通の"RDBMSを想定してましたが、分散システム(distributed systemないしreplicated system)のような場合では話が違います。 なぜシーケンシャルな値がよいか 端的にいうと書き込み操作時にバッファープール(baffuer pool)に読み混む必要のあるページが少なくて済むからです。その結果書き込み操作時にバッファープールにページが存在する可能性が高くレイテンシー的に有利になる可能性が高いです。 バッファープール、ページ、btreeなど具体
Consider SQLite
If you were creating a web app from scratch today, what database would you use? Probably the most frequent answer I see to this is Postgres, although there are a wide range of common answers: MySQL, MariaDB, Microsoft SQL Server, MongoDB, etc. Today I want you to consider: what if SQLite would do just fine? For those who are unfamiliar, SQLite is a implementation of SQL as a library — this means t
Except Singapore, we’ve got a world of sub-100 millisecond TTFBs. This is because instead of heading off to Virginia to get the site, each of these locations can use an edge server nearest to them. The edge is about getting 50ms response times vs 150ms response times. You can test this for yourself with a VPN. If you: curl -I https://deno.landYou’ll get the server nearest your location: server: de
Denoの作者ライアン・ダール氏らが「Deno Company」を立ち上げ。Denoの開発推進と商用サービスの実現へ
Denoの作者ライアン・ダール氏らが「Deno Company」を立ち上げ。Denoの開発推進と商用サービスの実現へ 2009年に登場したNode.jsは、サーバサイドにおけるJavaScriptの利用や非同期処理によるイベントドリブンなアプリケーションアーキテクチャという新しい分野を確立した、画期的なプラットフォームです。 Node.jsの登場により、AWS Lambdaをはじめとするサーバレスコンピューティングや、ElectronのようなWebテクノロジーを基盤としたアプリケーションフレームワークをはじめとする、さまざまなJavaScriptエコシステムが飛躍的に発展したと言ってもいいでしょう。 このNode.jsの作者であるライアン・ダール（Ryan Dahl）氏は、2012年にNode.jsの開発リーダーを退任すると、2018年に「Node.jsに関する10の反省点」を発表。これに
This is a guest article by Stanislav Kozlovski, an Apache Kafka Committer. If you would like to connect with Stanislav, you can do so on Twitter and LinkedIn.AWS S3 is a service every engineer is familiar with. It’s the service that popularized the notion of cold-storage to the world of cloud. In essence - a scalable multi-tenant storage service which provides interfaces to store and retrieve obje
AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS 認定 SAP on AWS - 専門知識」とは 「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」は一言で言えばAWS
ドメイン知識は幅広いのでどこまで勉強すればいいか思った時のリスト。勉強の仕方色々あるが個人的にわかりやすいなと思ったものも書いときます ソフトウェアエンジニアとしてやりながらrecoというエンジニア向けの転職プラトフォームを作ってます。現在は数社のテック企業のサポートをしております（https://jobs.reco.sh/) reco経由で申し込むと面接に備えるためのサポートが得られます。面接対策のヒントや質問例、模擬面接などを通じて、自信を持って次のステップに進む準備ができます。 申請リンク：https://airtable.com/appDsRlN6LTSiW0a3/shrP9nwF925b1d5ZJ Network復習 TCP, UDP: High Performance Browser Networking - Ilya Grigorikの2~3章 (m)TLS: Liz Ric
This is an introductory course in Distributed Systems. Distributed systems is the study of how to build a computer system where the state of the program is divided over more than one machine (or "node"). This course is in active development. At the moment, it consists of a series of short videos. The intention is to create a complete set of video lectures and then add additional content (such as m
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Ste…
It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u
Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia
Every System is a Log: Avoiding coordination in distributed applications
Every System is a Log: Avoiding coordination in distributed applications How Restate works, Part 1Posted January 22, 2025 by Stephan Ewen and Jack Kleeman and Giselle van Dongen ‐ 13 min read Building resilient distributed applications remains a tough challenge. It should be possible to focus almost entirely on the business logic and the complexity inherent to the domain. Instead, you need to revi
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
Continuous reinvention: A brief history of block storage at AWS
Continuous reinvention: A brief history of block storage at AWSAugust 22, 2024 • 4802 words Marc Olson has been part of the team shaping Elastic Block Store (EBS) for over a decade. In that time, he’s helped to drive the dramatic evolution of EBS from a simple block storage service relying on shared drives to a massive network storage system that delivers over 140 trillion daily operations. In thi
I have a small side project: digital gift cards for hackers. It uses Shopify for all the store-related stuff: frontend, payments, refunds, reports, etc. But unlike regular digital products (ebooks, videos) I wanted each card that the user purchases from the store to be unique. So I made a script that generates personalized images and ran it manually for every order. The next logical step was autom
本記事ではRustでOpentelemetryをはじめることを目標に以下の点について書きます。 OpenTelemetryの概要RustのapplicationにOpenTelemetryを導入する方法前半は公式docを読みながら登場人物を整理し、後半は実際にdocker-compose上でそれらを動かします。 またRustではtracing-opentelemetry crateを利用します。 tracingについては別の記事で基本的な仕組みについて書いたのでopentelemetry固有の処理について述べます。 sample code traceの設定については、別の記事に詳しい説明を書きました。 OpenTelemetryとは最初にOpenTelemetryについての現時点での自分の理解は以下です。 OpenTelemetryとは文脈により以下のいずれかを指す CNFNのprojec
The Problem with Using a UUID Primary Key in MySQL — PlanetScale
Want to learn more about unlimited IOPS w/ Metal, Vitess, horizontal sharding, or Enterprise options? Talk to Solutions By Brian Morrison II | March 19, 2024 Universally Unique Identifiers, also known as UUIDs, are designed to allow developers to generate unique IDs in a way that guarantees uniqueness without knowledge of other systems. These are especially useful in a distributed architecture, wh
分散システムについて語らせてくれ | ドクセル
目次 分散システムを作る際に気をつけて欲しい事 1.分散自体を目的にしない事 2.論文を読んでそのまま実装しない事 3.Two Phase Commitを使わない事 4.手を動かす事 Copyright©2016 NTT Corp. All Rights Reserved. 2 分散自体を目的にしない事 • よくわかってない人でもCloudera Managerをダウンロードして1時間後 には巨大なHadoopクラスタを立ち上げてYARN, HDFS, Spark, HBase などで遊ぶ事ができる。 • 世の中では分散システムが必要以上に喧伝されている • 「コンピュータ1台よりも2台の方が高速」という直感に対して反論するの は意外と難しい • あなたのそのシステム、本当に分散システムじゃないとダメ？ Copyright©2016 NTT Corp. All Rights Reserve
SummaryMost visual programming environments fail to get any usage. Why? They try to replace code syntax and business logic but developers never try to visualize that. Instead, developers visualize state transitions, memory layouts, or network requests. In my opinion, those working on visual programming would be more likely to succeed if they started with aspects of software that developers already
Even Amazon can't make sense of serverless or microservices
May 4, 2023 Even Amazon can't make sense of serverless or microservices The Prime Video team at Amazon has published a rather remarkable case study on their decision to dump their serverless, microservices architecture and replace it with a monolith instead. This move saved them a staggering 90%(!!) on operating costs, and simplified the system too. What a win! But beyond celebrating their good se
PHP is Legacy, in 2024
We travel in our jobs a lot at Vonage. I speak to plenty of developers from all walks of life, and I can confidently say one of the most asked questions I get is: Why do you still do PHP? Variations of this question can be "Isn't PHP supposed to be bad?" On several occasions, the person I was speaking to had done some PHP back in 2012. Or 2010. I forget. For reasons I do not understand, we're goin
デジタル機器の弱点が突かれました。 米国のミシガン大学（UM）で行われた研究により、スマホのカメラやホームカメラ、車載カメラに至るどんなカメラからでも、リアルタイムな盗撮が可能な技術が発表されました。 新たな盗撮技術は既存の機器では防御不可能であり、カメラの電源をオフにしても、理論的には、完全には防ぐことができません。 研究では実際のカメラが捉えた画像と盗撮された画像の比較が行われており、かなり鮮明な画像として抽出できることが示されています。 新たな技術はいったいどんな方法で、他人のカメラから情報を盗み出しているのでしょうか？ 研究内容の詳細は、ネットワークシステムセキュリティに関するシンポジウム『The Network and Distributed System Security Symposium (NDSS) 2024』にて発表されました。
Separating Storage and Compute in DuckDB - MotherDuck Blog
The first cloud data warehouse to separate storage and compute was BigQuery, and was outlined in the Dremel paper in 2008. Yes, Jordan is a little bitter about this because Snowflake claimed to have invented it several years later. Of course, as one does, when Jordan mentioned this to some database guru, he was immediately corrected and told that IBM had been separating storage and compute in the
自動運転車のレーダーセンサーに「幻の対向車」を見せたり存在するはずの車両を見えなくしたりして事故を起こさせる攻撃手法「MadRadar」が開発される
デューク大学のPratt School of Engineeringで電気コンピューター工学の准教授を務めるミロスラフ・パジッチ氏とティンジュン・チェン氏が率いる研究者グループが、自動運転車のレーダーセンサーをだます攻撃「MadRadar」を開発しました。研究グループはMadRadarのような技術を駆使して自動運転車を盗む手口が、「今後数十年にわたってハリウッド映画で見られる共通のプロットとなるかもしれない」と語っています。 Engineers Develop Hack to Make Automotive Radar Hallucinate | Duke Pratt School of Engineering https://pratt.duke.edu/news/engineers-develop-hack-to-make-automotive-radar-hallucinate/ M
Every so often I read an essay that I end up thinking about, and citing in conversation, over and over again. Here’s my index of all the ones of those I can remember! I’ll try to keep it up to date as I think of more. There's a lot in here! If you'd like, I can email you one essay per week, so you have more time to digest each one: Nelson Elhage, Computers can be understood. The attitude embodied
How do you handle user authentication in your web app or API? When it comes to implementing auth, JSON Web Tokens (JWTs for short) are often touted as an industry best practice. On some platforms, and for some frameworks they are the first thing that comes to mind: we've seen many discussions on developer forums (such as /r/node) where the only alternatives suggested were JWT if you're doing it yo
音声認識システムに対する攻撃も実証。会議用マイクに「OK Google」などの音声コマンドを注入する実験では、IFlytek、OpenAI、Microsoft Azureの商用音声認識APIに対して76～82％の文章認識率、87.1～93.5％の単語認識率を達成した。これにより、攻撃者は「ドアを開けて」などの命令を実行させ、スマートホームシステムのセキュリティを侵害する可能性がある。 Source and Image Credits: Fengchen Yang, Wenze Cui, Xinfeng Li, Chen Yan, Xiaoyu Ji, and Wenyuan Xu. LightAntenna: Characterizing the Limits of Fluorescent Lamp-Induced Electromagnetic Interference. Network
Thoughts on software, hardware, performance, math, and similar topics A lot of ink is spent on the “monoliths vs. microservices” debate, but the real issue behind this debate is about whether distributed system architecture is worth the developer time and cost overheads. By thinking about the real operational considerations of our systems, we can get some insight into whether we actually need dist
共同発表：走行中の自動運転センサーを長距離から無効化できることを発見～脆弱性を明らかにし、より安全な自動運転車両の開発に貢献～
慶應義塾大学 理工学部 電気情報工学科の吉岡 健太郎 専任講師、同 大学院修士課程の速川 湧気さん、鈴木 諒さんらと、カリフォルニア大学 アーバイン校のアルフレッド・チェン 助教授、同 大学院博士課程の佐藤 貴海さんは共同で、自動運転車両のＬｉＤＡＲセンサーシステムにおける新たな脆弱（ぜいじゃく）性を発見しました。本研究チームは、高速走行中の車両のＬｉＤＡＲセンサーが長距離から無効化可能であることを世界で初めて実証し、安全な自動運転の実現に必要な対策を提示しました。 自動運転技術は私たちの未来社会を大きく変革するポテンシャルを秘めていますが、その安全性の向上が不可欠です。本研究では、高速走行車両のセンサーを追従可能なシステムを開発し、６０キロメートル毎時で走行中の車両に対して１１０メートル離れた地点からセンサーを無効化できることを確認しました。また、最新のＬｉＤＡＲセンサーに対しても、既存
C Runtime Overhead
What do you do when libc is your bottleneck? If the total runtime of your process is under 10ms, most of this time (depending on your hardware) is spent waiting for the linker and C runtime to set things up. If you compare this to the Latency Numbers Every Programmer Should Know, it falls right above "disk seek" and "20x datacenter roundtrip". Stripe launched their third CTF in early 2014. While t
Although the main interface between applications and a Vitess database is through the MySQL protocol, Vitess is a large and complex distributed system, and all the communication between the different services in a Vitess cluster is performed through GRPC. Because of this, all service boundaries and messages between Vitess' systems are specified using Protocol Buffers. The history of Vitess' integr
With contributions from Adnan Rahić and Ken Hamric. The OpenTelemetry Demo is a system that simulates a Telescope Shop, consisting of multiple microservices written in different languages, each handling a specific capability of this distributed system. Its purpose is to demonstrate how OpenTelemetry tools and SDKs can be used in an application to obtain telemetry for monitoring results and even to
A decision that arises over and over when designing concurrent programs is whether to represent program state in control flow or as data. This post is about what that decision means and how to approach it. Done well, taking program state stored in data and storing it instead in control flow can make programs much clearer and more maintainable than they otherwise would be. Before saying much more,
An Engineer's Hype-Free Observations on Web3 (and its Possibilities)
The Web3 ecosystem has been variously described as a collective hallucination, a massive grift, an environmental disaster, a decentralized renaissance, and the future of the Internet. That’s a lot to live up (and down) to. Here in the PSL Studio, our veteran engineering team (hi, nice to meet you!) has been building fun new Web3 projects. Along the way, we’ve been taking notes on what we’ve learne
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon を退職してAutify に入りました - As a Futurist...
マイクロサービスアーキテクチャは大変という話 - pospomeのプログラミング日記
プライマリーキー(primary key)はシーケンシャルな値で良いと思うよ - 角待ちは対空
The Future of the Web is on the Edge
Behind AWS S3’s Massive Scale
ドメイン知識の問題集や勉強の仕方（随時更新）｜gaijineers
Distributed Systems Course
Why is observability so expensive?
Diving Deep on S3 Consistency
Moving my serverless project to Ruby on Rails
🔭 RustでOpenTelemetryをはじめよう | Happy developing
We need visual programming. No, not like that.
カメラと繋がる回路をアンテナに！事実上防御不可能な盗聴技術が見つかる - ナゾロジー
Essays on programming I think about a lot
Why you should not use JWT - API Bakery
“電気照明”でIoTデバイスを遠隔操作する攻撃 最大20m先から蛍光灯を制御、電磁干渉で機器を妨害
Use One Big Server - Speculative Branches
Vitess | A new Protocol Buffers generator for Go
Trace-based Testing the OpenTelemetry Demo
research!rsc: Storing Data in Control Flow