秒間100万リクエストをさばく - Googleの共通認可基盤 Zanzibar - 発明のための再発明
はじめに Googleの提供するサービス郡が共通して利用している認可システムにはZanzibarという名前がついています。ZanzibarはGoogleDrive・Google Map・Youtubeなどの巨大なサービスにも使用されています。 そのため、利用量も凄まじく 数10億のユーザー 数兆のACL(access control list) 秒間100万リクエスト もの量をさばいています。 にも関わらず、Zanzibarはこれを10ミリ秒以内に返します(95パーセンタイル)。 この記事では、そんなZanzibarの内部構造に関する論文「Zanzibar: Google’s Consistent, Global Authorization System」の中から、主に大量のリクエストをさばくための工夫を紹介します。 ちなみに、以前Googleの社内システム用の認可システム「Beyond
はじめに Web では古来より <img> タグを用いて画像を読み込んでいました. しかし <img> タグにはアスペクト比に関する情報を埋め込むための属性が用意されていません. そのため, ブラウザが画像をネットワークから fetch して読み込みが完了するまで, レスポンシブな img 要素の寸法を決定できず, ページにガタツキ (Layout Shift) が生じる問題がありました. この問題を解決するため以前より, アスペクト比を埋め込むための新たな属性の導入が提案されていました. しかし最近議論に動きがあり, 既存の属性を利用する方法が提案され, ブラウザに実装され始めています. ここでは問題の背景, 提案と議論の変遷, そして開発者が取るべき対応について紹介します. はじめに img タグと Layout Shift intrinsicsize 属性 intrinsicsize
Awesome Dev Tool Tips 🔥
Contents (Click to expand) ↕️ Design Mode Pretty Print Command Pallet and Super Search Snippets Live Expressions Tracking Changes Console Shorthand Find Unused Code Rendering Panel Network Paint Times Network Timings Inspect Network Requests Performance Identifying Memory Leaks Raw Memory Inspection Test bfcache Full Refresh Lighthouse Page Size Breakdown Record User Flows Advanced User Flow Opera
アプリケーションをユーザに公開する場合, それがGUIであってもCUIであってもインタフェースが必要になります. Webアプリケーションを公開する場合にはWeb APIを利用するのが一般的であり, AWSもAPIをフルマネージドで活用するためのAPI Gatewayを提供しています. 非常に簡単に活用できるのですが細かい機能などを今一度洗い直す機会があればと思っており, 社内勉強会の機会があったのでAPI Gatewayについて話しました. 今回の記事では社内向け勉強会で登壇した内容をブログ向けに再編しています. 資料はSpeakerDeckで公開していますが, 内容についてより細かくこのブログで説明しますので, 是非ご閲覧ください. What is API まず最初にAPIが何かを確認します. 大雑把に伝えるとアプリケーションが呼び出せば予期した結果を返されるような仕組みです. 名前にあ
ネットワークが劣悪な環境を再現する方法
目的 アプリケーションが通信に失敗した際のテストを行いたい 例. 「通信に失敗した場合に再取得ボタンが表示されること」など 方法1. Chrome DevTools を使う https://developer.chrome.com/docs/devtools/network/reference?hl=ja#throttling 任意の設定を追加して使用することができる メリット PCとモバイルデバイスの両方で使用可能 新規にアプリケーションをインストールする必要が無い デメリット パケロス率などを設定できない Android, iOS のネイティブアプリでは使用できない 方法2. Network Link Conditioner を使用する Network Link Conditioner は Apple が提供しているネットワークユーティリティツール 使用手順等は以下のサイトが分かりやす
この本の概要 Go言語ユーザーとして，「もう一段レベルアップしたい」「開発に使いたい」と思っている方に向けた，Go言語の解説本です。関数やパッケージの使い方，並行処理，テストといった基本的なトピックにおいて，「こう書くと綺麗になる」「こう書くとパフォーマンスが上がる」といったエッセンスを紹介します。後半ではCLIアプリ／Webアプリの開発手順や，現場で使われている便利なパッケージなど，著者が業務やOSSの開発で培った技術をふんだんに紹介します。 こんな方におすすめ Go言語の入門を終え，さらに深く学びたい人 第1章 プログラミング言語Goとは 1.1 Goの簡単な歴史 1.2 Goの立ち位置 1.3 Goが利用される場面 標準でUTF-8をサポート マルチプラットフォーム 並行処理の扱いやすさ ストリーム指向 シングルバイナリ 1.4 教育用途としてのGo 1.5 なぜGoが使われるのか
AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 ソリューションアーキテクト – プロフェッショナル(AWS Certified Solutions Architect – Professional)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 ソリュ
セキュリティ相談を受けたときに引用したい記事・ニュース集・事例集 これは何？ セキュリティ相談受けた際、過去のインシデントや事例などを引用して、「その対策必要なの？」というい疑問への説得力を持たせたりすることがあります。 が、その場で思い出せることは稀です。よく引用できていますが、「どっかにあった気がするんだけどな〜」と思って思い出せないことが7割くらいな気がします。 そんなことがないように、ここにまとめていきます。 いつかまとめたいと思っていたんですが、すぐ思い出せないので永遠に先延ばしにしていたので、未完成のまま公開します。 少しずつ思い出す度に増やします。 BetterThanNothingの精神です。 参考: https://www.youtube.com/watch?v=bnfPUrJQh1I 事例集 各種プロダクトのセキュリティガイドラインなど メルカリさんのgithub ac
以下、私のやり方であって「正解」ではないかもしれないのでご承知おきを。 11/30 Amazonより以下のメールが届いた。 お知らせ欄で告知しております通り、2023年11月30日（木）をもってアソシエイトツールバーの「画像リンク」及び「テキストと画像」リンクを廃止させていただきます。 画像リンク作成機能を使用して作成されたリンクは、2023年12月31日（日）以降表示されなくなります ので、画像リンクを掲載されている場合は、お早めに別のリンクへの差し替えのご対応をお願いいたします。 強調表示の内容は、Amazonアソシエイトの「お知らせ」には載っていない。そのため、twitter で騒ぎになっていないので、このメールが「ガセ」という可能性もある。 だが、もし本当なら、私にとって、わりとヤバい話になる。というのも、ブログに書影を表示させるため、この機能を使っているから。 そして、画像を表示
フロントエンドが遅いと言われた時に
Webアプリケーションで、ブラウザ上でJavaScriptを用いてAPIからデータを取得して画面に反映する挙動が遅いと言われた時にフロントエンド側が確認することと対処方法。 ユーザのボタンクリックなどのアクションをトリガーとして、APIからデータを取得し画面に反映するというシナリオがあった際に、ユーザのアクションから画面への反映に時間を要しているという状況を想定しています。 Largest Contentful Paint (LCP)が遅い場合に関しては、別のアプローチになるので今回は除外します。 本当にフロントエンドがボトルネックになっているか まず最初にすることは、APIのレスポンスタイムと、APIのデータを画面に反映する処理のどちらがボトルネックになっているかの確認です。 ユーザのアクションから画面への反映までの時間の中でAPIのレスポンスが大部分を占めている場合、プリフェッチなどの
Elon Musk’s X is throttling traffic to websites he dislikes
The site formerly known as Twitter added a five-second delay when a user clicked on a shortened link to the New York Times, Facebook and other sites Musk commonly attacks, a Washington Post analysis found
Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices | Amazon Web Services
AWS News Blog Announcing AWS Lambda Function URLs: Built-in HTTPS Endpoints for Single-Function Microservices Organizations are adopting microservices architectures to build resilient and scalable applications using AWS Lambda. These applications are composed of multiple serverless functions that implement the business logic. Each function is mapped to API endpoints, methods, and resources using s
Sections What is time Representing time Where do we usually find time on Unix System time, hardware time, internal timers Syncing time with external sources What depends on time Human perception of time What is time Time is relative Measuring time and standards Coordinating time Time zones DST Time, a word that is entangled in everything in our lives, something we’re intimately familiar with. Keep
Samsung製スマホ上でYouTube・Netflix・Instagram・ウマ娘・原神など約1万種類のアプリが意図的にパフォーマンス制限をかけられていることが発覚
SamsungのGalaxy S22など複数の端末において複数のアプリに対するパフォーマンス制限が確認されています。スマートフォンのパフォーマンスを変更する不正というと、ベンチマークアプリ使用時のみ性能を高めるケースがありますが、今回のものは、恒常的にスマートフォンの性能を抑えるものとなっています。 Samsung created an app called GOS and used the app to limit game performance, making the gaming experience worse. However, according to what the Korean community found out today, Samsung confirmed that it has put performance limits on more than 10,0
もはやReactにHooksのない生活は考えられず、私たちのReactコードの中には多数のHooksが使われています。 一方でその弊害として、使われているHooksが多すぎてコードが散らかり始めた人も多いと思います。Hooksは便利ですが粒度は小さく、プログラムの規模によっては多用しなければなりません。 そこでカスタムHooksの使用を勧めます。カスタムHooksを使うことでコードの見通しを良くすることができます。 カスタムHooksをカジュアルに使っていく カスタムHooksというと、どちらかというとReactの中では難しい部類に入ります。主に「使い方がわからない」「公式ドキュメントが不親切」「ネットの解説が難しい」あたりが問題になるでしょう。しかし難しい機能だからと言って難しく使う必要はなく、自分の使える範囲で自由に使えばいいのではないかと思います。 カスタムHooksは一般にロジック
アメリカの複数大学からなる研究チームが全てのIntel製CPUおよび複数のAMD製CPUを対象にしたサイドチャネル攻撃の新手法「Hertzbleed Attack」を公表しました。研究チームはHertzbleed Attackを用いることで攻撃対象CPUの暗号化を突破できると主張しており、IntelとAMDは対策方法をアナウンスしています。 Hertzbleed Attack https://www.hertzbleed.com/ ◆Hertzbleed Attackはどんな攻撃なのか Hertzbleed AttackはCPUが計算処理を行う際の消費電力を分析することで暗号化キーを奪取する攻撃手法です。消費電力の分析によって機密情報を盗み出す手法(単純電力解析)は古くから研究されていましたが、単純電力解析では攻撃対象の消費電力を高い精度で測定する必要がありました。しかし、今回発表されたH
This article was first published on Cloudflare blog: When TCP sockets refuse to die Accompanying scripts While working on our Spectrum server, we noticed something weird: the TCP sockets which we thought should have been closed were lingering around. We realized we don't really understand when TCP sockets are supposed to time out! In our code, we wanted to make sure we don't hold connections to de
TLDR; If your MacBook Pro runs hot or shows a high % CPU for the kernel task, try charging on the right and not on the left. High kernel_task CPU Usage is due to high chassis temperature caused by charging. In particular Left Thunderbolt port usage. Solutions include: Move charging from the left to the right side. If you have a second charger then plug it in on the right side. Avoid plugging every
Have you ever tried to download videos from YouTube? I mean manually without relying on software like youtube-dl, yt-dlp or one of “these” websites. It’s much more complicated than you might think. Youtube generates revenue from user ad views, and it’s logical for the platform to implement restrictions to prevent people from downloading videos or even watching them on an unofficial client like You
WebKit Features in Safari 16.4
Mar 27, 2023 by Patrick Angle, Marcos Caceres, Razvan Caliman, Jon Davis, Brady Eidson, Timothy Hatcher, Ryosuke Niwa, and Jen Simmons ContentsWeb Push on iOS and iPadOSImprovements for Web AppsWeb ComponentsCSSHTMLJavaScript and WebAssemblyWeb APIImages, Video, and AudioWKWebViewDeveloper ToolingWeb InspectorSafari Web ExtensionsSafari Content BlockersNew Restrictions in Lockdown ModeMore Improve
CSS-in-JS has taken a solid place in front-end tooling, and it seems this trend will continue in the near future. Especially in the React world. For example, out of 11492 people who participate in State of CSS survey in 2020 only 14.3% didn’t hear of Styled Components (a dominant CSS-in-JS library). And more than 40% of participants have used the library. I wanted to see an in-depth performance co
What's New In DevTools (Chrome 94) | Blog | Chrome for Developers
Use DevTools in your preferred language Chrome DevTools now supports more than 80 languages, allowing you to work in your preferred language! Open Settings, then select your preferred language under the Preferences > Language dropdown and reload DevTools. Preferences" width="800" height="494"> Chromium issue: 1163928 New Nest Hub devices in the Device list You can now simulate the dimensions of Ne
Caution: This page is somewhat outdated and only exists for historical purposes. React 18 was released with support for concurrency. However, there is no “mode” anymore, and the new behavior is fully opt-in and only enabled when you use the new features. For up-to-date high-level information, refer to: React 18 Announcement Upgrading to React 18 React Conf 2021 Videos For details about concurrent
TL;DRCloud Run で Always on CPU （プレビュー）が選択可能にコンテナインスタンス起動中は CPU がフルに利用できます利用形態によっては料金面でメリットもCloud Run とはひとことでいうと「サーバーレス コンテナ」を提供するフルマネージドコンピューティング環境であると言えます。コンテナ上のアプリケーションは、HTTPS、gRPC、WebSocket または イベントでトリガー されます。 処理した分だけ課金される サーバーレスサービスで、無料枠もありお手軽に利用を開始することができます。 また大規模なサービスにも多くの実績がある大変人気のサービスです。 Always on CPU （プレビュー）従来、Cloud Run では リクエストを受け付け処理している間のみ CPU の割当てが保証されていました。つまりレスポンスを返したあとは CPU 割当てが無効に
While working on our Spectrum server, we noticed something weird: the TCP sockets which we thought should have been closed were lingering around. We realized we don't really understand when TCP sockets are supposed to time out! In our code, we wanted to make sure we don't hold connections to dead hosts. In our early code we naively thought enabling TCP keepalives would be enough... but it isn't. I
Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region
November, 25th 2020 We wanted to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on November 25th, 2020. Amazon Kinesis enables real-time processing of streaming data. In addition to its direct use by customers, Kinesis is used by several other AWS services. These services also saw impact during the event. The trig
Learn how to bring multithreaded applications written in other languages to WebAssembly. WebAssembly threads support is one of the most important performance additions to WebAssembly. It allows you to either run parts of your code in parallel on separate cores, or the same code over independent parts of the input data, scaling it to as many cores as the user has and significantly reducing the over
【ZOZOTOWNマイクロサービス化】API Gatewayのスロットリング機能開発におけるノウハウ大公開 - ZOZO TECH BLOG
はじめに こんにちは。ECプラットフォーム部のAPI基盤ブロックに所属している籏野 @gold_kou と申します。普段は、GoでAPI GatewayやID基盤（認証マイクロサービス）のバックエンド開発をしています。 ZOZOでは、API Gatewayを内製しています。これまでも以下の記事を公開し、ご好評いただいております。ありがとうございます。 【ZOZOTOWNマイクロサービス化】API Gatewayを自社開発したノウハウ大公開！ 【ZOZOTOWNマイクロサービス化】API Gatewayの可用性を高めるノウハウを惜しみなく大公開 今回は、API Gatewayのスロットリング機能を開発しましたので、そこで得られた知見を共有いたします。ソースコードもたくさん掲載しております。マイクロサービスに興味ある方や、API Gatewayを内製する方の参考になれば幸いです。 また、本記事
Select the HTTP Version to be used with this test. HTTP/2 is the default option and is recommended. Learn more Select this option if your website requires HTTP Authentication for access. The provided username & password will not be saved in our servers and you will need to enter it each time. Learn more Simulated throttling loads the page normally and later estimates the impact of throttling and a
画像や文章を生成するAIに続いて、動画生成AIも急速に進歩しつつありますが、これまでのAIが生成した動画は無音か人間が音を後付けしたものばかりでした。Google DeepMindが2024年6月17日に、映像の雰囲気や動きに合わせて音楽や音を生成する「video-to-audio(V2A)」を発表しました。 Generating audio for video - Google DeepMind https://deepmind.google/discover/blog/generating-audio-for-video/ Google DeepMindが今回発表したV2Aシステムは、動画生成AI「Veo」と組み合わせてドラマチックなBGMやリアルなSE、キャラクターのセリフなどを生成できる技術です。 例えば、以下のムービーは「Cinematic, thriller, horror f
X(旧Twitter)はPatreon・WhatsApp・Messengerなどへのアクセスを平均2.5秒遅らせてユーザーに悪影響を及ぼしている
X(旧Twitter)はユーザーを自社プラットフォームに引きつけるため、ポストに含まれるリンクからFacebookやInstagram、Blueskyなど競合サービスへのアクセスを意図的に遅くしていることが指摘されています。新たに、Xはクリエイター支援プラットフォームのPatreonやメッセージングアプリのWhatsApp、MetaのMessengerなどへのアクセスを平均2.5秒も遅らせていると、テック系ニュースサイトのThe Markupが報じました。 Twitter Is Throttling Patreon Links, Creators Say It Undermines Their Livelihood – The Markup https://themarkup.org/news/2023/10/16/twitter-is-throttling-patreon-links-c
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
Browser-level image lazy loading for the web Stay organized with collections Save and categorize content based on your preferences. You can use the loading attribute to lazy-load images without the need to write custom lazy-loading code or use a separate JavaScript library. Here's a demo of the feature: Lazy-loaded images load as the user scrolls through the page. This page walks through the detai
AWS Lambdaのスロットリング緩和 / How to manage throttling for AWS Lambda
AWS Lambdaのスロットリングについて、同時実行数のクオータの考え方や、緩和の方法をご紹介します。
23 Feb JavaScript performance beyond bundle size Posted February 23, 2021 by Nolan Lawson in performance, Web. 8 Comments There’s an old story about a drunk trying to find his keys in the streetlight. Why? Well, because that’s where it’s the brightest. It’s a funny story, but also relatable, because as humans we all tend to take the path of least resistance. I think we have the same problem in the
Core Web Vitals workflows with Google tools Stay organized with collections Save and categorize content based on your preferences. Combine Google tools to audit, improve and monitor your website effectively. Core Web Vitals are a set of metrics that assess the user experience on criteria such as load performance, responsiveness to user input, and layout stability. A workflow for improving Core Web
最小権限の原則に一歩近づく - Entra ID の "Just-in-time application access with PIM for Groups" 機能の紹介 - LayerX エンジニアブログ
LayerX Fintech事業部（※）の piroshi です。 ※三井物産デジタル・アセットマネジメント (MDM)に出向しています。 沖縄からリモートワークで働いており、蒸し暑い日が続いています。クーラーをつけないと寝苦しくなってきました。 ところでみなさん、特権 (ちから) が欲しいですか？ここでの権限はシステム上の各種権限です。私は小心者で、大きすぎる力は持ちたくない派です。特権をもっていると「オレは今、セキュリティリスクの塊だ...」と気になってしまい、輪をかけて夜も眠れません。 さて、Microsoft の IdP サービスである Entra ID には Privileged Identity Management (PIM) という特権管理機能があります。PIM により「必要最低限の権限」を「必要な期間」に限定して付与することが可能です。ユーザは特権へのエスカレーションを自
Web Neural Network API
Web Neural Network API W3C Candidate Recommendation Draft, 5 May 2024 More details about this document This version: https://www.w3.org/TR/2024/CRD-webnn-20240505/ Latest published version: https://www.w3.org/TR/webnn/ Editor's Draft: https://webmachinelearning.github.io/webnn/ Previous Versions: https://www.w3.org/TR/2024/CRD-webnn-20240503/ History: https://www.w3.org/standards/history/webnn/ Im
Raspberry Pi 4 just got a lot cooler! The last four months of firmware updates have taken over half a watt out of idle power and nearly a watt out of fully loaded power. For The MagPi magazine, Gareth Halfacree gets testing. Raspberry Pi 4 Model B Raspberry Pi 4 launched with a wealth of new features to tempt users into upgrading: a more powerful CPU and GPU, more memory, Gigabit Ethernet, and USB
はじめに AWS SDK は Exponential Backoff による自動再試行ロジックが実装されていますが、 Boto3 では 3 つのリトライ処理モードを選択できます。 legacy (デフォルト) standard adaptive botocore の GitHub リポジトリを確認すると、2020年2月ごろに standard および adaptive が 追加され、それ以前の実装は legacy という名称になっています。 Add support for new retry modes #1972 互換性のため、デフォルトが legacy となっており、standard/adaptive で追加された機能を 利用するにはリトライ処理モードを明示的に変更する必要があります。 リトライ処理モードの変更方法 botocore の config オブジェクトをインスタンス化し、設
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像による Layout Shift が無くなる Web がやって来る - mizdra's blog
Amazon API Gateway は何をしてるのか | DevelopersIO
Go言語プログラミングエッセンス
セキュリティ相談を受けたときに引用したい記事集(WIP) - Qiita
2024年1月1日からAmazonアフィリンクの画像が表示できなくなりそうなので、対応をまとめた
Time on Unix
ReactのカスタムHooksをカジュアルに使ってコードの見通しを良くしよう
ほとんどのCPUからリモートで暗号化キーを奪取できる攻撃手法「Hertzbleed Attack」が発表される
When TCP sockets refuse to die — Idea of the day
How to find cause of high kernel_task cpu usage?
How They Bypass YouTube Video Download Throttling
Real-world CSS vs. CSS-in-JS performance comparison
Introducing Concurrent Mode (Experimental) – React
サーバーレス コンテナ Cloud Run に待望の新機能 Always on CPU が登場しました
When TCP sockets refuse to die
Using WebAssembly threads from C, C++ and Rust
SpeedVitals - Website Speed Test & Monitoring
Google DeepMindが「動画にピッタリな音楽を生成するAI」を発表
DBLog: A Generic Change-Data-Capture Framework
Browser-level image lazy loading for the web | Articles | web.dev
JavaScript performance beyond bundle size
Core Web Vitals workflows with Google tools | Articles | web.dev
Thermal testing Raspberry Pi 4 - Raspberry Pi
Boto3 に追加されたリトライ処理モードを利用する - Qiita