Introducing maximum concurrency of AWS Lambda functions when using Amazon SQS as an event source | Amazon Web Services
AWS Compute Blog Introducing maximum concurrency of AWS Lambda functions when using Amazon SQS as an event source This blog post is written by Solutions Architects John Lee and Jeetendra Vaidya. AWS Lambda now provides a way to control the maximum number of concurrent functions invoked by Amazon SQS as an event source. You can use this feature to control the concurrency of Lambda functions process
Intel MacBook Pro のサーマルスロットリングの状況を Mackerel で見てみる - Qiita
これは Mackerel Advent Calendar 2021 の16日目の記事です。 Mackerel チームでアプリケーションエンジニアをやっている inommm です。 この記事では Intel MacBook Pro がサーマルスロットリングしている状況を Mackerel へ投稿し可視化した様子を紹介します。 サーマルスロットリングとは 昨今の CPU は動作周波数を動的に調整できるようになっています。 過度な発熱を防ぎ、システムを守るために動作周波数を落とすことを、サーマルスロットリング (Thermal Throttling) と呼ぶようです。 先日の @tatsuru さんの 記事 によると M1 チップはあまり発熱しないとのことですが、手元の Intel な MacBook Pro ではどの程度サーマルスロットリングが発生しているのかふと気になったので確認してみること
What's New In DevTools (Chrome 84) | Blog | Chrome for Developers
Fix site issues with the new Issues tab The new Issues tab in the Drawer aims to help reduce the notification fatigue and clutter of the Console. Currently, the Console is the central place for website developers, libraries, frameworks, and Chrome itself to log messages, warnings, and errors. The Issues tab presents warnings from the browser in a structured, aggregated, and actionable way, links t
Flutter Performance Optimization Techniques - Aglowid IT Solutions
Quick Summary: Flutter Performance Optimization is critical for every application, influenced by several factors. In most cases, the Flutter application’s performance is sufficient, and you won’t need to optimize it unless you run into a problem. However, many people have concerns and queries about improving the performance of a Flutter application. Flutter, as previously stated, already performs
KubernetesでPodを配置するNodeを分散させる - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
SREの高木です。 Amazon Elastic Kubernetes Service(以下EKS)において、Node障害に備えてPodの分散配置を実現しました。 本記事でその事例をご紹介します。 背景 TL;DR 環境 Podの分散配置を実現するために使用する機能 Pod Topology Spread Constraints Descheduler Descheduler利用時の注意事項 PodDisruptionBudget (PDB) 検証 1. Podを起動したとき、Pod Topology Spread Constraintsの戦略に従ってPodが別々のNodeに配置されるか？ ここまでのまとめ 2. Podの配置状態がPod Topology Spread Constraintsを満たさなくなったとき、DeschedulerによってPod Topology Spread Co
経緯：ひょんなきっかけで TOTP の実装機会があった。RFC 文書からは 0→1 でコード実装した経験ないので、せっかくなので RFC だけ見て Rust で実装する事にした。 概要：OATH や 2FA で使われている、TOTP(Time-based One-Time Password)アルゴリズムの概念と実装をメモ。RFC6238準拠。 単語： TOTP: 2011 年に HOTP の拡張として誕生。RFC6238 準拠。「ユーザー＆サーバー間で共有されてる秘密 token、時間情報」をもとに OTP を生成する。HOTP と違って時間情報をもとにするからブルートフォースに対する防御力は強い。勿論キーロガーなどされたら即死。またオンラインと通信しながら時刻を調整できる正確なクロックが内蔵されていれば問題ないが、そうでないサーバーの場合もありえるので、RFC では許容幅について言及して
Lichee Console 4A RISC-V devkit testing - Part 2: benchmarks and features in Debian 12 - CNX Software
Lichee Console 4A RISC-V devkit testing – Part 2: benchmarks and features in Debian 12 When checking out the hardware of the Lichee Console 4A portable RISC-V development terminal in the first part of the review, I noted that I had some troubles with the display that did not work properly. I did a little massage to “fix” the display, but unsurprisingly it ended up not being a long-term solution. S
Build a serverless event-driven workflow with AWS Glue and Amazon EventBridge | Amazon Web Services
AWS Big Data Blog Build a serverless event-driven workflow with AWS Glue and Amazon EventBridge Customers are adopting event-driven-architectures to improve the agility and resiliency of their applications. As a result, data engineers are increasingly looking for simple-to-use yet powerful and feature-rich data processing tools to build pipelines that enrich data, move data in and out of their dat
AWS News Blog Welcome to AWS Storage Day 2020 Our first-ever Storage Day in November 2019 (Welcome to AWS Storage Day) was a big success. We were able to take a multitude of significant announcements related to AWS Storage services and summarize them in a single post, with longer and more detailed posts as needed. Today, we are doing it again, so welcome to AWS Storage Day 2020! If you use Amazon
ハローWeb高速化シリーズはご無沙汰となりました。今回は"何を以って高速化したといえばいいのか？"という話をします。 率直に、Page Speed Insightsに対してこんな思いがありました。 80点以上合格点とされているが、無理では？ 速くなっているはずなのにスコアに現れなくてつらい Core Web Vitalsの登場で「とにかくはやく"表示する"」よりも「はやくストレスなく"触れられる"」ことの重要性が増してきた Page Speed Insights、もしかしたらあまり見なくてもいいのでは？説を抱き、AutoReserveでのパフォーマンス改善を通してこの説は正しいかもしれないと実感した筆者が、"Web高速化 パフォーマンス改善においてはPage Speed Insightsを見ない方が幸せになれる"という主張を以って話を進めていきます。 Next.jsにリニューアルしました
Using Amazon CloudFront with AWS Lambda as origin to accelerate your web applications | Amazon Web Services
Networking & Content Delivery Using Amazon CloudFront with AWS Lambda as origin to accelerate your web applications In this blog, you will learn how to use the Lambda Function URL feature to define a AWS Lambda Function as origin for Amazon CloudFront. Lambda Function URL capability provides a dedicated HTTPS endpoint for your Lambda function deployed in an AWS Region. Function URLs are a great fi
第752回ではStarFiveのRISC-Vボードである「VisionFive 2」について紹介し、初期ファームウェアのアップグレード方法と、StarFiveが提供するDebianイメージをインストールする方法を紹介しました。今回はこれをUbuntu化してみましょう。 VisionFive 2のカーネルサポート状況 UbuntuはまだVisionFive 2をサポートしていません。これは主にカーネル側の対応をどうするか見極めているという状況です。たとえばVisionFive 2向けのカーネルのパッチやDTB等がすでにLinuxカーネルの新しいバージョンのリポジトリに取り込まれているようなら、修正内容にもよるものの、Ubuntuでそれを採用するのはそこまで難しい話ではありません。また、開発中のブランチで取り込まれているものを暫定的に取り込むということもあります。 ただし、3月頭時点では、Ub
8.x ルーティング Laravel
基本的なルーティングBasic Routing もっとも基本的なLaravelルートはURIとクロージャを引数に取り、複雑なルーティング設定ファイルなしでもルートと動作を定義できる、非常にシンプルで表現力豊かなメソッドを提供しています。The most basic Laravel routes accept a URI and a closure, providing a very simple and expressive method of defining routes and behavior without complicated routing configuration files: use Illuminate\Support\Facades\Route; Route::get('/greeting', function () { return 'Hello World';
いずれも提供されてからしばらく経ちますが、組み合わせてみるとややこしいことになったので整理してみます。 IAM 認証を使用した Amazon RDS および Aurora PostgreSQL データベースアクセスの保護 | Amazon Web Services ブログ Amazon RDS Proxy を使用したアプリケーションの可用性の向上 | Amazon Web Services ブログ RDS Proxy の利用用途は Lambda を想定しているようで、Lambdaに機能として持っていますし、情報も多いです。(本稿でLambda部分は触れてません) AWS LambdaでAmazon RDS Proxyを使用する | Amazon Web Services ブログ 目次 目次 認証パターン 設定パターン (※)設定について (※1) (※2) ユーザ単位での併用パターン 認証
APIスロットリングの実現方法 - kymmt
ある期間でのあるWeb APIに対するアクセス回数上限を与えたときのスロットリングについて、一例ではあるがRack::Attack (v6.3.1)で採用されているしくみについて調べた。 ここでは、ある期間において特定のクライアントからのアクセスを一定回数以下に制限することをスロットリングと呼ぶことにする*1。あるAPIにスロットリングをかけるときは、ある期間において経過した時間を計算しながら、その期間中にあるクライアントからエンドポイントに来たアクセスの回数をサーバサイドのキャッシュに記録する必要がある。 結論 スロットリングしたい期間をperiod（単位は秒）とする。 「periodで与えられる期間だけ有効なカウンタ」を作ることができれば、そのカウンタにアクセス回数を記録することで、あるクライアントから上限を超える回数のアクセスが来ているかどうか検証できる。つまりスロットリングが実現で
基礎 CPUのサーマルスロットリングとは、CPUの温度が上昇しすぎたときにクロック周波数を落として温度を下げる機能です。クロック周波数を落としてもCPUの温度が異常に達すると自動的に電源が切れます。 性能低下 サーマルスロットリングが機能しクロック周波数が落ちるとCPUが本来の性能を発揮できません。CPUに高い負荷をかけ性能を低下させたくない場合、サーマルスロットリングが起きないように十分な冷却性能が必要です。CPUはクロック周波数が高くなるほど発熱が大きくなり温度が上昇しますが、十分な冷却性能があればサーマルスロットリングが機能しません。 Thermal Monitor Thermal Monitorとは、高温で故障する恐れがあるほどCPUの温度が上昇すると自動的にクロック周波数を下げる機能です。高負荷の処理中でも機能すると強制的にクロック周波数が下がるので処理速度が遅くなります。 Th
Browsers may throttle requestAnimationFramerequestAnimationFrame (rAF) is a browser API that allows the execution of code before the next available frame on the device display. All modern JavaScript animation libraries, like Framer Motion, use this API to increment the visual properties of DOM elements, 3D models, or canvas contexts to create motion on the web. However, it isn't a guarentee that t
Chances are you might have heard of io_uring. It first appeared in Linux 5.1, back in 2019, and was advertised as the new API for asynchronous I/O. Its goal was to be an alternative to the deemed-to-be-broken-beyond-repair AIO, the “old” asynchronous I/O API. Calling io_uring just an asynchronous I/O API doesn’t do it justice, though. Underneath the API calls, io_uring is a full-blown runtime for
2017年、Appleがバッテリーの劣化した古いiPhoneのピーク性能を意図的に落としていたことが明らかとなり、「バッテリーゲート」と呼ばれる大きな問題に発展しました。Appleはこのバッテリーゲートに関してイギリスで提起された集団訴訟の阻止に動いていましたが、Appleの要求は裁判所によって却下されました。 Judgment (CPO Application) | Competition Appeal Tribunal https://www.catribunal.org.uk/judgments/14687722-mr-justin-gutmann-v-apple-inc-apple-distribution-international-limited-and-1 Mass lawsuit against Apple over iPhone batteries can go ahea
Throttling and debouncing techniques has been in use for past many years in javascript. In this post I'd like to share my knowledge on how we can use throttle and debounce functions with help of react hooks. Consider below example with two routes / and /count rendering respective components. export default function App() { return ( <BrowserRouter> <div> <nav> <ul> <li> <Link to="/">Home</Link> </l
Prediction Framework, a time saver for Data Science prediction projects- Google Developers Blog
Prediction Framework, a time saver for Data Science prediction projects Share Facebook Twitter LinkedIn Mail Posted by Álvaro Lamas, Héctor Parra, Jaime Martínez, Julia Hernández, Miguel Fernandes, Pablo Gil Acquiring high value customers using predicted Lifetime Value, taking specific actions on high propensity of churn users, generating and activating audiences based on machine learning processe
Operating Lambda: Application design – Scaling and concurrency: Part 2 | Amazon Web Services
AWS Compute Blog Operating Lambda: Application design – Scaling and concurrency: Part 2 In the Operating Lambda series, I cover important topics for developers, architects, and systems administrators who are managing AWS Lambda-based applications. This three-part series discusses application design for Lambda-based applications. Part 1 shows how to work with Service Quotas, when to request increas
Building faster, lower cost, better APIs – HTTP APIs now generally available | Amazon Web Services
AWS Compute Blog Building faster, lower cost, better APIs – HTTP APIs now generally available In July 2015, AWS announced Amazon API Gateway. This enabled developers to build secure, scalable APIs quickly in front of a variety of different types of architectures. Since then, the API Gateway team continues to build new features and services for customers. Figure 1: API Gateway feature highlights ti
What's New in DevTools (Chrome 118) | Blog | Chrome for Developers
New section for custom properties in Elements > Styles The Elements panel now supports the @property CSS at-rule. It lets you define CSS custom properties explicitly and register them in a stylesheet without running any JavaScript. To inspect your registered custom properties, in Elements > Styles, hover over the property name and see its descriptors in a tooltip. In the tooltip, click the link to
AWS IoT 再入門ブログリレー AWS IoT Device Management編 | DevelopersIO
概要 こんにちは、yoshimです。 本企画は、弊社チームIoTメンバーが初心に返ってIoTサービスについて学びなおし、解説してみようというものです。 本エントリーでは、「IoTデバイスの管理」というとても大変な仕事をサポートしてくれる「AWS IoT Device Management」について紹介します。 目次 1.はじめに 2.一括登録 3.フリートのインデックス作成と検索 4.きめの細かいログ記録 5.デバイスジョブ 6.セキュアトンネリング 7.Fleet Hub 8.まとめ 9.参照 1.はじめに IoT製品を展開するにあたり、デバイスを世の中に展開して以降もデバイスを追跡、監視、管理することは必要不可欠です。 例えば、IoTのデバイス導入や管理をするにあたっては下記の要素が求められます。 参照: AWS IoT Device Managementハンズオン デバイスの一括登録
What's New in DevTools (Chrome 111) | Blog | Chrome for Developers
Debugging HD color with the Styles pane New CSS color types and spaces are coming to the web! It is equally exciting that DevTools introduced new tools to help developers create, convert and debug High Definition color. The Styles pane now supports 12 new color spaces and 7 new gamuts as outlined in the CSS Color Level 4 specification. See High Definition CSS Color Guide for a comprehensive unders
OpenAI Assistants APIを使わずに無限にスケールする汎用AI(仮)を開発した - LIFULL Creators Blog
KEELチーム の相原です。 前回のエントリ で我々KEELチームはKubernetesベースの内製PaaSであるKEELを開発・運用する傍ら、LLMという新たなパラダイムの台頭にあわせてベクトルデータベースの提供や周辺ソフトウェアを社内向けに開発していることを紹介しました。 www.lifull.blog あれから数ヶ月が経ち、現在私達はLIFULLのグループ会社全体に向けて汎用AI(仮)を提供しています。 もともと我々KEELチームはPlatform Engineeringの一環として、Kubernetesベースの内製PaaSであるKEELのほかにコードジェネレータによる一貫したPaaS体験を中心に様々なユーティリティをコマンドラインから提供するkeelctl, KEELが提供するプラットフォームのユーザ体験を向上させるブラウザ拡張のkeelextを開発してきました。 Platform
When a React component handles bursting events like window resize, scrolling, user typing into an input, etc. — it's wise to soften the handlers of these events. Otherwise, if the handlers are invoked too often you risk making the application lagging or even unresponsive for a few seconds. In this regards, debouncing and throttling techniques can help you control the invocation of the event handle
AWS SDK for JavaScript version 3 is now generally available
The AWS SDK for JavaScript, version 3 (v3) is now generally available and includes many frequently requested features, such as a new middleware stack and a first-class TypeScript support. It also has a modular architecture, with a separate package for each service. You can improve your application performance by only importing the packages your application requires and reducing your application bu
業務外での技術力向上支援の会社の補助金で、 USB – 5Gbps Ethernet アダプタをいくつか購入し、まずはざっくり普通に繋ぐとどうなるのか試してみたのでメモ。 買ったもの Sonnet Technologies Solo10G （購入時 22,390円、キャッシュレス還元5% で 21,270円） QNAP QNA-UC5G1T （購入時 14,082円） StarTech.com USB 3.0 to 5Gbps Network Adapter （購入時11,903円） x 2 以上の4つ。Solo10G のみ Thunderbolt 接続で 10Gbps だが、他が USB 接続で 5Gbps。なので今のところ、 10Gbps で繋がる相手がいないので、今回はすべて 5Gbps として使用。 ドライバ Solo10G については 、 Windows 版のドライバをインストー
Horizontally scaling the Rails backend of Shop app with Vitess (2024) - Shopify
Horizontally scaling the Rails backend of Shop app with VitessShop app horizontally scaled a Ruby on Rails app with Vitess. This blog describes Vitess and our detailed approach for introducing Vitess to a Rails app. Good problems We experienced hockey stick growth after we launched the Shop app. We were glued to our dashboards and saw millions of users onboard onto the app. This was gratifying, bu
What's New In DevTools (Chrome 86) | Blog | Chrome for Developers
New Media panel DevTools now displays media players information in the Media panel. Prior to the new media panel in DevTools, logging and debug information about video players could be found in chrome://media-internals. The new Media panel provides an easier way to view events, logs, properties, and a timeline of frame decodes in the same browser tab as the video player itself. You can live view a
AWS事業本部木村です。 API GatewayからLambdaを呼び出す際のスロットリングに関して調べる機会があったので、まとめてみようと思います。 初めに 今回はREST APIを対象として、調査を行なっています。HTTP APIではAPIキーと使用量プランが対象外などの差分がありますので参考にされる場合はご注意ください。 利用できる機能の差分に関しては以下をご参照ください。 https://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/http-api-vs-rest.html API Gatewayで設定できるスロットリングに関して API Gatewayでは、以下の3つの観点からスロットリングの設定が可能です。 ・アカウント全体のリージョンに対するスロットリング ・APIキーと使用量プランに基づくスロットリン
Scaling SQLite to 4M QPS on a Single Server (EC2 vs Bare Metal)
Scaling SQLite to 4M QPS on a single server (EC2 vs Bare Metal) Expensify has an unusual technology stack in many ways. For example, we don't use DNS internally -- just configuration-managed /etc/hosts files -- and it works great. Similarly, we only make limited use of AWS -- instead hosting our own hardware for the web and database layer -- and it works great. But most surprising of all is tha
What's New In DevTools (Chrome 101) | Blog | Chrome for Developers
Import and export recorded user flows as a JSON file The Recorder panel now supports importing and exporting user flow recordings as a JSON file. This addition makes it easier to share user flows and can be useful for bug reporting. For example, download this JSON file. You can import it with the import button and replay the user flow. Apart from that, you can export the recording as well. After r
Improved failure recovery for Amazon EventBridge | Amazon Web Services
AWS Compute Blog Improved failure recovery for Amazon EventBridge Today we’re announcing two new capabilities for Amazon EventBridge – dead letter queues and custom retry policies. Both of these give you greater flexibility in how to handle any failures in the processing of events with EventBridge. You can easily enable them on a per target basis and configure them uniquely for each. Dead letter q
Amazon SESの送信制限を超えた際のエラーメッセージと、挙動を確認したかったので簡単な検証しました。 結論 24時間以内の送信制限数を超過するとDaily message quota exceededエラーが返される。 秒間の最大送信レートを超過するとMaximum sending rate exceededエラーが返される。 SESのCloudWatchメトリクスに送信制限数の項目はない。SESのダッシュボードか、AWS CLI、SDKで確認できる。 送信制限に引っかからないかモニタリングしたい場合、自前でカスタムメトリクスを取得する必要がある。 Errors related to the sending quotas for your Amazon SES account - Amazon Simple Email Service 送信制限の確認 アカウントダッシュボードから送信
Wow! This took off. If you’d like to subscribe for more updates use the RSS feed or follow me on Twitter @singhkays Black. Magic. Fuckery. These are the words used by the user holdagold on reddit to describe their experience with the new Apple Silicon M1 Macbook Air. Rarely does a product leave people effusing to the extent Apple Silicon M1 has done this week. At best, you get the people who reall
We’re running Haskell in production. We’ve told that story before. We are also running Haskell in production on Kubernetes, but we never talked about that. It was a long journey and it wasn’t all roses, so we’re going to share what we went through. TL;DRConfigure Haskell RTS settings: Match -N⟨x⟩ to your limits.cpuMatch -M⟨size⟩ to your limits.memoryYou can set them between +RTS ... -RTS arguments
The days of counting bits and clock ticks are history. CPU and memory may be cheap, but not enough to waste them — especially since it would be at our users’ expense. In this blog post, I’ll explain how we run our services in Kubernetes and manage their resources, how to make the most of them and what to look out for. Cover image by Jeremy Waterhouse at pexels.comKubernetes resourcesWhen we deploy
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RustでTOTP(Time-based One-Time Password)を、RFCだけ見て原理原則から実装する
Welcome to AWS Storage Day 2020 | Amazon Web Services
Web高速化3 Page Speed Insightsを見ないという選択肢 - Hello Tech
第753回 VisionFive 2でriscv64なUbuntuを動かす | gihyo.jp
AWS RDS の IAM 認証と RDS Proxy
CPUのサーマルスロットリングとは？ - パソコンの選び方と買い方
Browsers may throttle requestAnimationFrame
Missing Manuals - io_uring worker pool
AppleがiPhoneの性能を意図的に落としていた「バッテリーゲート」に関する巨額の集団訴訟の阻止に失敗
Using Throttling and Debouncing with React hooks
How to Debounce and Throttle Callbacks in React
USB – 5Gbps Ethernet アダプタを買ってきた | にろきのメモ帳
Amazon API Gatewayのスロットリングについて調査してみた | DevelopersIO
Amazon SES 送信制限数を超えたときのエラーメッセージ | DevelopersIO
Apple Silicon M1: Black. Magic. Fuckery.
Tuning Haskell RTS for Kubernetes, Part 1
How we choked our Kubernetes NodeJS services