こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った
ドキュメントファイルの解析と変換に特化したオープンソースツール「docling」を試してみた | DevelopersIO
AWS事業本部コンサルティング部の石川です。最近、文書ファイルの解析と変換に特化した オープンソースツール「docling」 が注目を集めています。このツールは、最先端のAIモデルを活用して、ドキュメントの構造を理解し、様々な形式に変換することができます。今回、実際にdoclingを使用して日本語のドキュメントファイルからMarkdownファイルとJSONファイルへ変換を試してみます。 doclingとは doclingは、ドキュメントの変換と解析に特化したオープンソースのPythonパッケージです。最先端の人工知能モデルを活用し、レイアウト解析にDocLayNetモデル、表構造認識にTableFormerモデルを使用しています。一般的なハードウェアで効率的に動作し、少ないリソースで高性能を発揮します。JSONやMarkdown形式への変換が可能で、拡張性も高く、新機能やモデルの追加が容易
Intel，デスクトップPC向け新CPU「Core Ultra 200S」を発表。前世代でバカ高かった消費電力を大幅に減らす
Intel，デスクトップPC向け新CPU「Core Ultra 200S」を発表。前世代でバカ高かった消費電力を大幅に減らす ライター：米田 聡 2024年10月11日，Intelは，新世代のデスクトップPC向けCPU「Core Ultra 200S」シリーズ（開発コードネーム Arrow Lake-S）を発表した。 これまでIntelは，ノートPC向けに開発コードネーム「Meteor Lake」こと，「Core Ultra 100」シリーズで，「Foveros」と称する3Dパッケージング技術を使用して複数のシリコンチップを組み合わせたプロセッサを提供してきた。しかしデスクトップPC向けCPUは，現行世代の第14世代Coreプロセッサまで，モノリシック（単一のシリコンチップ）構成を続けてきた。新しいCore Ultra 200Sシリーズは，デスクトップPC向けとして初めて，3Dパッケージン
Platform Team/Repro Core Unit の村上です。 Repro では Kafka を基盤としたストリーム処理のアプリケーションを構築する際に、Kafka Streams を積極的に活用しています。 Kafka Streams は、フォールトトレラントなステートフル処理を簡潔に実装でき、データパイプラインを Topology という表現で抽象化することで、複雑な処理でも管理しやすい形で組み立てていくことが可能です。 また、Apache Kafka 以外の外部依存がないことや Streams DSL によるシンプルな記述でストリーム処理を実装できることなども、ストリーム処理のアプリケーションをスムーズに構築する上で助かっています。 一方で、 なにかしらの問題が発生したときのトラブルシューティングや影響範囲調査の際には、Kafka Streams の内部処理を把握していない
10,000リクエストを166msで送信する、Race Conditionの新手法のリサーチについて - Flatt Security Blog
※本記事は筆者RyotaKが英語で執筆した記事を、弊社セキュリティエンジニアShion1305が日本語に翻訳したものになります。 はじめに こんにちは、Flatt SecurityでセキュリティエンジニアをしているRyotaK(@ryotkak)です。 2023年にPortSwigger社のJames Kettle氏は、同社の記事でSingle-packet attackという新しい攻撃手法を提案しました。これはネットワークのジッター値に関係なくレースコンディションを悪用できるというものです。 Smashing the state machine: the true potential of web race conditionsより引用 最近私は、同時に約10,000件のリクエストを送信することで安定して成立するレースコンディションを発見し、Single-packet attackを適用
エアギャップとは、特定のネットワークやコンピューターをインターネットなどから物理的に切り離してセキュリティを高める方法の1つです。主に投票システムや電力をコントロールする産業用制御システムなど、機密性の高いシステムがエアギャップによって保護されています。このエアギャップを突破して政府機関を攻撃するハッカーグループ「GoldenJackal」が用いるツールセットについて、セキュリティ企業のESETが報告しました。 Mind the (air) gap: GoldenJackal gooses government guardrails https://www.welivesecurity.com/en/eset-research/mind-air-gap-goldenjackal-gooses-government-guardrails/ GoldenJackalは少なくとも2019年から活
Prisma Postgres®: Building a Modern PostgreSQL Service Using Unikernels & MicroVMs
October 29, 2024 Prisma Postgres®: Building a Modern PostgreSQL Service Using Unikernels & MicroVMs At Prisma, we believe that deploying a database should be as simple as adding a new page in Notion. Today, we are excited to share the first milestone towards this vision: Prisma Postgres® gives developers an always-on database with pay-as-you-go pricing — thanks to our unique architecture design. T
Achieve a high-speed InnoDB purge on Amazon RDS for MySQL and Amazon Aurora MySQL | Amazon Web Services
AWS Database Blog Achieve a high-speed InnoDB purge on Amazon RDS for MySQL and Amazon Aurora MySQL Purge is a housekeeping operation in a MySQL database. The InnoDB storage engine relies on it to clean up undo logs and delete-marked table records that are no longer needed for multiversion concurrency control (MVCC) or rollback operations. While our applications pursue a database design that aims
Endorse the Open Source AI Definition: have your organization appended to the list of supporters of version 1.0 version 1.0 See FAQs See list of endorsements Endorse the OSAID Preamble Why we need Open Source Artificial Intelligence (AI) Open Source has demonstrated that massive benefits accrue to everyone after removing the barriers to learning, using, sharing and improving software systems. Thes
How Shopify improved consumer search intent with real-time ML | Google Cloud Blog
In the dynamic landscape of commerce, Shopify merchants rely on our platform's ability to seamlessly and reliably deliver highly relevant products to potential customers. Therefore, a rich and intuitive search experience is an essential part of our offering. Over the past year, Shopify has been integrating AI-powered search capabilities into our merchants’ storefronts. Shopify Storefront Search ha
ISRG has been investing heavily in the Rustls TLS library over the past few years. Our goal is to create a library that is both memory safe and a leader in performance. Back in January of this year we published a post about the start of our performance journey. We've come a long way since then and we're excited to share an update on Rustls performance today. What is Rustls?Rustls is a memory safe
前回[4]、同一アプリケーションをGo、Rust、C言語(+ Python)で実装し、各言語による実装効率と速度を評価しました。今回は、その経験をもとにRustの効率的な学習方法と導入についての見解をまとめてみます。 Rustの学習方法 Rustは生産性を実感するまでに学習期間が必要な言語とされています[5]。初期学習段階での離脱者が50%以上にのぼり、その多くが1ヶ月以内に挫折しているという統計[6]もあるため、まずは、効果的な初期学習が特に重要です。 STEP1: 学習準備期の克服 Rustコンパイラには(解決方法が明示されない)難解な解釈も多々あります[11]が、まずはRustコンパイラのエラー内容を理解し、対話できるまでの基礎力を身につけましょう。 Rustは初級者向けの書籍や資料は溢れている[5]ものの、実践的な中級以上を対象とした資料に乏しい状況[5]は、なかなか改善されていま
Learn how Vercel cut build times and improved developer velocity while maintaining a smooth user experience with microfrontends. Vercel's main website, once a single large Next.js application, serves both our website visitors and logged-in dashboard. But, as Vercel grew, this setup revealed opportunities for improvement. Build times grew, dependency management became more intricate, and workflows
React Native 0.76 with the New Architecture by default is now available on npm! In the 0.76 release blog post, we shared a list of significant changes included in this version. In this post, we provide an overview of the New Architecture and how it shapes the future of React Native. The New Architecture adds full support for modern React features, including Suspense, Transitions, automatic batchin
Combining Machine Learning and Homomorphic Encryption in the Apple Ecosystem
Combining Machine Learning and Homomorphic Encryption in the Apple Ecosystem At Apple, we believe privacy is a fundamental human right. Our work to protect user privacy is informed by a set of privacy principles, and one of those principles is to prioritize using on-device processing. By performing computations locally on a user’s device, we help minimize the amount of data that is shared with App
Table of Contents Highlights Handling of Filenames in Shell Modern C Limits & Cooperation Makefiles Logging Internationalization Minor Changes Changes Index In the 1950s, computers did not really interoperate. ARPANET has not yet happened (that would become a thing in the 60s), and every operating system was typically tied to the hardware that was meant to run on. Most communication actually happe
Difyを安全にバージョンアップできるようにする - Taste of Tech Topics
はじめに こんにちは。10月も半ばを過ぎ、秋らしい空気が広がっていますね。 紅葉が見頃になるのが待ち遠しいです。 AWSエンジニアの小林です。 さて今回は、生成AIアプリの開発プラットフォームとして注目を集めている「 Dify」を扱っていきます。 Difyには、Dify自体が提供するSaaSとは別に、Dockerを利用してセルフホストできる Community Edition があります。 本記事では、Community EditionでDify構築を行っていきます。 docker-compose.yamlを使用してアプリケーションをデプロイする際、デフォルトでデータベースもコンテナとして構築し、管理しています。 これは試験的な開発にはとても便利ですが、アップデートの運用などを考えるとコンテナの停止や削除によるデータ損失リスクなど課題が出てきます。 そこで、安全にDifyをアップデートする
Xᴇɴᴏɴ
Xenon is the best way to represent information: Native support for arrays. Native support for a graph structure, elements may have multiple parents. Native support for types used in serializing program data. Unambiguous choice of data structure. Readable multiple line indented text. Terse, efficient to write by hand. Can be implemented to be blazingly fast or using a mode-less tokenizer. The xenon
Lingo: A Go micro language framework for building Domain Specific Languages
Lingo: A Go micro language framework for building Domain Specific Languages Design, build and integrate your own Domain Specific Language with Lingo. Domain Specific Languages (DSL) are small, focused languages with a narrow domain of applicability. DSLs are tailored towards their target domain so that domain experts can formalize ideas based on their knowledge and background. This makes DSLs powe
PCをインターネットから物理的に完全隔離する「エアギャップ」。それをも突破する新たなサイバー攻撃手法が発見された。エアギャップ突破のためにハッカーらが狙っているものとは。 サイバー攻撃への対策手法の一つに「インターネットネットに接続しない対策」、いわゆる「エアギャップ」がある。インターネットにもローカルネットワークにも接続しない、完全にPCをネットワークから隔離するという対策だ。 インターネットにつながってないならサイバー攻撃に遭わないと思いきや、エアギャップを突破する新たな攻撃手口が発見された。ハッカーらは、便利だからつい使ってしまうアレを狙っているという。企業は要警戒な新たな攻撃手法とは？ セキュリティ対策にエアギャップを採用するのは、サイバー攻撃を受けることが許されない重要なシステムを運用する組織であることがほとんだ。具体的には、国家機密や軍事機密を扱う政府機関のシステム、発電所やダ
前回紹介したように、Linux（リナックス）ディストリビューションの1つである「OpenWrt（オープンダブルアールティー）」を使えばルーターを手軽に自作できる。ただし一般的なLinuxディストリビューションとは少々導入方法が異なる。どのような手順になるのかを示そう。 ハードウエアは2つ用意した。米Intel（インテル）のCPU（Central Processing Unit：中央演算処理装置）「N100」を搭載した小型パソコン（ミニPC）と、Raspberry Pi（ラズベリーパイ）である。前者はルーター用にするため、LAN（Local Area Network）ポートが2基あるものにした。 OpenWrtは市販の無線LAN（Wi-Fi、ワイファイ）ルーターに組み込むものも用意されているため、ダウンロードすべきファイルにたどり着くまでの階層が深い（図3）。「Downloads」ページから
Top 10 Microservices Design Patterns you should know
Earlier I presented one useful design pattern to migrate to a monolithic application to microservices. This pattern is the Strangler Fig pattern and the article can be found here. Here some other specific microservices design patterns will be presented. What is a Microservice?As a reminder and before going into details on the design patterns, let’s review what is a microservice, and the challenges
Snapdragon 8 Elite登場：Qualcommが世界最速モバイルCPUで次世代スマホ革命を加速 - イノベトピア
Last Updated on 2024-10-22 07:28 by admin 2024年10月21日、米国カリフォルニア州サンディエゴに本社を置くQualcomm社は、同社の年次イベント「Snapdragon Summit」で、最新のフラッグシップモバイルチップ「Snapdragon 8 Elite」を発表した。 Snapdragon 8 Eliteは、以下の特徴を持つ： 世界最速のモバイルCPUを搭載し、最大クロック速度は4.32GHz。 TSMCの3nmプロセスで製造。 カスタムOryon CPUアーキテクチャを採用し、性能が45%以上向上、電力効率が44%以上改善。 AnTuTuベンチマークスコアが300万点を超える。 最大320MPのカメラと8K解像度60fpsのHDR動画録画をサポート。 オンデバイスの大規模言語モデル（LLM）、大規模マルチモーダルモデル（LMM）、大規模
Unsafe Rust Is Harder Than C
Or: The Most Expensive Linked List I’ve Ever Written Some of you already know the contents of this post, especially if you’ve written embedded or unsafe code in Rust. But I didn’t, so I thought it was useful to write down my experience as accurately as I can. Without further ado… Last year, I wrote Photohash, software to help me index my NAS and find duplicate photos with rotation-independent hash
By Rajiv Shringi, Vinay Chella, Kaidan Fullerton, Oleksii Tkachuk, Joey Lynch IntroductionAs Netflix continues to expand and diversify into various sectors like Video on Demand and Gaming, the ability to ingest and store vast amounts of temporal data — often reaching petabytes — with millisecond access latency has become increasingly vital. In previous blog posts, we introduced the Key-Value Data
❯ askrepo --prompt "What is the purpose of this code?" --model "gemini-1.5-flash" ./src This code, primarily found in `src/main.rs`, is designed to **extract information from source code files and provide answers to questions about them using a Google AI model**. It leverages the `google_api` module (`src/google_api.rs`) to interact with the Google Generative Language API. Here's a breakdown of it
The nuances of base64 encoding strings in JavaScript Stay organized with collections Save and categorize content based on your preferences. base64 encoding and decoding is a common form of transforming binary content to be represented as web-safe text. It's used commonly for data URLs, such as inline images. What happens when you apply base64 encoding and decoding to strings in JavaScript? This po
こどもと一緒に歩いていると、まったく前に進まない。 すぐに立ち止まってしゃがんでは何か拾ったり葉っぱをむしったり。「早く公園に行こう」「約束に遅れちゃうよ」と言ってみたところで、急いでくれるわけもなく。目的地には一体いつ着くんだろう……と気が遠くなってしまう。だんだんイライラしてきて「ほら、早く！」と急（せ）かしてしまった経験があるママパパも多いのではないでしょうか？ 以前、こどもの視点ラボの研究を文化祭で自作してくれた上田女子短期大学・関ゼミの学生さんたちは「大人とこどもの歩幅は違う。だから合わせてあげないと」という思いから、自分たちで「こどもの歩幅体験」を考案。編んだ毛糸で両足をつなぎ歩幅を狭くするそのコンテンツを、ラボメンバーの石田文子が体験させてもらいました（こどもの視点ラボNo.8）。 「もっと早く歩いてー！」と日頃思ってしまっていたけれど、もしかしてこどもは頑張って早く歩いてい
They’re out! Like many of you, I look forward to these coming out each year. I don’t put much stock in surveys but they can be insightful and give a snapshot of the CSS zeitgeist. There are a few little nuggets in this year’s results that I find interesting. But before I get there, you’ll want to also check out what others have already written about it. Josh Comeau digested his takeaways in a rece
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに こんにちは！3D業界を一時期追放されていたが、不死鳥またはゴキブリのように復活して3D業界に返り咲いた堕天使Takumi3 depth（です） 。Takumi-san@3Dcamera とある３Dカメラのアジア地域営業担当として約5年間働いていたのですが、その会社を解雇されてしまったので今は色々なカメラを趣味＆仕事で遊んでる。（一応、Orbbec社の手伝いをしているけど、お金貰えるかはよく分からん、少なくともカメラはくれたからいいか） 今回は今熱い深セン企業のOrrbec社のステレオカメラ Gemini 335Lについてレビュ
Under the microscope: Ecco the Dolphin — Defender of the Future
In this edition: Ecco the Dolphin: Defender of the Future has some previously unrecognized cheat features that activate based on what you name your save file. Using Ghidra and Python, I reverse-engineered the encoding scheme to reveal the special names. One of them has been known for ages, but I found the rest! They unlock features like “immortality” and debug display. Yes, we’re doing a Dreamcast
Q3 earnings call: CEO’s remarks
Hello everyone. Q3 was another great quarter. The momentum across the company is extraordinary, as you have seen in recent product launches, and as you will hear on the call today. Our commitment to innovation, as well as our long term focus and investment in AI, are paying off and driving success for the company and for our customers. We are uniquely positioned to lead in the era of AI because of
IntelとAMDが「x86 Ecosystem Advisory Group」を旗揚げ パートナーと共にx86ベースのエコシステム普及／拡大を推進
IntelとAMDは10月16日、x86アーキテクチャベースのコンピューティングエコシステムの普及／拡大を目的とする任意団体「x86 Ecosystem Advisory Group」を立ち上げたことを発表した。創設メンバーには両社の他、Epic Gamesのティム・スウィーニーCEO、Linuxの生みの親であるライナス・トーバルズ氏と、両社の主要なパートナー企業が名を連ねている。 CPUのアーキテクチャの1つである「x86アーキテクチャ」は、1978年にIntelが開発したCPU「8086」にルーツを求めることができる。クライアントPCはもちろん、サーバやデータセンターでもx86アーキテクチャのCPUは現在も広く使われており、昨今では「Core Ultra 200Vプロセッサ」「Core Ultra 200Sプロセッサ」や「Ryzen AI 300プロセッサ」のように推論演算に特化したN
Last Updated on 2024-10-11 07:58 by admin AMDが新世代AIチップを発表：Ryzen AI、EPYC、Instinctで次世代AI時代を牽引 AMDは2024年10月8日、サンフランシスコで開催されたイベントにおいて、AI機能を搭載した新しいチップを発表しました。主な発表内容は以下の通りです: 1. 第3世代Ryzen AI PRO 300シリーズプロセッサ – 前世代比3倍のAI性能 – 最大50+ TOPS(1秒あたり兆回の演算)のAI処理能力 – 最大23時間のバッテリー寿命 2. AMD Instinct MI325X AIアクセラレータ – 256GBのHBM3Eメモリを搭載 – NVIDIAのH200と比較して1.8倍のメモリ容量、1.3倍のメモリ帯域幅 3. 第5世代AMD EPYCプロセッサ – 最大192コア – 競合製品と比較し
Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio | Amazon Web Services
AWS Big Data Blog Migrate from Amazon Kinesis Data Analytics for SQL to Amazon Managed Service for Apache Flink and Amazon Managed Service for Apache Flink Studio Amazon Kinesis Data Analytics for SQL is a data stream processing engine that helps you run your own SQL code against streaming sources to perform time series analytics, feed real-time dashboards, and create real-time metrics. AWS has ma
こんにちは！Tomoです。 この記事では、私が手掛けたメタバースプロジェクト「おれ展」における個展の経験や、制作過程をお伝えします。メタバースという新たなプラットフォームで個展を開くにあたり、どのようなステップを踏んだのか、技術的な側面や工夫した点について詳しく解説します。 これからメタバースで個展を開催しようと考えている方や、ワールド制作に興味のある方にとって、少しでもお役に立てる情報を提供できれば幸いです。メタバース技術を活用した展示や、個展ワールドの作り方に興味がある方は、ぜひ最後までご覧ください。 おれ展とは？ おれ展とは、2024 年10月8日（火）～2024年10月15日（火）に開催していた、Tomoの初メタバース個展です。 メタバースギャラリーならではの24時間いつでもアクセスできるメタバース空間でした。 会場はCluster（メタバースプラットフォーム）上のワールドギャラリ
Last Updated on 2024-10-17 13:40 by admin NVIDIAは2024年6月2日、台北で開催されたCOMPUTEX技術会議に先立ち、新しいAIチップアーキテクチャ「Rubin」を発表した。CEOのJensen Huang氏は、AIチップの新モデルを1年サイクルでリリースする方針を示した。 Rubinプラットフォームには、新しいGPUと「Vera」と呼ばれる中央プロセッサが搭載される。Rubinは2026年、Rubin Ultraは2027年に投入される予定だ。 NVIDIAは2024年3月に発表したBlackwellプラットフォームについても、2025年にBlackwell Ultraとして改良版を投入する計画を明らかにした。 さらに、NVIDIAはRTX AI PCの概念を発表し、Microsoftとの協業でWindows Copilot Runtim
research@physicalintelligence.companyKevin Black, Noah Brown, Danny Driess, Michael Equi, Adnan Esmail, Chelsea Finn, Nick Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Kay Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Shi, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky We are living through an AI revolution
We're Hiring Engineers! Join us in building the future of engineering at Recall.ai. Apply Now IPC is something that is rarely top-of-mind when it comes to optimising cloud costs. But it turns out that if you IPC 1TB of video per second on AWS it can result in enormous bills when done inefficiently. Join us in this deep dive where we unexpectedly discover how using WebSockets over loopback was ulti
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単 - road288の日記
Kafka Streams はレコードをどのように処理しているのか - Repro Tech Blog
インターネットと隔離されたPCからUSBドライブ経由でデータを盗むハッカー集団「GoldenJackal」の手口とは？
The Open Source AI Definition – 1.0
Rustls Outperforms OpenSSL and BoringSSL
Rust導入ガイド - 効率的な学習方法から導入まで
How Vercel adopted microfrontends - Vercel
New Architecture is here · React Native
What’s New in POSIX 2024 – XCU
ハッカーが次に狙うのはアレ エアギャップさえ無効化する新たな攻撃とは：801st Lap
ちょっと癖のあるLinux、「OpenWrt」でルーターをつくる
Introducing Netflix’s TimeSeries Data Abstraction Layer
GitHub - laiso/askrepo: Source code reading with LLM.
The nuances of base64 encoding strings in JavaScript | Articles | web.dev
【こどもの視点ラボ】2歳になってみたら、大人と一緒に歩くのは「無理ゲー」だった | ウェブ電通報
State Of CSS 2024 Results | CSS-Tricks
ステレオカメラ業界を追放されし者のカメラレビュー（Gemini 335L） - Qiita
AMD新製品発表：Ryzen AI、EPYC、Instinctで次世代AI時代を牽引 - イノベトピア
「おれ展」のメタバース制作過程！個展の開き方/作り方
AIチップ革命：NVIDIAが「Rubin」で描く未来 – HBM4採用と8ソケット構成の実力 - イノベトピア
Our First Generalist Policy
How WebSockets cost us $1M on our AWS bill