はじめに こんにちは。WEARバックエンド部SREブロックの春日です。普段はWEARというサービスのSREとして開発・運用に携わっています。本記事では、約60％のコスト削減に成功したNATゲートウェイの通信内容の調査方法と通信量の削減方法についてご紹介します。 目次 はじめに 目次 背景 コストの把握 NATゲートウェイの通信内容の把握 CloudWatchメトリクスでの確認 VPCフローログでの確認 リゾルバーでのクエリログでの確認 調査結果をもとにNATゲートウェイ経由での通信量を削減する AWSサービスとの通信 Datadogとの通信 WEARのAPIとの通信 ECRパブリックリポジトリとの通信 結果 まとめ 背景 ZOZOではより効果的な成長を目指してコストの最適化を進めています。コストの増大はサービスの拡大を鈍化させる原因となるため、常に最適な状態に保つことが必要です。WEARで
regreSSHion: Remote Unauthenticated Code Execution Vulnerability in OpenSSH server | Qualys Security Blog
The Qualys Threat Research Unit (TRU) has discovered a Remote Unauthenticated Code Execution (RCE) vulnerability in OpenSSH’s server (sshd) in glibc-based Linux systems. CVE assigned to this vulnerability is CVE-2024-6387. The vulnerability, which is a signal handler race condition in OpenSSH’s server (sshd), allows unauthenticated remote code execution (RCE) as root on glibc-based Linux systems;
こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 golangでずっと課題に思っていたエラーの処理について試行錯誤してみました。 イオンモール センソックシティは、カンボジアにある商業施設。本文には関係ありません。 エラー処理のベストプラクティスは？ ぼくがかんがえるエラー処理の要件 検討したパッケージ 構造化ログ パッケージの検討 pkg/errors cockroachdb/errors goark/errs go-errors/errors go-errors/errors がよさそう? pkg/errors や cockroachdb/errors は使えないのか ラップして使う errors.WithStack(err) と呼びたい slogで使う errors.Join() に対応したい まとめ We are hiring! エラー処理のベス
AWS 上で大規模な GitHub Actions のセルフホステッドランナーを使用する際のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS 上で大規模な GitHub Actions のセルフホステッドランナーを使用する際のベストプラクティス 注記: お客様は自身の GitHub ランナーを管理する必要がなくなりました。AWS CodeBuild を使用すると、管理された GitHub Actions セルフホストランナーを利用できるようになり、強力なセキュリティ境界と低い起動レイテンシーを備えた一時的でスケーラブルなランナー環境を提供します。CodeBuild を使えば、独自のインフラストラクチャを維持したり、スケーリングロジックを構築する必要がありません。すべてが CodeBuild によって完全に管理されます。開始するには、単に Webhook を作成して、CodeBuild で GitHub Actions ジョブを自動的にトリガーするだけです。 概要 GitHu
AIデバイス「Rabbit R1」をジェイルブレイクしたところ「ユーザーの位置情報を勝手に送信」「オープンソースのライセンス違反」などが次々発覚
AIデバイス「Rabbit R1」には基本システムソフトウェアとして「RabbitOS」が搭載されています。そんなRabbitOSをジェイルブレイクしたところ、位置情報やWi-Fiネットワーク名などをストレージのテキストファイルに保存していたことが、ソフトウェアエンジニアのデヴィッド・ブキャナン氏によって報告されています。 Jailbreaking RabbitOS: Uncovering Secret Logs, and GPL Violations | Blog https://www.da.vidbuchanan.co.uk/blog/r1-jailbreak.html 技術系スタートアップのRabbitが開発したAIデバイス「Rabbit R1」は話しかけるだけで音楽を再生したり食事を注文したりできるAIアシスタントデバイスとして期待されていましたが、実態は既製APIを用いてAnd
AWSでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編1） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAWS編の記事になります。 以下の構築編の記事でElastic Cloudを構築し、Security設定／認証設定を実施しました。 acro-engineer.hatenablog.com 本記事ではElastic Cloudを運用するにあたり、必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ はじめに 以下本記事ではElastic Cloud(Elasticsearch
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まった、AWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第8弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridge、AWS KMS、Amazon SQSについて書きました)。 今回は2014年11月にアナウンスされたサーバーレスでフルマネージドなコード実行サービスを提供するAWS Lambdaについて歴史年表を作成してみました。 今年2024年11月にはAWS Lambdaがアナウンスから10周年を迎えるということで、かなり早めではありますが前祝いという意味も含めて、この記事を書きました。 今回もAWS Lambdaの誕生から機能追
The New Internet
WireGuard is a registered trademark of Jason A. Donenfeld. Avery Pennarun is the CEO and co-founder of Tailscale. A version of this post was originally presented at a company all-hands. We don’t talk a lot in public about the big vision for Tailscale, why we’re really here. Usually I prefer to focus on what exists right now, and what we’re going to do in the next few months. The future can be dist
AzureでElasticsearch(Elastic Cloud)を使う時のポイント 2024年版（運用編１） - Taste of Tech Topics
こんにちは、Elastic認定資格３種(※)を保持しているノムラです。 ※Elastic社の公式認定資格（Elastic Certified Engineer / Elastic Certified Analyst / Elastic Certified Observability Engineer） こちらはAzure編の記事になります。 AzureでElasticsearch(Elastic Cloud)を使う時のポイントの記事一覧は以下です。 ①構築編 acro-engineer.hatenablog.com ②運用編2 ＜運用編２ 近日公開予定!!＞ 本記事では運用編1として、Elastic Cloudを運用するにあたり必要な各種設定を実施する手順を紹介します。 はじめに 1. Monitoring設定（Metric／Logs） 2. Snapshot設定 3. 監視設定 まとめ
JPCERT/CCでは、2019年ごろから継続してマルウェアLODEINFOやNOOPDOOR（2022年ごろから使用）を使用する攻撃グループMirrorFace（Earth Kashaとも呼ばれる）の活動を確認しています。この攻撃グループのターゲットは、当初はマスコミや政治団体、シンクタンク、大学などでしたが、2023年からは製造業や研究機関などを狙うようになりました。また、ネットワーク内部に侵入する方法として、当初は標的型攻撃メールを使用してターゲット組織に侵入する特徴がありましたが、2023年ごろから外部公開資産の脆弱性を悪用してネットワーク内に侵入するパターンも並行して使用するようになりました。図1に、MirrorFaceの攻撃活動の変遷を示します。 図1：攻撃グループMirrorFaceの攻撃活動タイムライン （JPCERT/CCへの報告や他のベンダーから公開されているレポート[
SREチームの前多です。以前、Google Cloudが提供するサービスメッシュのAnthos Service Meshの入門記事を書きました。 caddi.tech この記事のまとめで私は、Istio (Anthos Service MeshのベースのOSS) を詳しく知るには、envoyのことをもっと知る必要があると書きました。 そしてサービスメッシュで何かエラーが起きているとき、それはサービスメッシュ自体ではなく インフラやアプリケーションのバグや設定ミスがサービスメッシュによってあぶり出されるということも述べました。 先日、サービスメッシュ上でPod間のgRPC通信が特定条件で失敗し、サイドカーがない場合のみ通信が成功するという事象が起きていました。 gRPCのライブラリのアップデートやIssueの調査しましたが、原因がわからずサイドカーを外すしかないかと思っていました。 最終手段
jQuery Attack Hits NPM and GitHub; Can Extract Web Form Data
jQuery Attack Hits NPM and GitHub; Can Extract Web Form Data The trojanized jQuery attack has been spread on npm, GitHub and elsewhere since May. A trojanized version of jQuery has been spreading on the npm JavaScript package manager, GitHub and elsewhere, for use in a jQuery attack, security researchers have discovered. Phylum researchers said they have been monitoring the “persistent supply chai
Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – | Amazon Web Services
Amazon Web Services ブログ Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – システムやサービスを提供する上で、障害はつきものです。障害を迅速に分析し対処することがユーザビリティやサービス信頼性を向上し、結果顧客満足度につながります。一方で近年システムは複雑さを増しており、障害特定が従来に比べて難しくなっています。したがって障害分析の効率化や高度化が重要になっています。 従来の手動による障害分析では、膨大なログデータの中から問題の根本原因を特定するのに多大な時間と労力を要し、ダウンタイムの長期化やサービス品質の低下につながる可能性がありました。そこで注目されているのが、人工知能 (AI) や機械学習 (ML) を活用した障害分析です。 AI/ML による高度な分析技術を用いることで、障害の早期発見、迅速な原因特定、さ
A Git story: Not so fun this time | Brachiosoft Blog
Linus Torvalds once wrote in a book that he created Linux just for fun, but it ended up sparking a revolution. Git, his second major creation, also an accidental revolution. It’s now a standard tool for software engineers, but its origin story wasn’t so much fun this time, at least for Linus. Linus doesn’t scale 1998 was a big year for Linux. Major companies like Sun, IBM, and Oracle started getti
Competitiveness is a vice of mine. When I heard that a friend got Linux to boot off of NFS, I had to one-up her. I had to prove that I could create something harder, something better, faster, stronger. Like all good projects, this began with an Idea. My mind reached out and grabbed wispy tendrils from the æther, forcing the disparate concepts to coalesce. The Mass gained weight in my hands, and a
Since May 26, 2024, Phylum has been monitoring a persistent supply chain attacker involving a trojanized version of jQuery. We initially discovered the malicious variant on npm, where we saw the compromised version published in dozens of packages over a month. After investigating, we found instances of the trojanized jQuery on other platforms, such as GitHub, and even as a CDN-hosted resource on j
By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a general-purpose, horizontally scalable workflow orchestrator designed to manage large-scale
Google Drive+GAS+スプシによるミニマルなデータパイプライン【東京都知事候補 #安野たかひろ #AIあんの @takahiroanno 】｜banbiossa
AIあんのについてこんにちは、チームあんの技術班の志水です。 安野チームではみなさんのマニフェストに対する疑問に24時間答えれるよう、AIあんのを運用しています。AIあんのとはYoutube Live上で安野の3Dアバターがチャットに来た質問を拾い、回答してくれるサービスです。 ログの集計私がチームに参入したタイミングでは、課題の1つとしてAIあんの Youtube Liveに来ていた質問に答えられていた数を数えてKPIとしたい、というものがありました。 7/6(土)までしか運用しない期間限定のプロジェクトということもあり、なるべく素早くかつ軽量にログを整形・集計・可視化するデータパイプラインを作るモチベーションがありました。 その結果Google Drive へのログの集約、Google Apps Script (以下 GAS) を用いたログの cleaning 、GAS + Googl
Using S3 as a container registry a.k.a. Waiter, there's a whale in my bucket! 03 Jul, 2024 For the last four months I’ve been developing a custom container image builder, collaborating with Outerbounds1. The technical details of the builder itself might be the topic of a future article, but there’s something surprising I wanted to share already: you can use S3 as a container registry! You heard it
This post could’ve been titled “Nostr vs ATProto”, but that really isn’t what I wanted to do here. While I will be comparing and contrasting them a lot, and that’s kind of even the point of writing this, I didn’t want to really pit the two against each other at all, and especially not with the title. I also want to try avoiding commenting on the differences between the communities that have formed
Over the past few months, I have been thinking a lot about workflows to automatically and dynamically improve LLM applications using production data. This stems from our research on validating data quality in LLM pipelines and applications—which is starting to be productionized in both vertical AI applications and LLMOps companies. (I am always very thankful to the teams in industry who find my wo
こんにちは。ダイの大冒険ガチ勢のbun913と申します。 今回は、SlackとAWSの Lambda + Bedrock を利用して自分用のAI Chatを作成してみました。 画像引用: https://dev.classmethod.jp/articles/amazon-bedrock-slack-chat-bot-part2/ なお、上記画像も含めて、今回の構成はこちらの記事Amazon BedrockとSlackで生成AIチャットボットアプリを作る (その2：Lambda＋API Gatewayで動かす) | DevelopersIOを参考にさせていただきました。非常にわかりやすい記事で、その1の記事と重複するところも含めて丁寧に解説されている神記事です。筆者の方の丁寧さが伝わってきます。 今回の記事は技術的な構成は上記記事と同様ですが、環境をAWS CDK で作成していますので、興
SSE-KMSで暗号化したS3に対して、ファイルアップロードする際に必要な権限について整理する - NRIネットコムBlog
本記事は AWSアワード記念！夏のアドベントカレンダー 12日目の記事です。 🎆🏆 11日目 ▶▶ 本記事 ▶▶ 13日目 🏆🎆 はじめに こんにちは、西本です。AWSアワード記念！夏のアドベントカレンダー 12日目を担当させていただきます。 2024 Japan AWS All Certifications Engineersに選出 昨年に引き続き、「2024 Japan AWS All Certifications Engineers」に選出いただきました。受賞者数も激増、試験も新しいものが増えてきていますが、引き続き頑張っていきたいと思います。 今回のテーマ AWS Key Management Service(以降、KMS)は使われていますでしょうか？多くのシステムで利用しているサービスかと思います。 例えば、「Amazon S3の暗号化に使用している」、「AWS Syst
GitHub - explainers-by-googlers/prompt-api: A proposal for a web API for prompting browser-provided language models
This proposal is an early design sketch by the Chrome built-in AI team to describe the problem below and solicit feedback on the proposed solution. It has not been approved to ship in Chrome. Browsers and operating systems are increasingly expected to gain access to a language model. (Example, example.) Language models are known for their versatility. With enough creative prompting, they can help
Snowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする #ベッテク月間 - LayerX エンジニアブログ
こんにちは。バクラク事業部 機械学習・データ部 データグループの@civitaspoです。みなさんは「人生で一番美味しいと思ったキムチ」に出会ったことはありますか？キムチって美味しいですが、あまり強い感情は抱かないですよね。ところが先日、近所のスーパーの駐車場の端っこに、謎のプレハブ小屋があるのを発見しました。興味本位で中を覗いてみると、そこはキムチ屋でした。そのキムチ屋が販売する自家製キムチは絶品で、私にとって「人生で一番美味しいと思ったキムチ」でした。みなさんも「人生で一番美味しいと思ったキムチ」を探してみてください。 さて、先週に引き続き、Snowflakeに関する記事を書こうと思います。先週は『Don’t Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介しました
Supply chain threats are growing. Most concerningly, it seems more and more like we’re dealing with nation level threats taking over small unmaintained open source projects. Once again, I’ve got to start by talking about Tidelift being the only company focusing on the real problem here - helping companies treat maintainers like the contractors/vendors they are. If maintainers had any financial ben
CDKでリソースを作成するとき、様々なプログラミングのパターンを利用できます。 それぞれの方式にどのようなメリット・デメリットがあるかまとめました。 CDK利用前にどのパターンを用いるか、検討の材料にしてください。 目次 べた書きする 共通の設定をまとめる ループを利用する ラッパーを利用する 4.1. ラッパー関数を利用する 4.2. ラッパークラスを利用する 4.3. ラッパーコンストラクトを利用する クラスの分割戦略 5.1. サービス単位でクラスを分割 5.2. 機能単位でクラスを分割 Configファイルへの設定値外出し戦略 6.1. 現在の環境差分のみ外出し 6.2. 将来環境ごとに変わる可能性がある値も外出し 6.3. リソース名も外だしする 6.4. 定数はすべて外出し 6.5. 外出しは行わず、環境ごとに別のコードを利用する 1. べた書きする L1ConstructやL
Working with large datasets in Node.js applications can be a double-edged sword. The ability to handle massive amounts of data is extremely handy, but can also lead to performance bottlenecks and memory exhaustion. Traditionally, developers tackled this challenge by reading the entire dataset into memory at once. This approach, while intuitive for smaller datasets, becomes inefficient and resource
Jailbreaking RabbitOS: Uncovering Secret Logs, and GPL Violations | Blog
Welcome to my ::'########::'##::::::::'#######:::'######::: :: ##.... ##: ##:::::::'##.... ##:'##... ##:: :: ##:::: ##: ##::::::: ##:::: ##: ##:::..::: :: ########:: ##::::::: ##:::: ##: ##::'####: :: ##.... ##: ##::::::: ##:::: ##: ##::: ##:: :: ##:::: ##: ##::::::: ##:::: ##: ##::: ##:: :: ########:: ########:. #######::. ######::: ::........:::........:::.......::::......:::: CTF writeups, prog
はじめに AWS WAFのログ出力先として、以下の3つの選択肢があります。それぞれのメリット、デメリット、およびユースケースは以下の通りです。 Amazon CloudWatch Logs 主なユースケース リアルタイムでのログ監視やアラート設定が必要な場合 短期間のログデータの保存と分析が主な目的の場合 ログの中身を迅速に確認したい場合 考慮点 コスト: 大量のログデータを長期間保存すると、S3バケットに比べてコストがかさみます。 Amazon S3 主なユースケース データアーカイブ用など、長期間のログデータ保存が必要な場合 コストを抑えたい場合 データレイクとして利用したい場合 考慮点 分析の手間: ログデータを分析するためには、Amazon Athenaなどの別サービスが必要です。 リアルタイム性の欠如: リアルタイムでのログ監視やアラート設定には向いていません。 WAFのログは、
AWS CloudFormationを使用してAmazon Lexのバージョンを作成した際の挙動を確認してみた | DevelopersIO
はじめに AWSドキュメントには、AWS CloudFormationを使用したAmazon Lexのバージョン管理に関する詳細な記載がなく、その挙動をイメージすることが難しかったです。そこで今回は、CloudFormationを使用してLexのバージョンを作成する際の挙動を実際に確認してみました。 Amazon Lexのバージョンとエイリアスについての詳細は、以下のリンクをご参照ください。 挙動を確認するため、以下のCloudFormationテンプレートを使用してLexボットを作成します。 このボットは、Amazon Connectから呼び出され、特定の製品カテゴリーを聞き取る機能を持っています。 また、音声をS3バケットに保存し、Lexでの文字起こし内容をCloudWatch Logsにログとして記録します。 バージョンは作成せず、エイリアスは作成するテンプレートです。 AWSTem
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた | DevelopersIO
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた Amazon CloudWatch Application SignalsがGAしました！Application Signalsを試しに使うための環境をCDKで作り、実際にSLO/SLIを設定してみます。 はじめに 先日AWS上でSLO/SLI設定を比較的簡単に実現できるAmazon CloudWatch Application SignalsがGAしました！GA前からAWS上ではAPMがどう実現可能なのか、何が違うのかという記事はいくつかありました。 本稿ではApplication Signalsの簡単な概要と提供環境/言語/リージョンについての紹介に合わせて、実際にサンプルを作ってどんな動作をするのか確認してみます。実際に0から構築することで何が必要なの
![[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
Understanding Amazon Aurora MySQL storage space utilization | Amazon Web Services
AWS Database Blog Understanding Amazon Aurora MySQL storage space utilization Amazon Aurora is a fully managed relational database service designed to provide the performance, scalability, and availability of high-end commercial databases while offering the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL-Compatible Edition is wire-compatible with MySQL making it an
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NATゲートウェイの通信内容を調査して対策し、コストを約60％削減した話 - ZOZO TECH BLOG
goのエラーをスタックトレースも含めて構造化ログで残したい - エムスリーテックブログ
攻撃グループMirrorFaceの攻撃活動 - JPCERT/CC Eyes
Istioのenvoyサイドカーをデバッグする - CADDi Tech Blog
Booting Linux off of Google Drive
Persistent npm Campaign Shipping Trojanized jQuery
Maestro: Netflix’s Workflow Orchestrator
Using S3 as a container registry
Nostr and ATProto - Shreyan Jain
Data Flywheels for LLM Applications
入社3週間で同僚からアニメ作品のオススメを捌ききれなくなったので審議用Botを作ってみました
Understanding the Polyfill Attack (Polykill)
CDKプログラミングのパターン - Qiita
Reading and writing Node.js streams
AWS WAFのログ出力先をS3バケットにした場合、リージョン集約が可能です | DevelopersIO