1Password Connect Kubernetes Operator GitHub: https://github.com/1Password/onepassword-operator 1Password上に保存されているアイテムをKubernetes上のSecretリソースに同期してくれるオペレーターです。Secretリソースはその特性上GitHubに直接あげることが難しく、IaCを実現するために様々なアプローチが取られていますが1Password Connect Kubernetes Operatorもその1つです。感覚としてはexternal-secretsなどに近く、外部のCredential Storeの情報を取得しKubernetes上にSecretリソースを作成してくれるものです。 1Password公式のOrganization下で開発されています。比較的最近開発が始
秒間数十万クエリをさばく機械学習モデルを継続的に再学習し稼働させる | CA BASE CAMP 2021
サイバーエージェントの社内エンジニアカンファレンス「CA BASE CAMP 2021」で発表した資料です。
Dataflowが解決するストリーミング処理の課題と基盤を作る上で考慮すべき点をいくつか資料を参考に備忘録もかねて整理してみました。 ストリーミング処理の概要 ストリーミング処理とは バッチ処理との違い ストリーミング処理の課題 データ量と変動性 遅延データの扱い 異なるプログラミングモデル Dataflowでどのように解決すのか オートスケール 遅延データの制御 プログラミングモデルの統一 遅延データの制御 (機能詳細) ウィンドウとは 固定ウィンドウ スライディングウィンドウ セッションウィンドウ ウォーターマークとは トリガーとは アキュミュレーションとは 破棄モード 累積モード 累積 ＆ 後退モード Dataflowでストリーミング処理の基盤作成で考慮すること 何を計算するか？(ETL) イベント時間のどこを対象にするか？(ウィンドウ) 処理時間のどの時点を対象にするか？(ウォータ
TechFeed Experts Night 2022-06-07 登壇資料 Toshiaki Baba Twitter: @netmarkjp 株式会社X-Tech 5 取締役CTO https://x-tech5.co.jp/ 株式会社iCARE技術顧問（インフラ） https://dev.icare.jpn.com/tech_adv/
Presto Infrastructure at Lyft
OverviewEarly in 2017 we started exploring Presto for OLAP use cases and we realized the potential of this amazing query engine. It started as an adhoc querying tool for data engineers and analysts to run SQL in a faster way to prototype their queries, when compared to Apache Hive. A lot of internal dashboards were powered by AWS-Redshift back then and it had data storage and compute coupled toget
Vegetaライブラリを使ってGoでちょっとこだわった負荷試験シナリオを作る - RareJob Tech Blog
こんにちは！プラットフォームチームの池田です。2回目の投稿になります。 元々ハンバーガーが好きで社内でもそれで自分を売り出していたのですが、つい最近とんでもない対抗馬と出会ってしまいました。そう、バインミーです(今更?)。 時代と文化が生んだ奇跡。私はハマってしまいました。ﾊﾞｲﾝﾐｰﾀﾍﾞﾀｲ 閑話休題、直近で負荷試験を実施する機会があり、それに関するトピックを紹介します。 はじめに 私が所属するチーム(プラットフォームチーム)ではGo言語をメインに開発していることもあり、負荷試験においてもGoでカスタマイズできるツールを探していました。特に気になったのがGo言語で開発されているOSSのVegetaのライブラリでの利用方法でして、今回試してみました。 Vegetaライブラリを使った動的なテストシナリオの方法を紹介した記事はあまり見受けられず、ベストな選択肢では無いと承知しながらも、この記
皆さん初めまして、セキュリティ部の池添です。 仕事何やってるの？と聞かれるとつい面倒くさくなり、なんかセキュリティ色々と答えてしまうようなポジションやってます。 本記事では、Amazon EKS（以下EKS）の監査ログ周りがちょっとイケてないなーと思い、色々調べた結果を共有させて頂こうと思います。 はじめに 何がイケていないと思ったのかと言いますと、EKSのドキュメントを参考に設定を行うと、IAM Role利用時においてはEKSコントロールプレーンの監査ログのユーザ識別性が弱すぎる、と。 どういうことかと言いますと、弊社のAWSアカウントはIdP連携によるSSO化がされており、ログインをするとIdPから渡された情報を元にIAM Roleへのマッピングが行われます。ログイン後はAssumeRoleされた状態になるため、IAM RoleとEKSコントロールプレーン間でロールマッピングを行い利用
この記事は Qiita: Kubernetes Advent Calendar 2020 の 11 日目の記事です。 当初は PipeCD Operator を実装してみたことを記事にしようと考えてたのですが、その前に PipeCD 自体の話をするべきだと思い当記事を書きました (なので Kubernetes 成分は少なめです)。 PipeCD Operator の実装については別途記事を書く予定です。 → 書きました 導入 最近話題になった CD ツールである PipeCD について軽く検証してみたところ良いなと感じたため記事を書きます。 まず自分がどの程度事前知識を持った上で PipeCD の検証をしたか、参考程度に晒しておきます。 Spinnaker をお仕事で利用している Provider は Kubernetes V2 リリースは Git Tag 運用 デプロイ戦略は Argo
You can now use AWS Secrets Manager to pass credentials to AWS CodeBuild build jobs. This can be achieved by specifying the secrets directly in your buildspec or as an environment variable in your CodeBuild Project. Secrets Manager helps you protect secrets needed to access your applications, services, and IT resources. With Secrets Manager, you can rotate, manage, and retrieve database credential
Artillery は yaml ファイルに宣言的にシナリオを記述し、シンプルなインタフェースで負荷をかけることができる Nodejs 製の負荷テストツールです。 本記事では Artillery を使用して簡単に WebSocket サーバの負荷テストを実行する方法を紹介します。 最小構成の WebSocket サーバ まずはじめに WebSocket サーバを実装しましょう。今回は Node.js を使用します。 必要最小限の機能だけを提供します。ws ライブラリを使用して簡単に実装しましょう。 const WebSocket = require("ws"); const wss = new WebSocket.Server({ port: 3000 }, () => { console.log("server is now listening localhost:3000"); });
LTで使ったAWS App Runnerのスライドです
2015年頃のWeb開発者がやりがちだった、DockerをVMと同じように使うのは便利だけど辞めたほうが良いという話 - inductor's blog
Dockerが普及し始めて、Docker Composeによって開発環境が簡単につくれるようになった2015年頃から、DockerはVagrantの置き換えツールとして使われることが増えてきました。 Vagrantを使うことでサーバープロビジョニングのときに発生する初期構築を全てスクリプト化し、プロジェクトメンバーの開発環境構築のコストを削減することができますし、設定がGitに残るのでメンテナンスも比較的容易です。そのため、自分の認識ではVagrantの一番の特徴はVMのパッケージングにあると思っています。 一方、Dockerはアプリケーションを動かす環境を配布するための仕組みとして普及しました。どちらもベースのイメージから必要な処理を流す点は同じですが、DockerとVagrantでは開発者が利用する上では体験の面で見ても以下のような違いがあると思います。 Vagrantは仮想マシンをV
そんな想いを込めてこの特集記事を書きました。 自分が担当したところ バックエンドとデータベースの2つの章を担当しました。 バックエンドもデータベースもトラブルはISUCON9を題材にWebアプリケーションのトラブル、特にパフォーマンスチューニングについて話を書いています。 この本に書いてあることは明日から使える実践的な内容になったと感じています。 これはISUCONの問題がとても実践的で現場に即した内容だからこそ。 だからISUCONを題材にすることを快諾していただいた @941 さん @catatsuy さんは感謝しています。 本当にありがとうございます！！！ この本を読めば予選抜け出来るとは言わないけど何も出来なかった！ってことは無いんじゃないかなといえるくらいのHowは書いたつもりです。 これをきっかけに是非、ISUCON9の予選問題もチャレンジしてみてください。 isucon.ne
[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO
2024/4/10にGAになったTerraformのVersion1.8にて、Providerが関数を定義できるようになりました。各Providerの開発者はそのProvider固有の問題解決に特化した関数を作成できるようになりました。 本エントリでは新関数たちを触ってみてレポートします。 Providerって？ Terraformをあまりご存じない方向けに説明すると、ProviderはTerraformのプラグインです。実はTerraform単体ではAWSのリソースなどをプロビジョニングすることはできません。AWSリソースをプロビジョニングしたい場合はAWS provider、Google Cloudのリソースをプロビジョニングしたい場合はGoogle Cloud providerなどといったように、対応するproviderと組み合わせてTerraformを使うことではじめてリソースをプ
![[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
MySQLが刺さった時にざっと見るためのメモ
TL;DR mysqldが 本当に 刺さって動作を停止している時のためのメモです。重いだけの時に使うものじゃない。 ざっと見る方法であって、解決方法じゃない。 まずは慌てず騒がずエラーログを見る。クラッシュしてるログが出てるならそれはそれでOK。mysqld_safe とか systemd を使っている場合、 mysqld が自動再起動されているかも知れない。クラッシュリカバリーの真っ最中はプロセスが浮いていても接続できないので、クラッシュリカバリー中だったら見守る。
OktaとAWSサービスのシングルサインオン連携をするため、Okta Starter Developer Editionを登録してみた | DevelopersIO
OktaとAWSサービスのシングルサインオン連携をするため、Okta Starter Developer Editionを登録してみた はじめに AWSサービスのうち、以下のサービスでは、ユーザー認証のシングルサインオン (SAML 2.0 ベースのフェデレーション認証)に対応しています。 AWS IAM Identity Center Amazon WorkSpaces Amazon AppStream 2.0 AWS Client VPN OktaとAWSのシングルサインオンを試したいと思った時、Okta Starter Developer Editionが無料で利用できることを知りました。 Okta Starter Developer Editionとは、Oktaの認証、認可、ユーザー管理の機能をアプリに組み込む開発者向けに無料で提供されています。 一部制限がありますが、Oktaの機
LAPRAS株式会社でSREをしております yktakaha4 と申します 🐧 今回は、仕事のひとつとして1年くらい取り組んでいたEKSクラスタのバージョンアップの運用改善について一息つけたので、振り返りを兼ねて備忘録を遺したいと思います ✍ 先にお断りしておくと、この記事で話すのは 運用ノウハウが{ほぼ無い,失われてしまった}EKSクラスタに対して、手順改善やリファクタリングを通じて継続的なバージョンアップ運用を再開する方法 というあまり胸を張れない内容です ネットの記事やカンファレンスを見ていると、大規模環境や高トラフィック下における取り組みや、初期構築の段階で充分な運用設計を済ませている素晴らしい事例などが目に留まります 一方で、過去に選定したk8sを破棄して元の技術スタックに戻す意思決定をしたプロジェクトについて見かけることもあります 各社においても様々なコンテキストがあるものと
ArgoCDバージョンアップを安全かつ迅速に行うための取り組み - freee Developers Hub
概要 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) 上にほとんどのアプリケーションが載っており、EKSへのデプロイ基盤としてはOSSの ArgoCD を利用しています。 ArgoCDから各クラスタにデプロイを行うため、非常に中央集権的なアーキテクチャとなっています。そのため、ArgoCDのバージョンアップは安全かつ迅速に行う必要があります。 本記事では、ArgoCDのバージョンアップの際に行っている取り組みをいくつか紹介します。 かなりマニアックですが、イントロダクションとまとめだけでも読んでいただければ幸いです。 イントロダクション 2023/04からfreeeでPlatform Deliveryチームに所属している gussan です。 Platform DeliveryチームはCI/CD全般のPla
こんにちは。セーフィー株式会社 バックエンドエンジニアの村田 (@naofumimurata)です。 この記事はセーフィー株式会社 Advent Calendar 2022 の12月15日の記事です！ 本記事ではセーフィーにおけるdriftctlというツールを活用したIaC化推進に向けた取り組みについてご紹介したいと思います。 セーフィーのインフラ環境と課題 driftctlとは driftctlの使い方 準備 スキャンの実行 出力形式の変更 .driftignoreファイルによるスキャン対象からの除外 GitHub Actions による定期実行 ワークフローの解説 取り組みの結果 driftctlを使ってみて 良い点 カバレッジが出せる 「何をコード管理しないか」をコード管理できる 気をつける必要がある点 リソースが多い環境だとrate limit 超過のエラーで失敗する まとめ セー
Cisco Advent Calendar 2019 第24日目！ 1. はじめに 2019年も早くも年末となりました。Cisco有志で綴るAdvent Calendarも今年は3回目。私はこの、年末恒例行事になったわくわくするAdvent Calendarに、わくわくする(?!)システム理論的なことを書くことにしています。過去二回のエントリーもぜひご覧いただけたら嬉しいです。 2017年 ネットワーク・エンジニアリングから学ぶこと − システム理論の見地から 2018年 システム理論の続き - 生命モデルの限界と克服 2. システム理論って何？ 「わくわくするシステム理論」などと言いながら、そういえば「システム理論とは何か」についてきちんと記述していませんでした。Wikipediaによる「システム理論」解説 によると「現象のマクロな挙動を直接的にモデル化して扱う科学理論のこと」と書かれて
こんにちは！ Magic Momentでテックリードをしている Miyake です。 弊社が開発するセールスエンゲージメントプラットフォームである Magic Moment Playbook では営業活動にかかせないツールとの連携を多数を行っており、私が所属するData IntegrationチームではSalesforceなどのCRMツールを中心とした外部連携機能の開発をしています。 ただいまエンタープライズ企業のお客様が続々と増えており、取り扱うデータ規模が増大中です。それに応じて負荷対策や取り込み速度の性能改善などといったパフォーマンス改善に注力しておりまして、その過程で Cloud Profiler を利用したパフォーマンス改善の取り組みを行ったので、その内容をシェアしたいと思います。 Cloud Profiler とは Google Cloudマネージドなプロファイリングツールです
ちょっと前にこんなニュースがありました。 www.publickey1.jp 公式はこの辺かな? dapr.io github.com Microsoft が OSS で、しかも golang で作ったという異色のライブラリです。 また最近は envoy を使ったサービスメッシュについて色々と調べていたこともあり、似たような問題を解決するものであるといこともあり、興味を持ちました。 サンプルやコンセプトページを見ているとなんとなく雰囲気がつかめてきます。 github.com github.com Isito のように、各サービスにサイドカーとして起動するDapr インスタンスとサイドカーインスタンスを管理するDaprサーバーから構成されている。 サイドカー経由でサービスにアクセスすることでアドレス解決を任せたり、プロトコル変換ができる。 例えば、HTTPしかないサービスをgRPC経由で呼
Deep Learning で音楽を作成するにはどうしたらいいの ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、AWS で機械学習ソリューションアーキテクトをしている卜部 (うらべ) です。皆さま、突然ですが良い音楽ライフを送っていますか !? 私は音楽を聴くのも演奏するのも大好きです ! ちなみに今はラモーンズ※ を聞きながらこの記事を書いています。最近は在宅ワークも多いですが、打ち合わせの合間に好きな音楽をかけて一人ヘッドバンギング※ をすると力が湧いて「全部私にまかせとけ !!!」という強い気持ちになれます。あくまで気持ちだけですが。。 近頃はいわゆる「巣ごもり需要」で楽器や DTM※ 関連の売り上げが増えたという話を聞きます。スマホやタブレットのアプリも充実しており、家で手軽に楽器演奏や作曲の機会が増えたのは非常に喜ばしいですよね。一方で、仲間と音を合わせたりライブや発表会で演奏したりする機会が減ってしまい寂しく感じています。仕方がないので、カラオケ音源やルーパー※ に合わせて一
こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログの4種類存在します。 管理アクティビティ監査ログ ユーザーが VM インスタンスを作成したときや IAM権限を変更したときに記録されるログで、いわゆる一般的な監査ログです。デフォルト有効で、無効にできません。 データアクセス監査ログ BigQueryやCloud Storageなど、データ
【インターンレポート】LINEのプライベートクラウドのLBaaSで提供されるL4ロードバランサのUDP対応
はじめに こんにちは。 早稲田大学基幹理工学研究科情報理工・情報通信専攻 修士1年の清水 嶺(@_iy4)と申します。8/17~9/25の6週間、LINEのVerda室ネットワーク開発チームという所でインターンをさせていただきました。インターンでは、VerdaのL4ロードバランサをUDPに対応させるというタスクに取り組んだので、その成果をご紹介したいと思います。 VerdaのLBaaSについて LINEにおける多くのサービスは、自社のデータセンタ上に構築しているVerdaと呼ばれるプライベートクラウド上で運用されています。Verdaは様々な機能を提供していますが、その中には自社で開発しているLBaaSが含まれています。LBaaSでは TCP終端を行わないL4ロードバランサ TCP終端を行うL7ロードバランサ の二つを提供しており、L4ロードバランサは実際にパケットの処理を行うデータプレーン
安いRDBといえばPlanetScaleのHobbyプランだったり、D1だったり、古き良きVPSでセルフマネージなんて選択肢もあるが、GCPで完結すると嬉しいだとかホストマシンの面倒を見たく無いだとか、そういう場合もあると思う。 なお今回の構成で本当に激安になるかどうか無料枠で収まるかどうか、などはインスタンス設定やワークロード次第の部分もあるので試算したり予算アラートを設定した方がいい。 また個人でのホビー用途など、データが欠損してもごめんごめんで許される用途での利用に留めておいた方が無難だとは思う。ごめんごめんで許されない場合にはCloud SQLとかへ移行するなり、最初からCloud SQLとかを採用するなりしたほうがいい。 完成品のサンプルコード これはeslint設定やらローカル環境向けのdocker-compose.ymlやらも一式入った、開発環境スターターキットになっている。
NVIDIAのGPUリソース分割技術
こんにちは、NTT研究所の山口です。 前回の記事でA100のMIGについて触れていますが、MIGを活用する際のモチベーションとして、1つのGPU上で効率的に複数プロセスを実行したり、複数ユーザで利用できるようにしたいという目的が挙げられるかと思います。本記事では1つのGPUリソースを効率的に利用するための技術として、Multi Process Service(MPS), Virtual GPU(vGPU), Multi Instance GPU(MIG)という三つのNVIDIA社の技術についてまとめます。 MPS: GPU上で並列処理を効率的に行うことができるvGPU: GPUを仮想化してVMに対してリソースを割り当てることが可能。分割されたGPUは、VM内で個々にGPUとして認識可能であるため複数ユーザに対して提供しやすいMIG: 最新のアーキテクチャであるAmpereでしか利用できない
パフォーマンス定点観測会の取り組み
エウレカでは「パフォーマンス定点観測会」と称してバックエンドエンジニアとSREが週次でメトリクスを確認し,システムの品質観測と改善を行っています. この会を2年間ほど継続する中で,溜まってきた知見を紹介します. https://sre-lounge.connpass.com/event/151290/
今回開発するWebシステムの利用ユーザ数が意外と多いことが分かったので、久々にWebシステムの負荷試験（ストレステスト）をやってみます。 Webシステムの性能テストといえば、昔からApacheのJMeterが有名で私もよくお世話になりました。 JMeterってなに？ JMeterというのはWebシステムをテストするツールの一つです。 JMeterは、人がブラウザを使ってWebサイトを表示したり、Webシステムに使ったりする部分を自動化できるツールです。 人間では操作できないような速さでリクエストを送ることができるので、多人数が一気にシステムを利用する状況を擬似的に作ることができ、高負荷時でもシステムがきちんと動作するのか確認することができます。 Webシステム開発などでは、性能試験フェーズでこのようなツールを使ってアクセスが集中しても問題なくシステムが動作するかテストします。この負荷テスト
1. 概要Amazon Quantum Ledger Database（QLDB）は、「データ整合性」「完全性」「検証可能性」が不可欠なSoR（System of Record）アプリケーションに相性の良い台帳管理専用データベースです。弊社が取り組んでいるブロックチェーン文脈においても、上記の３要素については金融文脈だけではなく、物流やサプライチェーンにおけるトレーサビリティにおいて重要であると考えています。 図1. QLDB概要図2. QLDBとブロックチェーンの違い上記の３要素を満たすような分散台帳を選ぶ際に、ethereum, Hyperledger Fabric, Corda, miyabiといったブロックチェーンを利用することが真っ先に考えられますが、その中でどのような特徴やユースケースがあるのかを検討しています。 QLDBの特徴としては下記が挙げられます。QLDBは分散台帳でも
terraform plan 結果の検証を自動化するぞ！ with Conftest / Testing terraform plan with Conftest
下記LT会にて発表した資料です。 自動化大好きエンジニアLT会 - vol.5 - connpass https://rakus.connpass.com/event/224448/ スライド内リンク一覧 --- 8ページ - Conftest https://www.conftest.dev/ - Open Policy Agent https://www.openpolicyagent.org/ 12ページ - hashicorp/terraform-json https://github.com/hashicorp/terraform-json 20ページ - Flatten nested JSON using jq https://stackoverflow.com/questions/37540717/flatten-nested-json-using-jq/37555908#3
こんにちはCX事業本部のさかじです。 Developers.IO CAFE、先日オープンしたDevelopers.IO CAFE 上越店では多くのRaspberry Piを使用しています。まとめて操作したいと思っていたところ以下の記事がありました。 Amazon EC2 Systems ManagerがRaspbian OSに対応したのでRaspberry Piにインストールしてみた アップデートがあり若干内容が変わっていたので、改めて手順をまとめました。 環境 MacBook Pro(macOS Mojave 10.14.6) Raspberry Pi 3 Model B+ Raspberry Piの準備 A guide to setting up your Raspberry Piに従い準備します Installing operating system imagesに従いSDカードへイ
はじめに この記事はterraform Advent Calendar 2019の4日目です。 Terraformのstateを分割すると享受できるメリットがある一方、stateを分割することで発生する課題もあります。そこで、Terraformのstateを分割管理する中で考慮したことをまとめます。 stateを分割する影響 メリット plan/applyが高速化する 各ステートの命名がシンプルになる（thisを使った命名がしやすい） 例えばresource "aws_security_group" "this" {} デメリット 管理するファイルが増える 同じような設定が増える どのような単位でstateを分割するか リソースのライフサイクルごとに分割すると運用が楽です。 例えば、作成後削除することのないネットワークやデータベースと、状況により台数が増減したりリソースを入れ替えるWebサ
コストで差をつけろ！！re:Invent 2023 で発表された AWS Cost Optimization Hub を紹介！ | DevelopersIO
コストで差をつけろ！！re:Invent 2023 で発表された AWS Cost Optimization Hub を紹介！ タイトルが「コー◯ーで差をつけろ！！（◯足）」みたいなね。えっ？コーヒー？ どうも、こんにちは kaz です。 今回は re:Invent 2023 で AWS Billing and Cost Management の新機能として発表された「AWS Cost Optimization Hub」について紹介しようと思います。 コストで差をつけろ！！ってね。えっ？ はい。始めます。 AWS Cost Optimization Hub とは？ AWS Cost Optimization Hub は「コスト最適化推奨事項を一元的に管理するための集約サービス」です！（はい、名前のまんまです） AWS 上のセキュリティ事項を確認するために AWS Security Hub
「超PayPay祭」の高負荷対策――失敗からリベンジへの猶予は3カ月、ヤフーの運用チームはどう乗り切ったのか
「超PayPay祭」の高負荷対策――失敗からリベンジへの猶予は3カ月、ヤフーの運用チームはどう乗り切ったのか：特集：「惰性をやめる、慣習を疑う」こんどこそ楽になる運用管理（1） 運用管理者に光を当てるオンラインイベント「Cloud Operator Days Tokyo 2021」。「超PayPay祭」における失敗と成功についてのセッション「超PayPay祭による高負荷にショッピングはどのように立ち向かったか」から、自社製プライベートクラウドで運用するWebサービスにおける高負荷対策のポイントを探る。 通常のセール時の数倍もの利用者が殺到した2020年の「超PayPay祭＋Yahoo!ショッピング大規模セール」。準備万端で挑んだヤフーの負荷対策チームだったが、無念にもシステムダウンに追い込まれた。「来年こそは」とリベンジを誓うチームメンバー。だが、そのリベンジの機会は彼らが想定しているより
VS CodeのRemote DevelopmentでSSHアクセスすると接続先の高負荷状態が続く問題と対応 - zaki work log
年末くらいから、メインの作業用Linuxマシン(この1台のみ)にVS CodeのRemote DevelopmentでSSHアクセスすると一定時間高負荷状態が続いていたので、なんとかならないかと原因調査した結果。 なお、クライアント側のVS CodeはどのPCから接続しても、特定の接続先Linuxマシンのみで高負荷になっていたので、VS CodeをインストールしているPC側の問題ではなかった ないだろうと見当をつけて調査。 VS Code version: 1.52.1 VS CodeのRemote SSHでnodeプロセスが高負荷になる 大量のreportファイル 原因 watchの除外設定 (余談) なぜこんなにvenvがあるのか まとめ VS CodeのRemote SSHでnodeプロセスが高負荷になる Remote Development SSHでアクセスした時のtopの状態がこ
AWS IAM の結果整合性を避けるためセッションポリシーを用いてポリシーの動作確認を行う | DevelopersIO
IAM ポリシーを変更するとそれが伝播するまで待つ必要があります。IAM ポリシーはそのままにして、セッションでのみ有効なセッションポリシーを変更しながら使えばその影響を回避できます。 IAM リソース変更の即時反映を期待してはだめ コンバンハ、千葉（幸）です。 AWS IAM は結果整合性が採用されています。 *1 言い換えれば、変更が即時に反映されることは保証されていません。例えば以下の操作を行ったとします。 IAM ユーザー A に唯一アタッチされた IAM ポリシー P に、EC2 操作を許可する権限を追加する IAM ユーザー A の認証情報を利用して EC2 の操作を行う このとき無条件に 2 が成功することを期待したくなりますが、1 からの実行間隔が短いと失敗することもあります。最終的には結果整合性により「成功する」に収束しますが、数秒なり数分間なりは 1 の変更前の権限で評
Amazon SNS + AWS Chatbotを使ってコーディングなしでCodePipelineのデプロイステータスをSlackへ通知する
Amazon SNS + AWS Chatbotを使ってコーディングなしでCodePipelineのデプロイステータスをSlackへ通知する CodePipeline Notification Ruleの設定 CodepiplineのDeveloper Tools画面を開き、 「Pipepeline」→ 「Pipelines」→「Settings」をクリックします。 次に「Create notification rule」をクリックします。 そしてNotification rule作成に必要な情報を入力していきます。 Detail typeについては今回はデプロイ状況だけわかればいいのでBasicにしました。 通知のトリガーについては、各Stage(Source, Build, Deploy)実行時にState(Started, Succeeded, Failed) の通知が来ればいいので
Vertex AI AutoML で作成した機械学習モデルを Cloud Run にデプロイする - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは？ Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ローカルの Docker コンテナで予測を実行する Artifact Registry にモデルをアップロードする Cloud Run にモデルをデプロイする Cloud Run サービスに予測リクエストを送信する Vertex AI & Cloud Run Vertex AI および Cloud R
【レポート】最新の DWH およびデータレイク動向について(AWS-36) #AWSSummit | DevelopersIO
みなさんこんにちは、杉金です。 今回は 2022 年 5 月 25 - 26 日の 2 日間開催された AWS Summit Onlineのセッションレポートをしていきます。セッションのサマリーを理解し、興味があるセッションをチェックすることにご活用ください。また、セッションのアーカイブも公開されておりますので、詳細が気になった方は是非そちらをチェックして下さい。 セッション概要 生成されるデータ量は増え続け、データ分析のニーズも多様化が進んでいます。従来の方法でこれらの要件を全て満たそうとすると、システムやその管理は複雑化しがちですが、AWS の分析サービスではモダンデータ戦略というアプローチでこの課題に対する様々な解決策を提供しています。本セッションでは、Amazon Redshift を中心に、データレイクと連携した様々な目的別分析サービスを簡単に組み合わせて、それぞれの分析ニーズに
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KubernetesのSecretを1Passwordで管理する
Dataflowが解決するストリーミング処理の課題と基盤構築で考慮すること - case-kの備忘録
しつこくじわじわパフォーマンスチューニング
AuditableなEKSコントロールプレーンログを目指して | GREE Engineering
GitOps を実現する CD ツール、PipeCD が良さそうという話
AWS CodeBuild Adds Support for AWS Secrets Manager
WebSocket の負荷テストは Artillery でシュッと簡単に実行しよう - Qiita
AWS App Runnerがそろそろ本番環境でも使い物になりそう
トラブルを解決できる人になろう - そーだいなるらくがき帳
チームに知見が残るEKSクラスタバージョンアップ運用
driftctlによるIaC化推進に向けた取り組み - Safie Engineers' Blog!
システム理論の続き - 宣言的ネットワーキング - Qiita
Cloud Profilerを導入してパフォーマンス改善をした話
サイドカーライブラリ Dapr の分散トレーシングを試す - kencharosの日記
Google Cloudの監査ログを理解する&長期間保存方法 - NRIネットコムBlog
Cloud RunとLitestreamで激安GraphQL/RDBサーバーを動かす
【簡単】Webシステムの負荷テストツール（JMeter）の使い方
Amazon Quantum Ledger Database (QLDB) 実運用のための検証
AWS Systems ManagerをRaspberry Piで使用してみた | DevelopersIO
tfstateを分割管理するためのTips - Qiita
xn--n8jl787ue7q.com
www.tss-tv.co.jp
www.itmedia.co.jp
www.concentinc.jp
b.hatena.ne.jp
anond.hatelabo.jp