データセット生成・前処理のためのLLM推論クラスタの構築と運用 - Preferred Networks Research & Development
はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は、PLaMo 2シリーズの開発を進めており、その成果の一部としてPLaMo 2 1BおよびPLaMo 2 8Bの事前学習済みモデルを先日公開しました。モデルの詳細は以下の記事をご覧ください。 大規模言語モデルの次期バージョン PLaMo 2 の事前検証: SSMの採用と合成データによる性能改善の取り組み 大規模言語モデルの次期バージョン PLaMo 2 8Bによる検証 PLaMo 2の開発は、高品質データセットをどれだけ構築できるかが重要なポイントと考えています。実際、高品質データセットを使用したPLaMo 2 8Bは、8BというサイズでPLaMo-100Bに相当する性能をJMMLUやJHumanEvalで獲得しています。 事前学習チームでは、その源泉となった高品
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回は37signalsが公開しているThrusterを、メドピアで本番運用をしているアプリケーションのkakariに導入してみました。 kakari.medpeer.jp Thrusterとは Thrusterはアセット配信やX-Sendfileのサポートといった機能を持ったGo言語製のHTTP/2プロキシです。 詳細な設定不要でRails標準のPumaサーバーと組み合わせて動作して、nginxを構成に加えた時と同様のリクエスト処理を行うことが可能です。 github.com www.publickey1.jp 導入前の状況 導入以前のkakariは以下のような構成を取っていました。 アセット配信の為にALBの背後にnginxを置いています。 今回は管理コストを下げる為に、nginxを剥がしてThrusterからアセット配信
[廃止] AWS RoboMaker https://aws.amazon.com/robomaker/ 最初に2024年9月11日ごろに利用者向けにAWS RoboMakerのサポート終了がアナウンスされました。 具体的な内容については個別の通知で確認していただきたいのですが、アナウンスと同タイミングでサービスの新規利用が停止され、来年2025年9月10日をもってサービス終了となります。 サービス終了後の2025年9月11日にデータが削除されます。 直接の後継となるサービスは無く、AWSとしてはAWS Batchを使ったシミュレーションを代替方法として提示しています。 また、3D仮想環境の自動生成機能であるAWS RoboMaker WorldForgeについては代替手段が無く、サービス終了までにS3に既存データをエクスポートすることが推奨されています。 確認してみた 私の検証用AWSア
お疲れさまです。とーちです。 何番煎じか分からないくらいのネタではあるのですが、Amazon ECS（以後ECS）のAWS Fargate（以後Fargate）で踏み台（Bastion）を作ってみました。そもそも踏み台とはというところについては以下の記事をご参照いただければと思います。 今回踏み台を作成した理由は、プライベートサブネット上のWebサーバへのアクセスです。具体的には、ブラウザを使用してインターネット経由でアクセスする必要がありました。 要件 作成するにあたって自分の中での要件としては以下のあたりでした Terraformで作る（単にTerraformが好きだから） コンテナイメージのビルドとかしたくない（ビルドがからむと構築時に面倒だから） 止め忘れた時のために数時間経ったら勝手に止まってほしい（コスト節約のため） シェルスクリプト一発でECSタスクの起動からAWS Syst
re:Invent 2024 での AWS のクラウド運用における主要な発表 | Amazon Web Services
Amazon Web Services ブログ re:Invent 2024 での AWS のクラウド運用における主要な発表 re:Invent 2024 で Nandini Ramani (VP Search Observability & Cloud Ops) により、AWS がクラウド運用 (Cloud Operations) の未来をどのように作っていくのかをお見せしました。このブログ記事の 3 つのセクションでは、クラウドオペレーションをより俊敏で効率的、そして安全なものに変革するための主要な AWS のクラウド運用関連の発表を取り上げています。これらの機能により、1/ クラウドガバナンスの変革、2/ インフラストラクチャ、アプリケーション、ネットワーク、データベース、コンテナの観測の変革、3/ 観測したものの分析の変革が可能になります。 1. クラウドガバナンスの変革 クラウド
真善美はこのほど、Skynewブランド製となる7型タッチ液晶内蔵型ミニPC「S11」の予約販売を開始した。価格は6万5800円（税込み、以下同様）。 本体サイズ約174（幅）×18（奥行き）×114（高さ）mm、重量約514gの小型筐体を採用したミニPCで、タッチ操作対応の7型ディスプレイを内蔵。単体のみで操作を行うことが可能だ（初期設定時にはキーボード/マウスが必要）。容量3400mAhのバッテリーを内蔵、バッテリー駆動時間は約3.5時間（4K動画再生時）となっている。 CPUはIntel N100を、メモリは16GB、ストレージは512GB M.2 SATA SSDを内蔵。ギガビット対応有線LAN、Wi-Fi 6対応無線LAN、Bluetooth 5.2、USB Type-Cポート×1、HDMI映像出力（4K/60Hz対応）などを備えた。OSはWindows 11 Proだ。 この他、
概要 AWS Copilot CLI Amazon ECS デベロッパーツールの概要を基に整理します。 AWS Copilot CLI (コマンドラインインターフェイス) は、Amazon ECS 上のコンテナや環境にパッケージ化されたアプリケーションのデプロイと操作をソースコードから直接行えるようにする包括的なツールです。AWS Copilot を使用すると、AWSと Amazon ECS 要素(Application Load Balancer、パブリックサブネット、タスク、サービス、クラスターなど)を理解しなくても、これらの操作を実行できます。AWSユーザーに代わって Copilot が作成するAWSリソースは、ロードバランサーウェブサービスやバックエンドサービスなどの独善的なサービスパターンから、コンテナ化されたアプリケーションが即時に本番稼働できる環境を提供します。AWS Cod
オンライン自習室アプリを個人で開発した件
はじめに 私は、「アプレンティス」の2期生として、現時点で約6ヶ月間、プログラミングの学習をしています。 そのカリキュラムの中で、「Sabo Learn（サボラーン）」というオンライン自習室を提供するWebアプリをリリースしました。 前置きとして、開発期間は約2ヶ月間です。（平日は仕事をしているため、実稼働はもっと少なく、約500時間が開発に使える時間でした。） また、「誰かの課題を解決する」というテーマで、実際に使ってもらえるプロダクトを目指して開発しておりますが、それと同時に、自身の転職活動のポートフォリオでもあります。 そのため、随所に、「どうしてわざわざそんな技術を使ったの？」「インフラのスペック過剰じゃない？」といったツッコミどころがあるかもしれませんが、そのほとんどは「自分が知らない技術をキャッチアップしたかったから」か、「これくらいのことなら実装できます」というアピールのため
MIXI でモンストサーバチームとセキュリティ室を兼務している、atponsです。 私が所属するモンストサーバチームでは、モンスターストライク、モンスターストライク スタジアムの開発や運用を行っています。 モンストの普段の開発や運用に関するやりとりは GitHub 上で行っています。MIXI 社では部署ごとに技術スタックやツールの選択を柔軟に行うことができるため、GitHub も各部署で契約したものを利用していました。 その中で、MIXI では 2023 年より全社的に GitHub Enterprise Cloud の導入を進めることになりました。GitHub Enteprise Cloud には、GitHub Copilot Enterprise の導入が可能になる他、様々なメリットが存在するので、今回は特に活用している機能を紹介します。 SAML SSO によるユーザー管理性向上 G
Amazon ECS の 10 周年を祝う: 10 年間にわたるコンテナ化イノベーションの推進 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS の 10 周年を祝う: 10 年間にわたるコンテナ化イノベーションの推進 10 月 28 日、私たちは Amazon Elastic Container Service (ECS) の 10 周年と、クラウドで可能なことの限界を押し広げてきたそのすばらしいジャーニーをお祝いしたいと思います! Amazon Web Services (AWS) で Docker コンテナの実行を効率化するソリューションとして始まったものが、シームレスなコンテナオーケストレーションを実現する AWS Fargate を使用したサーバーレスオプションなど、優れたパフォーマンスと運用のシンプルさの両方を提供する基盤テクノロジーへと進化しました。 過去 10 年間で、Amazon ECS は数え切れないほどの組織にとって信頼できるソリューションと
信頼性を担保しながらユーザー体験を向上するTROCCO開発の裏側（アーキテクチャConference 2024講演レポート）｜株式会社primeNumber
11月26日に開催された、システムの基盤となるアーキテクチャをテーマにした「アーキテクチャConference 2024」。プロダクト開発本部 CTO室長の中根さんが登壇、「PaaSとSaaSの境目で信頼性と開発速度を両立する〜TROCCO®︎のこれまでとこれから〜」と題し、TROCCOの歴史を振り返りながらアーキテクチャについて解説しました。 プロダクト開発本部 CTO室長の中根さんなお、中根さんの登壇資料はSpeaker Deckに公開されています。講演の詳細を知りたい方はこちらの資料をお読みください データ基盤構築・運用の辛みを“まるっと引き受ける”のがTROCCOの役割中根さんははじめにTROCCOの概要を紹介。TROCCOはデータ基盤構築や運用の「統合」部分を担うサービスだとし、「統合だけで嬉しいの？ と思われるかもしれないが、実際にはさまざまなデータソースへの対応や、実装した後
コスト配分タグを活用してAmazon ECSクラスターやECSサービス単位の利用料金を把握する方法 | DevelopersIO
はじめに Amazon ECSのクラスターやECSサービスで起動するタスクにタグを設定することで、タグ単位で利用料金を把握することが可能です。 ECSのコストをタグで管理するには、ECSサービスやECSクラスターではなく、ECSタスクにタグを付与する必要があります。 ECSサービスに対してタグを追加し、さらにタグの伝播を有効化することで、ECSサービスから起動されたタスクにも自動的にタグが付与されます。 なお、タグの伝播はデフォルトでは無効化されているため、手動で有効化する必要があります。 試してみる すでにECSサービスが作成済みであることを前提とします。 今回は、ECSサービスで起動しているタスクの利用料金を把握できるよう手順を解説します。 既存のECSサービスでタスクにタグを付与する手順は、以下の通りです。 タスクの起動に使用するECSサービスに対してタグを付与する ECSサービスの
本記事は AWSアワード記念！夏のアドベントカレンダー 16日目の記事です。 🎆🏆 15日目 ▶▶ 本記事 ▶▶ 17日目 🏆🎆 こんにちは、坂本です。 今年の 2024 Japan AWS All Certifications Engineer に選ばれましたので AWSアワード記念！夏のアドベントカレンダー を機にブログ初投稿になります。 最近、Amazon Simple Email Service（以下：SES） の承認ポリシーを設定する機会があったので、今回は備忘もかねて書いてみます。 はじめに SES は API エンドポイントまたは SMTP インターフェイス を利用してメール配信を行えるサービスです。SES を利用するためには検証済みIDとしてメールアドレスもしくはドメインを作成します。IDステータスが検証済みになっていれば利用可能です。承認ポリシーは検証済みIDの詳
本記事は AWSアワード記念！夏のアドベントカレンダー 11日目の記事です。 🎆🏆 10日目 ▶▶ 本記事 ▶▶ 12日目 🏆🎆 はじめに ふと、ECRを眺めてて気づいた そもそもOCIってなんぞや Open Container Initiative OCI Artifactってなんぞや ちなみにImage Indexとかってなに？ 結局OCI Artifactはどこで活躍するの？ OCI準拠のイメージ署名 SOCI Indexを利用したLazy Loading まとめ はじめに ozawaです。今年もAllCert継続となりました。引き続きよろしくお願いします。 先ほどエアコンの水漏れ対応工事が終わり、ようやく灼熱地獄から抜け出せそうです。 ふと、ECRを眺めてて気づいた 最近はIaC化も進んでおり、なかなかAWSコンソールをまじまじ見る機会も減りました。 そんな中、ふとECRコ
Savings Plans 購入後に忘れずに設定したい3つの通知設定 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 AWS のコスト最適化で最も有名なサービスであろう Savings Plans を購入後に、忘れずに行いたい通知及び監視設定について改めて記載します。 はじめに 余談 2020年1月6日 Savings Plans の利用率を確認及び通知する方法 2020年11月6日 Savings Plan が有効期限と予約期限の通知アラートに対応しました リザーブドインスタンスについて SP 購入後に忘れずに設定したい3つの通知設定 1. 有効期限切れの通知 設定方法 実際に送付された通知の例 AWS 公式ドキュメントの紹介 2. AWS Budgets による使用率の監視通知 どのように運用するのか？ 設定方法 実際に送付された通知の例 運用上の注意点 3. AWS Budgets によるカバレッジの監視通知 どのように運用するのか？ 設定方法 実際に送付された通知
導入 何について話すのか 開発環境を改善して、効率化することでアプリケーション開発に注力するため行った（行っている）取り組みについてお話します。 本記事はQmonus Value Streamの投稿キャンペーン記事です。 想定読者 レガシーな環境を改善している（していきたい）人 開発環境改善のアイデアが欲しい人 CI/CDやDevOpsよりな仕事に関わる人 どんな人が書いているか(自己紹介) 3年目のエンジニアでバックエンドを中心に担当（最近インフラも担当するようになりました） メインで扱う技術はPHP・TypeScript・AWS アプリケーション開発とAWSインフラ構築を担当する 受託開発が中心の企業に従事 記事で触れる取り組み（取り組んだ順） Dockerの導入 テスト・静的解析の導入 CI/CDの導入・整備による効率化 Gitフローの変更・整備・周知 フロントエンド側へTypeSc
目的：自宅サーバー作って遊びたい プライベート利用かつPaaSで高コストになるものの代替 セルフホスト型ウェブアプリ データベースが必要なもの VPSや自宅サーバーにインストールしたいSaaS代替Webアプリ38選 ONCEシリーズ GPUタスクを含むローカルLLMのフロントエンド 常駐プログラム クローラー 長時間かかるデータ処理 停止しても良いもの バックエンドのCMS（自宅サーバー） フロントエンド（デプロイ時にコンテンツを書き出し、ホスティングプラットフォームへアップロード） その他 マイクラなどの身内用ゲームサーバー サーバー構築自体を目的とした遊び（ISUCON過去問など） 要件：令和の自宅サーバー コンテナオーケストレーション コンテナイメージをpushするだけでデプロイ アプリ追加時のミドルウェア設定を自動化 Heroku代替のオープンソースツールを検討 Dokku, Ca
AWS Lambdaをモノリシックに使うLambdalithアプローチの紹介とそのメリット | ブログ | Serverless Operations
>_cd /blog/id_5o3au2eyp development technology#Function URLs#AWS LambdaDate2024-10-07Time20:18:52 JST LambdalithアプローチとはAWS Lambdaをモノリシックに使うLambdalithというアプローチはご存知でしょうか。端的に言うと単一のLambdaファンクションでRest APIのすべてのルーティングとその処理を実装しようというアプローチです。AWSの構成図で言うと以下のようになります。 Operating Lambda: イベント駆動型アーキテクチャの設計原則 – Part 2のブログにはAWS Lambdaの設計原則として以下のように書いてあります。 ほとんどのアーキテクチャは、より大きな少数の関数よりも、より短い多数の関数にすることが推奨されます。Lambda 関数をワ
概要 マイクロサービスアーキテクチャではサービス間の依存関係が複雑化し、デバッグやパフォーマンス管理が難しくなります。本記事では、分散トレーシングの必要性を整理した上で、代表的なツールであるAWS X-RayとDataDogを比較検証します。さらに、FunctionA → SQS → FunctionBという簡易的なサンプルアプリケーションを例に、実際にトレーシングを試す際のポイントを紹介します。 1. はじめに：マイクロサービスと分散トレーシングの重要性 マイクロサービスは、アプリケーションを小さなサービスに分割することでスケーラビリティや開発効率を高められるアーキテクチャです。しかし同時に、サービス間通信の可視化や性能監視、障害原因の特定が難しくなるという課題があります。 分散トレーシングを導入することで、以下のメリットが期待できます： サービス間の呼び出しの可視化 どのサービスがどの
SRE チームの市川恭佑です。 今回はコンテナに関連するDevOpsツールを作った話です。ecresolve と書いて「イーシーリゾルブ」と読みます*1。 github.com ecresolve は、ざっくり言うとコンテナイメージのタグが上書きされる前提で、複数タグを指定すると一番先頭で見つかったものを出力するツールです。 基本的な使い方としては、たとえば dog と cat のタグのみが存在する ECR リポジトリ animal があるとき、以下のコマンドを実行すると標準出力に dog が出力されます*2。 ecresolve monkey bird dog human cat --repository-name=animal --format=tag-only # dog なお、本記事の大前提として、もちろん本番環境において、特にお客様のデータを取り扱うようなコンポーネントについては
Introducing Niantic Studio: The Future of Web-Based XR and 3D Content Creation
Introducing Niantic Studio: The Future of Web-Based XR and 3D Content CreationBuild immersive XR, 3D experiences, and casual web games with the public beta of our new visual editor and powerful web gaming engine—now available for free. Today, we’re excited to announce Niantic Studio, a new visual editor and web gaming engine for Niantic 8th Wall developers that offers an entirely new way to build
【お子さま向け】Amazon ECS サービスディスカバリーって知ってる？【楽しい読み聞かせ】
https://shimagaji.connpass.com/event/341023/ で登壇した資料です。 恐竜くんと楽しいAWSの冒険をしよう！
Unity Technologies、データ指向プログラミングをサポートするUnityの新たなアーキテクチャ「DOTS」について解説した電子書籍を無料公開｜ゲームメーカーズ
Unityの「DOTS（Data-Oriented Technology Stack）」について解説する電子書籍を、Unity Technologiesが無料で公開 DOTSは、従来のオブジェクト指向プログラミングから、データ指向プログラミングへと移行するためのアーキテクチャ パフォーマンス低下の要因やそれらを回避する効率的なコードの作成などを解説 Unity Technologiesは、電子書籍『Introduction to the Data-Oriented Technology Stack for advanced Unity developers』を無料で公開しました。 『Introduction to the Data-Oriented Technology Stack for advanced Unity developers』は、全49ページからなるPDF資料です。 本書籍
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれのパターンもEC2インスタンスやECS Fargateなどの課金が発生するリソースをプロビジョニングする必要があります。 そんな時に
デジタル庁のガバメントクラウドが地方自治体にあわず苦戦しているのだが、デジタル庁クラウドチームのコミュニケーション能力に問題がありそうなので指摘したい。 静的ページのクラウド化のテックブログを拝読していたのだが、つまらないが大事なことを書き忘れていて、業務にあった技術を選択するのではなく、流行の技術を推進しようとしているように思えてきた。 1. 運用体制の話がない 問題は以下の2本の記事なのだが、 ガバメントクラウドで考える静的Webサイト向けアーキテクチャ ガバメントクラウドでのSSG/SGアーキテクチャ - デジタル庁のサービス紹介サイトを公開 想定するシチュエーションの節はあるのに、運用体制の話がない。 2. アピールしている内容は分かるが、評価不能 デジタル庁クラウドチームが言いたいのは、 サーバーレスのクラウドに静的ページを並べておけば、最高のスケーラビリティと最速の表示速度が得
わずか数名と数ヶ月で実現した、金融機関のデータ基盤リプレイスとデータドリブンな組織への貢献 - Coincheck Tech Blog
コインチェック株式会社（以下、コインチェック） データ基盤グループの岩瀬です。今回は、暗号資産交換業者であるコインチェックで実施したデータ基盤のリプレイス事例と、そこから連続するデータ基盤拡充の取り組み、データドリブンな組織への貢献についてご紹介します。 TL; DR 暗号資産取引所を運営するコインチェックでは、運用されていたデータ基盤を、限られた技術リソースと短期限でモダンにリプレイスし、結果 インフラコスト90%削減 を実現しました。 Treasure Data で構築されていたデータ基盤の移行先として Google Cloud を選定し、3ヶ月で既存と同等のシステムを構築 して並列運用を実現し、システムのリプレイスが可能であることを示しました。 以後データ基盤の拡充を進め、社内で生成される各種データのデータレイクへの集約、それらを活用したダッシュボードの構築、データ分析環境の整備、デ
デジタルペンテスト部の多羅尾です。 近年、ビジネスを展開する上でクラウドサービスは不可欠なものとなりました。クラウドサービスを利用するなかで、シークレット情報（データベースへの認証情報やサードパーティAPIキーなど）を適切に取り扱っていないと攻撃者にシークレット情報を取得されてしまい、情報漏えいやアカウントの不正利用などの被害に遭う危険性があります。 本記事では、AWS（Amazon Web Services）環境において、シークレット情報を適切に保護しておらず脅威に繋がる例と対策例としてAWSが提供している「シークレット情報を管理するサービス」を紹介します。 シークレット情報が取得される脅威例 脅威例として、Amazon ECS（Elastic Container Service）※1とAWS Lambda※2を取り上げます。これらのサービス上で、シークレット情報を平文で保管していた場合
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 CloudWatch Logsにどのくらいのデータが保管されていて、現時点の総容量がどのくらいあるか把握したいと思ったことはありませんか？ 過去3回も思ってしまった自分のために、AWS CLI(CloudShell)を使ったCloudWatch Logsの容量を取得できるコマンドを残しておきます。 はじめに CloudWatch Logsは、Lambdaの実行ログ、API Gatewayのアクセスログ、ECSのタスクログ、CloudTrailの操作ログなどを一元的に管理できる便利なサービスです。 ただ、「CloudWatch Logsにログを置きっぱなしにするとコストが余計に掛かって勿体ない」という話はしばしば聞きます。 以下記事で紹介されている通り、圧縮率を考慮しない料金だとAmazon S3がやはり安いです。（圧縮率を考えると、更に
![[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
こんにちは、森田です。 本記事は Dify Advent Calendar 2024の22日目の記事です。 はじめに Dify をご存知でしょうか。 Dify とは、オープンソースの LLM アプリ開発基盤となっており、ノーコードで誰でも簡単に LLM アプリを作ることができます。 Dify は、SaaS版を利用することですぐに利用することもできますが、オープンソースプラットフォームであるため、AWSなどのクラウドサービスを使ってセルフホスティングすることも可能です。 「AWSマネージドサービスを可能な限り使って実現できないかな」と調査していたところ、aws-samplesに以下のリポジトリがありました。 dify-self-hosted-on-awsの中身を覗いてみる 引用：https://github.com/aws-samples/dify-self-hosted-on-aws/bl
NetBox のオンプレから Amazon ECS 移植を CDK で実現する - NTT Communications Engineers' Blog
チームの管理情報を溜めていたオンプレ基盤で動く NetBox を Amazon Elastic Container Service へ AWS Cloud Development Kit を用いて移植しました。 今まで NetBox をオンプレで動かしていた際には以下のような運用の難しさがありました。 DB も Docker コンテナによって管理されており、冗長化もなかったため DB コンテナが落ちてしまうとサービス提供できなくなる可能性があった Docker Compose で動かしているので、サービスの作り直しを実施するとそれまでのログが削除される そもそも NetBox を動かしている場所で法定停電があり、定期的に NetBox のサービスがとまっていた NetBox を AWS へともっていくことでオンプレ運用時に発生していた手間を簡素化し、メンテナンス等も一部 AWS にマネージ
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた | DevelopersIO
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた Amazon CloudWatch Application SignalsがGAしました！Application Signalsを試しに使うための環境をCDKで作り、実際にSLO/SLIを設定してみます。 はじめに 先日AWS上でSLO/SLI設定を比較的簡単に実現できるAmazon CloudWatch Application SignalsがGAしました！GA前からAWS上ではAPMがどう実現可能なのか、何が違うのかという記事はいくつかありました。 本稿ではApplication Signalsの簡単な概要と提供環境/言語/リージョンについての紹介に合わせて、実際にサンプルを作ってどんな動作をするのか確認してみます。実際に0から構築することで何が必要なの
OpenTelemetryで環境ごとにObservability Backend（Jaeger、Datadog）を切り替えてエンジョイしてみたよ - Timee Product Team Blog
こんにちは！ タイミーでPlatform Engineerをしている @MoneyForest です。 こちらは Timee Product Advent Calendar 2024 の10日目の記事です。 2024年8月に入社して、幸いにもチームメンバーにも恵まれて楽しく働いています。 個人的にキャッチアップがあまりできていなかった OpenTelemetry を題材にして実装をしてみたので、ここから得られた気づきや知見を共有したいと思います。 はじめに アプリケーションの可観測性（Observability）を担保する上で、APM(Application Performance Monitoring)は重要です。 現在、JaegerやPrometheusのような非商用のものから、DatadogやNew RelicやSplunkなど様々なAPMを利用できるツールが存在します。（本記事では
tfstateを読む tfstate-lookup - fujiwara-ware advent calendar 2024 day 11
この記事は fujiwara-ware advent calendar 2024 の11日目です。 tfstate-lookup とは tfstate-lookup は、Terraform の tfstate ファイルを読んで、指定したリソースの情報を取得するためのコマンド兼ライブラリです。 同様のことは terraform 自体が用意している terraform state show でできますが、tfstate-lookup は Go のライブラリとして利用できるため、他のツールに組み込んで使うことができます。 terraform がインストールされていない環境でも単体のコマンドとして利用できます。また、実装は Terraform 自身のコードには一切依存していません。起動も terraform に比べて高速です。 なぜ作ったのか Amazon ECS デプロイツールの ecspres
Announcing updates to the AWS Well-Architected Framework guidance | Amazon Web Services
AWS Architecture Blog Announcing updates to the AWS Well-Architected Framework guidance We are excited to announce the availability of an enhanced AWS Well-Architected Framework. In this update, you’ll find expanded guidance across all six pillars of the Framework: Operational Excellence, Security, Reliability, Performance Efficiency, Cost Optimization, and Sustainability. In this release, we upda
入門：グレースフルシャットダウン
おでんが美味しい季節になってきました。年末といえば、公私ともにやりかけたことを終えて新しく仕切り直したい、つまりシャットダウンの時期ですね。本記事では雰囲気で理解しがちなグレースフルシャットダウンを見ていきたいと思います。前半では基本的な概念、中盤に少し詳細を見て、後半に教養として歴史を辿ります。本日はサトシの方の小林が担当します。 ※ 主にWebアプリケーションエンジニアを想定しています。 ※ AWSを例にすることが多いです。 グレースフルシャットダウンとは 早速、見ていきましょう。まずChatGPT先生に聞いてみます。 「グレースフルシャットダウン（Graceful Shutdown）とは、システムやアプリケーションを停止させる際に、現在の処理やタスクを可能な限り安全に完了させ、リソースの解放を適切に行いながら停止する一連の流れを指します。データ損失やシステムの不整合を防ぎ、ユーザー体
F1®（フォーミュラ1）とAWSは、2025年2月18日、レース運営における問題解決を大幅に効率化する生成AI駆動のRoot Cause Analysis（RCA）アシスタントの導入を発表した。 主な要点 開発期間：AWS Prototypingチームとの5週間のプロトタイプ開発 導入効果： 問題解決時間を86%削減 初期トリアージ時間を24時間以上から20分未満に短縮 エンジニアの質問に対する応答時間を5-10秒に短縮 技術仕様 使用モデル：Anthropic社のClaude 3 主要サービス： Amazon Bedrock Amazon EventBridge Amazon S3 AWS Glue Amazon ECS AWS Fargate 開発チーム Lee Wright（F1 IT運用責任者） Carlos Contreras（AWSシニアビッグデータ・生成AIアーキテクト） Y
今すぐ購入: 購買意欲はこうして操られる | Netflix (ネットフリックス) 公式サイト
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
Down the rabbit hole: Implementing SSH port forwarding over AWS Session Manager
I’m Formal’s newest hire. I graduated from Stanford two months ago, and my first day on the job was Monday, January 20. After a fast onboarding setting up my work laptop and phone, I was quickly added to our customer-shared channels. That day, one of our customers paged us asking for help with an issue they were having. Two of the many protocols that the Formal Connector supports include SSH and A
こんにちは、製造ビジネステクノロジー部の木村です。 製造業アドベントカレンダーの12/11 (水)の記事を投稿します。 サーバーレスの難しいところ 製造ビジネステクノロジー部では前身のCX事業部時代も併せて多くのIoT案件を取り扱ってまいりました。 その中でもサーバーレスを中心とした技術選定をしたものが数多くあります。 サーバーレスのメリットを活かすことで素早く開発を進めることができる一方で、 数多くのサービスを組み合わせることから、以下のような点はサーバーレス特有の難しさなのではないかと思います。 サービスごとの連携が不適切で、パフォーマンスが出なかったり、スロットリングしやすい構成になってしまうことがある コストの見積もりが難しい。仮に算出しても自信が持てない クオータの管理が大変。中には上限緩和の手続きが難航したり、そもそもできないものもある 負荷試験をサクッと実施したい さて、これ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RailsアプリケーションにThrusterを導入する - メドピア開発者ブログ
2024年9月に公開されたAWSサービスのサポート終了アナウンスまとめ | DevelopersIO
TerraformでECS Fargateの踏み台をつくる | DevelopersIO
Skynew、7型タッチディスプレイを内蔵したIntel N100搭載小型PCを発売
AWS Copilot CLIを試してみた - Qiita
モンスターストライクの開発には GitHub Enterprise Cloud を活用しています
AWS SES の承認ポリシーを設定してみた - NRIネットコムBlog
OCI Artifactとはなんぞや？というお話 - NRIネットコムBlog
開発環境を改善するためにチームに提案して実践したこと - Qiita
自宅サーバー構築とKamalデプロイ環境構築メモ - laiso
マイクロサービスでの分散トレーシング - AWS X-Ray vs DataDog
コンテナイメージのタグをよしなに探すツールを作りました - KAYAC Engineers' Blog
デジタル庁クラウドチームがコミュ障ギークなのではないかと心配になった件
AWSにおけるシークレット情報の取り扱い方と設定不備による脅威 | LAC WATCH
イベリン: 彼が生きた証 | Netflix (ネットフリックス) 公式サイト
AWSマネージドサービスで Dify のセルフホスティングを試してみた | DevelopersIO
F1×AWS｜生成AI活用で問題解決時間を86%削減、レース運営の新時代へ - イノベトピア
MQTTXをつかってMQTTでサクッと負荷をかけてみる | DevelopersIO