こんにちは！サーバーサイドエンジニアのkurisuです。 2024年06月に、B/43あとばらいチャージの裏側でサービス提供していただいている事業者の移行を行いました。その際、返済データのリコンサイルバッチの設計と実装を担当しました。 外部サービスとのデータ連携における不整合は、多くのシステムで避けられない問題です。 本記事では、B/43のあとばらいチャージ機能での事例をもとに、リコンサイルの重要性と実装時の検討ポイントをご紹介します。 リコンサイルとは 外部サービス連携における課題と不整合の要因 1. 自社から外部サービスへの通信エラー 2. Webhook通知の不達や遅延 外部サービスにおけるリコンサイルができる条件 リコンサイルバッチの実装時の検討ポイント 前提 1. 外部サービスとのデータの不整合箇所の洗い出し 2. データ量と処理時間/実行頻度 3. 不整合検知時の対応 4. エ
こんにちは。サーバーサイドエンジニアの @atolix_です。 今回は37signalsが公開しているThrusterを、メドピアで本番運用をしているアプリケーションのkakariに導入してみました。 kakari.medpeer.jp Thrusterとは Thrusterはアセット配信やX-Sendfileのサポートといった機能を持ったGo言語製のHTTP/2プロキシです。 詳細な設定不要でRails標準のPumaサーバーと組み合わせて動作して、nginxを構成に加えた時と同様のリクエスト処理を行うことが可能です。 github.com www.publickey1.jp 導入前の状況 導入以前のkakariは以下のような構成を取っていました。 アセット配信の為にALBの背後にnginxを置いています。 今回は管理コストを下げる為に、nginxを剥がしてThrusterからアセット配信
[廃止] AWS RoboMaker https://aws.amazon.com/robomaker/ 最初に2024年9月11日ごろに利用者向けにAWS RoboMakerのサポート終了がアナウンスされました。 具体的な内容については個別の通知で確認していただきたいのですが、アナウンスと同タイミングでサービスの新規利用が停止され、来年2025年9月10日をもってサービス終了となります。 サービス終了後の2025年9月11日にデータが削除されます。 直接の後継となるサービスは無く、AWSとしてはAWS Batchを使ったシミュレーションを代替方法として提示しています。 また、3D仮想環境の自動生成機能であるAWS RoboMaker WorldForgeについては代替手段が無く、サービス終了までにS3に既存データをエクスポートすることが推奨されています。 確認してみた 私の検証用AWSア
こんにちは。シンプルフォーム株式会社 にてインフラエンジニアをしています、山岸です。 社内向けに運用しているデータ分析基盤について現状抱えているいくつかの課題を克服すべく、最近は更改に向けた検証に取り組んでいます。今回は取り組みの一つである「AWS Glue と Apache Iceberg によるデータレイクテーブル構築」についてご紹介したいと思います。 概要 当社ではデータ分析基盤の ETL 処理に AWS Glue を使用しています。社内のデータ分析業務等のため、RDS データベース等のデータソースから日次で S3 上に構築された DWH に連携しています。 現行のデータ分析基盤では、DB テーブル上のデータを毎日全件洗い替えています。このような処理方法は ETL 実装や問題発生時の復旧が簡単である一方、ETL 処理のコスト効率が悪く、データ量の増加に伴って処理時間も長くなっていきま
お疲れさまです。とーちです。 何番煎じか分からないくらいのネタではあるのですが、Amazon ECS（以後ECS）のAWS Fargate（以後Fargate）で踏み台（Bastion）を作ってみました。そもそも踏み台とはというところについては以下の記事をご参照いただければと思います。 今回踏み台を作成した理由は、プライベートサブネット上のWebサーバへのアクセスです。具体的には、ブラウザを使用してインターネット経由でアクセスする必要がありました。 要件 作成するにあたって自分の中での要件としては以下のあたりでした Terraformで作る（単にTerraformが好きだから） コンテナイメージのビルドとかしたくない（ビルドがからむと構築時に面倒だから） 止め忘れた時のために数時間経ったら勝手に止まってほしい（コスト節約のため） シェルスクリプト一発でECSタスクの起動からAWS Syst
真善美はこのほど、Skynewブランド製となる7型タッチ液晶内蔵型ミニPC「S11」の予約販売を開始した。価格は6万5800円（税込み、以下同様）。 本体サイズ約174（幅）×18（奥行き）×114（高さ）mm、重量約514gの小型筐体を採用したミニPCで、タッチ操作対応の7型ディスプレイを内蔵。単体のみで操作を行うことが可能だ（初期設定時にはキーボード/マウスが必要）。容量3400mAhのバッテリーを内蔵、バッテリー駆動時間は約3.5時間（4K動画再生時）となっている。 CPUはIntel N100を、メモリは16GB、ストレージは512GB M.2 SATA SSDを内蔵。ギガビット対応有線LAN、Wi-Fi 6対応無線LAN、Bluetooth 5.2、USB Type-Cポート×1、HDMI映像出力（4K/60Hz対応）などを備えた。OSはWindows 11 Proだ。 この他、
概要 AWS Copilot CLI Amazon ECS デベロッパーツールの概要を基に整理します。 AWS Copilot CLI (コマンドラインインターフェイス) は、Amazon ECS 上のコンテナや環境にパッケージ化されたアプリケーションのデプロイと操作をソースコードから直接行えるようにする包括的なツールです。AWS Copilot を使用すると、AWSと Amazon ECS 要素(Application Load Balancer、パブリックサブネット、タスク、サービス、クラスターなど)を理解しなくても、これらの操作を実行できます。AWSユーザーに代わって Copilot が作成するAWSリソースは、ロードバランサーウェブサービスやバックエンドサービスなどの独善的なサービスパターンから、コンテナ化されたアプリケーションが即時に本番稼働できる環境を提供します。AWS Cod
オンライン自習室アプリを個人で開発した件
はじめに 私は、「アプレンティス」の2期生として、現時点で約6ヶ月間、プログラミングの学習をしています。 そのカリキュラムの中で、「Sabo Learn（サボラーン）」というオンライン自習室を提供するWebアプリをリリースしました。 前置きとして、開発期間は約2ヶ月間です。（平日は仕事をしているため、実稼働はもっと少なく、約500時間が開発に使える時間でした。） また、「誰かの課題を解決する」というテーマで、実際に使ってもらえるプロダクトを目指して開発しておりますが、それと同時に、自身の転職活動のポートフォリオでもあります。 そのため、随所に、「どうしてわざわざそんな技術を使ったの？」「インフラのスペック過剰じゃない？」といったツッコミどころがあるかもしれませんが、そのほとんどは「自分が知らない技術をキャッチアップしたかったから」か、「これくらいのことなら実装できます」というアピールのため
MIXI でモンストサーバチームとセキュリティ室を兼務している、atponsです。 私が所属するモンストサーバチームでは、モンスターストライク、モンスターストライク スタジアムの開発や運用を行っています。 モンストの普段の開発や運用に関するやりとりは GitHub 上で行っています。MIXI 社では部署ごとに技術スタックやツールの選択を柔軟に行うことができるため、GitHub も各部署で契約したものを利用していました。 その中で、MIXI では 2023 年より全社的に GitHub Enterprise Cloud の導入を進めることになりました。GitHub Enteprise Cloud には、GitHub Copilot Enterprise の導入が可能になる他、様々なメリットが存在するので、今回は特に活用している機能を紹介します。 SAML SSO によるユーザー管理性向上 G
Real World Kamal
対象読者 Kamal の仕組みを知りたい Kamal のメリットを知りたい Kamal の実際の運用方法を知りたい ※デプロイツールって何？Dockerって？という初学者は対象としていません。 ※Kamalの基本的なインストール方法、導入方法については詳しく説明していません。 はじめに この記事では、Kamal v2を実際に案件で使ってみてわかったことをもとに、実践的なKamalの使い方を紹介します。 Kamalは、RenderやECS+Fargateなどの商用サービスと違い特定のプラットフォームに依存せず、昔ながらのCapistranoなどと比べてデプロイ先の環境構築が容易かつゼロダウンタイムのデプロイが簡単にできる特徴があります。 私の経験でも「ゼロダウンタイムのデプロイ」をしたいがためにECS+Fargateの導入をご相談されるお客様もいますが、アプリケーションの規模に比べて構成が複
Amazon ECS の 10 周年を祝う: 10 年間にわたるコンテナ化イノベーションの推進 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS の 10 周年を祝う: 10 年間にわたるコンテナ化イノベーションの推進 10 月 28 日、私たちは Amazon Elastic Container Service (ECS) の 10 周年と、クラウドで可能なことの限界を押し広げてきたそのすばらしいジャーニーをお祝いしたいと思います! Amazon Web Services (AWS) で Docker コンテナの実行を効率化するソリューションとして始まったものが、シームレスなコンテナオーケストレーションを実現する AWS Fargate を使用したサーバーレスオプションなど、優れたパフォーマンスと運用のシンプルさの両方を提供する基盤テクノロジーへと進化しました。 過去 10 年間で、Amazon ECS は数え切れないほどの組織にとって信頼できるソリューションと
信頼性を担保しながらユーザー体験を向上するTROCCO開発の裏側（アーキテクチャConference 2024講演レポート）｜株式会社primeNumber
11月26日に開催された、システムの基盤となるアーキテクチャをテーマにした「アーキテクチャConference 2024」。プロダクト開発本部 CTO室長の中根さんが登壇、「PaaSとSaaSの境目で信頼性と開発速度を両立する〜TROCCO®︎のこれまでとこれから〜」と題し、TROCCOの歴史を振り返りながらアーキテクチャについて解説しました。 プロダクト開発本部 CTO室長の中根さんなお、中根さんの登壇資料はSpeaker Deckに公開されています。講演の詳細を知りたい方はこちらの資料をお読みください データ基盤構築・運用の辛みを“まるっと引き受ける”のがTROCCOの役割中根さんははじめにTROCCOの概要を紹介。TROCCOはデータ基盤構築や運用の「統合」部分を担うサービスだとし、「統合だけで嬉しいの？ と思われるかもしれないが、実際にはさまざまなデータソースへの対応や、実装した後
本記事は AWSアワード記念！夏のアドベントカレンダー 16日目の記事です。 🎆🏆 15日目 ▶▶ 本記事 ▶▶ 17日目 🏆🎆 こんにちは、坂本です。 今年の 2024 Japan AWS All Certifications Engineer に選ばれましたので AWSアワード記念！夏のアドベントカレンダー を機にブログ初投稿になります。 最近、Amazon Simple Email Service（以下：SES） の承認ポリシーを設定する機会があったので、今回は備忘もかねて書いてみます。 はじめに SES は API エンドポイントまたは SMTP インターフェイス を利用してメール配信を行えるサービスです。SES を利用するためには検証済みIDとしてメールアドレスもしくはドメインを作成します。IDステータスが検証済みになっていれば利用可能です。承認ポリシーは検証済みIDの詳
コスト配分タグを活用してAmazon ECSクラスターやECSサービス単位の利用料金を把握する方法 | DevelopersIO
はじめに Amazon ECSのクラスターやECSサービスで起動するタスクにタグを設定することで、タグ単位で利用料金を把握することが可能です。 ECSのコストをタグで管理するには、ECSサービスやECSクラスターではなく、ECSタスクにタグを付与する必要があります。 ECSサービスに対してタグを追加し、さらにタグの伝播を有効化することで、ECSサービスから起動されたタスクにも自動的にタグが付与されます。 なお、タグの伝播はデフォルトでは無効化されているため、手動で有効化する必要があります。 試してみる すでにECSサービスが作成済みであることを前提とします。 今回は、ECSサービスで起動しているタスクの利用料金を把握できるよう手順を解説します。 既存のECSサービスでタスクにタグを付与する手順は、以下の通りです。 タスクの起動に使用するECSサービスに対してタグを付与する ECSサービスの
本記事は AWSアワード記念！夏のアドベントカレンダー 11日目の記事です。 🎆🏆 10日目 ▶▶ 本記事 ▶▶ 12日目 🏆🎆 はじめに ふと、ECRを眺めてて気づいた そもそもOCIってなんぞや Open Container Initiative OCI Artifactってなんぞや ちなみにImage Indexとかってなに？ 結局OCI Artifactはどこで活躍するの？ OCI準拠のイメージ署名 SOCI Indexを利用したLazy Loading まとめ はじめに ozawaです。今年もAllCert継続となりました。引き続きよろしくお願いします。 先ほどエアコンの水漏れ対応工事が終わり、ようやく灼熱地獄から抜け出せそうです。 ふと、ECRを眺めてて気づいた 最近はIaC化も進んでおり、なかなかAWSコンソールをまじまじ見る機会も減りました。 そんな中、ふとECRコ
CeleryのMessage Priorities機能を利用した処理遅延の低減 - Nealle Developer's Blog
こんにちは、SREチームの宮後(@miya10kei)です。 バイクに乗っていて気持ちが良い季節になってきましたね🌸 メッセージキューを利用した非同期タスクを扱っていて、誰しも優先度順にタスクを処理したいなと思ったことがあるのではないでしょうか？ 今回はCeleryの機能を利用して実現することができたので紹介したいと思います。 Celeryってなに？ Celeryは分散メッセージキュー機能を提供するPythonベースのOSSです。 メッセージキューのBrokerとしてRedisやRabbitMQ、Amazon SQSなどを使用でき、分散環境での非同期タスクの実行を実現しています。 公式サイトを引用すると次の説明になりますね。 Celery is a simple, flexible, and reliable distributed system to process vast amou
Savings Plans 購入後に忘れずに設定したい3つの通知設定 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 AWS のコスト最適化で最も有名なサービスであろう Savings Plans を購入後に、忘れずに行いたい通知及び監視設定について改めて記載します。 はじめに 余談 2020年1月6日 Savings Plans の利用率を確認及び通知する方法 2020年11月6日 Savings Plan が有効期限と予約期限の通知アラートに対応しました リザーブドインスタンスについて SP 購入後に忘れずに設定したい3つの通知設定 1. 有効期限切れの通知 設定方法 実際に送付された通知の例 AWS 公式ドキュメントの紹介 2. AWS Budgets による使用率の監視通知 どのように運用するのか？ 設定方法 実際に送付された通知の例 運用上の注意点 3. AWS Budgets によるカバレッジの監視通知 どのように運用するのか？ 設定方法 実際に送付された通知
導入 何について話すのか 開発環境を改善して、効率化することでアプリケーション開発に注力するため行った（行っている）取り組みについてお話します。 本記事はQmonus Value Streamの投稿キャンペーン記事です。 想定読者 レガシーな環境を改善している（していきたい）人 開発環境改善のアイデアが欲しい人 CI/CDやDevOpsよりな仕事に関わる人 どんな人が書いているか(自己紹介) 3年目のエンジニアでバックエンドを中心に担当（最近インフラも担当するようになりました） メインで扱う技術はPHP・TypeScript・AWS アプリケーション開発とAWSインフラ構築を担当する 受託開発が中心の企業に従事 記事で触れる取り組み（取り組んだ順） Dockerの導入 テスト・静的解析の導入 CI/CDの導入・整備による効率化 Gitフローの変更・整備・周知 フロントエンド側へTypeSc
概要 マイクロサービスアーキテクチャではサービス間の依存関係が複雑化し、デバッグやパフォーマンス管理が難しくなります。本記事では、分散トレーシングの必要性を整理した上で、代表的なツールであるAWS X-RayとDataDogを比較検証します。さらに、FunctionA → SQS → FunctionBという簡易的なサンプルアプリケーションを例に、実際にトレーシングを試す際のポイントを紹介します。 1. はじめに：マイクロサービスと分散トレーシングの重要性 マイクロサービスは、アプリケーションを小さなサービスに分割することでスケーラビリティや開発効率を高められるアーキテクチャです。しかし同時に、サービス間通信の可視化や性能監視、障害原因の特定が難しくなるという課題があります。 分散トレーシングを導入することで、以下のメリットが期待できます： サービス間の呼び出しの可視化 どのサービスがどの
AWS Lambdaをモノリシックに使うLambdalithアプローチの紹介とそのメリット | ブログ | Serverless Operations
>_cd /blog/id_5o3au2eyp development technology#Function URLs#AWS LambdaDate2024-10-07Time20:18:52 JST LambdalithアプローチとはAWS Lambdaをモノリシックに使うLambdalithというアプローチはご存知でしょうか。端的に言うと単一のLambdaファンクションでRest APIのすべてのルーティングとその処理を実装しようというアプローチです。AWSの構成図で言うと以下のようになります。 Operating Lambda: イベント駆動型アーキテクチャの設計原則 – Part 2のブログにはAWS Lambdaの設計原則として以下のように書いてあります。 ほとんどのアーキテクチャは、より大きな少数の関数よりも、より短い多数の関数にすることが推奨されます。Lambda 関数をワ
SRE チームの市川恭佑です。 今回はコンテナに関連するDevOpsツールを作った話です。ecresolve と書いて「イーシーリゾルブ」と読みます*1。 github.com ecresolve は、ざっくり言うとコンテナイメージのタグが上書きされる前提で、複数タグを指定すると一番先頭で見つかったものを出力するツールです。 基本的な使い方としては、たとえば dog と cat のタグのみが存在する ECR リポジトリ animal があるとき、以下のコマンドを実行すると標準出力に dog が出力されます*2。 ecresolve monkey bird dog human cat --repository-name=animal --format=tag-only # dog なお、本記事の大前提として、もちろん本番環境において、特にお客様のデータを取り扱うようなコンポーネントについては
こんにちは、大林です。JAWS-UG朝会 #63 で、「ガードレールの有用性とリスク対策」というタイトルで登壇してきました。ガードレールはアカウントを安全に運用する上で実装しておきたい仕組みですが、必ず理解しておくべきリスクもあります。本ブログでは、JAWS-UG朝会 #63で発表した内容を説明していきます。 jawsug-asa.connpass.com 発表資料 アカウント運用のあるべき姿 アカウント運用におけるコスト増加 アカウント運用の自動化によって発生するリスク 小さく自動化を進める ガードレールの大量課金リスク ガードレールの大量課金リスク対策 大量課金リスクへの予防策 まとめ 発表資料 speakerdeck.com アカウント運用のあるべき姿 上の図は、AWSアカウントを安全かつ効率的に運用するための4つのプロセス、「検知・通知」「調査・修正」「分析」「改善」を示しています
なぜ今コンテナなのか【AWS Black Belt】
本動画の資料はこちら https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_Why-Container-Now_0630_v1.pdf 【動画の対象者】 コンテナ技術に興味はあるけど、そもそもなぜやるのか、どこから始めればいいかわからない方へ。 この動画では、AWSの主要なコンテナサービスであるECS(Elastic Container Service)とEKS(Elastic Kubernetes Service)について、そもそも論をふくめて解説します。 【スピーカー】 荒木 靖宏 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 【目次】 0:00 タイトル 0:20 講師紹介 0:35 コンテナは生産性を上げるための自然な選択 1:30 78%の新規アプ
【お子さま向け】Amazon ECS サービスディスカバリーって知ってる？【楽しい読み聞かせ】
https://shimagaji.connpass.com/event/341023/ で登壇した資料です。 恐竜くんと楽しいAWSの冒険をしよう！
Introducing Niantic Studio: The Future of Web-Based XR and 3D Content Creation
Introducing Niantic Studio: The Future of Web-Based XR and 3D Content CreationBuild immersive XR, 3D experiences, and casual web games with the public beta of our new visual editor and powerful web gaming engine—now available for free. Today, we’re excited to announce Niantic Studio, a new visual editor and web gaming engine for Niantic 8th Wall developers that offers an entirely new way to build
Unity Technologies、データ指向プログラミングをサポートするUnityの新たなアーキテクチャ「DOTS」について解説した電子書籍を無料公開｜ゲームメーカーズ
Unityの「DOTS（Data-Oriented Technology Stack）」について解説する電子書籍を、Unity Technologiesが無料で公開 DOTSは、従来のオブジェクト指向プログラミングから、データ指向プログラミングへと移行するためのアーキテクチャ パフォーマンス低下の要因やそれらを回避する効率的なコードの作成などを解説 Unity Technologiesは、電子書籍『Introduction to the Data-Oriented Technology Stack for advanced Unity developers』を無料で公開しました。 『Introduction to the Data-Oriented Technology Stack for advanced Unity developers』は、全49ページからなるPDF資料です。 本書籍
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれのパターンもEC2インスタンスやECS Fargateなどの課金が発生するリソースをプロビジョニングする必要があります。 そんな時に
デジタル庁のガバメントクラウドが地方自治体にあわず苦戦しているのだが、デジタル庁クラウドチームのコミュニケーション能力に問題がありそうなので指摘したい。 静的ページのクラウド化のテックブログを拝読していたのだが、つまらないが大事なことを書き忘れていて、業務にあった技術を選択するのではなく、流行の技術を推進しようとしているように思えてきた。 1. 運用体制の話がない 問題は以下の2本の記事なのだが、 ガバメントクラウドで考える静的Webサイト向けアーキテクチャ ガバメントクラウドでのSSG/SGアーキテクチャ - デジタル庁のサービス紹介サイトを公開 想定するシチュエーションの節はあるのに、運用体制の話がない。 2. アピールしている内容は分かるが、評価不能 デジタル庁クラウドチームが言いたいのは、 サーバーレスのクラウドに静的ページを並べておけば、最高のスケーラビリティと最速の表示速度が得
わずか数名と数ヶ月で実現した、金融機関のデータ基盤リプレイスとデータドリブンな組織への貢献 - Coincheck Tech Blog
コインチェック株式会社（以下、コインチェック） データ基盤グループの岩瀬です。今回は、暗号資産交換業者であるコインチェックで実施したデータ基盤のリプレイス事例と、そこから連続するデータ基盤拡充の取り組み、データドリブンな組織への貢献についてご紹介します。 TL; DR 暗号資産取引所を運営するコインチェックでは、運用されていたデータ基盤を、限られた技術リソースと短期限でモダンにリプレイスし、結果 インフラコスト90%削減 を実現しました。 Treasure Data で構築されていたデータ基盤の移行先として Google Cloud を選定し、3ヶ月で既存と同等のシステムを構築 して並列運用を実現し、システムのリプレイスが可能であることを示しました。 以後データ基盤の拡充を進め、社内で生成される各種データのデータレイクへの集約、それらを活用したダッシュボードの構築、データ分析環境の整備、デ
デジタルペンテスト部の多羅尾です。 近年、ビジネスを展開する上でクラウドサービスは不可欠なものとなりました。クラウドサービスを利用するなかで、シークレット情報（データベースへの認証情報やサードパーティAPIキーなど）を適切に取り扱っていないと攻撃者にシークレット情報を取得されてしまい、情報漏えいやアカウントの不正利用などの被害に遭う危険性があります。 本記事では、AWS（Amazon Web Services）環境において、シークレット情報を適切に保護しておらず脅威に繋がる例と対策例としてAWSが提供している「シークレット情報を管理するサービス」を紹介します。 シークレット情報が取得される脅威例 脅威例として、Amazon ECS（Elastic Container Service）※1とAWS Lambda※2を取り上げます。これらのサービス上で、シークレット情報を平文で保管していた場合
'); doc.close(); } if (!doc) throw Error('base not supported'); var baseTag = doc.createElement('base'); baseTag.href = base; doc.getElementsByTagName('head')[0].appendChild(baseTag); var anchor = doc.createElement('a'); anchor.href = url; return anchor.href; } finally { if (iframe) iframe.parentNode.removeChild(iframe); } }()); } // An inner object implementing URLUtils (either a native URL // ob
[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO
こんにちは、AWS事業本部の荒平(@0Air)です。 CloudWatch Logsにどのくらいのデータが保管されていて、現時点の総容量がどのくらいあるか把握したいと思ったことはありませんか？ 過去3回も思ってしまった自分のために、AWS CLI(CloudShell)を使ったCloudWatch Logsの容量を取得できるコマンドを残しておきます。 はじめに CloudWatch Logsは、Lambdaの実行ログ、API Gatewayのアクセスログ、ECSのタスクログ、CloudTrailの操作ログなどを一元的に管理できる便利なサービスです。 ただ、「CloudWatch Logsにログを置きっぱなしにするとコストが余計に掛かって勿体ない」という話はしばしば聞きます。 以下記事で紹介されている通り、圧縮率を考慮しない料金だとAmazon S3がやはり安いです。（圧縮率を考えると、更に
![[小ネタ] CloudWatch Logsに保存されているログの総容量をAWS CLIからサクッと確認する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0021836084bdde128e82746a611da7093dc6b0f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cloudwatch.png)
こんにちは、森田です。 本記事は Dify Advent Calendar 2024の22日目の記事です。 はじめに Dify をご存知でしょうか。 Dify とは、オープンソースの LLM アプリ開発基盤となっており、ノーコードで誰でも簡単に LLM アプリを作ることができます。 Dify は、SaaS版を利用することですぐに利用することもできますが、オープンソースプラットフォームであるため、AWSなどのクラウドサービスを使ってセルフホスティングすることも可能です。 「AWSマネージドサービスを可能な限り使って実現できないかな」と調査していたところ、aws-samplesに以下のリポジトリがありました。 dify-self-hosted-on-awsの中身を覗いてみる 引用：https://github.com/aws-samples/dify-self-hosted-on-aws/bl
NetBox のオンプレから Amazon ECS 移植を CDK で実現する - NTT Communications Engineers' Blog
チームの管理情報を溜めていたオンプレ基盤で動く NetBox を Amazon Elastic Container Service へ AWS Cloud Development Kit を用いて移植しました。 今まで NetBox をオンプレで動かしていた際には以下のような運用の難しさがありました。 DB も Docker コンテナによって管理されており、冗長化もなかったため DB コンテナが落ちてしまうとサービス提供できなくなる可能性があった Docker Compose で動かしているので、サービスの作り直しを実施するとそれまでのログが削除される そもそも NetBox を動かしている場所で法定停電があり、定期的に NetBox のサービスがとまっていた NetBox を AWS へともっていくことでオンプレ運用時に発生していた手間を簡素化し、メンテナンス等も一部 AWS にマネージ
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた | DevelopersIO
[アップデート]Amazon CloudWatch Application SignalsがGAしました！CDKでサンプル作ってみた Amazon CloudWatch Application SignalsがGAしました！Application Signalsを試しに使うための環境をCDKで作り、実際にSLO/SLIを設定してみます。 はじめに 先日AWS上でSLO/SLI設定を比較的簡単に実現できるAmazon CloudWatch Application SignalsがGAしました！GA前からAWS上ではAPMがどう実現可能なのか、何が違うのかという記事はいくつかありました。 本稿ではApplication Signalsの簡単な概要と提供環境/言語/リージョンについての紹介に合わせて、実際にサンプルを作ってどんな動作をするのか確認してみます。実際に0から構築することで何が必要なの
OpenTelemetryで環境ごとにObservability Backend（Jaeger、Datadog）を切り替えてエンジョイしてみたよ - Timee Product Team Blog
こんにちは！ タイミーでPlatform Engineerをしている @MoneyForest です。 こちらは Timee Product Advent Calendar 2024 の10日目の記事です。 2024年8月に入社して、幸いにもチームメンバーにも恵まれて楽しく働いています。 個人的にキャッチアップがあまりできていなかった OpenTelemetry を題材にして実装をしてみたので、ここから得られた気づきや知見を共有したいと思います。 はじめに アプリケーションの可観測性（Observability）を担保する上で、APM(Application Performance Monitoring)は重要です。 現在、JaegerやPrometheusのような非商用のものから、DatadogやNew RelicやSplunkなど様々なAPMを利用できるツールが存在します。（本記事では
tfstateを読む tfstate-lookup - fujiwara-ware advent calendar 2024 day 11
この記事は fujiwara-ware advent calendar 2024 の11日目です。 tfstate-lookup とは tfstate-lookup は、Terraform の tfstate ファイルを読んで、指定したリソースの情報を取得するためのコマンド兼ライブラリです。 同様のことは terraform 自体が用意している terraform state show でできますが、tfstate-lookup は Go のライブラリとして利用できるため、他のツールに組み込んで使うことができます。 terraform がインストールされていない環境でも単体のコマンドとして利用できます。また、実装は Terraform 自身のコードには一切依存していません。起動も terraform に比べて高速です。 なぜ作ったのか Amazon ECS デプロイツールの ecspres
データセット生成・前処理のためのLLM推論クラスタの構築と運用 - Preferred Networks Research & Development
はじめに Preferred Networks (以下PFN) 子会社のPreferred Elements (以下PFE) は、PLaMo 2シリーズの開発を進めており、その成果の一部としてPLaMo 2 1BおよびPLaMo 2 8Bの事前学習済みモデルを先日公開しました。モデルの詳細は以下の記事をご覧ください。 大規模言語モデルの次期バージョン PLaMo 2 の事前検証: SSMの採用と合成データによる性能改善の取り組み 大規模言語モデルの次期バージョン PLaMo 2 8Bによる検証 PLaMo 2の開発は、高品質データセットをどれだけ構築できるかが重要なポイントと考えています。実際、高品質データセットを使用したPLaMo 2 8Bは、8BというサイズでPLaMo-100Bに相当する性能をJMMLUやJHumanEvalで獲得しています。 事前学習チームでは、その源泉となった高品
はじめに Amazon Bedrock で Claude 3 Opus が利用できるようになりましたね！ ですが、私のお気に入りのエディタである Cursor は、Anthropic の API を直で叩いたり、Azure OpenAI Service の API は利用できるものの、Bedrock には対応していません。。。 いつかアップデートされるのを待つしかないかなぁ、と思っていたところ以下の記事を見つけました。 なるほど！OpenAI 互換のエンドポイントを用意すれば、いろんな API を叩くことができるのか！ そこで、この記事では AWS 上に OpenAI 互換の API を用意し、その API 経由で Bedrock を呼び出すことで Cursor から Bedrock の Claude 3 Opus を利用できるか試してみたいと思います。 利用するもの ALB + Lamb
Announcing updates to the AWS Well-Architected Framework guidance | Amazon Web Services
AWS Architecture Blog Announcing updates to the AWS Well-Architected Framework guidance We are excited to announce the availability of an enhanced AWS Well-Architected Framework. In this update, you’ll find expanded guidance across all six pillars of the Framework: Operational Excellence, Security, Reliability, Performance Efficiency, Cost Optimization, and Sustainability. In this release, we upda
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
外部サービス連携におけるリコンサイルの重要性と実装時の検討ポイント - inSmartBank
RailsアプリケーションにThrusterを導入する - メドピア開発者ブログ
2024年9月に公開されたAWSサービスのサポート終了アナウンスまとめ | DevelopersIO
AWS Glue × Apache Iceberg で構築する更新可能なデータレイクテーブル
TerraformでECS Fargateの踏み台をつくる | DevelopersIO
Skynew、7型タッチディスプレイを内蔵したIntel N100搭載小型PCを発売
AWS Copilot CLIを試してみた - Qiita
モンスターストライクの開発には GitHub Enterprise Cloud を活用しています
AWS SES の承認ポリシーを設定してみた - NRIネットコムBlog
OCI Artifactとはなんぞや？というお話 - NRIネットコムBlog
開発環境を改善するためにチームに提案して実践したこと - Qiita
マイクロサービスでの分散トレーシング - AWS X-Ray vs DataDog
コンテナイメージのタグをよしなに探すツールを作りました - KAYAC Engineers' Blog
Configの大量課金リスクと自動化のリスクへの具体的な対策 - NRIネットコムBlog
デジタル庁クラウドチームがコミュ障ギークなのではないかと心配になった件
AWSにおけるシークレット情報の取り扱い方と設定不備による脅威 | LAC WATCH
イベリン: 彼が生きた証 | Netflix (ネットフリックス) 公式サイト
AWSマネージドサービスで Dify のセルフホスティングを試してみた | DevelopersIO
Cursor でも Bedrock 経由で Claude 3 Opus を使いたい！！！