ほとんどのサービスとアプリケーションには、制限の大きなお試し版とも言える無料プランと、制限の緩和された有償プランがあります。さらに、有償プランのトライアルや、グループ開発向けのEnterpriseプランが用意されていることがあります。個々のサービスおよびアプリケーションについての料金体系の掲示は省くので、関心のあるものについてはまず無料プランから試すことをお勧めします。 アプリケーション構築は、多くの手順を必要とすることから比較的難易度の高い作業です。専用のウィザードがステップ・バイ・ステップで構築をフォローするスタイルは、今では「やりたいこと」を述べるだけでAIが代行してくれるようになりました。デザインも、直接アプリケーション構築に持ち込むことができます。 スタイリッシュなUIを生成するv0 ▲v0 v0（ブイゼロ）は、Next.jsの開発元であるVercel Labsによる、AIを活用
Railsを扱う時に考えること
概要 こういうことを実践できたらメンテナンスしやすいRailsアプリケーションを構築できるんだろうな、というポエムです。 前提 以下の条件を前提に書いています。 0→1の構築である 自由に技術を決められる モノリス モジュラモノリスは考えない 複数DBは考えない スコープ ざっと以下のことを考えたいと思います。 フロントをRailsで構築するかどうか REST vs GraphQL RDBMS選定 ライブラリ選定 静的解析 rubocop モデリング つまりDB設計 アーキテクチャ Yes MVC, No Layerd Architecture サービスクラスの是非 Fat Controllerの避け方 自動テスト戦略 RSpec (Playwright) コンテナ化 令和時代のRailsに最適化されたDockerfileの書き方 インフラリソース クラウドプロバイダー選定(AWS, GC
先日社内でIaCについて少し喋った記録 - Qiita
はじめに 先日ランチタイムテックトークというお昼にラジオ感覚で技術の話を聞こうという社内のイベントで「IaCについて適当に喋る」と簡単な内容ではあったものの意外と好評だったので、記事にもまとめようと思います ここ2年くらい案件でCloudFormationとTerraformに触ったので、個人的な所感をまとめたものです IaCとは IaCとはInfrastructure as Codeのことで、インフラ構成をコードで管理することです IaCのメリット 再現性 →同じコードを使うと、同じリソースが作成される 手作業の減少 →人的ミスが減り、自動化できる バージョン管理ができる →変更履歴を追うことができ、戻すのも楽 IaCのデメリット 学習コストが高い 1回しか作らない場合はコンソールから作った方が早い 代表的なIaCサービス AWS CloudFormation ・提供元：AWS ・対応ク
Google Cloud のリソースを使ってプライベートPythonパッケージリポジトリを作った話 - VISASQ Dev Blog
はじめに ビザスク開発本部 検索チームのくまがいです。 Pythonでアプリケーションを書いていると、何度も出てくる値やロジック等を再利用したいニーズがあります。 開発初期ではプログラム内にハードコードされたそれらの値やロジックをコピー＆ペーストで横展開することも多々ありますが、再利用する箇所が増えていくとメンテナンス性が低くなってきて、共通モジュールとしてライブラリ化を検討することになったりしますよね。 ビジネスに固有の機能・コード片でなければパッケージ化してPython Package Index（PyPI）に公開することで、自社のみならず同じような機能を必要としている人の助けになります。 有用な機能であればたくさんの人から参照・ダウンロードされ、感謝されたり文句を言われたりとたくさんのフィードバックを得ることができます。 公開することが許される内容なら、それも一つの選択肢です。 一方
アンドパッドには Ruby/Rails のプロダクトが沢山ありますが、 ... アンドパッドは Go のプロダクトも沢山あります ! そこで今回はアンドパッドの Go の技術顧問である tenntenn さんをお迎えし、アンドパッドの Gopher 、 小島 夏海 と tomtwinkle の二人と "アンドパッドの Go" について対談しました。 アンドパッドは Go をどう使っているか、 Gopher の雰囲気、 Go の社内勉強会 "Gopher 会" など成長できる環境を紹介しています。 Gopher だけでなく、 Go 未経験だけど Go に興味があるという方も、ぜひご覧ください ! 小島 夏海 @replu5 社内開発者向けの分散 DB 基盤の運用・ライブコマースサービスの開発・ toB 向けサービスの開発を経て、 2021 年にアンドパッドに入社。 現在はバックエンドエンジニ
はじめに 初めまして。BASEのエンジニアの田中大貴です。お客様の安心安全な購入を実現するためデータ分析や不正決済検知モデルの開発・運用を頑張っています。 今回は、チームのより良い開発環境を作るために行ってきた施策の事例をご紹介します。(機械学習に特有の問題ではない施策が多いです。) 開発フロー BASEでは、ショップの開設から購入に至るまで、様々なシーンで機械学習モデルが運用されています。私が所属するData Strategyというチーム(以下弊チーム)ではこのような機械学習モデルの開発運用をしています。 機械学習モデルによる推論は、APIによるリアルタイム推論もしくはワーカーによるバッチ推論によって提供します。弊チームではAPI・バッチをECSやLambdaを使って実装していることが多いです。典型的な推論部の開発の流れは以下の通りです。例としてECS上で動いているAPIに何かしらの変更
さくらインターネットのクラウドがあんま選ばれない理由
AWSじゃ無いから。とかいうと、身も蓋もなさすぎるんだけど、後発だけど国産だし選びやすいんですよーという説明ができないのがキツいんスよ。 ものごっつバカっぽいこと言うと、試算するときの計算が面倒なんスよ。後発なのに。 ここがめんどうなんだよ、さくらインターネットのクラウドAWSだとS3とか呼ばれてるオブジェクトストレージ（ファイル保存先）あるじゃ無いスか。 さくらインターネットだとまんま「オブジェクトストレージ」って言われてるやつね。 これね、料金体系が（俺に言わせると）バカなんスよ。 基本月額 ストレージ100GiB 495円 超過した分は従量課金で、 ストレージ容量 10GiB毎 49.5円転送量 10GiB毎 88円リクエスト数 100,000リクエスト毎 55円オブジェクト数 10,000オブジェクト毎 11円これさ、なんスか、バカにしてんスか？マジで。 見積もり出す時に、何が悲し
お疲れさまです。とーちです。 TerraformはAWSのようなクラウド以外にもSaaS等様々なリソースの設定をできるのが素晴らしいですよね。 そんなTerraformですが、実は自己署名証明書を作ることもできるというのを最近知りました。 この記事ではTerraformを使って、自己署名証明書の作成からそれをACMに登録してALBに紐づけるところまでを一発で実行する方法をご紹介します。 本来、AWS Certificate Manager（ACM）で正式な証明書を発行するのが推奨される方法ですが、DNSを変更する権限がなかったり、開発環境用のドメインが用意されていない等の理由で証明書が気軽に発行できないケースもあると思います。今回ご紹介する方法はそういった場合に気軽に検証環境を用意する方法としてお使い頂ければと思います。
TROCCOのSelf-Hosted RunnerをAmazon ECS（Fargate）で動かしてプライベートネット間の転送をしてみた
はじめに 2025/02現在、クラウドETL「TROCCO」では、任意の環境でデータ転送処理を完結できる、「Self-Hosted Runner」機能の開発が進められています。 この度、β版としてトライアルの受付が始まったので、実際に試してみました。 筆者について 筆者は、サービスの黎明期よりTROCCOの開発に従事、Self-Hosted Runnerの設計や実装の一部も行っている、いわゆる中の人です。 今回は、現時点での公開可能情報から、できる限り本機能のイメージを明確にしていただければと、執筆しています。 既存のTROCCOのアーキテクチャ まず、既存のTROCCOのアーキテクチャについて軽く触れておきます。 TROCCOでは、データ転送ジョブが立ち上がると、弊社管理のAmazon EKS上でPodが立ち上がり、終了するとPodも破棄されます。 Pod内では、OSSのEmbulkで転
Amazon DynamoDB の Single Table Design とは？ 使い方と設計の手引き｜SHIFT Group 技術ブログ
Amazon DynamoDB の Single Table Design とは？ 使い方と設計の手引き 株式会社SHIFT インフラサービスグループの山下と申します。パブリッククラウドを活用したサービス設計・構築を主な業務としています。 今回は Amazon DynamoDB の効果的なデザインパターンである Single Table Design をご紹介したいと思います！ Amazon DynamoDB は NoSQL のデータベースサービスですが、実際にどのようにスキーマ設計をするのかイメージが掴めず、DB としての候補にすら挙げづらいといった側面があるのではないでしょうか？ 本記事では、Amazon DynamoDB でどのようにスキーマ設計を行うのかを解説します。AWS をご存知ない方でも理解できる内容となっております！Amazon DynamoDB を組み込んだアーキテクチャ
個人的備忘録：ハッカソンで作成予定の CloudFront & ALB の Route 53 設定を自分なりにまとめた - Qiita
書こうと思ったきっかけ フロントエンドとバックエンドを AWS 上で運用する際に、Route 53 の設定方法について調べたので、その内容を整理しました。 同じような構成を考えている人の参考になればと思い、このメモを残しています。 前提の構成 フロントエンドとバックエンドのインフラ構成は以下のようになっています。 フロントエンド (honda333.blog) S3 + CloudFront による静的サイトホスティング ACM (バージニア北部 us-east-1) を利用した SSL 証明書 Route 53 で CloudFront に向ける設定 バックエンド (back.honda333.blog) ALB (東京 ap-northeast-1) によるトラフィック管理 ACM (東京 ap-northeast-1) を利用した SSL 証明書 Route 53 で ALB に向け
手を動かしてメリットを実感するTerragrunt入門2 〜Terragruntを使ってみよう! その1 〜
はじめに こんにちは！e-dashのSREグループ所属のkohekoheです。 今回はe-dashのインフラ管理のツールとして新規導入したTerragruntというツールに関して紹介したいと思います。 Terragrunt入門の記事として3本の記事を投稿します。次の構成で紹介したいと思います。 1.Terragruntの概要とどういったメリットがあるのかを解説します 2.Terragruntを使ったハンズオン①(導入〜単一モジュールのプロビジョニング)【★本記事】 3.Terragruntを使ったハンズオン②(複数モジュールのプロビジョニング) こちらはe-dash advent calendar 2024の3日目の記事です。 注意点 Terragruntに関して知らない・詳しくない人が対象読者です Terraformの知識は一定ある前提で話を進めます 本記事ではAWSを用いて解説します
【AWS】GuardDuty Malware Protection for Amazon S3のコストが85％削減！Terraformで使ってみる！AWSTerraformGuardDutyJapanAWSJr.Champions2024JapanAWSJr.Champions はじめに 最近、GuardDuty Malware Protection for Amazon S3のスキャンしたデータ量に発生するコストが最大85％削減されました。 今回は、そのGuardDuty Malware Protection for Amazon S3をTerraformで使ってみました！ Amazon GuardDuty Malware Protection for S3 の概要 Amazon GuardDuty Malware Protection for Amazon S3 は、S3 にアップロー
こんにちは。estie のデータマネジメント事業部に所属しています万代です。今回は estie レジリサーチの公開に寄せて、その裏側の技術的な内容についてのブログです（estie レジリサーチの説明については PMの勝田のブログをぜひご覧ください！）。 私は普段はオフィスの募集情報（このビルのこの階の広さ何坪の区画は入居者をいくらで募集しているよ、のような情報）を扱っています。世の中にオフィスビルはたくさんあり、estie マーケット調査が扱っているオフィスビルは2024年10月現在8万棟以上、募集情報は200万件以上と大量のデータを扱っています。 しかしながら日本にはオフィスビルよりもずっと多くの住宅が存在します！estie レジリサーチで取り扱うデータも estie マーケット調査（オフィスを扱うプロダクト）とは比較にならないような量があり、執筆時点では建物情報（マンション・アパートの
オープンソース放棄の落とし穴--プロプライエタリー化が招く成長の停滞とユーザー離れ（ZDNET Japan） - Yahoo!ニュース
この10年間で、RedisやElastic、MongoDB、HashiCorpといった企業がオープンソースライセンスのルーツを捨てて、プロプライエタリーモデルに移行した。各社はクラウドプロバイダーとの競争や投資家からの圧力を理由に挙げているが、その決定は利益の追求を目的としたものに他ならない。だが、これには1つ問題がある。それは、この戦略がうまくいかないということだ。 英国の「State of Open」カンファレンスで、「CHAOSS」プロジェクトのデータサイエンスディレクターを務めるDawn Foster氏は、フォーク（プロプライエタリーコードベースに代わるコミュニティー主導の代替ソフトウェア）が成功していることを示す有力な証拠を発表した。その一方で、オープンソースの原則を放棄した企業は、成長が停滞し、ユーザーを幻滅させている。 プロプライエタリー化の背後にあるビジネス理論は、好ましい
2024年版 ngrok を使用したローカルサイトの公開について（アカウント登録など必要） - Qiita
ngrok とは ローカルで実行しているWebサーバーを外部（インターネット側）に公開する仕組みです。使い方は簡単でWebサーバーと同じ環境で ngrok を動かすことでトンネリングにより外部公開することができます。 ちなみにこれまで無料枠で出来たことが 2024/6 現在できないなど仕様変更があります。そこらも含め自分の整理も含め記事にしてみました。 ngrok を使用するためには ngrok を使用するためには、アカウント登録が必須となりました。以前は（Webの記事を見る限り）、アカウント登録せずともトンネリングが使用できていたようです。 2024/6 現在 無料枠でできること（アカウント登録必須） ・無料の静的ドメインで HTTP アプリ、Webhook、API を提供 ・テスト用の一時的/ランダム ドメイン ・OAuth を使用してサービスへのアクセスを保護および制限 ・Webho
近年、AI（人工知能）の進化は目覚ましく、さまざまな分野でその技術が活用されるようになっている。 ITインフラの構築や運用管理において、AIの自動化技術は大きな注目を集め、従来、インフラ構築には高度な専門知識と時間が必要だったが、AIを活用することで、これらのプロセスが効率化され、より迅速かつ正確に行えるようになってきた。 ITインフラ分野では、クラウドリソースのプロビジョニングや運用管理を自動化するためにAIが活用されている。これにより、リソース管理の効率化やコスト削減が実現し、多くの企業がこの技術を導入している。 また、自然言語処理技術の進展により、エンジニアはコードを書くことなく自然言語でインフラ構築を指示できるようになりつつある。このような背景から、AIを活用したITインフラ構築は今後さらに重要性を増していくと考えられるので、まずはどのような種類があるか見ていきたい。 1. AIを
今回の記事について 今回は、Terraform講座の第三回として、Terraformの環境構築やフォルダ構成について解説します！！ 前回の記事はこちらからどうぞ！ 環境構築 環境構築は様々ありますが、ここでは、tfenvでの構築方法について説明します！ tfenvは、Terraformのバージョンを簡単に管理することが出来るツールです。詳しくはこちらをご覧ください！ 環境構築の手順 1. tfenv自体のインストール 1-1. tfenvのgithubリポジトリをクローンする。
BigQuery OmniでS3出力されたCURへクエリを投げたい ↑こちらの記事の続きです。 AWSコスト可視化のための環境は2日で作れるようになりました。 が、BigQuery + Athena + Lookerという環境なので、開くたびにクエリが実行され課金対象になってしまいます。 コスト削減のためにコストがかかるのも本末転倒感があるな、と思っていたところ、ちょうどduckdbを弄りたかったのでちょうどいいネタになると思い作ってみました。 CURを取得する 前回の記事では、Cost Usage Report(以下、CUR)をParquet形式で出力しておきました。 これにduckdbでクエリを投げます。 CREATE OR REPLACE TABLE cur AS SELECT line_item_usage_start_date, line_item_product_code, S
TerraformでOCIの構築を自動化する
TerraformでOCIの構築を自動化する 大規模なクラウド環境の構築を自動化するツールがほしい!! そんなときはTerraformを試してみるといいかもしれません。Terraform と Terraform Provider for OCI を使うと、設定ファイルを作るだけで大規模なクラウド環境を簡単に管理できるようになります。 チュートリアル一覧に戻る : Oracle Cloud Infrastructure チュートリアル terraformは、人間が読める設定ファイルで定義したリソースを自動でプロビジョニング処理するInfrastructure-as-code （IaC）を実現するサービスです。 terraformは複数のクラウドプロバイダを管理できるため、マルチクラウド環境で構築されたシステムなどを、簡単かつ効率的に管理することができます。 このチュートリアルでは、terra
はじめに Terraformでインフラを記述してapplyしてみたら思ったoutputと違う値が出ている、planでエラー出ているけどmoduleのoutputがどんな感じかわからない。「printfデバッグみたいなことができたらいいのに…」みたいなことを思った人はありませんか？ そんなあなたに、Terraformにはterraform consoleというコマンドをお勧めします。 terraform consoleを使ってみよう terraform moduleのoutputを別のmoduleの引数として参照したいというシナリオを想定していきます。 貴方はvpc moduleのoutputを使ってsecurity_groupを定義していきたいがどのようなoutputがあるか確認したいです。 与えられたコード module "vpc" { source = "terraform-aws-m
この四半世紀に構築されたレガシーシステムによって、DX（デジタルトランスフォーメーション）の推進が妨げられる「ITロックイン」が起きている。ITロックインを解決すべく戦略を立案するためには、企業システムを構成する6つの技術群を理解しておく必要がある。 その技術がなぜ生まれ、どう活用され、逆にどのような問題があるのかを理解することがITロックインから逃れるカギの1つとなる。そこで本特集では6つの技術群のうち2000年代後半に登場した「クラウドとDevOps」を解説する。2024年12月発売の書籍『DXリーダー必修講義 6つのキーテクノロジー』（日経BP）から抜粋した内容を掲載する。 アジャイル開発が普及し、開発部門のリリースの頻度が高まる一方で、運用部門は障害を発生させないために慎重なリリースを求める。開発部門と運用部門は分かり合えない――。 「DevOps」誕生のきっかけとなった米Flic
手を動かしてメリットを実感するTerragrunt入門3 〜Terragruntを使ってみよう! その2 〜
はじめに こんにちは！e-dashのSREグループ所属のkohekoheです。 今回はe-dashのインフラ管理のツールとして新規導入したTerragruntというツールに関して紹介したいと思います。 Terragrunt入門の記事として3本の記事を投稿します。次の構成で紹介したいと思います。 1.Terragruntの概要とどういったメリットがあるのかを解説します 2.Terragruntを使ったハンズオン①(導入〜単一モジュールのプロビジョニング) 3.Terragruntを使ったハンズオン②(複数モジュールのプロビジョニング)【★本記事】 こちらはe-dash advent calendar 2024の4日目の記事です。 注意点 Terragruntに関して知らない・詳しくない人が対象読者です Terraformの知識は一定ある前提で話を進めます 本記事ではAWSを用いて解説します
エンジニア選書 ［詳解］AWS Infrastructure as Code ――使って比べるTerraform＆AWS CDK 著者 原旅人 著 発売日 2025年2月12日 更新日 2025年2月12日
【インタビュー公開】NTT もクラウドを作っているって知ってた？国産クラウド開発の「秘密」に迫る｜moreドコモ @NTTドコモ採用チーム
こんにちは！NTT コミュニケーションズに出向し、プロダクト・サービスエンジニアをしております、福岡です。 はじめに突然ですが皆さん、クラウドの開発と聞いて何を思い浮かべますでしょうか？ おそらく AWS / Azure / GCP を使ってアプリケーションを動かしたり、Terraformをはじめとした IaC ツールによってインフラを管理・構築する、ということなどを想像される方が多いのではないかと思います。 ただ、私の行なっている開発は、このようなクラウド「を使った」開発ではなく、クラウド「の」開発、クラウド「それ自体の」開発です。 何を言っているのかピンとこない方もいるかもしれませんが、実は NTT は AWS / Azure / GCP のようなパブリッククラウドを「一から内製で」開発して運用しているのです。 その名も「SDPF クラウド」といい、Smart Data Platfor
はじめに 以前、初心者ながらTerraformを使ってみた記事（「TROCCO®のTerraform Provider（β版）ができたので最速で触ってみる」）を書きました。このときはローカルでの実行をベースにしていたのですが、これほど便利で浸透してきたツールはきちんと理解しておかないといけないだろうということで、もう少しまともな環境構築を模索してみます。 なお、一度に色々詰め込みながら試行錯誤したので、手順が整理仕切れていないのはご容赦ください。。。 前提 TerraformはIaC（Infrastructure as Code）のツールで、これを利用するとインフラ環境を宣言的に定義して構築することができます。 TerraformやIaCに詳しくない方は、Software Designの記事を転載しているCaddiのシリーズ記事が非常に参考になるので、読んでみてください。 また、CI/CD
aws_iam_policy_documentを使っていると、terraform planを実行したときに差分が大きくて変更がわかりにくくなることがあったので検証してみた。 具体的には以下のようなパターンで差分が大きくなった。 まず以下のようなtfがあったとして resource "aws_cloudwatch_log_group" "my-group" { name = "my-group" } resource "aws_iam_role" "log-writer" { name = "log-writer" assume_role_policy = jsonencode({ Version = "2012-10-17" Statement = [ { Action = "sts:AssumeRole" Effect = "Allow" Principal = { Service =
こんにちは、TailorでPdMを務める@hongoです。テイラーはエンタープライズ向けのソフトウェア開発基盤を提供していることから、ITインフラやセキュリティをとても大切に考えています。 今回は創業当初から技術顧問として関わっている @sudoとテイラーCTOの @mistatによる対談形式で、これまでのITインフラに関する取り組み・考え方についてご紹介できればと思います。 この記事に登場する方 @mistat@mistat ：CTO / 取締役 楽天株式会社（2004年〜）等を経てGREE株式会社の創業期にエンジニアとして参画、Speee株式会社（東証スタンダード市場上場）、スポットライト（現楽天ペイメント）等のCTOとしての創業を経て、2017年メルカリ入社、AI、HCI、ブロックチェーン、量子コンピューターなど最先端の研究からELSIなど社会科学分野まで幅広く研究開発を行うmerc
Langfuse v3はv2からどのように変わったのかを噛み締めながらAWSマネージドサービスでLangfuse v3を作りきる
Langfuse v3がついにGAしました皆さま年の瀬ですが、いかがお過ごしでしょうか？ LLMそのものにはあまり興味が持てなかった私ですが、案件で使って依頼Langfuse、もといLLMOpsのツール群が大好きになった私。 2024年12月9日にLangfuse v3がついにGAしてから、早く使ってみたいという気持ちからあろうことか年末の忙しい時期にLangfuse v3のアーキテクチャをAWSマネージドサービスで作ってみました。 良い子の皆さんは、大掃除や年越し準備をしている時期ですが、私はLangfuse v3をAWSマネージドサービスで作っていました.....。よろしくない。 だいぶ長い記事なので先に結論Langfuse v3のアーキテクチャをAWSマネージドサービスで作りたい場合はぜひ拙作のTerraformモジュールをご利用ください。 Langfuseとはまずおさらいですが、L
【フルリモート／LLM×SaaS】社内外の横断情報検索プラットフォームにおける機械学習エンジニアを募集！ - ストックマーク株式会社
【フルリモート／LLM×SaaS】社内外の横断情報検索プラットフォームにおける機械学習エンジニアを募集！ 【会社概要】 ストックマーク株式会社は「価値創造の仕組みを再発明し、人類を前進させる」をミッションに掲げ、最先端の生成AI技術を活用し、多くの企業の企業変革を支援しています。 社内外の情報をワンストップで検索できる「Anews」及び、あらゆるデータを構造化し企業の資産に変える「SAT(Stockmark A Technology)」を運営しています。さらに、企業特化生成AIの開発や、独自システムの構築も支援しています。 現在のメインターゲットは国内大手の製造業R&Dであり、すでに日経225の30％、250社を超える企業様での導入が進んでいます。今後は製造業のR＆Dを起点に、国内のエンタープライズ企業、そして日本企業全体、さらにはグローバル企業にも展開していく予定です。 また、日本語及び
AWS CDK コンストラクト - AWS Cloud Development Kit (AWS CDK) v2
これは v2 AWS CDK デベロッパーガイドです。古い CDKv1 は 2022 年 6 月 1 日にメンテナンスを開始し、2023 年 6 月 1 日にサポートを終了しました。 翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS CDK コンストラクト コンストラクトは、AWS Cloud Development Kit (AWS CDK) アプリケーションの基本的な構成要素です。コンストラクトは、1 つ以上の AWS CloudFormation リソースとその設定を表すアプリケーション内のコンポーネントです。コンストラクトをインポートして設定することで、アプリケーションを 1 つずつ構築していきます。 コンストラクトをインポートして使用する コンストラクトは、AWS コンストラクトライブラリ から
【AWS】DynamoDBでTTLに達したデータをS3 Glacierへアーカイブする構成 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 この構成は、IoTデバイスから送信されたデータをDynamoDBに格納し、設定したTTL（Time To Live）に基づいて自動的に削除されたデータを、低コストなS3 Glacierストレージにアーカイブするものです。 目的 データ保持要件の遵守: 一定期間経過したデータを削除する必要があるものの、監査や分析のために長期的な保管が必要な場合に、コスト効率よくデータを保持します。 コスト最適化: アクティブに使用するデータは高速なDynamoDBに、アクセス頻度の低い過去データは低コストなS3 Glacierに保管することで、全体
プログラミングスクールで経験積んでSESとか、未経験者歓迎で２〜３ヶ月研修ちょろっとやってSESなどの事例を耳にします。後者は私が新卒でSIerに入社した、2000年代初頭からある伝統芸能だけど。 未経験者を数ヶ月教育して現場デビューそのものは否定しないけど、昨今はデビュー戦なのに単身で乗り込むケースも有るようで、極めて無責任な形態だと思います。これで成長できる人は10人に1人いればいいと思う。 未経験の単身デビューは潰れてしまう人のほうが多い印象です。 サポートするからという体にはなると思うけど、お客さんからお金もらってる中で際そんな時間割く余裕は、なかなかもてない。フルタイム働いた上に、別途研修課題があってみたいな話も聞く。随分こき使うなｗ ちょろっとコード書けるレベル or まずはテスターという入り方、あのね、20年前からある伝統芸能なんですよ。令和だぞ？！ 私はもうすぐ20年近くこ
Terraform個人メモ：VPC、6つのサブネット、IGW、ルートテーブル、NAT、ALB、ECS、Goアプリデプロイのコード化 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
がく＠ちゅらデータエンジニア(50)です。 はっぴばーすでーとぅみーー、はっぴばーすでーとぅみーー 天命を知る・・・そんな年齢になりました! 50代、パワフルに生きていきたいと思っています！ こちらは のシーズン3の12日目の記事になります。 ※寝落ちして公開が一日遅れてしまったorz 開発環境、ステージング環境、本番環境について さて、皆さんは、あるプロジェクトで開発をするときは、環境をどのように用意されますか？ 本番環境 ステージング環境 開発環境 の三環境を用意して開発を進めるのが理想ですよね。 ※ソフトウェア開発上で使用される重要な3つの環境 CI/CDを用意するので環境ごとに構築するのはそこまで大変ではありません。 ※データエンジニア的に、Terraformはホント必須スキルかなーーーって思っています。 この3環境について、ChatGPTで聞いてみました。 ----- ここからC
AWSでマルチアカウント運用しているとコスト管理がちょっとたいへんですよね。 Cost Explorerでは単一アカウントしか見られないので、ほかのアカウントと比べて何にコストが掛かっているかみたいなのはグラフを並べて見られるとうれしい。 一方で、毎日コストを見ているわけにもいかないので、異常時だけ通知してほしい。 ということで、こんな感じ。terraformで作ります。 Cost Anomaly Detection まずはコスト異常検出です。 有効化するだけなのでそれほど面倒ではないのですが、AWS Chatbotがterraform対応してないので一工夫します。 hashicorp/awsccを使うか、aws_cloudformation_stackリソースを使えばよいのですが、CURでCloudFormationテンプレートの読み込みをするので合わせます。 と、解説を書こうと思ったら
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2025-02-13 07:00 この10年間で、RedisやElastic、MongoDB、HashiCorpといった企業がオープンソースライセンスのルーツを捨てて、プロプライエタリーモデルに移行した。各社はクラウドプロバイダーとの競争や投資家からの圧力を理由に挙げているが、その決定は利益の追求を目的としたものに他ならない。だが、これには1つ問題がある。それは、この戦略がうまくいかないということだ。 英国の「State of Open」カンファレンスで、「CHAOSS」プロジェクトのデータサイエンスディレクターを務めるDawn Foster氏は、フォーク（プロプライエタリーコードベースに代わるコミュニティー主導の代替ソフトウェア）が成功していることを示す有
エラー備忘録：CloudFrontのHTTPS化で遭遇した「InvalidViewerCertificate」の原因と対策 - Qiita
本記事では、エラーの原因を特定し、解決するための手順を詳しく解説します。 書こうと思ったきっかけ CloudFront の設定を Terraform で管理している際に InvalidViewerCertificate のエラーに遭遇し、原因調査と修正に時間がかかりました。 同様の問題に直面する人が少なくないと考え、エラーの具体的な原因と解決策を整理してまとめておくことで、今後のトラブルシューティングをスムーズにできるようにしたいと思いました。 エラー：InvalidViewerCertificate CloudFront の SSL 証明書 (viewer_certificate) の設定に問題があると、以下のエラーメッセージが発生することがあります。 Error: creating CloudFront Distribution: operation error CloudFront:
DatadogのAWSメトリクス収集をCloudWatch GetMetric APIからMetric Streamsに移行してMTTDを短縮した話 - Timee Product Team Blog
はじめに こんにちは！ タイミーでPlatform Engineerをしている @MoneyForest です。 今回は、弊社のDatadogにおけるAWSメトリクス収集を、従来のCloudWatch GetMetric APIからCloudWatch Metric Streams方式に移行することで高速化した取り組みについて紹介します。 背景 タイミーのワーカー様向けアプリケーションは、ピーク時に1分あたり十数万リクエストを処理するような規模で運用されています。そのため、システムの異常を素早く検知し、対応することが求められます。 主にシステムの異常検知は、メトリクス、ログ、APMをソースとしてエラーレートやレイテンシーの異常を判断し、DatadogのモニタリングアラートでSlackに通知することにより行われます。 DatadogによるAWSメトリクス収集の仕組み Datadogでは、AW
回答 (3件中の1件目) 背景情報が分からないとなんとも言えないなあというのが率直な感想です。 視点を変えてちょっとメタな話をします。 IaC分野のソフトウェアはいろいろな切り口がありますが、例えば「プログラミングか宣言型か」「多くの環境に対応しているか、特定の環境に特化しているか」で分けてみます。 1. Terraform: 宣言型、多くの環境に対応 2. CloudFormation: 宣言型、AWS特化(正確にはサードパーティ拡張もあるが盛り上がっていない) 3. CDK: プログラミング、AWS特化 4. Pulumi: プログラミング、多くの環境に対応 当たり前の話ですが...
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サイト構築からデプロイまで。AIが変えるフロントエンド開発 | レバテックラボ（レバテックLAB）
tenntenn さんが聞くアンドパッドの Go 言語現状報告 | ANDPAD_Engineers
BASE機械学習チームでより良い開発環境実現のために取り組んだこと - BASEプロダクトチームブログ
Terraformで自己署名証明書の作成からALBの適用までを一発で実施する | DevelopersIO
【AWS】GuardDuty Malware Protection for Amazon S3のコストが85％削減！Terraformで使ってみる！ - Qiita
億単位の住宅データを AWS + Snowflake で分散処理する - estie inside blog
AIを活用したITインフラ構築｜Ken @ インフラエンジニア
Terraform講座：環境構築・フォルダ構成編 - Qiita
CURをduckdbでクエリしてevidenceでチャートにする
terraform consoleは便利なお話 - Qiita
「Git」はなぜ生まれたか、それ以前のバージョン管理システムとの違いを知る
［詳解］AWS Infrastructure as Code ――使って比べるTerraform＆AWS CDK | Gihyo Digital Publishing … 技術評論社の電子書籍
まともなTerraform環境構築に向けたあれこれ：バックエンドGCS、Workload Identity直接アクセス、tfactionによるCI/CD - Qiita
aws_iam_policy_documentを使うとplanの差分が大きくなるパターン - so what
テイラーがIT Infraに投資する理由ー自由でセキュアな環境を目指して｜テイラー(YC S22)
未経験エンジニアのSES投入で9割が死ぬ｜goza(ござ先輩 / YUMOTO Michitaka)
Snowflakeで、本番、ステージング、開発環境で使うデータを用意する
BigQuery OmniでS3出力されたCURへクエリを投げたい
オープンソース放棄の落とし穴--プロプライエタリー化が招く成長の停滞とユーザー離れ
AWSをterraformで管理するのをどう思いますか？最初は良いのですけど、長くメンテナンスしていくと物凄く辛いです？