ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
2023/3/21 時点の情報で作成しています。Mountpoint for Amazon S3 は現在アルファリリースであるため本番ワークロードには適しません。また将来的に動作や仕様が変更される可能性があります。動作を確認したバージョン: 0.2.0-b8363a4 Mountpoint for Amazon S3 とは 概要 Mountpoint for Amazon S3 は、Amazon S3 バケットをローカルファイルシステムとしてマウントするための Rust 製ファイルクライアントです。OSS として開発されています。 現時点ではサポート OS は Linux のみで 読み込み操作専用 です。書き込み操作については将来的に新しいオブジェクトへの順次書き込みのみがサポートされる予定です。 類似のツールとしては s3fs や Goofys などが有名です。 ユースケース Mount
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] はじめに 本記事では、Amazon Connect + Amazon Bedrock + Amazon Lexを組み合わせて、電話での問い合わせ内容を種別判定し、最適な担当者に振り分ける方法と、その精度結果をまとめました。 ユーザーのお問い合わせの種別を判定し、種別ごとに担当者に振り分けるコンタクトセンターでのAIチャットボットによる一次対応を想定し、生成AIであるBedrockのClaudeが種別判定機能を担います。 お問い合わせの種別判定は、以前Amazon Kendraを利用して試しましたが、今回は、BedrockのClaudeを利用してみます。 構成 構成としては、下記の通りです。 以下は、ユーザーがお問い合わせした内容を種別判定し、内容によって担当者に振り分けするまで
![Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/87df14d8322101852bf1ce7d1cd3f121f6b1a7a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2F2024-04-11-cm-hirai-1200x630-1.png)
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。これは電通国際情報サービス Advent Calendar 2022 12/14の記事です。 プログラミング言語でクラウドインフラをIaC化できるライブラリとして、AWS Cloud Development Kit (CDK)が使われることが増えています。CDKではリソースのデフォルト値が設定され、便利に短く記述できる一方で、デフォルト値が必ずしも推奨されるセキュリティ構成になっていない場合があります。Security Hubのセキュリティ基準を利用していると、リソースをデプロイした後にアラートに気付いて修正をすることもあるのではないでしょうか。 そこでこの記事では、Security Hubのセキュリティ基準でアラートを出さないためのCDKによるリソースの記述方法を、主要なサービスの種類
Visitor PrioritizationソリューションをCloudFront Functionsを使って実装するための考慮点 | Amazon Web Services
Amazon Web Services ブログ Visitor PrioritizationソリューションをCloudFront Functionsを使って実装するための考慮点 約3年前になる2018年7月に「Visitor Prioritization on e-Commerce Websites with CloudFront and Lambda@Edge」と題してCloudFront と Lambda@Edge を利用したユーザーの優先制御、流量制御を行うためのソリューションを紹介いたしました。ここで例を上げたような、ホリデーシーズン、キャンペーン、新製品の発売などのイベント、ウェブサイトのトラフィックが急速に増加する可能性があるイベントというのはもちろん今でも存在し、その対応に苦心されているケースは多いと思います。特に最近は全世界的にインターネットのトラフィックが増えており、オン
dockerfile_inlineでcompose.yamlにDockerfileをインラインで書く - Qiita
概要 先日出たDocker Compose v2.17.3から dockerfile_inline という構文で compose.yaml にDockerfileをインラインで書けるようになりました。これのなにがうれしいかというと、メインのアプリケーションではなく周辺のミドルウェアなどでDockerfile書くほどでもないんだけど、ちょっとだけカスタマイズしたいみたいなのが書きやすくなる。 ※厳密に言うと dockerfile_inline という構文自体はcompose v2.17.0から追加されましたが、初期実装はバグがあり機能してなかったので、実質まともに使えるようになったのはv2.17.3からです。 環境 本稿執筆時点の最新版のDocker Desktop for Mac v4.19.0にバンドルされてるcomposeがv2.17.3だったので、とりあえず最新に上げて試します。 $
AWSのSession ManagerとFargateを用いた踏み台サーバー構築のTips - KAKEHASHI Tech Blog
こんにちは。カケハシの Musubi AI在庫管理 チームで業務委託のエンジニアとして開発を行っております山田です。こちらの記事は カケハシ Advent Calendar 2021 の17日目の記事になります。 本記事では、AWS Systems Manager Session ManagerとAWS FargateでプライベートネットワークのRDSにアクセスするための踏み台サーバーを構築した際に、AI在庫チームが遭遇した問題の解決策や便利な設定をTipsとして紹介します。 上記技術スタックの選択を行うそもそものメリットや、実際の構築手順等の基本的な部分の情報に関してはネット上に多くの記事が存在するため、本投稿では導入当初参考にさせて頂いた記事を紹介するのみとします。 踏み台にSession ManagerとFargateを使用することのメリットやその背景に関しては、こちらの登壇資料で分
概要 最近流行っているクラウドゲーミングを気軽に手元で試すことを目的にした記事です。 ゲーム開発者向けではありますが、ネットワーク関係の人も楽しく読んでもらえると思います。 複数回に分けて、概念の紹介や試せる活用例に触れていきます。 実際に構築する前に、概念や用語について解説します。 MECについて インターネットは通常、目的の宛先に届くまで様々な機器を経由して通信を行います。 あなたの家からAWSのEC2でホスティングしたサイトにアクセスしようとする場合、東京のAWSデータセンターに届くまで、様々な場所を経由します。 仮にあなたの家とサーバーが直に繋がっていたとしても、光の速さを超えてることはできず遅延が発生します。 CDNなどのキャッシュを各地に設置することで遅延削減を図るデザインはよく使われますが、 あくまでキャッシュを保存させているだけで、クラウドゲーミングのようなものには対応でき
Amazon Athena キャパシティ予約ができるProvisioned Capacityについて徹底解説！ | DevelopersIO
割り当てられた容量が不十分であることを示す兆候 キャパシティ不足のエラーメッセージでクエリーが失敗する場合、キャパシティ予約のDPU数がクエリーのワークロードに対して少なすぎる可能性があります。例えば、24DPUの予約で、24DPU以上を必要とするクエリーを実行した場合、クエリーは失敗します。 割り当てられたキャパシティ不足によるクエリエラーの予兆を監視するには、AthenaのCloudWatch Eventsを参考にしてください。 最後に Amazon Athena では、これまでスキャン量に応じた課金体系しかなく、使用料金の見積もりが難しくありました。また、大量のクエリを送信した際にキューイングが発生する可能性がありました。Provisioned Capacity を使用することにより、DPU と時間に応じた課金になるため料金の予測がしやすくなります。また、十分なコンピューティングリソ
前回はmod_proxy_htmlについて説明しました。今回はmod_proxy_htmlの具体的な設定について載せていきます。 mod_prxoy_htmlはリバースプロキシサーバーに組み込むモジュールのため、前回の説明に使った構成図の環境を作成する流れで説明します。 システム構成 システム構成はmod_proxy_htmlがインストールされたリバースプロキシ、アプリケーション1、アプリケーション2の3つの環境です。 リバースプロキシの環境は CentOS7 を使用します。 アプリケーション1、アプリケーション2は何でも良いのでWebサーバーを動かしておきます。(本記事では割愛します。) mod_proxy_htmlのインストール mod_proxy_html を実際に試してみましょう。mod_proxy_html は CentOS7 の標準パッケージに含まれているのでyumコマンドでイ
モチベーション 私は「インフラ」という言葉は、人によって受け取り方が大き違う言葉だと思ってます。 「よく分からないけど難しそうなので出来れば触りたくない」という人や、「ごく小数の人にしか触らせたくない」という人、 「IaaS、PaaSはインフラと認めない！」という人にも会ったことがあります。 「よく分からないなんとなく難しいもの」である「インフラ」は、多くの人に敬遠されがちなので、 中小規模の開発組織では１人のエンジニアがひっそりと孤独に作ってるケースがままあるのではないでしょうか。 私もやりたがる人があまりいないので、PMとインフラエンジニアを兼務することが多くありました。 この記事では、一人でひっそりとインフラを作ってた私が、触れる人を増やしたいと思って工夫したIaC設計のアイデアを記述しようと思います。 言葉の定義 インフラ IaCで扱う「インフラ」の定義について。 言葉の定義を探し
SREの探究 - Spotifyの事例：Ops-in-Squads | フューチャー技術ブログ
はじめにこんにちは、TIG 岸下です。 秋のブログ週間の5本目になります。 最近、Netflixで配信中のSpotify創業ドキュメンタリー：The Playlistを見ました。創業ドキュメンタリーは鳥肌モノが多く、なんだかパワー貰える感じがして自分も頑張ろうと思わせてくれるので非常にオススメです1。 そんなわけでSpotify熱が高まっていたこと、自分がプロジェクトの方でSRE活動に関わっていることもあり、SREの探究：7章「SREのいないSRE：Spotifyのケーススタディ」を読んでみました。 そもそもSREって？恥ずかしながら、自分も現在のプロジェクトに配属されるまでSREの存在を知りませんでした。 SREはSite Reliability Engineeringの略で、サービスの信頼性をソフトウェアエンジニアリングの力で高めていこうぜ！というGoogle発祥の試みになります。 も
Pluralithとは？ プラリスと読むみたいです。 Terraformの状態(state)を可視化するツールです。 こんな感じの図が自動で作成できたり、 コストやリソースの変更を可視化することができます。 GitHub ドキュメント 紹介動画 特徴 pluralith graphを実行するだけで構成図を自動作成可能 CIツールに組み込むことで、ドキュメント・構成図の作成を自動化 最新の変更をハイライトして見やすくする コストの可視化ができる(infracostが必要) リポジトリのREADMEを参照のこと 使ってみる Getting Startedに沿って使ってみましょう。 ※今回はRun Locallyで試しています。 インストール Download CLI手順に従います。 $ pluralith version _ |_)| _ _ |._|_|_ | ||_|| (_||| | |
概要 以前、CloudRunで秘匿情報を扱うのにberglas（GCPで秘匿情報を扱うためのOSS）を使用しましたが、2020年1月23日公式にGCPで秘匿情報を扱うためのサービスであるSecretManagerが公開されました。 紹介記事 制限事項 まだベータ提供です。 東京リージョンもまだありません。（一番近くて台湾） なので、GAでないと困る人や、秘匿情報を国外に保持したくない人はまだ使えないです。 ただ、今後GCPで秘匿情報を扱うのはこれが標準になっていくと思われます。 使い方 シークレットを作成する セキュリティ→シークレットマネージャーから作成します。 「sample-secret」というキーで、「usagisan」という文字列を格納しています。 なお、gcloudコマンドで作成する手順は、上記紹介記事の中に記載があります。 クライアント シークレットを読み取る例は、下記ドキュ
Vertex AI PipelinesとKubeflow Pipelinesはじめの一歩 | DevelopersIO
Vertex AI Pipelinesを全く使ったことがない人向けに、Kubeflow Pipelinesのはじめ方からまとめてみました。 データアナリティクス事業本部 機械学習チームの鈴木です。 この記事は、ブログリレー『Google CloudのAI/MLとかなんとか』の１本目の記事になります。 そろそろVertex AIもマスターしないとなと思い、Vertex AI Pipelinesをキャッチアップしています。同僚のじょんすみすさんが以前に以下の『Vertex AIではじめるKubeflow Pipelines』を公開してくれていました。 私はBigQueryなどのデータ分析系のサービスの経験が厚く、Vertex AI PipelinesおよびKubeflow Pipelinesを触るのが初めてだったため、Kubeflow Pipelinesとはなんぞやから始める必要がありました。
Heroku PostgresとAWS BedrockとHugging FaceでRAGを作ってみた - Qiita
2023年11月にHeroku Postgresql 15 がpgvectorに対応しました。これによりHeroku Postgresがベクトルデータベースとして利用できるようになりました。 本記事では、最近話題のClaude2.1やText Embeddingと組み合わせ、Heroku Postgres内データを元に生成AIが回答してくれる、 Retrieval Augment Generation (RAG) を試作し、実際どんな回答を返してくれるか？検証してみました。 今回使用したもの 個人的に興味のあるものや、使いやすいものを選びましたので、特にこの組み合わせでないといけないわけではないです。 ■ ベクトルデータベース & ナレッジベース Heroku Heroku Postgres (PostgreSQL) pgvector ※今回の主役！ ■ 大規模言語モデル AWS Bedr
[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました | DevelopersIO
[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました データアナリティクス事業本部コンサルティングチームの石川です。Recursive CTE（Common Table Expression）を使用して、組織図やマルチレベル製品などの階層データをクエリできるようになりました。早速、階層化データを用意して試してみます。 Recursive CTE（Common Table Expression）とは WITH句は、より複雑な問い合わせで補助的に用いるインナービューを提供します。 これらの文は共通テーブル式(Common Table Expressions)またはCTEと呼ばれるものであり、１つの問い合わせのために存在する一時テーブルと考えることができます。これを再帰的に応用
![[新機能] Amazon Redshift 階層データを簡単にクエリできる Recursive CTE（Common Table Expression）がサポートされました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
Kubernetes マニフェストを書くとき、非常にしばしば複数の環境(典型的には production, staging, development)ごとに一部の設定だけ異なる他はほぼ同一の内容のマニフェストを用意しなければならない、ということがあります。このようなとき、繰り返し部分と差分を分ける手段としては複数の選択肢があります。なかでも、kustomize を使って、ベースとなるマニフェストを用意したうえで各環境に応じた差分を適用するためのパッチをあてる、というのがよく選ばれる選択肢でしょうか。この記事では、繰り返しを避けるという目的を達成するのに、kustomize ではなく Google 開発の設定記述用言語 Jsonnet を使うという選択肢もあるということをご紹介します。 Jsonnet には普通のプログラミング言語にはない独特な機能があり、使いこなすにはコツが必要です。この記
先日、個人開発のOSS - Submarine.jsのv1.0をリリースしました 記事はこちら Ansibleの冪等性に関する Tweet が、結構な反応をいただけたこともあり、今回は、私がSubmarine.jsで克服したかった「冪等性の限界」と、それを、どのような哲学で解決しようとしているかについて、説明しようと思います 冪等性の理想と現実 そもそも冪等性とは? という話は、各所で説明されていることなので簡単に 冪等性とは 同じ操作を何回実行しても、同じ結果が得られること インフラの構成管理の世界では、何回同じコードを実行しても、同じサーバの状態が得られるという意味で使われる Webの世界ではHTTPのGETやPUTメソッドは冪等だけど、POSTは冪等ではないなどと言われる Ansibleでは、この冪等性を簡単に実現するために、目的に応じて膨大な数のモジュールが提供されています Ans
概要 PostgreSQL や MySQL などの運用データベースから、GCP のデータウェアハウスである BigQuery に、直接かんたんにデータをレプリケートできる Datastream for BigQuery のプレビュー版が提供されました。 BigQuery のスキーマ定義、BigQuery に適したデータ型への変換、データを BigQuery に送信するバッチ処理などが不要になることが期待されたので、試してみました。 構成 本記事では以下の構成で GCP Datastream for BigQuery を試しました。 AWS EC2 : RDS の踏み台サーバー AWS RDS (MySQL) : ソース GCP BigQuery : レプリカ GCP Datastream : RDS のデータを BigQuery にレプリケート 手順 Datastream 公式ドキュメント
![[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b7390c207e41533d9bd1bb9f0f59c2d6d739ee4/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Op_gvPy0--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BGCP%252520Datastream%25255D%252520AWS%252520RDS%252520%2525E3%252581%25258B%2525E3%252582%252589%252520BigQuery%252520%2525E3%252581%2525B8%2525E3%252581%2525AE%2525E3%252583%2525AC%2525E3%252583%252597%2525E3%252583%2525AA%2525E3%252582%2525B1%2525E3%252583%2525BC%2525E3%252582%2525B7%2525E3%252583%2525A7%2525E3%252583%2525B3%2525E3%252582%252592%2525E8%2525A9%2525A6%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Asaitok7%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FiNmE0YWRmMmYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Redshift Serverless に provisioned cluster から移行してみた - Qiita
はじめに Redshift Serverless が 7/13 に GA されました。従来の Redshift (provisioned cluster) では、クラスターを構成するインフラを意識しながらデプロイする方式でした。Redshift Serverless ではインフラ管理が不要となり、より簡単に、より運用負担を軽減してご利用いただけます。データを準備して Redshift Serverless に取り込むだけで分析ができ、料金は使用した分だけ発生します。これにより、利用頻度が少ない分析処理や夜間のみ実行されるワークロードなど、データウェアハウスを常時利用しないユースケースの場合に、効果的にご利用いただけます。 従来の provisioned cluster でサポートされている機能のほとんどは、Redshift Serverless でサポートされています。表現を変えると、今ま
InfraCopilotを試してみる インフラ基盤のアーキテクチャ設計のあり方を変えてくれそうなサービスとして最近登場してきた「InfraCopilot」を試しに触ってみたので紹介します。 InfraCopilotとは？ https://infracopilot.io/ ここの公式サイトで紹介されている通り、インフラの構成をエディタ上で描いてIaCのコードを生成してくれたり、設定を調整したりできるツールです。 設定の調整や構成を作る部分を、チャットベースで指示を出してその意図に合わせて構成を調整してくれるといったこともできます。 このサービスのインプットとアウトプットのイメージは以下のようになります。 インプット ブラウザ内のエディタ上でグラフィカルに設計要素を入力 設計要素(リソース)のパラメータは手動で調整も可能 チャットベースで実現したい構成を指示 アウトプット PulumiのIaC
はじめまして、エンジニアの黒瀬と申します。 弊社では、これまでバックエンドの監視にNew Relicを利用してきましたが、今回データ基盤にも導入を開始しました。 この記事では、その経緯についてご紹介したいと思います。 背景と課題 弊社ではTVerのサービス利用状況を日々収集し、それをBigQueryを中心としたデータ基盤に集約・可視化することで、日々のサービス改善に活用しています。 このプロセスは、おおむね次のような役割分担となっています。 収集処理：バックエンドを担当するバックエンドチームがAWSに構築 集約処理：データ基盤を担当するデータチームがGCPに構築 これらのうちデータチームでは、集約処理を構成するバッチごとにアラートを実装していましたが、下記のような問題がありました。 バッチごとに異なった方法でアラートを実装していたため、保守がしにくい アラートの通知先が散らばっており、毎回
初めまして。 BtoBマーケの領域でプロダクト開発をしているエンジニアです。 仕事ではGo、React、Google Cloudあたりを使っています。 最近Cloudflareが楽しくて触っているのですが、Honoを使って前々から作りたかったプロフィールサイトとブログページを作成してみました。 完成したサイトはこちらです。 私の名前の姓をそのまま英語にしたドメインを取得しました。 (まぁ悪くないかなと思ってます) 作成したサイトは以下のレポジトリで公開しています。 簡単にどのような形で作ったかを綴っていきます。 技術スタック 以下の技術スタックで作成しました。 Cloudflare Pages D1 Hono Hono プロジェクトの立ち上げ HonoにCloudflare Pages用のスターターが用意されているので、そちらを利用させて頂きました。 Honoのドキュメントは非常に分かりや
BigQueryスロット利用量の見積り - GiXo Ltd.
この記事は GiXo アドベントカレンダー の 12 日目の記事です。 昨日は、「プログラミング歴40年のおじさんが初めて本格的なPythonプログラム」を書いてみた でした。 本稿ではBigQueryにおいて計算リソースの単位として表現されるスロットについて、どのように利用量の確認・見積りを行うかについてお話をしたいと思います。スロットの見積り、難しいですよね。私は大層混乱しました。まだ混乱しているかもしれません。そんな難しいスロット利用量の確認・見積りについて少しでも役に立てばという思いで筆を執っている次第です。あるいは、どうせまた忘れてしまう未来の自分のためかもしれません。では始めます、よろしくお願いします。 定額料金で利用する際に特に気になるよね BigQueryを定額料金で利用する際にはスロットを100単位で任意の量だけ購入し、その購入量に応じて金額が決まります(最小100)。な
データエンジニアの@komi_edtr_1230です。 今回データチームが管理しているデータ基盤にてGKE Autopilotを導入したのでその感想についてまとめていこうと思います。 TL; DR GKE Autopilotを使い始めて、インフラ管理から解放され開発業務に専念できるようになりました。 データ基盤の利用という観点で本当に最高で便利です。 背景 heyではデータ分析に基づいた意思決定を促進するためにデータチームがあります。 データチームにはデータアナリストとデータエンジニアがいるのですが、それぞれの特徴として 人数 業務内容 備考 データアナリスト 4人 ビジネスサイドがメイン A/Bテストによる施策の改善 各種データの抽出 などなど... @jnishimuがいる データエンジニア 3人 データ基盤の整備 データの利活用の促進 1人は業務委託 というようになっています。 he
要約 Denoを使うことでNodeなしにAWS CDKを動作できる！ これによりnpmツールチェーンのセットアップ、管理の手間から開放される！(…かも？) これはDenoのnpmサポートが強化されたため可能になった まずは動かしてみましょう Denoをインストールします CDKアプリケーションコードの型チェックをする場合Deno v1.28.2以上である必要があります 以下の2ファイルを用意します Denoの設定ファイルであるdeno.jsoncです。主にタスクランナーの設定がしてあります。 // deno.jsonc { "tasks": { "cdk": "deno run --allow-all npm:aws-cdk --app 'deno run --allow-all main.ts'", "test": "deno test --allow-all", "ci": "deno
Cloud Asset Inventory を使用してGoogle Cloud上のアセットを分析する - NRIネットコムBlog
こんにちは、最近はGoogle Cloudの記事を書いている上野です。（AWSももちろんやってます） 今回はCloud Asset Inventoryを見ていきます。 Cloud Asset Inventoryとは？ Google Cloud上の、アセットを管理できるサービスです。アセットとは、大きく以下の2種類を指します。 リソース Compute Engine 仮想マシン（VM）やCloud Storage バケットなどのGoogle Cloud上で作成されたリソースのメタデータ ポリシー IAMポリシー、Organizationsポリシーなど、誰が何にアクセスできるかという情報（ポリシーのメタデータ） Google Cloud上に5 週間分の履歴情報が保管されています。 AWSで言うとAWS Configに近いサービスになります。 Cloud Asset Inventoryの開始方法
メディア・プロモーション事業部でpixivの広告配信システムを開発しているあやぬんです。 今回pixivの広告システムで利用しているGCPのロードバランサ（以下GCLB）で待望のHTTPS・URLリダイレクト機能が4/14にGA1となったので、本番環境・開発環境へ導入した方法を紹介します。 従来のGCLBに対する課題 今までGCLBはHTTPおよびHTTPSのバックエンドサービスに対して、ただトラフィックを流すだけで、リダイレクトの機能はありませんでした。 Google Issue Trackerには2015年からHTTPSリダイレクトの要望が上がっており世界中のユーザーが待ち望んでいました。 https://issuetracker.google.com/issues/35904733 HTTPSリダイレクトを自分で実装する場合は内部でNginxを起動させてリダイレクトをさせるか、アプリ
Amazon Athena + Google Colabによる分析環境 - KAYAC engineers' blog
1日目にも登場した謎の事業本部のデータエンジニアv0.1.0の @mashiike です。 こちらは Tech KAYAC Advent Calendar 2020 11日目の記事です。 今回は、いつものRedashの話ではなくAmazon AthenaとGoogle Colaboratoryの話をしたいと思います。 背景 弊社はWebアプリケーションをAWS上に構築することが多いです。そのため分析用の環境もAWS上に構築することが多くあります。 社内でよく耳にするのは、ECSを用いてRedashを構築・運用、backupのデータベースや調査用のデータベースとつなげてグラフ化・分析などを行う環境です。 複雑な分析はなどは、前年のTech KAYAC Advent Calendarでお話した、 redash + Google Colabの分析環境なども出てきたりします。 techblog.k
Amazon EKS #2 Advent Calendar 2019の24日目に出す予定だったの記事です。 はじめに re:Invent 2019が終わってはや3週間。 EKSのFargate対応やFargate Spotの登場など華々しいアップデートの影に隠れて、 Amazon SageMaker Operators for Kubernetesというアップデートがあったことは皆さんご存知でしょうか？ 普段はSageMaker[1]島に生息している身ですが、この度はEKS Advent Calenderの1枠を頂いて、まだまだ記事も少ない[2]こちらのアップデートについて少し深堀りしてみることにします。 Amazon SageMaker Operators for Kubernetesとは ドキュメントを引用すると、 Amazon SageMaker Operators for Kube
Google Cloud Japan Advent Calender 2022 (今から始める Google Cloud) の 13 日目です！ こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataplexの紹介をしたいと思います！ Dataplexとは データを活用する上でデータガバナンスをどう担保するかは非常に難しい問題です。 そこでGoogle CloudではデータのQuality,Security,Complianceなどを担保するためにDataplexを提供しています。 具体的に何が出来るのかが分かりづらい部分があるので、この記事ではDataplexの具体的な機能や使い方を説明したいと思います。 また、メタデータ管理サービスであるのData Catalogですが、今年 Dataplex に統合され、Dataplex のメニューから
Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみた - Qiita
Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみたAWSbedrock Amazon Bedrock Knowledge base と Agent 自社で開発・運用している動画配信サービス「hod」のデータを使って、番組情報を教えてもらうチャットボットを構築してみます Amazon Bedrock の新機能としてGAした Knowledge Base と Agent を使っていきます。 使用する追加データとしては、HTBが開発・運用している動画配信サービス「hod」の番組マスタデータの一部をcsvにしたものを使ってみたいと思います。 (Bedrock の周辺機能をアーキテクチャ図に落とし込むときどうもしっくりこない。。笑) Vector Store として Pinecone を採用して、Knowledge
この記事は 10日目の記事です。 この記事は eureka Advent Calendar 2019 10日目の記事です。 9日目は 弊社iOSエンジニアのAymenによる でした。 こんにちは。エウレカでSREをしている恩田と申します。 好きなAWSサービスはVPCとRDS(Aurora)、好きな仕事は既存リソースのTerraform Importによるバージョン管理下移行作業 (社内通称IT土木) とTerraformのアップグレードです。(この前ようやくv0.12対応が終わり歓喜)。家庭では生後5ヶ月になった娘と戯れたりしながら日々仕事に精を出す毎日を送っています。 この記事では、エウレカで2019年度に実施したAWSのマルチアカウント環境におけるIAMマネジメントの最適化の試行錯誤の様子をお伝えします。 解決したかった課題弊社が運営するオンラインデーティングサービス「Pairs」ア
BigData-JAWS 勉強会#18 登壇資料 https://jawsug-bigdata.connpass.com/event/215161/
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
はじめに システムの構成 クライアントコマンド authenticator K8s Custom Controller cks-operator imperator 仕組み まとめ はじめに この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。 6 年間の振り返りは こちらの記事 を、運用に関する紹介は こちらの記事（執筆中）を参照してください。 システムの構成 構築・運用していたシステム構成は以下の図のようになっており、ユーザは専用のクライアントコマンド経由で Web IDE や Jupyter を起動してデータの分析ができるようになっています。 アーキテクチャ クライアントコマンド 前述のクライアントコマンド（以下 cmd）の機能などについて軽く説明します。 cmd のソー
はじめに 先日の Google I/O 2023 で Public Preview になった Vertex AI PaLM API を使って、自然言語で BigQuery に対してクエリを実行してみます。 「とりあえず PaLM API を触ってみたい」が趣旨であり実用的ではありません。より実用的に使うためには今後出てくるコード生成に特化したモデル (Codey) を使ったり、プロンプト エンジニアリングしたり、トライ & エラーできるような仕組みを作ったりする必要があるでしょう。 本記事では PaLM API からのレスポンスをマスクしています。どのようなものが生成されたか見たい方はぜひ自分で実行してみてください。 本記事で使ったコード全文は Gist にあります。必要に応じて参照してください。 必要なもの Google Cloud のアカウント Google Cloud のプロジェクト
はじめに GKEはGCPのサービスのひとつで、kubernetesのマネージドサービスになります。 GCPコンソールもしくはコマンドラインから、簡単にkubernetesクラスタを構築することができます。 リージョンの設定など初期設定を済ます必要はありますが、以下のコマンドを実行するだけでクラスタ構築が完了します。 趣味で触る場合はさておき、実際に業務でGKEを利用する場合はしっかりとセキュリティ面を考慮する必要があり、そのあたりを意識せずにGKEを利用するのは危険です。 本記事では、GKEのセキュリティに関するドキュメントを参考にし、それなりにセキュアなGKEクラスタの構築方法を紹介したいと思います。本来は最新情報などのキャッチアップも含め本家のサイトを参考にしていただくのが一番です。 このような機能があるんだなと、なんとなくの全体感を掴んでいただければ幸いです。 基本 Kubernet
1人目の専任SREがポストモーテム文化を改善したらエンジニア以外にも広まり、他部門との連携も強化された話｜Hiroki Takatsuka
2022年7月に primeNumber に入社した、1人目の専任 SRE の高塚 (@tk3fftk) です🙏 primeNumber が開発する trocco® のSREチームは現在、CTOの鈴木さん (@kekekenta) と自分、業務委託の方数名で日々さまざまな改善を行っています。 入社して半年以上経ち、行ってきた改善をふりかえりを行いがてら、記事を書いてみることにしました。 この記事では、SREの取り組みの1つとして、primeNumber のポストモーテム文化を改善した話をします。 追記: この記事をベースにしたLT登壇の機会をいただきました🎉 ポストモーテムとは?ポストモーテムとは、簡単に言うと、発生したインシデントについて読めば把握できるようなドキュメントです。 影響範囲、根本原因、タイムライン、行われた対応や再発防止策などが含まれます。 具体的な定義や書き方について
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mountpoint for Amazon S3 とは何か - Qiita
AWS Security Hub のアラートを減らすためのCDK実装例 - 電通総研 テックブログ
クラウドゲーミングを試そう AWS Wavelength(5G MEC)も使うよ！ - Qiita
mod_proxy_htmlを使ってみた - Qiita
チームみんなが参加しやすくなるIaC設計の工夫 - selmertsxの素振り日記
Terraformの状態を可視化するツール、「Pluralith」を試す
CloudRunの秘匿情報をSecretManagerで扱ってみる - Qiita
Jsonnet で Kubernetes マニフェストを快適に書く
単純な冪等性にかわる新しい哲学が、構成管理には必要だという話 - Qiita
[GCP Datastream] AWS RDS から BigQuery へのレプリケーションを試してみた
インフラ開発のやり方に変革がもたらされるかも？ InfraCopilotを試してみた - Qiita
データ基盤のアラートにNew Relicを導入しました - TVer Tech Blog
Cloudflare Pages + D1 + Honoでプロフィールサイトを作ってみた
GKE Autopilotをデータ基盤に導入してみた - STORES Product Blog
AWS CDKをDenoで動かす(完全版？) - Qiita
GCLBに実装されたHTTPSリダイレクト機能を使ってみました - pixiv inside
EKSユーザーもSageMakerを使うと楽に機械学習に取り組める話 - Qiita
Dataplexで始めるデータメッシュ運用
AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~ - tenzenの生存日誌
PaLM API を使って自然言語で BigQuery にクエリしてみる
それなりにセキュアなGKEクラスタを構築する - Qiita
kagemucya.hatenablog.com
diamond.jp
aya4.st.coresv.net
diamond.jp
diamond.jp
page.auctions.yahoo.co.jp