モデリング施策を高速・安全に回せる、MLOpsの仕組みづくり
こんにちは。サイエンス統括本部で機械学習エンジニアをしている芹沢です。ヤフー全社で使われているレコメンドプラットフォームを担当するプロジェクトに所属し、ログ収集・学習ジョブの開発/運用やMLOpsに関連する業務を行っています。 本記事ではそのMLOps業務の中からモデリング業務の効率化の取り組み事例を紹介します。新しいモデルを本番採用するまでにはA/Bテストの準備などをする必要がありますが、それにかかる工数が多いことが課題となっていました。そこで、検証段階からA/Bテスト実施までの実装の負担を軽減し、より早く安全にモデル改善の試行錯誤を行える仕組みを提供しました。 ※ レコメンドシステムの開発はプライバシーポリシーの範囲内で取得したデータを用いて、個人を特定できない形で行っています。 全社共通レコメンドプラットフォームの紹介 レコメンドとは、サービスを利用するユーザーにおすすめのアイテムを
Cloud Asset Inventory を使用してGoogle Cloud上のアセットを分析する - NRIネットコムBlog
こんにちは、最近はGoogle Cloudの記事を書いている上野です。（AWSももちろんやってます） 今回はCloud Asset Inventoryを見ていきます。 Cloud Asset Inventoryとは？ Google Cloud上の、アセットを管理できるサービスです。アセットとは、大きく以下の2種類を指します。 リソース Compute Engine 仮想マシン（VM）やCloud Storage バケットなどのGoogle Cloud上で作成されたリソースのメタデータ ポリシー IAMポリシー、Organizationsポリシーなど、誰が何にアクセスできるかという情報（ポリシーのメタデータ） Google Cloud上に5 週間分の履歴情報が保管されています。 AWSで言うとAWS Configに近いサービスになります。 Cloud Asset Inventoryの開始方法
Knowledge Bases for Amazon Bedrock を OpenSearch Serverless で試してみる - Qiita
Knowledge Bases for Amazon Bedrock を OpenSearch Serverless で試してみる AWSbedrockKnowledgeBaseForAmazonBedrock はじめに Knowledge Bases for Amazon Bedrock を利用すると、会社のデータなどを利用した RAG を簡単に構成できる機能です。OpenSearch Serverless などのベクトルデータストアと連携して、データの格納、利用などを便利に利用できます。以下のような機能が提供されています。 OpenSearch Serverless の自動作成 S3 上のデータを Embedding して、ベクトルデータストアに自動的に格納 入力したテキストに紐づくデータを、ベクトルデータストアから自動的に取得して、テキストを生成 など 今回は、Knowledge B
SREチームで社内GameDayを実施しました - Qiita
GameDayとは 起源はAWSが毎年行っているAWS re:inventの中で開催される行事の1つです。 チームを組んでクラウド・アプリケーションを襲う謎の障害や悪意のある攻撃に対処し、トラブルシューティング能力を競うコンテストとなっています。 のちに様々な企業が社内でも実施するようになり、今ではAWS Well-Architectedのセキュリティ項目でもその実施が推奨されています。 ゲームデーを実施する ゲームデーを実施する: さまざまな脅威について、インシデント対応イベントのシミュレーション (ゲームデー) を実施します。このゲームデーには、主要なスタッフや管理者を参加させてください。 教訓から学ぶ: ゲームデーの実行から得られた教訓は、プロセスを改善するためのフィードバックに含まれている必要があります。 GameDayの手順 今回社内で行なったGameDayの流れです。 1. 発
S3のコスト削減に成功した話 〜カギはバッチウィンドウ〜｜ハンズラボ株式会社
こんにちは！POSグループのhktです。 こちらの記事は、「S3のコスト削減に失敗した話」の後編になります。 もしまだ前編をご覧になっていない方は、ぜひ読んでみてください。 さて、前編では、S3のコストを調査したところ、最も費用がかかっているのがPutObjectであることが判明しました。 今回は、S3のコストを削減するために、PutObjectの実行回数を減らすことはできないか検討しました。 PutObjectの実行回数を減らしたい POSグループが運用するAWSアカウントでは、ログデータをS3に保存するために、Kinesis Data StreamsをトリガーとするLambda関数が稼働しています。 具体的には、以下のような構成になっています。HandsPOSアプリからKinesis Data Streamsにログデータが送信され、Kinesis Data StreamsからLambd
SysOpsアドミニストレーター試験のラボ対策 | DevelopersIO
データアナリティクス事業本部のおざわです。 少し時間が空いてしまいましたが、今月の頭にSysOpsアドミニストレーター試験を受けてきました。 少し迷いましたが今回もテストセンターには行かず、自宅からノートPCを使用して受験しました。 本ブログでは、私が行ったラボ試験対策をまとめてみようと思います。 1. AWS認定SysOpsアドミニストレーターガイド まず最初は、会社の先輩からおすすめしてもらったこちらの書籍です。 選択問題だけでなく、ラボ問題の対策としても非常におすすめです。 ラボ問題として収録されているは3問だけですが、どれも良問ばかりで解説も非常に丁寧です。 私は個人のAWSアカウントを使って、この本のラボ問題を何度かやってみました。個人的にはこの本なしでは合格できなかったと思えるくらいなので、ぜひ手にとって見てみてください。 2. 公式体験用ラボ環境 以前、こちらのブログでご紹介
YAMAHA RTX830でお手軽VPN接続 | DevelopersIO
はじめに 中山（順）です かなり前のことですが、自宅用にRTX830を買っちゃいました。 ギガアクセスVPNルーター RTX830 自宅からのインターネットアクセスが安定したような気がします、なんとなく。 AWSとYAMAHA AWSとYAMAHAで連想するのはVPN接続ですね。。。ですよね？ VPCとのVPN接続を設定する際、マネージメントコンソールからいくつかのベンダー向けにサンプルコンフィグをダウンロードすることができます。 YAMAHAのConfigはかなり以前から取得可能でした。定番の選択肢という印象です。 Example: Yamaha Device 設定手順 そんなYAMAHAの設定手順ですが、YAMAHAの公式サイトでも丁寧に手順が解説されており、ネットワークにそこまで詳しくなくても設定できるようになっています。 Amazon VPCとの接続 それでも、IPsecやBGPの
GWなのでRaspberry Pi 5複数台をクラスタリングしてGrafana on Kubernetesを構築する | DevelopersIO
はじめに 世の中ではGrafana Weekということで、Raspberry Pi 5複数台をクラスタリングしてKubernetesを作成し、Grafanaを載せてみたいと思います。 というのは冗談ですが、最近趣味で安価に常駐プロセスをデプロイできるホスティング環境に悩んでいました。常駐しないなら最近はゼロコールドスタートなV8 Isolateを使ったCloudflare WorkersやDeno Deployが無料枠が大きくいい感じです。 一方常駐プロセスはHerokuの無料プランがなくなりました。AWS AppRunnerは起動時間を人間が稼働している時間のみに絞っても10$はかかります。fly.ioは、Legacy hobby planでCPU-1x 256mb VM 3つと3 GB 永続ボリュームストレージは無料で扱えます。fly.ioはCLIもよくできているので、軽い検証の場合こ
AWS Configのアップデートで課金増えていませんか？ - クラウドワークス エンジニアブログ
こんにちは。crowdworks.jp SREチームの田中です。 最近じわじわと円安が進み、AWSの料金が気になるこの頃です。 今回はAWS Configで急に料金が増加した件と、その対応についてご紹介します。 朝、AWS Cost Anomaly Detection（AWSコスト異常検知）からお知らせが来てました。 AWS Configが増えてるAWS Cost anomaly summary 4/18からAWS Configで1日あたり約10USDの増加。結構なお値段ですね。 参考までに、AWS ConfigはAWSリソースの設定を監視、評価、監査し、設定変更を追跡するためのサービスです。 調査 AWS Configの配信先 AWS Configで何もわからなかったので、まずはAWSの記事を参考に配信先のS3をAthenaでクエリし、該当日でリソースタイプ・リソースごとのレコード件数を
Amazon GameLift Testing Toolkitを使ってプレイヤー接続テストやマッチメイキングシミュレーションを手軽に行う | DevelopersIO
Amazon GameLift Testing Toolkitを使ってプレイヤー接続テストやマッチメイキングシミュレーションを手軽に行う こんにちは、ゲームソリューション部の入井です。 今回は、AWS公式が配布しているAmazon GameLift Testing Toolkitについて、実際に使ってみてどのようなことができるのかを確認しました。 Amazon GameLift Testing Toolkitとは OSSとして公開されているツールで、その名の通りAmazon GameLiftのテストを行うためのものです。 aws-samples/amazon-gamelift-testing-toolkit: Amazon GameLift Testing Toolkit Amazon GameLiftはマルチプレイヤー用のサーバをAWS上で構築するためのサービスですが、高機能な分運用にあ
「コスト削減」というパワーワードに負けずにコストコントロールを素早く進めたい
この記事は株式会社 X-Tech5 CTOの、ばば（netmarkjp）が書きました。 事業でのコストコントロールは永遠の課題ですね。クラウドサービスのコストコントロールは昨年あたりから特に大きく取り上げられている印象です。 キーワードとしては「コスト削減」や「コスト最適化」がよく使われます。ここではまるっとコストコントロールと呼びます。 わたしはお仕事で色々な会社のSREの実践や体制構築をお手伝いするSREサービスや、SRE/オブザーバビリティの導入・定着支援をしています。 各種クラウドサービスのコストコントロールの機会も多々あるので、その中で得たクラウドサービスのコストコントロールにスムーズに取り組むためのヒントを共有します。 同じ成果なら支出は少ないほうが嬉しい 何をいまさら、という感じかもしれませんが、支出は少ないほうが嬉しいですよね。それはそう。 ただ、この「同じ成果なら」という
「Linux で動かしながら学ぶ TCP/IP ネットワーク入門」感想 - msksgm’s blog
概要 Linux で動かしながら学ぶ TCP/IP ネットワーク入門を読みました。 感想を書きます。 Linuxで動かしながら学ぶTCP/IPネットワーク入門 作者:もみじあめAmazon 概要 前提 目的 事前知識 読了時間 感想 次に関連で勉強すること まとめ 前提 目的 本書を読んだ背景は以下です。 ２０２３年１０月〜１２月の目標の注力分野の 1 つにネットワーク・Linux を掲げていた SRE に関心があるので、ネットワーク周りの知見を深めたかった ネットワークの知識はほとんど初心者で、学んだ知識も読み物ベースだったので、手を動かしながら学べる内容を優先した 事前知識 ネットワークの知識は以下ぐらいです。普段は Web アプリケーションエンジニアとして勤務しているため、基本的な HTTP の知識は持っています。 ［改訂新版］3 分間ネットワーク基礎講座を読んだ Real Worl
SnowflakeでFunctional Role+Access Roleのロール設計を実現するTerraformのModule構成を考えてみた | DevelopersIO
SnowflakeでFunctional Role+Access Roleのロール設計を実現するTerraformのModule構成を考えてみた さがらです。 2024年1月にSnowflakeのTerraform Providerに関する2024年のロードマップが公開されています。 このロードマップについてわかりやすくまとめて頂いているのが下記の記事です。内容としては、GRANTの再設計、GAしている全機能のサポート、既存Issueの解決、などに取り組んでいくとのことで、破壊的な変更を含む一方で良い方向に進んでいることが感じ取れます。 そしてこのロードマップのうちの「GRANTの再設計」ですが、「v0.88.0でGRANTの再設計は完了」「以前の形式のGRANT関係のリソースは2024年6月26日に削除」というDiscussionが投稿されていました。着実に開発が進んでいますね。 そこで
AWS Cost and Usage Report(CUR)をTerraformで作成する
AWS Cost and Usage Report（AWSのコストと使用状況レポート、以下CUR）は、AWSのコストやリソースの使用状況をS3やRedshiftにアップロードしてくれる機能です。EC2インスタンスIDなどのリソース単位を含めることができるため、コストの追跡が容易になります。 Cost Explorerと異なり、EC2以外のAWSサービスのリソースも含まれます。1日1回以上、S3にアップロードされるので、自分たちの使い慣れたBIツールなどで分析・可視化することができます。 AWSマネジメントコンソールからCURを設定することが多いのですが、今回はTerraform（一部CloudFormation）で作成する方法を紹介します。 プロバイダの設定 今回は、CURのデータを保存するS3バケットを東京リージョン（ap-northeast-1）に作成します。 後述しますが、CURを作
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 | DevelopersIO
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co
AWS IAM PolicyのForAllValuesを勘違いしてた件 - LayerX エンジニアブログ
LayerX Fintech事業部（※）で、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 ※三井物産デジタル・アセットマネジメントに出向しています。 今回は、AWS IAMポリシーの条件における「ForAllValues」の仕様を誤って理解していたことから、安全でないアクセス制御を実装していたという内容です。もし同様の勘違いをされている方がいたら参考になれば幸いです。 ユースケース AWS IAMユーザーを、ロールの trust policy がユーザーのタグで制御するケースで考えます。 具体的には、「Group A あるいは Group B」に所属し、且つ「Admin」権限のあるユーザーのみが行使できる役割「AdminABRole」があるとしましょう。 この場合、Group と Admin のタグが存在し、下記のようなパターン（※）が考えられます。
Azure PipelineからAzure DevOps Wikiを更新する
まったくもって誰得なのかわからないような記事ですが、Zennに書いて見るネタが欲しかったので書いてみることにしました。 動機 社内のとある活動で経費精算を取りまとめたかったのですが、エンジニアなのにExcelシートってなんか嫌じゃないですか？ なので申請時にYAMLを書いてもらってプルリク投げてもらう運用にしたかったのです。 YAMLからMarkdownテーブルへ こっちはTypescriptでサクッと（TS2.x以降久しぶりに触ったので興味津々で調べていたのでちっともサクッとではなかったのですが）作ったので割愛します。npm start するとYAMLを食ってMarkdownを吐き出してくれるごくごく簡単なものです。 なぜGithubではない? 社内向けなので社内で使っているAzure DevOpsなのです。Azure DevOpsはその名の通りAzureの親戚でMicrosoftが提供
拒否ポリシーでBigQueryのテーブル削除を無効にする
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の疋田（ひきた）です。 珍しい苗字でなかなか覚えづらいと思いますので、是非「ヒッキー」と呼んでいただければ嬉しいです。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud (旧 Google Cloud Platform、以下「GCP」) の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回ご紹介するリリースは、2023年8月7日にサポートするようになった、拒否ポリシーを介してのアクセス拒否機能です
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Site Reliability Engineering における 重要領域とパフォーマンス指標の提案 / Performance Indicators for SRE
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
