2023 年度の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、おさらいも交えながら説明をさせていただきたいと思います。また、弊社内で実際に利用している BigQuery のデータセットに対し、この変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing (ストレージ料金)と呼ばれるス
Claude 3 Opus、ずっと待ってました！ AWSの生成AIサービス、Amazon Bedrock。 多数の生成AIモデルがAPIとして利用できますが、テキスト生成で非常に高性能なのがAnthropic社のClaude 3シリーズです。 OpenAI社のGPT-4シリーズと日々、追いつけ追い越せを続けています。 Claude 3登場後、3モデルあるうち最上位の Opus モデルだけはなかなかBedrockにリリースされませんでしたが、ついに先ほどオレゴンリージョンに出現したようです！ まだAWS公式リリースはないですが、近日中にWhat's New等でアナウンスされるものと思われます。 ※今回も宇宙最速の発見者はひるたさんでした。いつもありがとうございます🙌 そもそもBedrockって何だっけ？ こちらの資料で紹介していますのでご覧ください！ なお、凄腕Bedrockerの @he
背景 GCSにファイルがuploadされたら、そのイベントをトリガーにそのファイルを処理してBigQueryにLoadする処理を作りたい 先に結論 Cloud Run + Eventarcの組み合わせが良さそうでした コンテナベースでの開発が可能 CloudFunction(1st gen)に比べるとtimeoutやmemoryなど採用できるリソースが大きい 第二世代はCloudRunにかなり寄ってきているらしいがpreviewなのでここでは取り扱わない GCSのファイルuploadをトリガーとする場合はEventarcのdirect eventによるトリガーが良さそうでした Cloud Function? Cloud Run? イベントドリブンと聞いてまず思い浮かんだのはCloud Functionでした。イベントをトリガーとして処理を動かす場合、以前はCloud Functionが一番
Amazon EventBridge Schedulerの使いどころを整理してみた - Taste of Tech Topics
Amazon/楽天のブラックフライデーで例年通り散財した、@kojiisdです。 今回、光学30倍ズーム、という謳い文句に惹かれて、10年ぶりくらいにパナソニックのコンデジを買ってしまいました。 これから写真を撮るのが楽しみになりそうです（＾＾ みなさんは散財しましたか？ さて、アクロクエストでは、エンジニアたちが仕事の中で気になっていたことを調査・検討・検証した際に、 その内容を社内勉強会でフィードバックしています。 今月は12月ということで、そのような調べたことを、アドベントカレンダーとしてブログに公開していくことにしました～！ 初日はタイトルにもあるとおり、「Amazon EventBridge Schedulerの使いどころを整理してみた」です。 Amazon EventBridge Schedulerとは AWSでイベント／スケジュールドリブンな処理の管理、というとAmazon
負荷分散と冗長化について
これはMisskey Advent Calendar 2020の24日目の記事です。 私は世界最大のMisskeyインスタンス、Misskey.ioを運営しています。(物は言いよう) この記事ではMisskey.ioの負荷分散や冗長化（主にDB）についてお話します。 Misskey.ioとは Misskey.ioは登録者数4,000人、アクティブユーザー数2,500人/月程度の世界最大のMisskeyインスタンスで全体の約80%、DBやMisskey本体は100%オンプレミスで稼働しています。 Misskey.ioは人数が多くても快適に使えるインスタンスを目指しており、サーバー設備に新車のワゴン車が買える程度のお金をかけて運営していますが、うっかりちゃっかりミス(?)でたまに落ちたりするそんなインスタンスです。 そもそも上記のような問題はクラウドを使えば発生しないじゃないか！と言うお話です
最近ギョームでやったこと (5) 〜 Fargate で動いている ECS Scheduled Task (バッチ処理) のリソース使用量を計測出来るようにしました 〜 - ようへいの日々精進XP
tl;dr なぜ こんな感じで... こんな感じで... (1) こんな感じで... (2) こんな感じに... なりました 実装にあたって得た知見等 Task metadata endpoint コンテナデザインパターン リソース (CPU 使用率, Memory 使用量) の計算方法 コンテナの起動順序の制御 以上 tl;dr ご無沙汰しております. ちゃんと仕事をしていますよ, かっぱです. Fargate で動いている Scheduled Task (いわゆるバッチ処理) がどのくらい CPU やメモリを使用しているのか知りたくて, 幾つかの技術を組み合わせて実装してみましたので紹介させて頂きます. 一応, この仕組を仕込んだ後, 気づいていなかった幾つかの問題について気づくことが出来たりして, 時間をかけても仕込んで良かったなと思えることがありました. なぜ なぜ, バッチ処理の
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
stress(1) を使うと、Unix 系 OS で動作しているホストの CPU やメモリ、ディスクに簡単に負荷をかけられる。 今回は使い方や動作などを一通り見ていく。 使った環境は次のとおり。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04 LTS Release: 22.04 Codename: jammy $ uname -srm Linux 5.15.0-40-generic aarch64 $ stress --version stress 1.0.5 $ dstat --version | head -n 1 pcp-dstat 5.3.6 $ taskset --version taskset from util-linux 2.37
退屈な監視はPrometheusにやらせよう――アプリケーションエンジニアのためのcustom metrics入門 - LIFULL Creators Blog
エンジニアの島です。AI戦略室でバックエンドシステムの開発をしています。 本記事ではPrometheusを利用して、独自のメトリクスを計測することで監視を効率よく行えることを紹介します。 背景 チームで作っているもの 社内共通基盤の活用 効果的な監視で得られるもの 問題の予兆に気付けるようになる 問題の原因特定につながる 時系列での傾向を把握できる Prometheusとは 思想 メトリクスの公開 custom metricsを追加しよう Prometheusで監視しよう custom metricsで計測すると嬉しいもの 外部IOに関して 内部状態に関して 外部起因ではないアプリケーションのエラーの数 有効データのうち、モデルが値を返せている割合 機械学習モデルのスコア(histogramを利用) そのほか 終わりに 最後に宣伝 背景 チームで作っているもの LIFULLのAIチームでは
検索基盤移行時の思考
Build with AI 2024 Seoul - 제로부터 시작하는 Flutter with Gemini 생활 - 박제창
運用6年目・500万人が使うアプリのDBをSQLiteからFirestoreに移行した話（iOSDC 2021）
https://fortee.jp/iosdc-japan-2021/proposal/b1b94452-dd4b-4581-8797-f348919ee362
負荷分散とは、複数のコンピューティング リソース間でのワークロードの分散を指します。 負荷分散は、リソースの使用を最適化し、スループットを最大化し、応答時間を最小化し、1 つのリソースの過負荷を回避することを目的としています。 また、冗長なコンピューティング リソース間でワークロードを共有することで、可用性を向上させることもできます。 Azure には、ワークロードを複数のコンピューティング リソースに分散するために使用できるさまざまな負荷分散サービスが用意されています。 これらのリソースには、Azure Application Gateway、Azure Front Door、Azure Load Balancer、Azure Traffic Manager などがあります。 この記事では、Azure portal の [Load balancing](負荷分散) ページを使用して、ビジ
GKEのPodからTokenRequestProjectionで発行されたOIDCのID Tokenを使用してAWSのRoleにAssumeRoleしてみる | GRIPHONE ENGINEER'S BLOG
GKEのPodからTokenRequestProjectionで発行されたOIDCのID Tokenを使用してAWSのRoleにAssumeRoleしてみる この記事は GRIPHONE Advent Calendar 2021 2日目の記事です。 SREの徳田です。 GKEのTokenRequestで発行されたID Tokenって外から検証できるんだっけ・・？という疑問から色々探していたところ、OpenID Connect Discoveryまで実装されており外部からID Tokenの検証が可能だったため、これを活用して今回はAWSのRoleにAssumeRoleしてみようと思います。 TL;DR TokenRequestProjectionでTokenをマウントAWSでOIDC Identity Providerの設定とそこからAssumeRoleできるIAM Roleの作成Provi
この記事は、Libvirt と Open vSwitch を使って仮想ネットワークを検証したメモである。 Libvirt は、製品名 Red Hat Enterprise Linux virtualization として、サブスクリプション契約で利用することができる。Open vSwitch は Red Hat OpenStack、Red Hat OpenShift、Red Hat Virtualization の実現要素として組み込まれている有用な技術であり、使用には同様の制約がある。 しかしながら、LibvirtとOpen vSwitchは、OSSライセンスで提供されるプロダクトのため、Ubuntu Linux でも利用できる。そこで、これらを利用して仮想ネットワークを構築して検証した。仮想ネットワークとは、ソフトウェアによって実現するネットワークであり、物理ネットワークの上に構築する
Amazon Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみた | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、Neptune ServerlessでグラフDBを構築し、最短経路問題を解いてみたいと思います。 Neptuneとは Amazon NeptuneはフルマネージドなグラフDBサービスです。 Neptuneについては以下の記事で紹介されていますので、より詳しく知りたい方は以下をご参考ください。 Neptune Serverlessの構築 NeptuneはServerlessでも構築可能なので、今回はそちらを利用したいと思います。 AWSのマネージドコンソールからNeptuneを検索し、「Amazon Neptune を起動」を選択します。 以下のような画面が表示されますので、まずエンジンのタイプを Serverless で設定します。 バージョンは今回は Neptune 1.2.0.1.R2 を利用します。 DBクラスター識別子は任意
Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする | Amazon Web Services
Amazon Web Services ブログ Amazon Sagemaker 推論モデルを構築、テストし、AWS Lambda にデプロイする Amazon SageMaker は、開発者やデータサイエンティストがあらゆる規模の機械学習 (ML) モデルを迅速かつ簡単に構築、トレーニング、デプロイできるようにする完全マネージド型プラットフォームです。ML モデルをデプロイすると、Amazon SageMaker は ML ホスティングインスタンスを活用してモデルをホストし、推論を提供する API エンドポイントを提供します。AWS IoT Greengrass も使用できます。 ただし、異なるターゲットへのデプロイを可能にする Amazon SageMaker の柔軟性のおかげで、AWS Lambda でモデルをホストするといくつかの利点が得られる場合があります。たとえば、GPU が必
Polkadot: Web3 Interoperability | Decentralized Blockchain
Polkadot enables cross-blockchain transfers of any type of data or asset, not just tokens. Connecting to Polkadot gives you the ability to interoperate with a wide variety of blockchains in the Polkadot network. Polkadot provides unprecedented economic scalability by enabling a common set of validators to secure multiple blockchains. Polkadot provides transactional scalability by spreading transac
AWS Dev Day Online Japan 2021で発表した資料です。 ドライブレコーダの映像から道路上の物体を検出し、検出した物体の緯度経度を推定するシステムをAWS Batchで構築しました。 AWS Batchを用いた機械学習の分散推論システムの構築方法や開発における工夫点などを紹介しています。
Cloud Run (Grafana) + BigQuery + IAPでデータの見える化を実現した - 株式会社ヘンリー エンジニアブログ
こんにちは、ヘンリーでSREをしているTODA（＠Kengo_TODA）です。 弊社ではデータの共有は主にNotionを用いています。ただ各システムからデータをかき集めて動的に共有するには、Notionはちょっと向いていないなと思うところがあります。データを通じてシステムや顧客、チームの課題を掴むことはスタートアップの生命線とも言え、SLOやKPIを動的に図示してスタンドアップミーティングなどで共有できる仕組みが必要だと感じていました。 このため、Grafanaを用いた仕組みをGCP上に構築しました。ウェブページを自動生成できるツールからの情報は以前Noteでご紹介したサーバーレス社内サイトで展開していますが、Grafanaであれば動的にコンテンツを構築して提供できると期待しています。 この記事ではGCPないしGrafanaの設定をどのようにしたか、その背景とともに説明していきます。 どの
Cloud IAP(Identity-Aware Proxy)を使うと所謂Bastion(踏み台)インスタンスを構築せずとも、GCPに安全に接続できる構成が作れます。そこにGlobal IP制限も加えられるか設定してみました。 cloud.google.com 前提 [組織作業] グローバルIP制限用のアクセスレベルを作成 IAMユーザ準備 ネットワークとVMの作成 ネットワーク作成 IAPからのアクセス用Firewallルール作成 VMの作成 IAPにてGlobal IPの制限付きのアクセス許可設定 挙動確認 前提 この機能の主要コンポーネントのAccess Context Managerを利用するためには、組織が登録済みであることが必要です。 cloud.google.com [組織作業] グローバルIP制限用のアクセスレベルを作成 Access Context Managerにてアク
『呪術廻戦 ファントムパレード』の大規模アクセスを支えるインフラ構成と最適化【CAGC2024】
TVアニメ『呪術廻戦』初のスマホゲーム『呪術廻戦 ファントムパレード』は、多くのユーザーに遊ばれ大量のアクセスが来ることが予想されていました。 本セッションでは、高負荷が予想される中、どのようにインフラを構築し負荷対策を行ったのか、実際のインフラ構成図をお見せしながらお話しします。 また、アプリリリース前に行った負荷試験の流れや、リリース後の負荷状況について、具体的なメトリクスの数字をお見せしながらご紹介します。 https://cagc.cyberagent.co.jp/2024/session/index.html?id=tisydb2t59 ©芥見下々／集英社・呪術廻戦製作委員会 ©Sumzap, Inc.／TOHO CO., LTD. Copyright © CyberAgent, Inc.
S3 Inventory + Athena によるプレフィックスレベルコスト分析 ~S3 のコストをスリムに保つために~ - Gunosy Tech Blog
プロダクト開発部 Ads チームの yamaYu です。最近体重と筋肉量をコントロールしたい願望があり、まずは可視化ということで体組成計を買いました。まだ全然成果は上がっていないですが、現状を把握できて良い感じです。 今回の記事ですが、最近取り組んだ S3 のコスト削減の施策において、S3 Inventory がコストの可視化の文脈で良い感じだったのでその話について書いていきます。 最終的に ↓ のような感じでプレフィックス別にコストを分析できるようにしました。 プレフィックス別の S3 のコストの例 課題感 S3 のストレージ使用量を把握するための選択肢 AWS CLI S3 Storage Lens S3 Inventory S3 Inventory で使用量を可視化する S3 Inventory を設定する Athena と連携する SQL を書いて分析する まとめ 課題感 Ads
GKE best practices: Exposing GKE applications through Ingress and Services One critical part of designing enterprise applications running on Google Kubernetes Engine (GKE) is considering how your application will be consumed by its clients. This could be as simple as exposing your application outside the cluster, to be consumed by other internal clients, or might involve routing traffic to your ap
AWS CDK TIpsシリーズの記事です。 AWS CDKのスタック、まとめてますか？分けてますか？分けている方はどういう基準で分けていますか？ この議論は人によって割と意見の分かれることも多く、最高の飲み会ネタになるでしょう。今日は私見も交えながら、CDKのスタック分割法についてまとめてみたいと思います。 自己紹介 私見を語る上で自己紹介は必要だと思うので、私自身のCDK経験を簡潔に: CDKは2020年の頭に出会い、以下のようにかれこれ3年ほど使っています。 前職ではそれなり規模のmBaaSをCDKを使ってAWSに移行･運用していました 現職では大小様々な規模のプロトタイプ開発にCDKを使っています。数えるとこれまで15個くらいシステムのプロトタイプを作ったようです。 現職のサイドプロジェクトとして、グローバル規模の社内システムの開発運用もCDKでやってました (お手伝い程度)。AW
PubSub Functionのfan-outの限界
最近、数百から数千単位の処理を、順次処理するのではなく並列に処理することでリソースを有効に活用して処理時間を短縮する方法を考えて実装を行った。スレッドや goroutines のようなプログラミング言語内の仕組みで作ったのではなくて、すべてフルマネージドのクラウドで行ったのだが、その際に謎の挙動に苦しんだのでそのメモを残しておく。 基本的な仕組み以下を利用した。 Cloud FunctionsCloud PubSubCloud FirestorePubSub Functions で fan-out を行った、という表現になるらしい。 もう少し細かいことを言うと並列に function を呼び出すために、 順次処理のループを回す function の中で処理そのものを行わずに次の function を起動する message を publish する1 から起動された function が個
こんにちは、エムスリーエンジニアリングGの榎田です。趣味は数学とゲームです。数学はここ半年ほど 微積分の勉強 をしていて、ぼちぼち微分形式の話ができそうです。ゲームは黎の軌跡（日本ファルコム軌跡シリーズ最新作）を遊んでいます。初週ナイトメアでも遊べるバランスなのがよいです。あとフェリちゃんがかわいい。 お仕事では Docpedia という医師向け Q&A サービス を開発するチームでの仕事が半分、チーム SRE としての仕事が半分、という立ち位置です。最近、その Docpedia チームで GameDay というものをやりました。その過程で色々なことが学べたので、今日はその話を書きます。 GameDay とは 出した問題 ぱっと見 裏で何を壊したか 結果 問題設計の意図 ひどく難しくしない できることを制限しない 引き継ぎ 感想や学び 一人でも文殊、三人でもっと文殊 権限があることと実際に
DifyはDBにpostgres、キャッシュにRedisを使っている。 また、ベクトルDBは複数選択可能ではあるが、Postgresのvectorを使うことも可能なので、postgresで統一させちゃう。 これらをRDSとかで立てようとするとイニシャルで料金がかかってしまうので避けたい。 supabaseはPostgresを安価に、upstashはRedisを安価に使えるので、これらを使う。 まず、supabaseとupstashでアカウントを作成し、DBを作成する。 作成するうえで特に困ることはないので、そのままコンソールをポチポチするだけでOK supabase: https://supabase.com/ upstash: https://upstash.com/ 作成するとHOSTやpasswordなど必要な情報がコンソールに表示されるので、それをdifyのdocker-compo
インフラエンジニアと一口に言っても、皆さんの周囲には様々なインフラエンジニア、または近しい技術領域で仕事をしているエンジニアがいることでしょう。 そこで、昨今のインフラエンジニアの多様性を生み出している技術的な要素や思想に触れつつ、皆さんのキャリアに取り入れるヒントをともに考えてみませんか。 自らがインフラエンジニア・SREのバックグラウンドを持ち、現在は VP of Engineering としてエンジニア評価・キャリア相談等の実務に携わる過程での気づきをお話します。 Infra Career Lounge #1「インフラエンジニアの評価とキャリア」にて発表した資料です。 https://forkwell.connpass.com/event/246453/
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
こんにちは、株式会社ロジレスで業務委託として開発のお手伝いをしている山下です。週3でWebアプリケーションの機能追加・改善をしています。 本題の前にLOGILESSについて少し紹介させてください。 ECの市場が拡大していく中、ネットショップの運営は受注処理や在庫の管理、出荷作業など多くの業務を伴います。私たちはそれらの業務の効率化・自動化を行えるシステムを提供するスタートアップです。2020年8月末で物流会社約50社と提携し、240社以上の企業にご利用いただいており、LOGILESSを利用した1ヶ月間の出荷は90万件を超えます。 ところで、ヘッダーの画像のキャラクタは弊社のマスコットキャラ「ロジごま」で、LOGILESSで様々な業務を自動化した結果、自由な時間を過ごせるようになった二足歩行のゴマフアザラシです。表情や所作が愛くるしくて、ロジごまにはよく癒されています。ECの需要は伸びる一方
AWS Lambda で Python 3.8 ランタイム がサポートされました | DevelopersIO
AWS チームのすずきです。 Python 3.8 をサポートした AWS Lambda、試す機会がありましたので紹介させていただきます。 AWS Lambda now supports Python 3.8 マネジメントコンソール 「Python 3.8」を、Lambda関数のランタイムとして選択可能になりました。 関数コード Python 3.8 でサポートされた「セイウチ演算子」(:=) を含むコード、テスト実行してみました。 実行コード import sys def lambda_handler(event, context): if (a := sys.version_info): print(a) 結果 Python の マイナーバージョン「8」である事を確認できました。 sys.version_info(major=3, minor=8, micro=0, releasele
ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
とても重いクエリがなぜ重いかを調べてみた(explain/optimizer_trace) | GMOメディア クリエイターブログ
はじめましてこんにちは、2018年入社のエンジニアの羽中田といいます。現在は技術推進室という部署で、データ分析を行なっています。 GMOメディアのDBといえば何と言ってもMySQL、ということでMyS...
こんにちは、Assured のオリバーです。 最近、Google Platform の Workflows を業務に導入し、非同期で動作していたプロセスやバッチをパイプライン化して自動化することで、管理コストと運用コストを削減することができました。この記事では、私たちが取り入れた構成例や、参考になりそうなポイントをいくつか紹介します。これらの情報が、これから Workflows を試してみたい方や、既に使用を開始している方にとってお役に立てれば嬉しいです。 すでに Workflows をご利用の方は、「Workflowsとは」のセクションを飛ばして、「Assured のユースケース」からご覧ください。 Assured の事例は以下の二つについて話をします。 データ解析のパイプライン化 長時間のキューイングプロセスの自動化 Workflowsとは Workflows は Google Clo
メンバーやサービスアカウントの権限を考える際に、ロールの持つ権限を比較したいことがしばしばある。そういう時は gcloud と diff を使うことで比較できるという素朴なテク。 ロールと権限 ロール(role)は roles/{roleName}, roles/{service}.{roleName} などで表され、許可されている操作を表す権限(permission)の集合である。 例えば BigQuery データ閲覧者 (roles/bigquery.dataViewer) は、以下の permission を持つ。 bigquery.datasets.get bigquery.datasets.getIamPolicy bigquery.models.export bigquery.models.getData bigquery.models.getMetadata bigquery
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。製薬企業向けプラットフォームチームでチームSREとして活動しています。 この記事はエムスリー Advent Calendar 2021 22日目の記事です。 Googleの実践から生まれたSREという職種は決してインフラ "だけ" を見る存在ではありませんが、インフラの構築・維持管理は依然として主要な仕事の1つです。 ここ数年のエムスリーのインフラの変遷やその全体像については14日目の記事「エムスリーの IaC 3年史」に譲りますが、私の所属する製薬企業向けプラットフォームチームも、 多くの本番プロダクトがAWS上で稼働 データ基盤はBigQuery上に整備 他のチームが開発するGCP上の機械学習システムとも連携 ...といった具合で日々クラウド上での開発と運用をしています。また、AWS上の構成はほぼ全て T
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO
Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] はじめに 本記事では、Amazon Connect + Amazon Bedrock + Amazon Lexを組み合わせて、電話での問い合わせ内容を種別判定し、最適な担当者に振り分ける方法と、その精度結果をまとめました。 ユーザーのお問い合わせの種別を判定し、種別ごとに担当者に振り分けるコンタクトセンターでのAIチャットボットによる一次対応を想定し、生成AIであるBedrockのClaudeが種別判定機能を担います。 お問い合わせの種別判定は、以前Amazon Kendraを利用して試しましたが、今回は、BedrockのClaudeを利用してみます。 構成 構成としては、下記の通りです。 以下は、ユーザーがお問い合わせした内容を種別判定し、内容によって担当者に振り分けするまで
![Amazon Bedrockで電話での問い合わせ内容の種別を判定し、担当者に振り分けてみた[AIチャットボット] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/87df14d8322101852bf1ce7d1cd3f121f6b1a7a9/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F04%2F2024-04-11-cm-hirai-1200x630-1.png)
2023/3/21 時点の情報で作成しています。Mountpoint for Amazon S3 は現在アルファリリースであるため本番ワークロードには適しません。また将来的に動作や仕様が変更される可能性があります。動作を確認したバージョン: 0.2.0-b8363a4 Mountpoint for Amazon S3 とは 概要 Mountpoint for Amazon S3 は、Amazon S3 バケットをローカルファイルシステムとしてマウントするための Rust 製ファイルクライアントです。OSS として開発されています。 現時点ではサポート OS は Linux のみで 読み込み操作専用 です。書き込み操作については将来的に新しいオブジェクトへの順次書き込みのみがサポートされる予定です。 類似のツールとしては s3fs や Goofys などが有名です。 ユースケース Mount
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター セキュリティグループの耿です。これは電通国際情報サービス Advent Calendar 2022 12/14の記事です。 プログラミング言語でクラウドインフラをIaC化できるライブラリとして、AWS Cloud Development Kit (CDK)が使われることが増えています。CDKではリソースのデフォルト値が設定され、便利に短く記述できる一方で、デフォルト値が必ずしも推奨されるセキュリティ構成になっていない場合があります。Security Hubのセキュリティ基準を利用していると、リソースをデプロイした後にアラートに気付いて修正をすることもあるのではないでしょうか。 そこでこの記事では、Security Hubのセキュリティ基準でアラートを出さないためのCDKによるリソースの記述方法を、主要なサービスの種類
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【コスト最適化】BigQuery Editions などの解説と見積もり方法
Claude 3最強のOpusがついにAWSのBedrockに来た！！ - Qiita
GCPでイベント駆動な構成を検討したときに考えたことメモ - Qiita
stress コマンドを使ってマシンに負荷をかける - CUBE SUGAR CONTAINER
負荷分散のオプション - Azure Architecture Center
Zero Downtime Release: Disruption-free Load Balancing of a Multi-Billion User Website
Libvirt と Open vSwitch による仮想ネットワークの構築 - Qiita
AWS Batchを用いた機械学習の分散推論 #AWSDevDay
GCP Cloud IAP経由のSSH接続にグローバルIP制限を組み込む - YOMON8.NET
Exposing services on GKE | Google Cloud Blog
AWS CDK Tips: スタックの分け方について - maybe daily dev notes
社内 GameDay をやってみた - エムスリーテックブログ
DifyをCloudRunとsupabase、upstashを使ってほぼ無料でデプロイする方法
インフラエンジニアの多様性と評価、またはキャリアへのつなげ方
ベアメタルKubernetesロードバランサのPorterがCNCF Landscpeの一部に
AWS ComprehendとLambdaを用いた問い合わせ自動対応チャットBOTの開発 | 株式会社ロジレス
Google Cloud の Workflows を運用してみて - Assured Tech Blog
GCP IAM ロールの持つ権限を比較するテク - ぽ靴な缶
GitLab上でよしなに自動実行してくれるTerraformのCIを目指して - エムスリーテックブログ
Mountpoint for Amazon S3 とは何か - Qiita
AWS Security Hub のアラートを減らすためのCDK実装例 - 電通総研 テックブログ
www.youtube.com
news.yahoo.co.jp
xenospectrum.com
nordot.app
m0ru.hatenablog.com
news.yahoo.co.jp