要約 Denoを使うことでNodeなしにAWS CDKを動作できる！ これによりnpmツールチェーンのセットアップ、管理の手間から開放される！(…かも？) これはDenoのnpmサポートが強化されたため可能になった まずは動かしてみましょう Denoをインストールします CDKアプリケーションコードの型チェックをする場合Deno v1.28.2以上である必要があります 以下の2ファイルを用意します Denoの設定ファイルであるdeno.jsoncです。主にタスクランナーの設定がしてあります。 // deno.jsonc { "tasks": { "cdk": "deno run --allow-all npm:aws-cdk --app 'deno run --allow-all main.ts'", "test": "deno test --allow-all", "ci": "deno
Cloud Asset Inventory を使用してGoogle Cloud上のアセットを分析する - NRIネットコムBlog
こんにちは、最近はGoogle Cloudの記事を書いている上野です。（AWSももちろんやってます） 今回はCloud Asset Inventoryを見ていきます。 Cloud Asset Inventoryとは？ Google Cloud上の、アセットを管理できるサービスです。アセットとは、大きく以下の2種類を指します。 リソース Compute Engine 仮想マシン（VM）やCloud Storage バケットなどのGoogle Cloud上で作成されたリソースのメタデータ ポリシー IAMポリシー、Organizationsポリシーなど、誰が何にアクセスできるかという情報（ポリシーのメタデータ） Google Cloud上に5 週間分の履歴情報が保管されています。 AWSで言うとAWS Configに近いサービスになります。 Cloud Asset Inventoryの開始方法
メディア・プロモーション事業部でpixivの広告配信システムを開発しているあやぬんです。 今回pixivの広告システムで利用しているGCPのロードバランサ（以下GCLB）で待望のHTTPS・URLリダイレクト機能が4/14にGA1となったので、本番環境・開発環境へ導入した方法を紹介します。 従来のGCLBに対する課題 今までGCLBはHTTPおよびHTTPSのバックエンドサービスに対して、ただトラフィックを流すだけで、リダイレクトの機能はありませんでした。 Google Issue Trackerには2015年からHTTPSリダイレクトの要望が上がっており世界中のユーザーが待ち望んでいました。 https://issuetracker.google.com/issues/35904733 HTTPSリダイレクトを自分で実装する場合は内部でNginxを起動させてリダイレクトをさせるか、アプリ
Amazon Athena + Google Colabによる分析環境 - KAYAC engineers' blog
1日目にも登場した謎の事業本部のデータエンジニアv0.1.0の @mashiike です。 こちらは Tech KAYAC Advent Calendar 2020 11日目の記事です。 今回は、いつものRedashの話ではなくAmazon AthenaとGoogle Colaboratoryの話をしたいと思います。 背景 弊社はWebアプリケーションをAWS上に構築することが多いです。そのため分析用の環境もAWS上に構築することが多くあります。 社内でよく耳にするのは、ECSを用いてRedashを構築・運用、backupのデータベースや調査用のデータベースとつなげてグラフ化・分析などを行う環境です。 複雑な分析はなどは、前年のTech KAYAC Advent Calendarでお話した、 redash + Google Colabの分析環境なども出てきたりします。 techblog.k
Amazon EKS #2 Advent Calendar 2019の24日目に出す予定だったの記事です。 はじめに re:Invent 2019が終わってはや3週間。 EKSのFargate対応やFargate Spotの登場など華々しいアップデートの影に隠れて、 Amazon SageMaker Operators for Kubernetesというアップデートがあったことは皆さんご存知でしょうか？ 普段はSageMaker[1]島に生息している身ですが、この度はEKS Advent Calenderの1枠を頂いて、まだまだ記事も少ない[2]こちらのアップデートについて少し深堀りしてみることにします。 Amazon SageMaker Operators for Kubernetesとは ドキュメントを引用すると、 Amazon SageMaker Operators for Kube
Google Cloud Japan Advent Calender 2022 (今から始める Google Cloud) の 13 日目です！ こんにちは、Google CloudでDataAnalyticsを担当している山田です 本日はDataplexの紹介をしたいと思います！ Dataplexとは データを活用する上でデータガバナンスをどう担保するかは非常に難しい問題です。 そこでGoogle CloudではデータのQuality,Security,Complianceなどを担保するためにDataplexを提供しています。 具体的に何が出来るのかが分かりづらい部分があるので、この記事ではDataplexの具体的な機能や使い方を説明したいと思います。 また、メタデータ管理サービスであるのData Catalogですが、今年 Dataplex に統合され、Dataplex のメニューから
Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみた - Qiita
Pinecone を使って、Amazon Bedrock Knowledge base と Agent で番組情報を扱えるようにしてみたAWSbedrock Amazon Bedrock Knowledge base と Agent 自社で開発・運用している動画配信サービス「hod」のデータを使って、番組情報を教えてもらうチャットボットを構築してみます Amazon Bedrock の新機能としてGAした Knowledge Base と Agent を使っていきます。 使用する追加データとしては、HTBが開発・運用している動画配信サービス「hod」の番組マスタデータの一部をcsvにしたものを使ってみたいと思います。 (Bedrock の周辺機能をアーキテクチャ図に落とし込むときどうもしっくりこない。。笑) Vector Store として Pinecone を採用して、Knowledge
この記事は 10日目の記事です。 この記事は eureka Advent Calendar 2019 10日目の記事です。 9日目は 弊社iOSエンジニアのAymenによる でした。 こんにちは。エウレカでSREをしている恩田と申します。 好きなAWSサービスはVPCとRDS(Aurora)、好きな仕事は既存リソースのTerraform Importによるバージョン管理下移行作業 (社内通称IT土木) とTerraformのアップグレードです。(この前ようやくv0.12対応が終わり歓喜)。家庭では生後5ヶ月になった娘と戯れたりしながら日々仕事に精を出す毎日を送っています。 この記事では、エウレカで2019年度に実施したAWSのマルチアカウント環境におけるIAMマネジメントの最適化の試行錯誤の様子をお伝えします。 解決したかった課題弊社が運営するオンラインデーティングサービス「Pairs」ア
BigData-JAWS 勉強会#18 登壇資料 https://jawsug-bigdata.connpass.com/event/215161/
Amazon SageMakerでマネージドなMLflowが使用できるようになりました | DevelopersIO
こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 今朝目が覚めたら、Amazon SageMakerでマネージドなMLflowが使用可能になっていました。 アナウンス Amazon SageMaker now offers a fully managed MLflow Capability - AWS 公式ブログ Announcing the general availability of fully managed MLflow on Amazon SageMaker | AWS News Blog ドキュメント Manage machine learning experiments using Amazon SageMaker with MLflow - Amazon SageMaker 料金 Machine Learning Service
はじめに 先日の Google I/O 2023 で Public Preview になった Vertex AI PaLM API を使って、自然言語で BigQuery に対してクエリを実行してみます。 「とりあえず PaLM API を触ってみたい」が趣旨であり実用的ではありません。より実用的に使うためには今後出てくるコード生成に特化したモデル (Codey) を使ったり、プロンプト エンジニアリングしたり、トライ & エラーできるような仕組みを作ったりする必要があるでしょう。 本記事では PaLM API からのレスポンスをマスクしています。どのようなものが生成されたか見たい方はぜひ自分で実行してみてください。 本記事で使ったコード全文は Gist にあります。必要に応じて参照してください。 必要なもの Google Cloud のアカウント Google Cloud のプロジェクト
Looker Studioのデータ抽出（Extract data）機能を利用してスキャン量を減らす - LayerX エンジニアブログ
こんにちは！LayerX バクラク事業部 機械学習・データ部 データチームの石橋（@saaaaaaky）です。 Looker Studioのカスタムクエリが1日300回以上実行される課題 弊社ではBIツールとしてLooker Studioを利用しています。 データマートがまだまだ整備できていないので、Looker StudioからGoogleのBigQueryに接続し、カスタムクエリをデータソースとしてダッシュボードが作成されています。 ダッシュボードが閲覧される毎やパラメータの変更をする毎にクエリが実行されるため、よく見られているダッシュボードだと同じクエリの実行数が1日に300回ほどになるものも存在しました。 スキャン量での課金であることと、単純にクエリが実行されることでダッシュボードの表示速度も遅くなり作業効率も落ちてしまいます。 ヒアリングしたところ、リアルタイムのデータが必要とさ
はじめに システムの構成 クライアントコマンド authenticator K8s Custom Controller cks-operator imperator 仕組み まとめ はじめに この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。 6 年間の振り返りは こちらの記事 を、運用に関する紹介は こちらの記事（執筆中）を参照してください。 システムの構成 構築・運用していたシステム構成は以下の図のようになっており、ユーザは専用のクライアントコマンド経由で Web IDE や Jupyter を起動してデータの分析ができるようになっています。 アーキテクチャ クライアントコマンド 前述のクライアントコマンド（以下 cmd）の機能などについて軽く説明します。 cmd のソー
はじめに GKEはGCPのサービスのひとつで、kubernetesのマネージドサービスになります。 GCPコンソールもしくはコマンドラインから、簡単にkubernetesクラスタを構築することができます。 リージョンの設定など初期設定を済ます必要はありますが、以下のコマンドを実行するだけでクラスタ構築が完了します。 趣味で触る場合はさておき、実際に業務でGKEを利用する場合はしっかりとセキュリティ面を考慮する必要があり、そのあたりを意識せずにGKEを利用するのは危険です。 本記事では、GKEのセキュリティに関するドキュメントを参考にし、それなりにセキュアなGKEクラスタの構築方法を紹介したいと思います。本来は最新情報などのキャッチアップも含め本家のサイトを参考にしていただくのが一番です。 このような機能があるんだなと、なんとなくの全体感を掴んでいただければ幸いです。 基本 Kubernet
1人目の専任SREがポストモーテム文化を改善したらエンジニア以外にも広まり、他部門との連携も強化された話｜Hiroki Takatsuka
2022年7月に primeNumber に入社した、1人目の専任 SRE の高塚 (@tk3fftk) です🙏 primeNumber が開発する trocco® のSREチームは現在、CTOの鈴木さん (@kekekenta) と自分、業務委託の方数名で日々さまざまな改善を行っています。 入社して半年以上経ち、行ってきた改善をふりかえりを行いがてら、記事を書いてみることにしました。 この記事では、SREの取り組みの1つとして、primeNumber のポストモーテム文化を改善した話をします。 追記: この記事をベースにしたLT登壇の機会をいただきました🎉 ポストモーテムとは?ポストモーテムとは、簡単に言うと、発生したインシデントについて読めば把握できるようなドキュメントです。 影響範囲、根本原因、タイムライン、行われた対応や再発防止策などが含まれます。 具体的な定義や書き方について
JX 通信社の開発担当役員(CDO)の小笠原(@yamitzky)と申します。JXのエンジニア組織(開発局)に「コンペ研修制度」を新設しました。 制度の概要今年の ISUCON 10 では、JX 通信社から２チームが予選参加しました(結果はふるいませんでしたが...!)。「コンペ研修制度」は ISUCON のようなコンペに参加することを「研修」として扱うもので、平日開催であれば業務時間としての参加として扱い、休日開催であれば(業務なので)代休が発生します。 一言で言うと「ISUCON の参加で代休が発生する」という制度ですが、ISUCON に限らず Kaggle など他のコンペへの参加にも適用できます。 「コンペ研修制度」創設の思いJX 通信社のエンジニア組織には「自学自習」というカルチャーが浸透しています。エンジニアの自学自習を推奨するためにも、カンファレンス・勉強会の参加費を全額補助し
差分転送するモチベーション 機械学習を使った情報推薦を行なうために、RDSのテーブルをBigQueryに定期転送しています。細かいことは気にしたくなかったので、一日一回の洗い替え(全データ送信で全部上書き)していましたが、もう少し鮮度を上げたくなりました(新しい情報に対して推薦ができないため)。何も考えずに定期転送の頻度を上げると 1: 転送のためのCPUコスト 2: AWSからGCPへのデータ転送量 が気になってきます。個人の趣味プロジェクトでは、特に2が大きい。先月のAWSの利用料金を見て、涙を流していました...。というわけで、情報の鮮度は上げつつもう少し効率的に定期転送するべく、Embulkでの差分転送をすることにしました。 やり方 差分だけBigQueryに転送する 基本的にはメルカリメソッドそのままです。いつもお世話になっております。 updated_atのような最終更新日時が
導入の背景 Snowflakeを導入し、Talendと各種バッチ処理を作成してデータ分析基盤を構築しましたが、肝心のBIがコストの関係でストップとなりました。当初はPowerBIを導入する予定でしたが、BIをQuickSightに変更してコストを約半分にまで下げる案に変更しても予算がおりませんでした。コスト問題をクリアする為に仕方なくOSSであるMetabaseで構築した環境でしたが、思った以上に低価格で高性能な環境ができあがり、PowerBIに負けてないどころか、こちらの方が使い勝手が上だと思う環境ができましたので、紹介したいと思います。 ###おすすめしたいポイント ■Snowflake ・クエリが投げられた間だけの課金(停止中は課金されない) ・停止中でも瞬間に起動するので、遅延は感じない ・控えめに言っても超高速 ・スタンダード契約なら、最小サイズのXSサイズで1クレジット$2.8
Web アプリケーションを動かすためにはどうしても CPU、メモリ、ストレージなどが必要です。 せっかく作った Web アプリケーションを誰かに使ってもらうためにはインターネットで公開する必要があります。 そして 2020 年現在「Web アプリケーションを動かして公開する」ためのプラットフォーム(XaaS)が何種類も存在します。 その何種類も存在する XaaS はそれぞれ名称はもちろん機能や使い方も異なり、Web アプリケーションを開発する私たちは仕様と特徴を理解しながら一定以上のレベルで使いこなしていくことを求められます。 XaaS の「仕様と特徴」は例えば私たちが日常的に使う白物家電や調理器具や交通機関などと比べると圧倒的にバラエティが豊富でその分学習に時間が必要なように見えます。 最近はそういうことをグルグル考えているので自分自身の整理として言語化を試みます。 なお所属企業の業態や
ユーザー価値に直結する開発時間を増やしたい！グロースエンジニアの運用負荷との戦い🔥 - freee Developers Hub
こんにちは！freeeでアプリケーションエンジニアをしているおっそーです。 この記事は freee 基盤チームアドベントカレンダー の11日目になります。 昨日のuryyさんのPagerDutyについての記事はいかがでしたでしょうか？😊 わたしは外部サービス連携開発部のグロースエンジニアをやっており、1年半ほど運用負荷の改善に努めてきました。今回はその取り組みについてお話します。 また、外部サービス連携開発部は freee 内部ではコアエンジンチームと呼ばれているので以降コアエンジンチームと記載します。 コアエンジンチームとは freee会計の一機能で銀行やクレジットカード、交通系IC、レジサービス、決済サービスなどのfreee外のサービスからユーザーのお金の動きについてのデータをfreee会計に連携して、ユーザーの仕訳業務を自動化・効率化する連携機能を開発しているチームです。 以前 f
Photo by eberhard grossgasteiger on Unsplashエンジニアの桂です。 今日は Cloud Build から Cloud SQL に接続する方法について紹介していきます。 どちらも Google Cloud Platform 上のサービスなので一見簡単にできそうですが、 Cloud Build というサービスは予想外に不器用で、こういう作業はかなり苦手だったりします。 今回は Cloud SQL Proxy を立てながら並列的にSQL 接続を行う手法を使います。この手法は @kshibata101 氏の Cloud BuildでCloud SQLのマイグレーションをしたい をベースにしていますが、最近 Cloud SQL Proxy のイメージから sh が削除されたため、この手法は使えません。 docker: Error response from
EventBridgeからDiscordのエンドポイントを直接叩いて通知するしくみをCDKで実装してみました | DevelopersIO
なお、今回紹介しているコードの全文は以下リポジトリに格納しています。 下準備： DiscordのWebhookを作成する 今回はDiscordへメッセージを投稿するためにWebhookを作成します。 投稿したいチャンネルの設定を開きます。 次にサイドバーの「連携サービス」をクリックして、「ウェブフックを作成」をクリックします。 作成されたら、「ウェブフックURLをコピー」をクリックしておきます。 このURLは次の項目で利用するため控えておいてください。 下準備: .envの作成 CDKを利用する上で環境変数や機密情報を取り扱う方法はいくつかあるかと思いますが、今回はWebhookのURLを誤って公開しないように.envのしくみを利用しています。 contexnt.jsonを利用する方法などもありますので、気になる方は以下記事が分かりやすかったのでご参照ください。 CDKコードのルートディレ
はじめに 最近、CDKのベストプラクティスを久しぶりに読み返していたのですが、grantメソッドなる存在を知りました。 https://aws.amazon.com/jp/blogs/news/best-practices-for-developing-cloud-applications-with-aws-cdk/ こちらのメソッドを利用する事で、例えばCDKのリソース定義時に インラインポリシーを記載 リソースにアタッチ をしなくとも、IAMのインラインポリシーやアクセスポリシーの実装が可能です。 今回はこちらのgrantを利用し、記述量の削減をした例をご紹介します。 対象リソース 今回構築するリソースは以下。ECSの周辺リソースを対象としています。 ECRリポジトリA ロググループB ECSのタスク実行ロール リポジトリAのPULL権限を付与 ロググループBに対するログ吐き出しの権限
TerraformとAWS CDKの連携について考えてみる
tl; dr Terraformのlocal-execで cdk deploy Terraform, AWS CDK間でのパラメーターの受け渡しできることが大切 DataソースでCDK Stackのoutputsを参照できる Terraformからは環境変数を使ってCDK Stackに渡す https://github.com/youyo/terraform-aws-cdk-template モチベーション 以前TerraformからAWS SAMを扱う記事を書きました。 TerraformからAWS SAMをデプロイしてみた そのときのモチベーションをベースに, さらにYAMLも書きたくないのでAWS SAMではなくAWS CDKを組み合わせられないか考えてみました。 基本的にはTerraformを使いたい でもTerraformでLambda扱うのとかしんどい そこはAWS SAM使い
本番でWebアプリケーションを運用していると，様々なログを取り扱う必要がある．これはKubernetesでも同じで，Kubernetes上で動かしているコンテナのログも，何かしらの方法で集約してどこかに蓄えておいて，分析とか検索とかをしたくなる． こういう用途でまず思いつくのがfluentdで，fluentdはKubernetes用にDaemonSetを用意してくれている． github.com こいつを使えば，コンテナの標準出力に出てきたログは，すべてfluentdで拾えることになる． では，標準出力以外の，例えばファイルに吐き出すようなログはどうなるだろう？ こういったログを集めるためには，アプリケーションのコンテナのサイドカーとしてfluentdを動かし，ログファイルをVolumeMountすることでサイドカー側のfluentdにログファイルを読ませる，というようなことをする必要があ
AWS for Games Advent Calendar 2022 3日目の記事です。 まえがき みなさんは、Amazon GameSparks (Preview) というサービスをご存じでしょうか。簡単に説明するとインフラを意識せずにゲームバックエンドサービスを構築することができる AWS が提供しているマネージドサービスです。 従来のゲームバックエンドサービスは、EC2, ECS, EKS, Lambda などのコンピューティング関連のサービスと RDS, DynamoDB, ElastiCache などデータベース関連のサービスを組み合わせて構築することが一般的かと思います。Amazon GameSparks 対照的にはこれらのインフラを意識せずにフルマネージドでスケーラビリティの高いバックエンドサービスを構築することが可能で、ゲームを作る！という本質的な課題解決に集中できる点がゲ
Amazon MWAAのローカル環境を簡単構築！aws-mwaa-local-runnerのススメ | DevelopersIO
Amazon MWAA（Amazon Managed Workflows for Apache Airflow）を利用する場合のローカル開発環境として便利なaws-mwaa-local-runnerを紹介します。 こんにちは。サービスグループの武田です。 AWSは多くのマネージドサービスを提供していますが、ではそれを利用する場合の開発環境をどうしようかという課題があります。動作確認は常にAWSで行えばよいという考え方もあります。一方で、たとえばDynamoDBであればDynamoDB Localを使うなどローカルで実行可能な環境を作れる場合もあります。 AWSではAmazon Managed Workflows for Apache Airflow（MWAA）という、Airflowのマネージドサービスを提供しています。今回はMWAAのローカル環境についてです。名前からも分かるとおり中身はA
Cloud Certificate Manger による Wildcard Certificate を用いた Cloud Run の活用
Cloud Certificate Manger による Wildcard Certificate を用いた Cloud Run の活用 Overview GCP の Cloud Certificate Manager では元々ロードバランサー(以下 LB) に付随していた SSL 証明書ではできなかったワイルドカード証明書の利用が可能になりました。 本記事では Cloud Certificate Manager の概要を説明後、実際の運用での活用例を Cloud Run の利用とともに紹介します。 Certificate Manager とは Cloud Certificate Manager (以下 Certificate Manager) は 2022-08-25 に GA になりました。 Certificate Manager の登場により TLS 証明書の大規模取得や利用が可能に
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 | DevelopersIO
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co
IaC 提供の難しさ: API で宣言的な管理を実現できるか？という視点 - Diary of a Perpetual Student
Mackerel は Terraform Provider を提供していて、監視ルールや通知チャンネル、ダッシュボードなどの設定が Terraform で記述・管理できるようになっています。 今回は Terraform Provider 提供者の目線から、サービスを IaC で管理できるように対応する難しさを紹介します。 公開 API で宣言的な管理を実現できるか？ Mackerel の Terraform Provider は、内部的に公開 API を呼ぶことで設定の管理を実現しています。よって、公開 API を新たに増やしたり改修したりする場合には、IaC による宣言的な構成・設定管理を API を使って行えるかどうかを気にする必要があります。 具体例: ホワイトリストと、ホワイトリストに自動で追加するフラグの両方を IaC で管理する 例として、やや抽象的な表現にはなってしまいますが
AWS Step Functions → AWS Batch on Fargate を SAM で定義する - public note
AWS Step Functions から AWS Batch を呼び出す構成を AWS SAM で定義しました。 AWS Batch のジョブは、Fargate で動くようにしています。 すんなり定義できなかったところがいくつかありましたので、ひっかかったところをまとめました。 つくったテンプレートファイルは、こちらへアップロードしています。 github.com AWS Batch の実行環境として Fargate を指定する ジョブ実行環境として EC2 を指定している Cloud Formation テンプレートはたくさん見つかるのですが、Fargate を指定しているサンプルは見つかりませんでした。そのため、こちらのページを参照しながら Fargate 版をつくります。 AWS Batch on AWS Fargate - AWS Batch Cloud Formation の
New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi | Amazon Web Services
AWS News Blog New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi Storing your data in Amazon S3 provides lots of benefits in terms of scale, reliability, and cost effectiveness. On top of that, you can leverage Amazon EMR to process and analyze your data using open source tools like Apache Spark, Hive, and Presto. As powerful as these tools are, it can still be challenging to
AWS LambdaとEventbridgeでRDSのS3エクスポートを自動化する | SEEDS Creators' Blog | 株式会社シーズ
こんにちは、クラウドソリューション事業部の本田です。今月もブログ書いていきます、よろしくお願いします。今回ですが、担当している案件でRDSのS3エクスポートを自動化する必要がありましたので、それを実現した内容をまとめていきます。 背景GCPのBigQueryにRDSのデータをインポートする必要がありました。dumpを取得してデータを転送するなど色々と考えたのですが、BigQueryではparquet形式のデータをサポートしているので、RDSのデータをparquet形式でエクスポートすることのできるRDSスナップショットのS3エクスポートを利用することになりました。また週に1回での更新頻度という要件でしたので、こちらを自動化する必要がありました。BigQueryでのテーブルの作成なども行なっているのですが、これらはまた別の記事にしようかなと思っています。 構成AWS LambdaでRDSスナ
はじめに 2020/2/28にGAになったCloud IAM Conditionを試してみたいと思います。 AWSのIAMは以前からリソース名やタグ、Source IPでの認可設定のConditionを記載できてましたが、GCPのCloud IAMにもCloud IAM Conditionという名称で同様の機能が追加になりました。 認可設定を付与する際の条件が設定できます。 何が出来るのか https://cloud.google.com/iam/docs/conditions-overview 現在、Conditionとして記載できるのは、大きく分けて時刻とリソースの2つになります。 時刻(request.time) リソース(resource) マニュアルに記載がある設定例 GCEインスタンス名などのリソース名やタイプを指定した制限(resource.name, resource.ty
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog AutoFMという、基盤モデルの学習推論を自動化できるプラットフォームについて紹介します。 BERTの概略 近年、基盤モデル（Foundation Model）と呼ばれるモデルが注目を集めています。基盤モデルとは、テキストや画像などを含む大規模なデータから学習し、それを用いることによって質問応答や評判分析など、さまざまなタスクに利用できるモデルのことで、スタンフォードのグループが論文で提唱した言葉です。 基盤モデルには、言語処理のモデルである「BERT」や「GPT-3」、言語と画像のマルチモーダルモデルである「CLIP」などが含まれており、言語処理や画像処理の分野で大成功を収めています。今回はBERTにフォーカスして紹介します。
組み込み型の Data API を使用した Amazon Redshift へのアクセスが可能になりました。これにより、ウェブサービスベースのアプリケーションの構築と、AWS Lambda、AWS AppSync、および AWS Cloud9 などのサービスとの統合が容易になります。Redshift Data API は、Python、Go、Java、Node.js、PHP、Ruby、および C++ などの AWS SDK でサポートされる言語でのデータのアクセス、取り込み、および出力をシンプル化するので、ユーザーはインフラストラクチャの管理ではなく、アプリケーションの構築に集中することができます。 Data API は、データベースの接続と認証情報を管理する必要をなくすことによって、Amazon Redshift へのアクセスをシンプルにします。それらの管理を行う代わりに、ユーザーは D
チームで取り組む障害対応
SRE meetup at Fukuoka vol.3 （ https://sre-fukuoka.connpass.com/event/151108/ ） での発表資料です。OnCallについてのPracticalなTopicについて話しました。
Dataproc Metastore: Fully managed Hive metastore now available for alpha testing Google Cloud is announcing a new data lake building block for our smart analytics platform: Dataproc Metastore, a fully managed, highly available, auto-healing, open source Apache Hive metastore service that simplifies technical metadata management for customers building data lakes on Google Cloud. With Dataproc Metas
BigQuery Cloud SQL federated queryでRDSのデータにクエリを実行してみる - Qiita
BigQueryからCloudSQLに直接クエリが実行できるようになったということですが、サービスの基盤はAWSを利用しているためDBはもちろんRDS。。。 そこでどうにかしてRDSに溜まっているデータに対してBigQueryから直接クエリを実行したいと思いやってみました。 正確には、RDSをCloudSQLでレプリケーションしてCloud SQL federated queryでBigQueryからクエリを実行してみました。 構成 既にソースDBに対して3台のリードレプリカが作成されている状態だったので、こんな感じの構成にしていきたいと思います。 CloudSQLレプリケーション設定 外部サーバーからCloudSQLレプリカに複製する場合いくつか要件があるのでそれを満たしているか確認します。 GTID が有効にされていて、GTID 整合性が強制されること。 問題はここでした。 AWSのド
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS CDKをDenoで動かす(完全版？) - Qiita
GCLBに実装されたHTTPSリダイレクト機能を使ってみました - pixiv inside
EKSユーザーもSageMakerを使うと楽に機械学習に取り組める話 - Qiita
Dataplexで始めるデータメッシュ運用
AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話
AWS SSOとGoogle Idpのおいしい関係 ~ QuickSightに楽してログインしたい ~
PaLM API を使って自然言語で BigQuery にクエリしてみる
機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~ - tenzenの生存日誌
それなりにセキュアなGKEクラスタを構築する - Qiita
ISUCON、Kaggleで代休をとれる「コンペ研修制度」を社内制度としてリリースしました｜小笠原みつき
最近の砂場活動その24: Embulkでのデータ転送を差分転送にする - yasuhisa's blog
SnowflakeとMetabaseで作る格安データ分析基盤 - Qiita
mazgi.log :: 2020年代を生き抜くWebアプリケーション基盤の私的整理
実は難しい、 Cloud Build から Cloud SQL への接続
AWS CDKのgrantメソッドが便利すぎた件 - Qiita
PodにfluentdのSidecarを自動でinjectする - PartyIX
Amazon GameSparks (Preview) をもう少し触ってみよう - Qiita
GCP Cloud IAM Conditionsを試す - Qiita
AutoFM: 基盤モデルの学習・推論を自動化できるプラットフォーム
Amazon Redshift 向け Data API の発表
Cloud Hive metastore now available | Google Cloud Blog