Photo by eberhard grossgasteiger on Unsplashエンジニアの桂です。 今日は Cloud Build から Cloud SQL に接続する方法について紹介していきます。 どちらも Google Cloud Platform 上のサービスなので一見簡単にできそうですが、 Cloud Build というサービスは予想外に不器用で、こういう作業はかなり苦手だったりします。 今回は Cloud SQL Proxy を立てながら並列的にSQL 接続を行う手法を使います。この手法は @kshibata101 氏の Cloud BuildでCloud SQLのマイグレーションをしたい をベースにしていますが、最近 Cloud SQL Proxy のイメージから sh が削除されたため、この手法は使えません。 docker: Error response from
EventBridgeからDiscordのエンドポイントを直接叩いて通知するしくみをCDKで実装してみました | DevelopersIO
なお、今回紹介しているコードの全文は以下リポジトリに格納しています。 下準備： DiscordのWebhookを作成する 今回はDiscordへメッセージを投稿するためにWebhookを作成します。 投稿したいチャンネルの設定を開きます。 次にサイドバーの「連携サービス」をクリックして、「ウェブフックを作成」をクリックします。 作成されたら、「ウェブフックURLをコピー」をクリックしておきます。 このURLは次の項目で利用するため控えておいてください。 下準備: .envの作成 CDKを利用する上で環境変数や機密情報を取り扱う方法はいくつかあるかと思いますが、今回はWebhookのURLを誤って公開しないように.envのしくみを利用しています。 contexnt.jsonを利用する方法などもありますので、気になる方は以下記事が分かりやすかったのでご参照ください。 CDKコードのルートディレ
はじめに 最近、CDKのベストプラクティスを久しぶりに読み返していたのですが、grantメソッドなる存在を知りました。 https://aws.amazon.com/jp/blogs/news/best-practices-for-developing-cloud-applications-with-aws-cdk/ こちらのメソッドを利用する事で、例えばCDKのリソース定義時に インラインポリシーを記載 リソースにアタッチ をしなくとも、IAMのインラインポリシーやアクセスポリシーの実装が可能です。 今回はこちらのgrantを利用し、記述量の削減をした例をご紹介します。 対象リソース 今回構築するリソースは以下。ECSの周辺リソースを対象としています。 ECRリポジトリA ロググループB ECSのタスク実行ロール リポジトリAのPULL権限を付与 ロググループBに対するログ吐き出しの権限
TerraformとAWS CDKの連携について考えてみる
tl; dr Terraformのlocal-execで cdk deploy Terraform, AWS CDK間でのパラメーターの受け渡しできることが大切 DataソースでCDK Stackのoutputsを参照できる Terraformからは環境変数を使ってCDK Stackに渡す https://github.com/youyo/terraform-aws-cdk-template モチベーション 以前TerraformからAWS SAMを扱う記事を書きました。 TerraformからAWS SAMをデプロイしてみた そのときのモチベーションをベースに, さらにYAMLも書きたくないのでAWS SAMではなくAWS CDKを組み合わせられないか考えてみました。 基本的にはTerraformを使いたい でもTerraformでLambda扱うのとかしんどい そこはAWS SAM使い
本番でWebアプリケーションを運用していると，様々なログを取り扱う必要がある．これはKubernetesでも同じで，Kubernetes上で動かしているコンテナのログも，何かしらの方法で集約してどこかに蓄えておいて，分析とか検索とかをしたくなる． こういう用途でまず思いつくのがfluentdで，fluentdはKubernetes用にDaemonSetを用意してくれている． github.com こいつを使えば，コンテナの標準出力に出てきたログは，すべてfluentdで拾えることになる． では，標準出力以外の，例えばファイルに吐き出すようなログはどうなるだろう？ こういったログを集めるためには，アプリケーションのコンテナのサイドカーとしてfluentdを動かし，ログファイルをVolumeMountすることでサイドカー側のfluentdにログファイルを読ませる，というようなことをする必要があ
AWS for Games Advent Calendar 2022 3日目の記事です。 まえがき みなさんは、Amazon GameSparks (Preview) というサービスをご存じでしょうか。簡単に説明するとインフラを意識せずにゲームバックエンドサービスを構築することができる AWS が提供しているマネージドサービスです。 従来のゲームバックエンドサービスは、EC2, ECS, EKS, Lambda などのコンピューティング関連のサービスと RDS, DynamoDB, ElastiCache などデータベース関連のサービスを組み合わせて構築することが一般的かと思います。Amazon GameSparks 対照的にはこれらのインフラを意識せずにフルマネージドでスケーラビリティの高いバックエンドサービスを構築することが可能で、ゲームを作る！という本質的な課題解決に集中できる点がゲ
Amazon MWAAのローカル環境を簡単構築！aws-mwaa-local-runnerのススメ | DevelopersIO
Amazon MWAA（Amazon Managed Workflows for Apache Airflow）を利用する場合のローカル開発環境として便利なaws-mwaa-local-runnerを紹介します。 こんにちは。サービスグループの武田です。 AWSは多くのマネージドサービスを提供していますが、ではそれを利用する場合の開発環境をどうしようかという課題があります。動作確認は常にAWSで行えばよいという考え方もあります。一方で、たとえばDynamoDBであればDynamoDB Localを使うなどローカルで実行可能な環境を作れる場合もあります。 AWSではAmazon Managed Workflows for Apache Airflow（MWAA）という、Airflowのマネージドサービスを提供しています。今回はMWAAのローカル環境についてです。名前からも分かるとおり中身はA
Cloud Certificate Manger による Wildcard Certificate を用いた Cloud Run の活用
Cloud Certificate Manger による Wildcard Certificate を用いた Cloud Run の活用 Overview GCP の Cloud Certificate Manager では元々ロードバランサー(以下 LB) に付随していた SSL 証明書ではできなかったワイルドカード証明書の利用が可能になりました。 本記事では Cloud Certificate Manager の概要を説明後、実際の運用での活用例を Cloud Run の利用とともに紹介します。 Certificate Manager とは Cloud Certificate Manager (以下 Certificate Manager) は 2022-08-25 に GA になりました。 Certificate Manager の登場により TLS 証明書の大規模取得や利用が可能に
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 | DevelopersIO
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co
IaC 提供の難しさ: API で宣言的な管理を実現できるか？という視点 - Diary of a Perpetual Student
Mackerel は Terraform Provider を提供していて、監視ルールや通知チャンネル、ダッシュボードなどの設定が Terraform で記述・管理できるようになっています。 今回は Terraform Provider 提供者の目線から、サービスを IaC で管理できるように対応する難しさを紹介します。 公開 API で宣言的な管理を実現できるか？ Mackerel の Terraform Provider は、内部的に公開 API を呼ぶことで設定の管理を実現しています。よって、公開 API を新たに増やしたり改修したりする場合には、IaC による宣言的な構成・設定管理を API を使って行えるかどうかを気にする必要があります。 具体例: ホワイトリストと、ホワイトリストに自動で追加するフラグの両方を IaC で管理する 例として、やや抽象的な表現にはなってしまいますが
AWS Step Functions → AWS Batch on Fargate を SAM で定義する - public note
AWS Step Functions から AWS Batch を呼び出す構成を AWS SAM で定義しました。 AWS Batch のジョブは、Fargate で動くようにしています。 すんなり定義できなかったところがいくつかありましたので、ひっかかったところをまとめました。 つくったテンプレートファイルは、こちらへアップロードしています。 github.com AWS Batch の実行環境として Fargate を指定する ジョブ実行環境として EC2 を指定している Cloud Formation テンプレートはたくさん見つかるのですが、Fargate を指定しているサンプルは見つかりませんでした。そのため、こちらのページを参照しながら Fargate 版をつくります。 AWS Batch on AWS Fargate - AWS Batch Cloud Formation の
New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi | Amazon Web Services
AWS News Blog New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi Storing your data in Amazon S3 provides lots of benefits in terms of scale, reliability, and cost effectiveness. On top of that, you can leverage Amazon EMR to process and analyze your data using open source tools like Apache Spark, Hive, and Presto. As powerful as these tools are, it can still be challenging to
AWS LambdaとEventbridgeでRDSのS3エクスポートを自動化する | SEEDS Creators' Blog | 株式会社シーズ
こんにちは、クラウドソリューション事業部の本田です。今月もブログ書いていきます、よろしくお願いします。今回ですが、担当している案件でRDSのS3エクスポートを自動化する必要がありましたので、それを実現した内容をまとめていきます。 背景GCPのBigQueryにRDSのデータをインポートする必要がありました。dumpを取得してデータを転送するなど色々と考えたのですが、BigQueryではparquet形式のデータをサポートしているので、RDSのデータをparquet形式でエクスポートすることのできるRDSスナップショットのS3エクスポートを利用することになりました。また週に1回での更新頻度という要件でしたので、こちらを自動化する必要がありました。BigQueryでのテーブルの作成なども行なっているのですが、これらはまた別の記事にしようかなと思っています。 構成AWS LambdaでRDSスナ
はじめに 2020/2/28にGAになったCloud IAM Conditionを試してみたいと思います。 AWSのIAMは以前からリソース名やタグ、Source IPでの認可設定のConditionを記載できてましたが、GCPのCloud IAMにもCloud IAM Conditionという名称で同様の機能が追加になりました。 認可設定を付与する際の条件が設定できます。 何が出来るのか https://cloud.google.com/iam/docs/conditions-overview 現在、Conditionとして記載できるのは、大きく分けて時刻とリソースの2つになります。 時刻(request.time) リソース(resource) マニュアルに記載がある設定例 GCEインスタンス名などのリソース名やタイプを指定した制限(resource.name, resource.ty
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog AutoFMという、基盤モデルの学習推論を自動化できるプラットフォームについて紹介します。 BERTの概略 近年、基盤モデル（Foundation Model）と呼ばれるモデルが注目を集めています。基盤モデルとは、テキストや画像などを含む大規模なデータから学習し、それを用いることによって質問応答や評判分析など、さまざまなタスクに利用できるモデルのことで、スタンフォードのグループが論文で提唱した言葉です。 基盤モデルには、言語処理のモデルである「BERT」や「GPT-3」、言語と画像のマルチモーダルモデルである「CLIP」などが含まれており、言語処理や画像処理の分野で大成功を収めています。今回はBERTにフォーカスして紹介します。
組み込み型の Data API を使用した Amazon Redshift へのアクセスが可能になりました。これにより、ウェブサービスベースのアプリケーションの構築と、AWS Lambda、AWS AppSync、および AWS Cloud9 などのサービスとの統合が容易になります。Redshift Data API は、Python、Go、Java、Node.js、PHP、Ruby、および C++ などの AWS SDK でサポートされる言語でのデータのアクセス、取り込み、および出力をシンプル化するので、ユーザーはインフラストラクチャの管理ではなく、アプリケーションの構築に集中することができます。 Data API は、データベースの接続と認証情報を管理する必要をなくすことによって、Amazon Redshift へのアクセスをシンプルにします。それらの管理を行う代わりに、ユーザーは D
チームで取り組む障害対応
SRE meetup at Fukuoka vol.3 （ https://sre-fukuoka.connpass.com/event/151108/ ） での発表資料です。OnCallについてのPracticalなTopicについて話しました。
Dataproc Metastore: Fully managed Hive metastore now available for alpha testing Google Cloud is announcing a new data lake building block for our smart analytics platform: Dataproc Metastore, a fully managed, highly available, auto-healing, open source Apache Hive metastore service that simplifies technical metadata management for customers building data lakes on Google Cloud. With Dataproc Metas
BigQuery Cloud SQL federated queryでRDSのデータにクエリを実行してみる - Qiita
BigQueryからCloudSQLに直接クエリが実行できるようになったということですが、サービスの基盤はAWSを利用しているためDBはもちろんRDS。。。 そこでどうにかしてRDSに溜まっているデータに対してBigQueryから直接クエリを実行したいと思いやってみました。 正確には、RDSをCloudSQLでレプリケーションしてCloud SQL federated queryでBigQueryからクエリを実行してみました。 構成 既にソースDBに対して3台のリードレプリカが作成されている状態だったので、こんな感じの構成にしていきたいと思います。 CloudSQLレプリケーション設定 外部サーバーからCloudSQLレプリカに複製する場合いくつか要件があるのでそれを満たしているか確認します。 GTID が有効にされていて、GTID 整合性が強制されること。 問題はここでした。 AWSのド
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを
AWS Fargateのタスク起動時間がzstd圧縮のイメージを使うと早くなるようなので試してみた - Qiita
はじめに GoQSystemではアプリケーションやAPIサーバーの基盤にAWS ECS on Fargateを採用しています。 ECS Task起動時間短縮はインフラ担当として取り組んでいることの一つです。（イメージサイズを下げるの限界。。。） 2022/10/13 AWSブログでzstd圧縮イメージを使用すると起動時間が短縮されると発表したので試してみました。 zstdとは Zstandardの略でMetaに所属しているYann Colletによって開発された可逆圧縮アルゴリズムです。 Docker builxコマンド AWSブログにあるコマンドオプションを指定してイメージをビルドしています。 docker buildx build \ --file Dockerfile \ --output type=image,name=$IMAGE_URI:$IMAGE_TAG,oci-media
スターフェスティバル株式会社 の バックエンドエンジニアの @ikkitang です。 今回はタイトルの通り、Terraform のバージョンアップに伴って変更になった Terraform の新しい S3 の管理方法を既存のリポジトリに適用してみた話を書いてみたいと思います。意外と情報を集めるのに困ったりしたので、このドキュメントが誰かの役に立てば幸いです。 AWS Provider のバージョンアップと向き合う Terraform で AWS のリソースを管理する際は AWS Providerを使用するかと思います。 弊社では執筆時現在、v3.x のバージョンが使われておりますが、AWS Provider のメジャーバージョンは v4.x がリリースされています。弊社のインフラチーム全体として v3.x の最新バージョンへの追従も中々実現出来ていなくて、バージョンアップの課題感を感じてい
[アップデート]Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになりました | DevelopersIO
実際に使ってみた これらのv2のレシピを実際に利用してみます。 以下のサイトより映画の評価データ（ml-latest.zip）をダウンロードして利用します。このデータを加工して、「特定のユーザーがある映画をある時間に見た」というリストとIDに紐づいた映画リストを作成し、次に見る映画をPersonalizeを使っておすすめするというシナリオです。レコード数を絞って、ユーザー10,000件に紐づく1,000,000レコードのデータを利用します。 MovieLens | GroupLens 「特定のユーザーがある映画をある時間に見た」というリストは以下のような形式でinteractions.csvという名称でS3バケット上に保存します。 USER_ID,ITEM_ID,TIMESTAMP 110561,47629,1311928128 110561,48600,1312008463 110561
![[アップデート]Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0dd670ad0e534d91b0161966fa168b1995be07e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-personalize.png)
またやってしまいました。 元々体の固い私は就寝前に開脚ストレッチを習慣づけてきましたが、これで腰を痛める事が二度目になります。 続けていると徐々に脚の可動域が広がり、上半身が倒れてくるので、ついやりすぎてしまいます。 初めの間は脚を無理のない範囲で広げて５分ほど座るだけが、だんだん上半身の前屈を入れ出します。 もっと曲げたくなるので正面にあるベッドの縁をつかんで手でグイグイ引き出します。 その結果、朝ベッドから起き上がろうと腰に力を入れようとするとズキンと痛みが走り、そろりとしか動かせません。 腰の動ごける速度より早く動こうとするとズキン、少しでも身体を傾けると腰が体を支えようとしてズキンと痛みが発せられるのでゆっくりとそして突っ立つ状態でしか動けません。 洗顔しようと腰を曲げようとしようものならズキンと痛み、腰が抜けそうになります。 ですから、洗面台の縁を持ち腰に力を入れない様に寄りかか
Federated queries for open source files now available | Google Cloud Blog
Keep Parquet and ORC from the data graveyard with new BigQuery features Parquet and ORC are popular columnar open source formats for large-scale data analytics. As you make your move to the cloud, you may want to use the power of BigQuery to analyze data stored in these formats. Choosing between keeping these files in Cloud Storage vs. loading your data into BigQuery can be a difficult decision, l
RDSがフェイルオーバーした際、ECSで動作しているRuby on Railsを再起動する仕組みを構築した - Qiita
# アーカイブ化 # Lamdbanにファイルを取り込む場合、ZIPファイルで取り込む必要がある為、このリソースでZIPファイルを作成する data "archive_file" "db_failover" { # zipで固定 type = "zip" # 下記に指定したディレクトリ内のファイルは全てアーカイブ(zip化)される # source_dir = "${path.module}/任意のディレクトリー名" source_dir = "${path.module}/lambda_function" # アーカイブしたファイル(zipファイル)がこのパスに出力される # output_path = "${path.module}/任意のディレクトリー名/任意の名前が付与されたzipファイル" output_path = "${path.module}/archive/db_fail
Serverless Framework ユーザーが CDK に引っ越しして感じたハードルについて言語化してみる
AWS CDK Conference Japan 2023 の登壇スライドです https://jawsug-cdk.connpass.com/event/278205/ ## スライド内で紹介した記事 [1] AWS Cloud Development Kit (AWS CDK) v2 - …
Observability: Mackerel による観測と Mackerel の観測 / NoOps Meetup Tokyo #8
https://noops.connpass.com/event/145092/
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました いわさです。 SQS で正常にメッセージが処理されなかった場合に未処理のメッセージを DLQ（デッドレターキュー）に移動することが出来ます。 デッドレターキュー上で処理されなかったメッセージを確認して、アプリケーションの問題の特定に役立てることが出来ます。 従来はその後アプリケーションが復旧したら、マネジメントコンソール上から DLQ の再処理機能を使って元のキュー（あるいは別のキュー）へメッセージを戻して処理を再開することが出来ました。 これまではこの DLQ の再処理はマネジメントコンソールでのみサポートされていましたが、先日のアップデートで AWS SDK や AWS CLI からも操作が出来るようになりました。 DLQ の再処理部分を AW
![[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8977429ff97da80040f72ef01c062af706039e17/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-sqs.png)
背景・目的 先日、AWS Glue Data Quality（プレビュー版）が発表されたので、仕様の理解と簡単に試してみました。 なお、現在プレビュー版であるため、GAまでに仕様が変わる可能性があります。 まとめ 2022/12/14現在、プレビューである。 Data Qualityは、OSSのDeequを利用している。 データの品質評価には、DQDLという独自の言語を書いて実装する。 Glueでは、Transformの一つのノードとして実装されている。 概要 AWS Glue Data Qualityとは？ 自動的にデータを分析、データの統計情報を収集 推奨されるデータ品質ルールを設定し、それに基づき検証を開始する。推奨されたデータ品質ルールは変更することも、新しいルールを追加することも可能。 データ品質が低下した場合に、ユーザに警告するアクションを設定することも可能。データ品質ルールと
AWS CDK の Amazon ECS Service Extensions で Fargate のタスクに好みのサイドカーを再利用性が高い記述で付与する - Qiita
AWS CDK の Amazon ECS Service Extensions で Fargate のタスクに好みのサイドカーを再利用性が高い記述で付与するAWSAmazonECSAWSCDK AWS Containers Advent Calendar 2021 一日目のエントリーです！ AWS Cloud Development Kit (CDK) は、AWS のインフラを TypeScript や Java などのプログラミング言語で記述できる IaC ツールです。 そして、 CDK では、 Amazon Elastic Container Service (Amazon ECS) のクラスターやタスク、サービスを簡単に定義できるようになっています。例えば、 ApplicalLoadBalancedFargateService のようなクラスを使うだけで、 ApplicationLo
現代の運用システムを一通り押さえるって難しすぎない！？となり、まずはシステム構成要素の外観図を描いてみたので見てほしい これは SREアドベントカレンダー 2022 - Qiita 5日目のエントリです。 昨日は paper2 さんの SREがたどる4つのフェーズ - Paper2 Blog でした。 最近「現代のいい感じなシステム運用を実現するためのシステム（＝運用システム）って、まっさらなところからの入門や、ブランク明けのキャッチアップが難しいですね」と思うことが多くありました。 「難しいですね」「たいへんそう」だけ言ってても前に進まないので少しずつやっつけましょう。 というわけで、作ったのがこれ！ こういう要素があるよね、というのを把握しておくと、関連各社がどういうふうにサービスを拡張していっているのか理解しやすくて捗ると思います。 例：モニタリングSaaSがどこを出発点にしてどう伸
Azure App ServiceのARRアフィニティ機能をオンにした時の負荷分散の挙動を観察してみた | DevelopersIO
いわさです。 先日、App ServiceのARRアフィニティについて調べていました。 その過程で気づいたのですが、ARRアフィニティONの時のApp Serviceの負荷分散の様子がおもしろかったので紹介します。 ARRアフィニティを有効化 何はともあれ、ARRアフィニティの動作をまず確認します。 詳細は前回の記事を見て頂ければと思いますが、Basic以上でスケールアウトを2台以上に設定します。 デフォルトでARRアフィニティはオンになっています。 Cookieなしでリクエストを何度か送ってみると、異なるSet-Cookieが返却されると思います。 このCookieをクライアントから送信するとApp Serviceによって振り先のインスタンスが決められます。 Cookieなし $ curl -I https://iwasa-backend.azurewebsites.net HTTP/1
概要図 Amazon Omicsサービス紹介ページに概要図が掲載されています。 引用：https://aws.amazon.com/jp/omics/ この図について左から順に説明していきます。 二本鎖DNAのアイコン：RNAやDNAのようなシーケンスデータを表す。これをAmazon Omicsに取り込む Amazon Omics ： ゲノミクスやトランスクリプトミクスなどのオミックスデータを保存、クエリ、分析 Sequence store ： 大規模解析と共同研究をサポート Bioinformatics workflows ： インフラストラクチャの自動プロビジョニングとスケーリングにより、分析の実行を簡素化 Variant and annotation data ： バリアントとアノテーションのデータを最適化 Multimodal and multiomic analysis & Cl
インシデントマネジメント 事態収拾のための取り組みに迫る Lunch LT でお話しした資料です
はじめに この記事では、Next.js × Convex × Clerk でフルスタックアプリを作る方法をハンズオン形式で紹介します。 Convex と Clerk を組み合わせることで、認証付きのフルスタックアプリを爆速で開発することができます。 完成物は、以下の GitHub リポジトリで公開しています。 Convex とは Convex は、Firebase のようなバックエンドアプリケーションプラットフォームです。リアルタイムデータベースやファイルストレージなどの機能を提供しています。 Firebase との違いは、以下の記事で詳しく解説されています。 Clerk とは Clerk は、認証・認可を提供するサービスです。Clerk と Convex を併用することで、認証・認可の実装を非常に簡単に行うことができます。 Next.js での認証といえば、NextAuth が思い浮かび
AWS Application Composerを使ってS3監視機能を作ってみた - Qiita
はじめに re:Invent2022にて発表された新サービスのApplication Composerを使ってみました。 発表の際、現地でのリアクションも非常に良く、注目サービスの1つだと思います。 Application Composerとは GUI画面でserverless系サービスを構築できるサービスです。 GUI画面での操作がリアルタイムにCloudFormationテンプレートに反映されます。 但し単体でデプロイ機能を持っていない為、CloudFormationに出来上がったテンプレートを投入するか、 SAM CLIにてデプロイすることになります。 特徴① 任意のローカルフォルダとの連携が可能です。 サービス利用時にCloudFormationテンプレートの保存先としてローカルフォルダを選択することで、 ローカルフォルダに生成されたテンプレートがGUI画面の操作をリアルタイムに反
概要 Linux で動かしながら学ぶ TCP/IP ネットワーク入門を読みました。 感想を書きます。 Linuxで動かしながら学ぶTCP/IPネットワーク入門 作者:もみじあめAmazon 概要 前提 目的 事前知識 読了時間 感想 次に関連で勉強すること まとめ 前提 目的 本書を読んだ背景は以下です。 ２０２３年１０月〜１２月の目標の注力分野の 1 つにネットワーク・Linux を掲げていた SRE に関心があるので、ネットワーク周りの知見を深めたかった ネットワークの知識はほとんど初心者で、学んだ知識も読み物ベースだったので、手を動かしながら学べる内容を優先した 事前知識 ネットワークの知識は以下ぐらいです。普段は Web アプリケーションエンジニアとして勤務しているため、基本的な HTTP の知識は持っています。 ［改訂新版］3 分間ネットワーク基礎講座を読んだ Real Worl
【AWS SageMaker】SageMaker Ground Truthで手持ちの画像をラベリングしてみた - Qiita
背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実は難しい、 Cloud Build から Cloud SQL への接続
AWS CDKのgrantメソッドが便利すぎた件 - Qiita
PodにfluentdのSidecarを自動でinjectする - PartyIX
Amazon GameSparks (Preview) をもう少し触ってみよう - Qiita
GCP Cloud IAM Conditionsを試す - Qiita
AutoFM: 基盤モデルの学習・推論を自動化できるプラットフォーム
Amazon Redshift 向け Data API の発表
Cloud Hive metastore now available | Google Cloud Blog
X-RayはpytestとFlameGraphを組み合わせると便利 - Qiita
TerraformのAWS Providerのバージョンアップで S3の破壊的変更と向き合った話
開脚ストレッチで腰痛になり回復する - 力を抜く身体目指し古武術稽古
AWS Glue Data Qualityを試してみた - Qiita
現代の運用システムを一通り押さえるって難しすぎない！？となり、まずはシステム構成要素の外観図を描いてみたので見てほしい
新サービスAmazon Omicsについて調べてみた#reinvent | DevelopersIO
手を動かさないインシデント対応〜自動化で迅速・正確な運用を目指す〜
Next.js × Convex × Clerkで認証付きフルスタックアプリをラクに開発する
「Linux で動かしながら学ぶ TCP/IP ネットワーク入門」感想 - msksgm’s blog
note.com/lucas_san
note.com/returnnew
news.yahoo.co.jp
yusurajap.on.omisenomikata.jp
news.yahoo.co.jp
hochi.news