Photo by eberhard grossgasteiger on Unsplashエンジニアの桂です。 今日は Cloud Build から Cloud SQL に接続する方法について紹介していきます。 どちらも Google Cloud Platform 上のサービスなので一見簡単にできそうですが、 Cloud Build というサービスは予想外に不器用で、こういう作業はかなり苦手だったりします。 今回は Cloud SQL Proxy を立てながら並列的にSQL 接続を行う手法を使います。この手法は @kshibata101 氏の Cloud BuildでCloud SQLのマイグレーションをしたい をベースにしていますが、最近 Cloud SQL Proxy のイメージから sh が削除されたため、この手法は使えません。 docker: Error response from
EventBridgeからDiscordのエンドポイントを直接叩いて通知するしくみをCDKで実装してみました | DevelopersIO
なお、今回紹介しているコードの全文は以下リポジトリに格納しています。 下準備： DiscordのWebhookを作成する 今回はDiscordへメッセージを投稿するためにWebhookを作成します。 投稿したいチャンネルの設定を開きます。 次にサイドバーの「連携サービス」をクリックして、「ウェブフックを作成」をクリックします。 作成されたら、「ウェブフックURLをコピー」をクリックしておきます。 このURLは次の項目で利用するため控えておいてください。 下準備: .envの作成 CDKを利用する上で環境変数や機密情報を取り扱う方法はいくつかあるかと思いますが、今回はWebhookのURLを誤って公開しないように.envのしくみを利用しています。 contexnt.jsonを利用する方法などもありますので、気になる方は以下記事が分かりやすかったのでご参照ください。 CDKコードのルートディレ
はじめに 最近、CDKのベストプラクティスを久しぶりに読み返していたのですが、grantメソッドなる存在を知りました。 https://aws.amazon.com/jp/blogs/news/best-practices-for-developing-cloud-applications-with-aws-cdk/ こちらのメソッドを利用する事で、例えばCDKのリソース定義時に インラインポリシーを記載 リソースにアタッチ をしなくとも、IAMのインラインポリシーやアクセスポリシーの実装が可能です。 今回はこちらのgrantを利用し、記述量の削減をした例をご紹介します。 対象リソース 今回構築するリソースは以下。ECSの周辺リソースを対象としています。 ECRリポジトリA ロググループB ECSのタスク実行ロール リポジトリAのPULL権限を付与 ロググループBに対するログ吐き出しの権限
TerraformとAWS CDKの連携について考えてみる
tl; dr Terraformのlocal-execで cdk deploy Terraform, AWS CDK間でのパラメーターの受け渡しできることが大切 DataソースでCDK Stackのoutputsを参照できる Terraformからは環境変数を使ってCDK Stackに渡す https://github.com/youyo/terraform-aws-cdk-template モチベーション 以前TerraformからAWS SAMを扱う記事を書きました。 TerraformからAWS SAMをデプロイしてみた そのときのモチベーションをベースに, さらにYAMLも書きたくないのでAWS SAMではなくAWS CDKを組み合わせられないか考えてみました。 基本的にはTerraformを使いたい でもTerraformでLambda扱うのとかしんどい そこはAWS SAM使い
本番でWebアプリケーションを運用していると，様々なログを取り扱う必要がある．これはKubernetesでも同じで，Kubernetes上で動かしているコンテナのログも，何かしらの方法で集約してどこかに蓄えておいて，分析とか検索とかをしたくなる． こういう用途でまず思いつくのがfluentdで，fluentdはKubernetes用にDaemonSetを用意してくれている． github.com こいつを使えば，コンテナの標準出力に出てきたログは，すべてfluentdで拾えることになる． では，標準出力以外の，例えばファイルに吐き出すようなログはどうなるだろう？ こういったログを集めるためには，アプリケーションのコンテナのサイドカーとしてfluentdを動かし，ログファイルをVolumeMountすることでサイドカー側のfluentdにログファイルを読ませる，というようなことをする必要があ
AWS for Games Advent Calendar 2022 3日目の記事です。 まえがき みなさんは、Amazon GameSparks (Preview) というサービスをご存じでしょうか。簡単に説明するとインフラを意識せずにゲームバックエンドサービスを構築することができる AWS が提供しているマネージドサービスです。 従来のゲームバックエンドサービスは、EC2, ECS, EKS, Lambda などのコンピューティング関連のサービスと RDS, DynamoDB, ElastiCache などデータベース関連のサービスを組み合わせて構築することが一般的かと思います。Amazon GameSparks 対照的にはこれらのインフラを意識せずにフルマネージドでスケーラビリティの高いバックエンドサービスを構築することが可能で、ゲームを作る！という本質的な課題解決に集中できる点がゲ
Amazon MWAAのローカル環境を簡単構築！aws-mwaa-local-runnerのススメ | DevelopersIO
Amazon MWAA（Amazon Managed Workflows for Apache Airflow）を利用する場合のローカル開発環境として便利なaws-mwaa-local-runnerを紹介します。 こんにちは。サービスグループの武田です。 AWSは多くのマネージドサービスを提供していますが、ではそれを利用する場合の開発環境をどうしようかという課題があります。動作確認は常にAWSで行えばよいという考え方もあります。一方で、たとえばDynamoDBであればDynamoDB Localを使うなどローカルで実行可能な環境を作れる場合もあります。 AWSではAmazon Managed Workflows for Apache Airflow（MWAA）という、Airflowのマネージドサービスを提供しています。今回はMWAAのローカル環境についてです。名前からも分かるとおり中身はA
Cloud Certificate Manger による Wildcard Certificate を用いた Cloud Run の活用
Cloud Certificate Manger による Wildcard Certificate を用いた Cloud Run の活用 Overview GCP の Cloud Certificate Manager では元々ロードバランサー(以下 LB) に付随していた SSL 証明書ではできなかったワイルドカード証明書の利用が可能になりました。 本記事では Cloud Certificate Manager の概要を説明後、実際の運用での活用例を Cloud Run の利用とともに紹介します。 Certificate Manager とは Cloud Certificate Manager (以下 Certificate Manager) は 2022-08-25 に GA になりました。 Certificate Manager の登場により TLS 証明書の大規模取得や利用が可能に
VLAN間ルーティングでは、この方法が利用されます。 L3スイッチには、内部ルータがあります。 VLANインタフェースを作成し、IPアドレスを付けることで、 内部ルータと接続できるようになり、ルーティングしてくれます。 L3スイッチには、内部ルータがあります。 物理ポートにVLAN設定をしないで、ルーティング用のルーテッドポートとし、 物理インターフェイスにIPを振ることで、内部ルータと接続します。 一般的にはVLAN間ルーティングのためではなく、ルータと接続する時の設定です。 ■IPルーティングの設定 Switch# conf t Switch# ip routing ← ルーティング機能を有効にする ■ポートにVLANの設定 Switch(config)# interface FastEthernet 0/0 Switch(config-if)# switchport mode acc
オンラインストレージを使って、個人や企業、プロジェクトチームなどでデータやファイルをメンバーと共有することはビジネス上で必要になっています。 すでに提供されているオンラインストレージサービスは、メンバーとデータ共有をしたい場合に低コストで導入でき非常に便利です。 しかし、既存のオンラインストレージサービスではデータ容量やアクセス権、セキュリティ、コストなどの点で自分たちのビジネスのやり方に適さない、あるいは自社の持つPCやディスクなどのハードウェアをオンラインストレージとして活用したい、といった声もあります。 本記事では、このような場合にオンラインストレージを自作で構築する方法について解説します。 オンラインストレージとファイルサーバの違い 企業などでメンバーとデータを共有する方法として、オンラインストレージの他にファイルサーバを構築する方法もあります。 自作オンラインストレージとファイル
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 | DevelopersIO
Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co
IaC 提供の難しさ: API で宣言的な管理を実現できるか？という視点 - Diary of a Perpetual Student
Mackerel は Terraform Provider を提供していて、監視ルールや通知チャンネル、ダッシュボードなどの設定が Terraform で記述・管理できるようになっています。 今回は Terraform Provider 提供者の目線から、サービスを IaC で管理できるように対応する難しさを紹介します。 公開 API で宣言的な管理を実現できるか？ Mackerel の Terraform Provider は、内部的に公開 API を呼ぶことで設定の管理を実現しています。よって、公開 API を新たに増やしたり改修したりする場合には、IaC による宣言的な構成・設定管理を API を使って行えるかどうかを気にする必要があります。 具体例: ホワイトリストと、ホワイトリストに自動で追加するフラグの両方を IaC で管理する 例として、やや抽象的な表現にはなってしまいますが
AWS Step Functions → AWS Batch on Fargate を SAM で定義する - public note
AWS Step Functions から AWS Batch を呼び出す構成を AWS SAM で定義しました。 AWS Batch のジョブは、Fargate で動くようにしています。 すんなり定義できなかったところがいくつかありましたので、ひっかかったところをまとめました。 つくったテンプレートファイルは、こちらへアップロードしています。 github.com AWS Batch の実行環境として Fargate を指定する ジョブ実行環境として EC2 を指定している Cloud Formation テンプレートはたくさん見つかるのですが、Fargate を指定しているサンプルは見つかりませんでした。そのため、こちらのページを参照しながら Fargate 版をつくります。 AWS Batch on AWS Fargate - AWS Batch Cloud Formation の
New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi | Amazon Web Services
AWS News Blog New – Insert, Update, Delete Data on S3 with Amazon EMR and Apache Hudi Storing your data in Amazon S3 provides lots of benefits in terms of scale, reliability, and cost effectiveness. On top of that, you can leverage Amazon EMR to process and analyze your data using open source tools like Apache Spark, Hive, and Presto. As powerful as these tools are, it can still be challenging to
AWS LambdaとEventbridgeでRDSのS3エクスポートを自動化する | SEEDS Creators' Blog | 株式会社シーズ
こんにちは、クラウドソリューション事業部の本田です。今月もブログ書いていきます、よろしくお願いします。今回ですが、担当している案件でRDSのS3エクスポートを自動化する必要がありましたので、それを実現した内容をまとめていきます。 背景GCPのBigQueryにRDSのデータをインポートする必要がありました。dumpを取得してデータを転送するなど色々と考えたのですが、BigQueryではparquet形式のデータをサポートしているので、RDSのデータをparquet形式でエクスポートすることのできるRDSスナップショットのS3エクスポートを利用することになりました。また週に1回での更新頻度という要件でしたので、こちらを自動化する必要がありました。BigQueryでのテーブルの作成なども行なっているのですが、これらはまた別の記事にしようかなと思っています。 構成AWS LambdaでRDSスナ
はじめに 2020/2/28にGAになったCloud IAM Conditionを試してみたいと思います。 AWSのIAMは以前からリソース名やタグ、Source IPでの認可設定のConditionを記載できてましたが、GCPのCloud IAMにもCloud IAM Conditionという名称で同様の機能が追加になりました。 認可設定を付与する際の条件が設定できます。 何が出来るのか https://cloud.google.com/iam/docs/conditions-overview 現在、Conditionとして記載できるのは、大きく分けて時刻とリソースの2つになります。 時刻(request.time) リソース(resource) マニュアルに記載がある設定例 GCEインスタンス名などのリソース名やタイプを指定した制限(resource.name, resource.ty
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog AutoFMという、基盤モデルの学習推論を自動化できるプラットフォームについて紹介します。 BERTの概略 近年、基盤モデル（Foundation Model）と呼ばれるモデルが注目を集めています。基盤モデルとは、テキストや画像などを含む大規模なデータから学習し、それを用いることによって質問応答や評判分析など、さまざまなタスクに利用できるモデルのことで、スタンフォードのグループが論文で提唱した言葉です。 基盤モデルには、言語処理のモデルである「BERT」や「GPT-3」、言語と画像のマルチモーダルモデルである「CLIP」などが含まれており、言語処理や画像処理の分野で大成功を収めています。今回はBERTにフォーカスして紹介します。
組み込み型の Data API を使用した Amazon Redshift へのアクセスが可能になりました。これにより、ウェブサービスベースのアプリケーションの構築と、AWS Lambda、AWS AppSync、および AWS Cloud9 などのサービスとの統合が容易になります。Redshift Data API は、Python、Go、Java、Node.js、PHP、Ruby、および C++ などの AWS SDK でサポートされる言語でのデータのアクセス、取り込み、および出力をシンプル化するので、ユーザーはインフラストラクチャの管理ではなく、アプリケーションの構築に集中することができます。 Data API は、データベースの接続と認証情報を管理する必要をなくすことによって、Amazon Redshift へのアクセスをシンプルにします。それらの管理を行う代わりに、ユーザーは D
チームで取り組む障害対応
SRE meetup at Fukuoka vol.3 （ https://sre-fukuoka.connpass.com/event/151108/ ） での発表資料です。OnCallについてのPracticalなTopicについて話しました。
Dataproc Metastore: Fully managed Hive metastore now available for alpha testing Google Cloud is announcing a new data lake building block for our smart analytics platform: Dataproc Metastore, a fully managed, highly available, auto-healing, open source Apache Hive metastore service that simplifies technical metadata management for customers building data lakes on Google Cloud. With Dataproc Metas
BigQuery Cloud SQL federated queryでRDSのデータにクエリを実行してみる - Qiita
BigQueryからCloudSQLに直接クエリが実行できるようになったということですが、サービスの基盤はAWSを利用しているためDBはもちろんRDS。。。 そこでどうにかしてRDSに溜まっているデータに対してBigQueryから直接クエリを実行したいと思いやってみました。 正確には、RDSをCloudSQLでレプリケーションしてCloud SQL federated queryでBigQueryからクエリを実行してみました。 構成 既にソースDBに対して3台のリードレプリカが作成されている状態だったので、こんな感じの構成にしていきたいと思います。 CloudSQLレプリケーション設定 外部サーバーからCloudSQLレプリカに複製する場合いくつか要件があるのでそれを満たしているか確認します。 GTID が有効にされていて、GTID 整合性が強制されること。 問題はここでした。 AWSのド
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた | DevelopersIO
Cloudflare AI Gatewayを利用して、Amazon Bedrockを使ったAPIの利用状況の可視化、分析、ロギングできるか試してみた どうも！オペレーション部の西村祐二です。 以前、Hono + Cloudflare Workers + AWS SDK for JavaScript v3 + Amazon Bedrockの構成でAIモデルの動作確認用のAPIを作りました。 Hono + Cloudflare Workers + AWS SDK for JavaScript v3の構成でAmazon Bedrockが利用できるか試してみた | DevelopersIO 今回このAPIに対して、AIアプリケーションの利用状況を可視化、分析、キャッシュ、生成された回答のロギングなどの環境を提供するCloudflare AI Gatewayを試してみたいと思います。 Cloudfl
この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを
AWS Fargateのタスク起動時間がzstd圧縮のイメージを使うと早くなるようなので試してみた - Qiita
はじめに GoQSystemではアプリケーションやAPIサーバーの基盤にAWS ECS on Fargateを採用しています。 ECS Task起動時間短縮はインフラ担当として取り組んでいることの一つです。（イメージサイズを下げるの限界。。。） 2022/10/13 AWSブログでzstd圧縮イメージを使用すると起動時間が短縮されると発表したので試してみました。 zstdとは Zstandardの略でMetaに所属しているYann Colletによって開発された可逆圧縮アルゴリズムです。 Docker builxコマンド AWSブログにあるコマンドオプションを指定してイメージをビルドしています。 docker buildx build \ --file Dockerfile \ --output type=image,name=$IMAGE_URI:$IMAGE_TAG,oci-media
スターフェスティバル株式会社 の バックエンドエンジニアの @ikkitang です。 今回はタイトルの通り、Terraform のバージョンアップに伴って変更になった Terraform の新しい S3 の管理方法を既存のリポジトリに適用してみた話を書いてみたいと思います。意外と情報を集めるのに困ったりしたので、このドキュメントが誰かの役に立てば幸いです。 AWS Provider のバージョンアップと向き合う Terraform で AWS のリソースを管理する際は AWS Providerを使用するかと思います。 弊社では執筆時現在、v3.x のバージョンが使われておりますが、AWS Provider のメジャーバージョンは v4.x がリリースされています。弊社のインフラチーム全体として v3.x の最新バージョンへの追従も中々実現出来ていなくて、バージョンアップの課題感を感じてい
[アップデート]Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになりました | DevelopersIO
実際に使ってみた これらのv2のレシピを実際に利用してみます。 以下のサイトより映画の評価データ（ml-latest.zip）をダウンロードして利用します。このデータを加工して、「特定のユーザーがある映画をある時間に見た」というリストとIDに紐づいた映画リストを作成し、次に見る映画をPersonalizeを使っておすすめするというシナリオです。レコード数を絞って、ユーザー10,000件に紐づく1,000,000レコードのデータを利用します。 MovieLens | GroupLens 「特定のユーザーがある映画をある時間に見た」というリストは以下のような形式でinteractions.csvという名称でS3バケット上に保存します。 USER_ID,ITEM_ID,TIMESTAMP 110561,47629,1311928128 110561,48600,1312008463 110561
![[アップデート]Amazon Personalizeで新たなレシピUser-Personalization-v2とPersonalized-Ranking-v2が使えるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0dd670ad0e534d91b0161966fa168b1995be07e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-personalize.png)
Federated queries for open source files now available | Google Cloud Blog
Keep Parquet and ORC from the data graveyard with new BigQuery features Parquet and ORC are popular columnar open source formats for large-scale data analytics. As you make your move to the cloud, you may want to use the power of BigQuery to analyze data stored in these formats. Choosing between keeping these files in Cloud Storage vs. loading your data into BigQuery can be a difficult decision, l
これは GraphQL アドカレ2019 の記事です。 アドカレを覗いたとき、最終日だけ空いていたので予約しておいたのですが、最終日のエントリとするにはかなりニッチなネタになってしまった気がしないでもないです。 GraphQLのDirectiveとは 知っている人も多いと思いますが、GraphQLのDirectiveというのは文中に @include のように@マークをつけて注釈をつけるための機能です。 query ProfileView($renderingDetailedProfile: Boolean!){ viewer { handle # These fields will be included only if the check passes: ... @include(if: $renderingDetailedProfile) { location homepageUrl
RDSがフェイルオーバーした際、ECSで動作しているRuby on Railsを再起動する仕組みを構築した - Qiita
# アーカイブ化 # Lamdbanにファイルを取り込む場合、ZIPファイルで取り込む必要がある為、このリソースでZIPファイルを作成する data "archive_file" "db_failover" { # zipで固定 type = "zip" # 下記に指定したディレクトリ内のファイルは全てアーカイブ(zip化)される # source_dir = "${path.module}/任意のディレクトリー名" source_dir = "${path.module}/lambda_function" # アーカイブしたファイル(zipファイル)がこのパスに出力される # output_path = "${path.module}/任意のディレクトリー名/任意の名前が付与されたzipファイル" output_path = "${path.module}/archive/db_fail
Serverless Framework ユーザーが CDK に引っ越しして感じたハードルについて言語化してみる
AWS CDK Conference Japan 2023 の登壇スライドです https://jawsug-cdk.connpass.com/event/278205/ ## スライド内で紹介した記事 [1] AWS Cloud Development Kit (AWS CDK) v2 - …
Observability: Mackerel による観測と Mackerel の観測 / NoOps Meetup Tokyo #8
https://noops.connpass.com/event/145092/
SRE NEXT 2020 [C6] Designing fault-tolerant microservices with SRE and circuit breaker centric architecture
The deck for the talk in SRE NEXT 2020 (https://sre-next.dev/schedule#c6)
![SRE NEXT 2020 [C6] Designing fault-tolerant microservices with SRE and circuit breaker centric architecture](https://cdn-ak-scissors.b.st-hatena.com/image/square/81e9f4d8b3c3dfb32ee1e87e0c10b12785b07480/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fcd1a7fdf3b8b4b3298d6f49f2fb4e4da%2Fslide_0.jpg%3F14730042)
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました いわさです。 SQS で正常にメッセージが処理されなかった場合に未処理のメッセージを DLQ（デッドレターキュー）に移動することが出来ます。 デッドレターキュー上で処理されなかったメッセージを確認して、アプリケーションの問題の特定に役立てることが出来ます。 従来はその後アプリケーションが復旧したら、マネジメントコンソール上から DLQ の再処理機能を使って元のキュー（あるいは別のキュー）へメッセージを戻して処理を再開することが出来ました。 これまではこの DLQ の再処理はマネジメントコンソールでのみサポートされていましたが、先日のアップデートで AWS SDK や AWS CLI からも操作が出来るようになりました。 DLQ の再処理部分を AW
![[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8977429ff97da80040f72ef01c062af706039e17/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-sqs.png)
背景・目的 先日、AWS Glue Data Quality（プレビュー版）が発表されたので、仕様の理解と簡単に試してみました。 なお、現在プレビュー版であるため、GAまでに仕様が変わる可能性があります。 まとめ 2022/12/14現在、プレビューである。 Data Qualityは、OSSのDeequを利用している。 データの品質評価には、DQDLという独自の言語を書いて実装する。 Glueでは、Transformの一つのノードとして実装されている。 概要 AWS Glue Data Qualityとは？ 自動的にデータを分析、データの統計情報を収集 推奨されるデータ品質ルールを設定し、それに基づき検証を開始する。推奨されたデータ品質ルールは変更することも、新しいルールを追加することも可能。 データ品質が低下した場合に、ユーザに警告するアクションを設定することも可能。データ品質ルールと
AWS CDK の Amazon ECS Service Extensions で Fargate のタスクに好みのサイドカーを再利用性が高い記述で付与する - Qiita
AWS CDK の Amazon ECS Service Extensions で Fargate のタスクに好みのサイドカーを再利用性が高い記述で付与するAWSAmazonECSAWSCDK AWS Containers Advent Calendar 2021 一日目のエントリーです！ AWS Cloud Development Kit (CDK) は、AWS のインフラを TypeScript や Java などのプログラミング言語で記述できる IaC ツールです。 そして、 CDK では、 Amazon Elastic Container Service (Amazon ECS) のクラスターやタスク、サービスを簡単に定義できるようになっています。例えば、 ApplicalLoadBalancedFargateService のようなクラスを使うだけで、 ApplicationLo
現代の運用システムを一通り押さえるって難しすぎない！？となり、まずはシステム構成要素の外観図を描いてみたので見てほしい これは SREアドベントカレンダー 2022 - Qiita 5日目のエントリです。 昨日は paper2 さんの SREがたどる4つのフェーズ - Paper2 Blog でした。 最近「現代のいい感じなシステム運用を実現するためのシステム（＝運用システム）って、まっさらなところからの入門や、ブランク明けのキャッチアップが難しいですね」と思うことが多くありました。 「難しいですね」「たいへんそう」だけ言ってても前に進まないので少しずつやっつけましょう。 というわけで、作ったのがこれ！ こういう要素があるよね、というのを把握しておくと、関連各社がどういうふうにサービスを拡張していっているのか理解しやすくて捗ると思います。 例：モニタリングSaaSがどこを出発点にしてどう伸
概要図 Amazon Omicsサービス紹介ページに概要図が掲載されています。 引用：https://aws.amazon.com/jp/omics/ この図について左から順に説明していきます。 二本鎖DNAのアイコン：RNAやDNAのようなシーケンスデータを表す。これをAmazon Omicsに取り込む Amazon Omics ： ゲノミクスやトランスクリプトミクスなどのオミックスデータを保存、クエリ、分析 Sequence store ： 大規模解析と共同研究をサポート Bioinformatics workflows ： インフラストラクチャの自動プロビジョニングとスケーリングにより、分析の実行を簡素化 Variant and annotation data ： バリアントとアノテーションのデータを最適化 Multimodal and multiomic analysis & Cl
インシデントマネジメント 事態収拾のための取り組みに迫る Lunch LT でお話しした資料です
はじめに この記事では、Next.js × Convex × Clerk でフルスタックアプリを作る方法をハンズオン形式で紹介します。 Convex と Clerk を組み合わせることで、認証付きのフルスタックアプリを爆速で開発することができます。 完成物は、以下の GitHub リポジトリで公開しています。 Convex とは Convex は、Firebase のようなバックエンドアプリケーションプラットフォームです。リアルタイムデータベースやファイルストレージなどの機能を提供しています。 Firebase との違いは、以下の記事で詳しく解説されています。 Clerk とは Clerk は、認証・認可を提供するサービスです。Clerk と Convex を併用することで、認証・認可の実装を非常に簡単に行うことができます。 Next.js での認証といえば、NextAuth が思い浮かび
AWS Application Composerを使ってS3監視機能を作ってみた - Qiita
はじめに re:Invent2022にて発表された新サービスのApplication Composerを使ってみました。 発表の際、現地でのリアクションも非常に良く、注目サービスの1つだと思います。 Application Composerとは GUI画面でserverless系サービスを構築できるサービスです。 GUI画面での操作がリアルタイムにCloudFormationテンプレートに反映されます。 但し単体でデプロイ機能を持っていない為、CloudFormationに出来上がったテンプレートを投入するか、 SAM CLIにてデプロイすることになります。 特徴① 任意のローカルフォルダとの連携が可能です。 サービス利用時にCloudFormationテンプレートの保存先としてローカルフォルダを選択することで、 ローカルフォルダに生成されたテンプレートがGUI画面の操作をリアルタイムに反
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実は難しい、 Cloud Build から Cloud SQL への接続
AWS CDKのgrantメソッドが便利すぎた件 - Qiita
PodにfluentdのSidecarを自動でinjectする - PartyIX
Amazon GameSparks (Preview) をもう少し触ってみよう - Qiita
L3スイッチで、VLAN間ルーティング（SVIかルーテッドポート） [現場で必要なネットワーク技術入門]
オンラインストレージを自作で構築する方法 | ITreview Labo
GCP Cloud IAM Conditionsを試す - Qiita
AutoFM: 基盤モデルの学習・推論を自動化できるプラットフォーム
Amazon Redshift 向け Data API の発表
Cloud Hive metastore now available | Google Cloud Blog
X-RayはpytestとFlameGraphを組み合わせると便利 - Qiita
TerraformのAWS Providerのバージョンアップで S3の破壊的変更と向き合った話
Apollo LinkでGraphQLのCustom Directiveを作ろう - Qiita
AWS Glue Data Qualityを試してみた - Qiita
現代の運用システムを一通り押さえるって難しすぎない！？となり、まずはシステム構成要素の外観図を描いてみたので見てほしい
新サービスAmazon Omicsについて調べてみた#reinvent | DevelopersIO
手を動かさないインシデント対応〜自動化で迅速・正確な運用を目指す〜
Next.js × Convex × Clerkで認証付きフルスタックアプリをラクに開発する
mainichi.jp
saburo55.hatenablog.com
nameless-bookshelf.hatenablog.com
www.watto.nagoya
www.mamin50.work
matomedane.jp