公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは？機能や特徴・製品の概要
「Self-hosted GitHub Actions runners in AWS CodeBuild」を使ったバッチ実行基盤 - エス・エム・エス エンジニア テックブログ
お疲れ様です、SREの西田 ( @k_bigwheel ) です。 最近、バッチ処理を実行するための新しい基盤を構築したので、この記事ではそれの紹介をしたいと思います。 少々前提の説明を丁寧にやりすぎてしまったので、作ったものをまず見たいという方は「構築したバッチ実行基盤のアーキテクチャ図と概要」の項目へジャンプしてください。 バッチ実行基盤とは バッチジョブ、バッチ処理のための仕組みは、多くのWebサービスで設けられていると思います。 とてもプリミティブなものであれば、Webアプリが動いているEC2インスタンス/コンテナにログインして rake task ... などを実行するパターンが典型でしょう。 もう少し複雑になってくるとAWS CodeBuildとEventBridgeを組み合わせてサーバレスに定期実行したり、更に複雑な例ではApache AirflowやArgo Workflo
「攻めた」AWS Fargate Spot比率の見直し時 - Hatena Developer Blog
AWSの東京リージョンでFargate Spotを「中断されたら困る」割合で利用している場合、2024年10月は見直し時かも知れません。 はてながECS Fargateで運用しているWebサービスの多くは、状況に応じてリクエスト数≒負荷が増減します。 これに対して、リクエストを受け持つECSサービスのタスク数をオートスケールさせてコスト最適化を図っています。 ボトルネックはCPUで、CPU使用率を追跡していることが多いでしょうか。 オートスケールで追跡する使用率にはスケールアウトまでの間の負荷に耐えるための余裕を持たせます。 この余裕の部分をSpotタスクで確保することで更にコストを削減できます。 AWS Fargate Spotの発表で示されているユースケースでは以下に該当します。 また高可用性を求められるウェブサイトやAPIサーバーのように、ECSサービスの一部となるタスクに対してもF
関連キーワード アプリケーション開発 | クラウド運用管理 | 運用管理 | サーバ Amazon Web Services（AWS）やMicrosoft、Googleといった主要クラウドサービスベンダーは「サーバレスコンピューティング」のサービス群を拡充してきた。さまざまなサーバレスコンピューティングサービスがあるだけに、「何ができるのか」が理解しにくくなることがある。3大クラウドサービスの具体例を基に、どのようなサーバレスコンピューティングがあるのかを押さえておこう。 AWS、Google、Microsoftの「サーバレス」で何ができる？ 併せて読みたいお薦め記事 サーバレスについて詳しく解説 AWS、Microsoft、Google「3大サーバレス」の違いとは？ クラウド“高額請求”の謎「サーバレス」が一瞬にして高くなる原因とは サーバレスコンピューティングが活用される領域として、以
AWS におけるマルチテナント SaaS の実装パターン ~ Amazon Elastic Container Service (Amazon ECS) 編 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
SaaS 開発・運用に携わるみなさん、こんにちは。AWS で SaaS に特化した技術支援を行なっているパートナーソリューションアーキテクトの櫻谷です。 本連載では、これからマルチテナント SaaS を AWS 上に構築しようと考えている方向けに、いますぐ参照できるサンプル実装を紹介していきます。SaaS とはビジネモデルであり、特定のテクノロジースタックやアーキテクチャに縛られるものではありません。ソリューションの性質やドメイン、目指すべき顧客体験によって、最適な構成は異なります。そのため、AWS は、主要なテクノロジースタック別に、SaaS 開発のベストプラクティスに沿った以下のサンプル実装を公開しています。 Amazon ECS SaaS リファレンスアーキテクチャ Amazon EKS SaaS リファレンスアーキテクチャ サーバーレス SaaS リファレンスアーキテクチャ これら
ファイル転送ミドルウェア新版「HULFT10」、各OS版を2024年12月から提供─セゾンテクノロジー | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ ミドルウェア ＞ 新製品・サービス ＞ ファイル転送ミドルウェア新版「HULFT10」、各OS版を2024年12月から提供─セゾンテクノロジー ミドルウェア ミドルウェア記事一覧へ [新製品・サービス] ファイル転送ミドルウェア新版「HULFT10」、各OS版を2024年12月から提供─セゾンテクノロジー 2024年10月10日(木)日川 佳三（IT Leaders編集部） リスト セゾンテクノロジーは2024年10月10日、ファイル転送/連携ミドルウェア「HULFT10」の各OS対応版を同年12月10日から提供すると発表した。前版のHULFT8から10年ぶりとなるメジャーバージョンアップである。2024年2月にAmazon ECSで動作するコンテナ版を先行提供し、今回、残りのほぼすべての製品群を提供する。 セゾンテクノロジーの「HU
理解しておくべき考え方 リリースペース まばらですが，だいたい1ヶ月に1回くらいのペースでマイナーバージョンがリリースされています。 機能や仕様が少しずつ変わり，以前のバージョンで作ったカスタムリソースがそのまま使えないことがあります。（この記事の内容も近いうちに古くなると思われます。） 採用したバージョンのまま塩漬けすると，新しいバージョンがどんどんリリースされて設定方法も変わるので，定期的にアップデートする運用を検討したほうがよさそうです。 Karpenter 自体のアップデート Karpenter のコントローラー本体と CRD は別のインストール単位（Helm チャート）で提供されています（Helm 公式の Method 2）。 従来はコントローラーの Helm チャートに CRD が含まれていましたが，CRD のみ初回インストール以降の変更は反映されず，手動で最新の CRD を適
hacomonoにSRE文化を取り入れる為にSLOダッシュボードを創設した話 - hacomono TECH BLOG
はじめに 初めまして。SRE部のiwachan(@Diwamoto_)です。 hacomonoには2024年の1月に入社しました。もう半年過ぎてて時間が早く感じます。 最近は5ヶ月になった娘を絶賛溺愛しています。 徒歩0分で娘の顔を見れる点はリモートワークの利点の一つですね。 また、Xで溢れている地面師ネタを理解したく、やっとNetflixに加入して「地面師たち」を全部見ました。ひとまず今年1番面白かったです。 TL;DR SLO文化を醸成するためにダッシュボードを展開したよ そのおかげで潜在的なバグを発見したよ かなり安くできたよ ここまで来るのにSLO本が本当に助けになったからみんなも読んでみてね 想定読者 SRE本を読んで、組織に導入したいと検討している方 SRE文化の醸成に興味がある方 SLOの実装に興味がある方 なぜやりたかったのか hacomonoではマルチテナントの監視にDa
※リンクや表現はLaravel10.xに準拠する。 Laravelではキュー機能を使うことで、Jobという処理単位を非同期処理できる。 これをAWSのECS、特にFargateを使って動かすときの安全な停止手段について考える。 前提 考える構成 Laravelのドキュメントでは、supervisordを経由でqueue:workコマンドを実行するように紹介されている。 [program:laravel-worker] process_name=%(program_name)s_%(process_num)02d command=php /home/forge/app.com/artisan queue:work sqs --sleep=3 --tries=3 --max-time=3600 autostart=true autorestart=true stopasgroup=true k
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? New RelicのInfrastructure エージェントは、とても簡単な手順でインストールすることができ、すぐにOSのCPU、メモリ、プロセスなどの監視を開始することができます。本記事ではWindows Server 2022 への導入手順を紹介します！ New Relic Infrastructure とは New Relic Infrastructure とは、 Goで作られた軽量の実行ファイルであるInfrastructure エージェントをサーバサイドで稼働させることで定期的にOS、ミドルウェア、ネットワークなどのパフォー
Amplify が Next.js 14 SSR アプリのホスティングをサポートしたので情報整理 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 23年11月に AWS からフロントエンド開発者のための AWS Amplify の 6 つの新しいリリース という発表がありました。個人的に目を引いているものは Amplify が Next.js 14 のホスティングをサポートしたことです。 Next.js App Router と Server Actions をサポート Amplify Hosting で任意の SSR アプリをホスティング これまでも Next.js を使いたいという思いはありました。フロントエンドは Vercel でバックエンドは AWS で基盤が泣
はじめに インフラストラクチャ・アズ・コード（IaC）の次世代技術として注目を集めているインフラストラクチャ・アズ・ランゲージ（IaL）。本記事では、IaLを活用してAWS FargateにStreamlitアプリケーションをデプロイする過程を詳細に解説します。AIによるコード生成と自然言語での要件定義を組み合わせることで、インフラ構築のプロセスがいかに簡素化されるかをご覧いただけます。 プロジェクト概要 本プロジェクトでは、ねこねこカンパニーの工場ダッシュボードをStreamlitで作成し、AWS Fargateにデプロイします。主な特徴は以下の通りです： Streamlitを使用した対話的なダッシュボード AWS FargateとECSを利用したサーバーレスデプロイ Terraformによるインフラのコード化 IPホワイトリストによるセキュアなアクセス制御 IaLによる要件定義 IaL
IaLを活用したAWS FargateでのStreamlitアプリケーションデプロイ - Terraformによる自動化の実践 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 近年、インフラストラクチャ管理の分野で注目を集めているのが「IaL（Infrastructure as Language）」という概念です。IaLは、自然言語での要件定義とAIによるコード生成を組み合わせることで、インフラ構築のプロセスを大幅に簡素化し、効率化することを目指しています。 本記事では、IaLの概念を活用し、AWS FargateでStreamlitアプリケーションをデプロイする過程を詳しく解説します。Terraformを使用したインフラストラクチャのコード化（IaC）と、Dockerを用いたアプリケーションのコン
マネージドインスタンスドレインを活用して ECS インスタンス入れ替えを terraform apply 一発で終わるようにした話 - コネヒト開発者ブログ
プラットフォームグループでインフラエンジニアをしている @laughk です。 少し前の話になりますが、マネージドインスタンスドレインを活用して terraform apply コマンドのみで ECS インスタンスの入れ替えを自動で行えるようにしました。その際、どういった実装をしたのかをまとめます。 動機 調査・実装 管理するべき AWS リソースとサンプルコード ハマりどころや Tips ECS インスタンス入れ替え時の Terminate 発動までの時間が長い場合の対処 ECS サービスではないスタンドアロンなタスクが動く環境では使えない 終わりに 参考記事 動機 コネヒトでは Amazon ECS を活用しており、主要な ECS クラスタのデータプレーンは Fargate を利用していますがそうでないクラスタもあります。 EC2 をデータプレーンとして利用している場合、定期的な EC
はじめに 皆さん、こんにちは！ 今回は Google cloud が提供しているコンテナサーバーレスコンピューティングサービスである Cloud Run をテーマにした記事を書いてみました！！ 入門編として Cloud Run の概要についてもまとめています！ チュートリアルにトライした時の記録もありますのでぜひ最後まで読んでください！ Cloud Runとは？ Cloud Runは、Google Cloudが提供するサーバーレスコンピューティングサービスの一つです。 ※ 2024年11月で GAになってから 5周年とのことです！ コンテナをベースにしたアプリケーションを、特定のインフラ管理やスケーリングの手間なしに、簡単にデプロイ・実行できます。 AWSにも似たようなサービスとして Fargate があります。 特徴としては以下の点が挙げられます。 自動スケーリング リクエストに応じてイ
オイカワ＠ソフトウェアエンジニアのプロフカード
非エンジニア職 ↓ SES企業（SWEデビュー） ↓ 無職、フリーター ↓ SES企業 ↓ 大手Web系（現職） ■言語 Java、PHP、Scala、Golang、Python、Ruby、C#、Perl、VBA、Groovy、shell、HTML、CSS、JavaScript、TypeScript ■フレームワーク Laravel、Ruby on Rails、gin、Struts、JUnit、jQuery ■DB DB2、Oracle、PostgreSQL、MySQL ■CI/CD関連 GitHub Actions、Jenkins、Ansible、Rundeck ■クラウド関連 AWS（EC2、ECS、ECR、ELB、Fargate、RDS、IAM、S3、Route53、Step Functions、Secrets Manager 等）、IaC（Terraform、AWS CDK、ecs
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
ECS Fargate で「Capacity is unavailable at this time」になったときの対処方法 | DevelopersIO
困っていた内容 ECS の「スケジュールされたタスク」で Fargate タスクを実行しています。 先日、タスクが実行されていない事象が発生し、調査したところ CloudTrail の RunTask イベントに次のエラーが記録されていました。 原因と対処方法を教えてください。 どう対応すればいいの? AWS 側でタスク実行に必要なリソースが確保できなかった旨のエラーです。 時間をおいて、再度 ECS タスクの実行をお試しください。 Troubleshoot unavailable capacity for Fargate tasks | AWS re:Post If Amazon ECS doesn't have the capacity to launch a Fargate task, then the RunTask API fails with the following err
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools
いまさら聞けない「サーバレス」で何ができる？ 3大クラウドで丸分かり
Karpenter を Amazon EKS で使う | sreake.com | 株式会社スリーシェイク
ECSFargateにおけるLaravelキューワーカーのGracefulShutdown
New Relic InfrastructureでWindows ホストをモニタリングしよう！ - Qiita
IaLを活用したAWS FargateへのStreamlitアプリケーションのデプロイ
Cloud Run入門 - コンテナをサーバーレスでデプロイ
AWS FargateでAutoScaleを試してみる - Qiita