Google Cloudの欧州リージョンの一部(europe-west2)で障害が発生している。ロンドンにあるデータセンターの1つで、7月20日午前2時13分ごろ(日本時間、以下同)から、冷却関連のトラブルが起きているという。問題は一部改善しているものの、午前10時時点で解消はしていない。 障害によって、ユーザーが使う少数の仮想マシンが強制的に終了した他、スケーリングなどに影響が出たという。午前10時時点でも、一部のユーザーは仮想マシンの起動やスケーリングなどが通常通りできない場合がある。米Googleは引き続き改善に取り組むとしている。 同様の障害はOracle Cloudでも起きている。Oracle Cloudでは、19日午前12時21分ごろ、ロンドンにあるデータセンターで冷却系のトラブルが発生。一部ユーザーがサービスにアクセスしにくい状態になった。 米Oracleによれば、状態はすで
TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、「CPU を常に割り当てる」が適用されます。 従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより 60 分以上の実行を実現 )明示的な並列処理注意: 2022 年 5 月 13 日現在、Cloud Run jobs
※この投稿は米国時間 2021 年 3 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud には、幅広いユースケースに対応するプロダクトが数多く揃っています。とはいえ、何から着手すればいいか、どうすればわかるのでしょうか。こうした疑問にお答えするべく、Google Cloud エコシステムが把握しやすくなるリソースセットをご用意しました。このリソースを使用すれば、さまざまなプロダクトについてすばやく理解し、特に関心のあるプロダクトを選択して、ドキュメントやその他の利用可能なリソースをさらに深く掘り下げることができます。 Google Cloud プロダクトを簡潔に説明Google Cloud デベロッパー向けのクイック リファレンスでは、各 Google Cloud プロダクトが 4 語以内(英語)で説明されています。Google Cl
インシデント発生時のチーム対応を支援する「Grafana Incident」、無料でGrafana Cloudが提供。SlackやGitHubなどと連携 Grafana Labsは、インシデント発生時にチームでのインシデント対応を支援するクラウドサービス「Grafana Incident」をGrafana Cloudで無料提供することを発表しました。 Read more about Grafana Incident, it's features, and how to get started here:https://t.co/4Rmqujt2oh — Grafana (@grafana) September 13, 2022 システム運用中に何らかのインシデントが発生した場合、インシデントの状態把握、原因の調査、インシデントからの復旧、ユーザーや関係者への報告など、それぞれの役割をアサイ
お待たせいたしました、お待たせし過ぎたかもしれません。みんなー!やっと Google Cloud でデプロイのためのマネージド サービスがでてきたよー!!! Cloud Deploy という謎サービスがリリースされました。現在 Preview ながら、実際にみなさんの環境で体験いただけます。以下はその解説ですが、そんなことより早く使いたい!という方はこちらからどうぞ。 Cloud Deploy とはアプリケーションを実行環境へ継続的デリバリー (CD) するためのもの任意の継続的インテグレーション (CI) システムと連携できるCD に関する重要な指標、データが容易に可視化できる現在サポートするデプロイ対象サービスは GKE のみ使い方は 事前に “パイプライン” としてデプロイ先や順序、方法を決めておいてソフトウェアが書けたら成果物を “リリース” としてまとめ最初のデプロイ先( “ター
Googleは、Dockerコンテナをサーバレスで実行するCloud Runの第二世代実行環境と、Cloud Runの新機能であるCloud Run Jobsが正式版になったことを明らかにしました。 Cloud RunはHTTPSリクエストをトリガーとしてDockerコンテナを実行するサーバレス基盤です。 すなわち、HTTPリクエストがない場合にはDockerコンテナは起動されず、HTTPリクエストに応じて自動的に多数のコンテナが起動するスケーラビリティが特長です。Dockerコンテナであれば、どんな言語で作られたサービスであっても関係なく利用できる柔軟さを備えています。 課金もおよそ100ミリ秒ごとに、起動しているサービス数などによって計算されます。 Cloud RunはKubernetes上でサーバレスコンピューティング環境を実現するフレームワークとしてGoogleがオープンソースで開
はじめに こんにちは。inductorです。 GCPのCloud Runはご存知でしょうか。世界一簡単に単一のコンテナをデプロイできるサービスだと私は考えています。 さて、以下のようなリリースノートの通知があって、Cloud RunがGitと連携して更新まで自動でできるようになったみたいです。 Continuous deployment from Git using Cloud Build まとめるとこんな感じのことが書いてあります Cloud Buildのトリガーを使用して新しいコミットがGitリポジトリの特定のブランチにプッシュされるたびにコードを自動的にビルドしてデプロイすることで、ビルドとCloud Runへのデプロイを自動化できます。 Cloud Buildトリガーを使用してコンテナをビルドすると、Cloud Runにデプロイした後、ソースリポジトリ情報がサービスのCloud C
※ 2021年1月 更新 マルチクラウド化が進むにつれて、各種クラウドサービスを比較する機会が増えるのではないかと思います。 今回は、自分の整理も兼ねて、Azure (Microsoft 365)/AWS/Google Cloud (Google Workspace)/OCI のサービス比較表 を作成してみようと思います。 *1*2 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース データベース ID WEB コンピューティング ストレージ セキュリティ 仮想デスクトップ 統合 分析 まとめ 参考情報 Azure/AWS/Google Cloud (GCP)/OCI サービス比較 マーケットプレース Azure AWS Google Cloud OCI マーケットプレース Azure Marketplace AWS Marketplace
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
全世界に存在するリージョン Google Cloudが所持しているリージョンは世界中に広がっています。 【総務省情報通信審議会資料引用】 総務省IPネットワーク設備委員会-ホームページ 2022 年 8 月時点で、全世界 34 のリージョン 、103 のゾーン、147 のNetwork Edge Locationで構成されています。 日本には東京リージョンと大阪リージョンの 2 つの物理リージョンがあります。 そして何よりもすごいのは、海底ケーブルを通して世界中のリージョンが地つなぎで繋がっているということです。 いわゆる物理的に繋がっていて、この形態がGoogle Cloudの大きな特徴の1つであるグローバルVPCを定義できる所以となっています。 現時点でGoogleのみで7本前後の海底ケーブルを所有している模様で、国ではなく企業規模で何千~何万キロにも及ぶケーブルを複数敷く技術力/人員
Dockerのビルドが最大40倍高速になる「Docker Build Cloud」提供開始。Appleシリコン/AWS Graviton用のビルドにも対応 Docker社は、クラウド上で高速にDockerコンテナのビルドを実行する新サービス「Docker Build Cloud」の提供を開始しました。 同社は昨年(2023年)10月に開催したイベント「DockerCon 23」で、次世代のDocker Buildを開発中であることを明らかにしていました。今回提供が発表されたDocker Build Cloudはこの、次世代のDocker Buildが正式サービス化されたものです。 Docker Build Cloudは、そのサービス名の通りクラウド上でDockerコンテナのビルドを実行するサービスです。同社によると、従来のローカルでのビルドと比較して最大で39倍も高速なビルドを実現します。
概要 本記事では、Next.jsをコンテナをサーバーレスで実行するサービスであるCloud Runで動作する軽量のDocker環境構築について紹介します。 ネットにある様々な記事を見てきましたが、動作目的でDockerイメージが大きくなっており、パフォーマンスとセキュリティに課題がありました。そこでDockerの軽量化および最適化を試みました。 Docker環境 シングルステージビルド(slim) シングルステージビルドしたDockerイメージです。本番環境に必要無いデータを多く含んでいるため、イメージサイズも大きくなっています。構成はシンプルのため、理解しやすいですがパフォーマンス/セキュリティ面には課題があります。 FROM node:14.17.0-slim WORKDIR /app COPY package.json yarn.lock ./ RUN yarn --frozen-l
Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、最新のAIによるコーディング支援サービス「Gemini Code Assist」を発表しました。 Gemini Code Assistは、GitHub CopilotやAWS CodeWhispererなどと競合するサービスと位置づけられます。 Gemini Code Assistは最新AIモデル「Gemini」採用 Google Cloudは昨年(2023年)12月にAIによるコード補完やコード生成などを実現する「Duet AI for Developers」を正式リリースしています。今回発表されたGemini Code Assistは、同社の最新AIモデルである「Gemini」を採用したDuet AI for Developersの進化版だと説明されています。 参考:
フィヨルドブートキャンプというプログラミングスクールのEラーニングアプリをCloud Run + Railsで動かしています。 1ヶ月使ってみた結果、8,000円ぐらいでした。 Cloud Runが300円でCloud SQLが7,000円って感じです。Cloud Buildとかちょこまかしたのはありますが誤差の範囲。 Cloud Runは1コンテナだったら1日10円ぐらいなんですよね。信じられないほど安い。 これでDockerイメージ放り込んでおけば自動スケールの環境が手に入るならほとんどの仕事のアプリはこれでいい気がします。パフォーマンスもいいし、これからのアプリは全部これで行こうと思います。
「Azure Spring Cloud」正式リリース。JavaフレームワークSpring Bootの開発と実行のためのフルマネージド環境 マイクロソフトとVMwareは、Microsoft Azure上でフルマネージドなSpring Bootアプリケーションの開発や実行環境を提供する新サービス「Azure Spring Cloud」の正式リリースを発表しました(マイクロソフトの発表、VMwareの発表) We're excited to share the general availability of Azure Spring Cloud - a fully managed service for Spring Boot apps built, operated, and supported by @Microsoft @Azure and @VMware. https://t.co/p
成果 最終的に、Cloud Run のコストが$6/day前後から$1/day前後に! ちなみに、Cloud Tasks は1ヶ月あたり最初の100万回のオペレーションまで無料なので余裕で収まっています。 モチベーション 今回リプレイスを検討したシステムは軽量な非同期処理が大半で、もともと絶対に Sidekiq でないと困るということが少なかった Sidekiq は Redis をポーリングしてジョブを取得する方式なので、Cloud Run で実行するには min-instances を1以上にしなければいけない 何もジョブがない状態が続いてインスタンスが0になると起こしてくれる人がいないので... 絶対に Sidekiq でないと困らないなら Cloud Tasksにして、非同期処理がない時は寝ていても良いようにしたい => コストダウン! Pub/Sub との比較検討もしましたが今回は
[アップデート]Terraform CloudがValutやAWS,Azure,Google Cloudに対してOIDCで動的なクレデンシャル生成に対応 「Terraform CloudもGithub ActionsみたいにOIDCを使ってAWS認証とかできたら最高だな」 と思ったことはありません? そんな方に朗報です。Terraform CloudがValutとクラウドプロパイダー(AWS,Azure,GCP)に対してOIDCで動的なクレデンシャル生成に対応しました。(beta版 2023/1/31時点 2023/4/9 GAになりました) Terraform Cloud Adds Dynamic Provider Credentials for Vault and Official Cloud Providers 今回はAWSでこのアップデートの内容を試してみました。 アップデート概要
2022年4月28日、Google Cloudが拡大を続けるデジタルメディアとオンラインエンターテインメント業界向けの新型コンテンツデリバリーネットワーク(CDN)である「Media CDN」を発表しました。 Media CDN, modern extensible platform for immersive experiences | Google Cloud Blog https://cloud.google.com/blog/products/networking/introducing-media-cdn これまでにもGoogle Cloudは静的なウェブサイトやスクリプトなどの配信に特化した「Cloud CDN」というCDNサービスを提供してきましたが、新たに発表されたMedia CDNは「YouTubeと同じインフラを活用している」という点が最大の特長。YouTubeのインフ
システムプラットフォーム部で SRE をやっている id:nabeop です。システムプラットフォーム部を一言で表すと、基盤を横断的に見る部署という感じです。 過去の発表などでもたびたび言及していますが、はてなのいくつかのサービスは AWS 上で構築されており、これまで「クラウドに構築する」は「AWS で構築する」とほぼ同義な世界でした。 ただし、AWS 以外も全く使っていなかったわけではなく、小さなプロジェクトや個人では Google Cloud の利用もありました。また最近は、各サービスで技術選択の多様化が進み「Google Cloud 上でサービスを構築する」という選択肢も十分ありえる状態になってきました。 このため、各サービスで Google Cloud の利用が本格化する前に、安心して使えるように IAM (Identity and Access Management) など環境
※この投稿は米国時間 2022 年 5 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 Google は最近、Google I/O にて AlloyDB for PostgreSQL を発表いたしました。これは、要求が厳しいエンタープライズ クラスのトランザクション / 分析ワークロードに使用できる、PostgreSQL 対応のフルマネージド データベースです。弾力性のあるストレージとコンピューティング、インテリジェントなキャッシュ、AI / ML による管理といったクラウドの優れた特徴を、PostgreSQL に統合できるようになります。さらに、AlloyDB は圧倒的なコスト パフォーマンスを実現します。パフォーマンス テストでは、標準の PostgreSQL と比較してトランザクション ワークロードで 4 倍以上、分析クエリで最大 100 倍も高速に
【UPDATE】午前11時40分現在、クラウドプラットフォーム他、多くのサービスが復旧しているが、App ConnectやPush Notificationsなど複数のサービスがまだ停止中だ。 【UPDATE2】日本アイ・ビー・エムは同日午後5時55分、「現時点で全てのシステムが復旧し、正常運用を行なっている」と発表、謝罪した。 関連記事 IBM、顔認識事業からの撤退を宣言 「人種プロファイリングや自由の侵害を容認しない」 IBMが、汎用的な顔認識技術の開発と提供を廃止すると発表した。黒人男性が白人警官の暴行で死亡したことを契機に全米で人種差別抗議運動が続く中、「今こそ、法執行機関が顔認識技術を採用すべきかどうか話し合うべき時だ」とクリシュナCEO。 IBMの量子コンピュータハッカソンに1700人が参加 “量子プログラマー”の育成進む 米IBMは、5月4日から8日にかけて行った量子コンピュ
クラウド(AWS&Google Cloud)を利用した社内システムの開発をしているエンジニアが、技術選定・アーキテクチャ設計・開発・保守の工夫や、ベストプラクティスの活用などについて語る「AWS & Google Cloudを使ったシステム開発/技術選定のはなし」。ここでアイレット株式会社の高橋氏が登壇。まずは、AWSとGoogle Cloudのベストプラクティスについて紹介します。 セッションの概要とアジェンダ 高橋修一氏(以下、高橋):では「AWS&Google Cloudを使ったシステム開発/技術選定のはなし」をします。よろしくお願いします。僕ですが、高橋修一といいます。アイレットのMSP開発セクションという部署で開発のエンジニアをしています。AWSはアイレットに入ってから触り始めて、だいたい5年ぐらい触っています。Google Cloudもここ1年ぐらいで触るようになりました。 今
※この投稿は米国時間 2024 年 1 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 あなたは Acme Corp という架空の会社のエンジニアで、CI / CD と自動化を用いたソフトウェアの統合と配信、データ主導型の指標およびオブザーバビリティ ツールの実装を行う大型プロジェクトに関わっているとします。しかし仲間のエンジニアの多くは、認知負荷が高すぎることで苦戦しています。Kubernetes クラスタのデプロイと自動化、CI / CD パイプラインの構成、セキュリティに関する懸念事項など、検討すべきことはさまざまです。会社の拡大と成長を支援するには、そのような課題の解決方法に関する考え方を改める必要があるとあなたは気付きます。そこで役立つ可能性があるのが、プラットフォーム エンジニアリングです。 プラットフォーム エンジニアリングは「コンピューティ
RDPのポリシー制限は、プリンタやUSBドライブ、クリップボードなどを接続元PCと共有させたくないときに必要なやつです。 Enterprise を選ぶべき人は すでに Active Directory がある Azure 上の社内リソースにアクセスしたい 300 台以上の利用が見込まれる (VPNを使わずに)独自のネットワークを使いたい あたりだと思われます。 Active Directory を保有せず、Azure Active Directory + Intune という管理体制をとられている組織で Enterprise を利用したい場合だと Azure ADDS を追加する必要があります。 コスト Windows 365 Cloud PC 自体の価格は同じですが、前述の通り通信量の課金やActive Directoryのコストを考えると Enterprise のほうが高いです。 Wi
Redisをフォークした「Valkey 7.2.5」安定版が早くも登場。AWS、Google、Oracle、Heroku、Alibaba Cloudなど賛同が広がる RedisをフォークしたValkeyが早くも安定版「Valkey 7.2.5」をリリース。Valkeyブランドのためのコードの変更が行われた。AWS主導で始まったが、Google CloudやOracle、Heroku、Alibaba Cloudなど賛同が広がっている。 Valkey 7.2.5のリリースノートによると、このバージョンはフォーク元であるRedis 7.2.4からブランド名をValkeyへ変更するための変更をソースコードに対して行ったものであり、Redis 7.2.4からプロトコル、API、リターン値、データファイルフォーマットなどの変更は行われていないと説明されています。 ValkeyはRedisをフォークした
日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, (休んでいる間のリハビリがてら*1)PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤(ちなみにメジャーリーグです)を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて(2022/10/15 16:00-16:30)」の予告編でもあります. なので, 後日のトークをお楽しみに
はじめに Herokuの無料枠が終了することにあわせて、個人で動かしているRailsアプリケーションを他の場所へ移行する。 いままで無料で使わせていただいたこと感謝しつつも、月千円ほど払うほどのアプリケーションでもないので、ほぼ無料で移行できそうな場所を探すことにした。1 コンテナをホスティングできるGoogle Cloud Runは従量課金制だが、個人で使う分にはほぼ無料なので、これを選ぶことにする。 Cloud Runで使うRDBは一般にはGoogle Cloud SQLが推奨されていそうだが、ここでは安さのためにSQLite3 + Litestream + Google Cloud Storage(以下GCS)を使うこととしたい。 実装の方向性 Litestreamは、SQLite3のデータベースを、オブジェクトストレージやNFS、SFTPのストレージにレプリケーションできるOSSの
This learning path provides an overview of generative AI concepts, from the fundamentals of large language models to responsible AI principles.
Google Cloud、運用監視のメトリクスデータを自在に操作できる「Monitoring Query Language」(MQL)正式リリース Google Cloudは、運用監視のマネージドサービスであるGoogle Cloud Monitoringの時系列データに対して操作が可能な問い合わせ言語「Monitoring Query Language」(MQL)の正式リリースを発表しました。 これまでGoogle Cloud Monitoringでは収集した運用監視データに対してダッシュボードのメニューから設定を行うことで、グラフなどデータの視覚化やアラームの設定、フィルタリングなどを行っていました。 Monitoring Query Languageを用いることで、これらをすべてコードとして組み立て、表現できるようになり、より柔軟性の高い運用監視が可能になります。 ダッシュボードにQ
スタディスト開発ブログ Advent Calendar 2021の13日目の記事です。 こんにちは、SRE Unit の wind-up-bird です。以前、 Serverless Framework を移行しているお話を書きましたが、今回は移行シリーズ第2弾ということで、 Terraform Cloud を Terraform on GitHub Actions に移行したお話をお届けしたいと思います。 # 移行前の運用スタディストではこれまで Terraform Cloud の Team & Governance プランを契約していました。移行前の Terraform による開発の流れは、以下のとおりです。 Terraform Cloud 上で Workspace を作成し、Version control workflow を利用する。Workspace には環境変数として、 AWS
Google Cloud FunctionsがRubyのサポートを発表。ローカル環境での開発やテストを可能にするフレームワークも Google Cloud FunctionsはGoogl Cloud上でサーバレス環境を実現するサービスです。HTTPからのアクセスやストレージへのデータの保存などのイベントが発生すると、あらかじめ保存されていた関数が実行される仕組みを持ちます。 例えば、ストレージに画像が保存されると自動的にサムネイルを作成して保存する関数を実行する、HTTPでアクセスされるとデータベースからデータが検索され最新データをHTMLに書き込む関数を実行する、といったイベントドリブンな処理を効率的に実行できます。 Google Cloud FunctionsのRubyサポートにより、この関数をRubyで記述することが可能になります。対応するバージョンはRuby 2.6と2.7。 Go
2021年2月20日紙版発売 2021年2月18日電子版発売 下田倫大,寳野雄太,饗庭秀一郎,吉田啓二 著 B5変形判/440ページ 定価3,740円(本体3,400円+税10%) ISBN 978-4-297-11948-5 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 AIやIoTが実用化フェーズに入りつつあるのみならず,デジタルトランスフォーメーション(DX)への注目の高まりによって,事業やサービスを取り巻くデータを分析・活用・管理するためのインフラであるデータ基盤の重要性が増しています。 データ基盤を構築するにあたり,先行する事例から,Google Cloud(Google Cloud Platform, GCP)はデ
値上げの理由について同社は「新しいアプリ、サービス、機能、コンテンツを定期的に追加することにより、Creative Cloudを継続的に改善している」とした上で「それに伴い、メンバーシップへの付加価値を反映して、プランおよび価格を改定している」と説明。他に、各地域の税金の変更など、各マーケット状況に応じて価格を調整する場合もあるという。 「Creative Cloud 個人版コンプリートプラン」の前払いの年間支払いプランなど、一部のプランは値上げの対象外としている。アドビは3月28日から4月27日の間に、各ユーザーに価格改定のメールを送る予定。 関連記事 全ての都立校でAdobe導入 デザイン、Webページ、動画などの製作に活用 東京都教育委員会が、都立学校にAdobe Creative Cloud Expressを導入した。児童生徒16万人と教職員2万人が、学校や自宅でデザイン、Webペ
Googleは、同社がクラウドサービスとして提供しているCloud SpannerをRailsのActive Recordに対応させるアダプタ「activerecord-spanner-adapter」が正式版となったことを発表しました。 Cloud Spannerは、Googleの多数のデータセンターにまたがる地球規模で大規模分散処理を行うリレーショナルデータベースです。事実上無制限とされる高いスケーラビリティと99.999%の高可用性を備えつつ、強い一貫性とトランザクション処理、SQLによるクエリなどを実装しています。 メルカリの決済サービスであるメルペイがバックエンドデータベースにCloud Spannerを採用し、数百万ユーザーの処理を行っているとされています。 このCloud SpannerをRailsのActive Recordのバックエンドデータベースとして使えるようにするア
米Googleは2月17日(現地時間)、クラウドサービス「Google Cloud Platform」(GCP)のアーキテクチャダイヤグラム(システム構成図)を作成できるWebサービス「Google Cloud Architecture DiagrammingTool」の提供を始めた。利用料は無料。 ユーザーはGCPのサービスのアイコンや図形を配置することで、クラウドを活用したシステムの構成を図として整理できる。一から構成を作るだけでなく、プリセットを図面に配置してからそれをカスタマイズできる機能も搭載。作った図は、PNGやSVGなどのファイルとして出力することもできる。 関連記事 前澤氏の“お金配り”、アプリ化したらアクセス殺到 数十万トラフィックをさばく「kifutown」の裏側 ZOZO前社長・前澤友作氏の“お金配り”をスマホアプリ化した「kifutown」。時には短い期間に数万、数
バーチャルYoutuber(通称Vtuber)のチャット欄をデータとして抜き出すことができれば、スパチャ金額の合計を調べたり、草コメントの数を調べたりすることができる。 以前、Vtuberの配信アーカイブからチャットログを抜き出すシステムを構築した。今回はそれをパワーアップさせたので紹介する。 システム全体像 システム全体像はこんな感じ。前回から引き続き、Google Cloudで構築した。サーバーは使わないアーキテクチャにしている。システムの流れは以下のようになる。 0. httpリクエストでシステム起動 1. Youtube Data APIから動画情報を取ってCloud Storageに保存 2. チャットログ未取得の動画IDをPub/Subに送る 3. 動画のチャットリプレイが有効か調べる 4. 有効ならばチャットログURLを取得してPub/Subに送る 5. チャットログを取得し
この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか?便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは? GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く