GCPをフル活用して東京五輪の2週間で約5000万ツイートをさばいた話 - JX通信社エンジニアブログ
はじめまして。JX通信社でデータアナリストをしている @nrtaking です。 弊社では、7/23〜8/8に行われた東京オリンピック、8/25〜9/5に行われた東京パラリンピックにあわせて関連した日本語ツイートを全量収集し、Twitter Japanなど各社に提供していました。 内容に関する簡単な分析についてはプレスリリースでお伝えしているので、そちらもあわせてご覧ください。 prtimes.jp 実はこのツイート収集システムは、2週間ほどでほぼゼロから立ち上げたものでした。 今回は五輪関連のツイート収集を支えた技術について紹介します。 叶えたかった要件 五輪に関するツイートを、NTTデータの提供するAPIからストリームで受け取り続ける ツイート量などの統計情報やRTが多いツイート情報をダッシュボードの形で見ることができる 上記を（ほぼ）リアルタイムで実現できる 実はこの取り組みにあたり
Cloud Spannerのローカル開発環境をdocker-composeでサクッと立ち上げる | フューチャー技術ブログ
最小構成のリージョン+1ノード構成でも、なかなかのコストが掛かりますね。 開発環境どうするかコストが高いので、開発環境用に気軽にインスタンスを立ち上げるのは難しそうです。 ということで、本記事ではGCPが公式で提供してくれている Spanner エミュレータ を使って開発環境を立ち上げます！(エミューレータあってよかったありがとう!) gcloud CLIとdockerイメージでの提供がありますが、今回はdocker-composeで利用する例を紹介します。 サンプルコードはこちら: tarosaiba/docker-compose-spanner 以下2点工夫したポイントです。 通常、Spannerエミュレータ起動後にインスタンスの作成手順(gcloud spanner instances create)が必要になりますが、docker-compose立ち上げ時に自動でインスタンス作成さ
完全マネージドな k8s ! GKE Autopilot を解説する
Kubernetes / GKE ファンの皆様こんにちわ。Google Cloud の Kazuu (かずー) です。GKE Autopilot が GA になりました。弊社公式ブログに続きまして、GKE Autopilot を日本語で解説していきたいと思います。 本記事は以下、3 部構成となります。 GKE Autopilot 概要GKE Autopilot を試してみるGKE Autopilot がハマりそうなユースケースは？ 1. GKE Autopilot 概要GKE Autopilot は GKE の新しいモードです。Control Plane に加えて、Node が完全マネージドになります。これまでの GKE では Node はユーザー自身が必要台数分作成し、以後の Day 2 オペレーション (e.g. アップグレード) 等も気に掛ける必要がありました。GKE Autopil
誰でも簡単に: Jib を使用した Java アプリケーションのコンテナ化 | Google Cloud Blog
※この投稿は米国時間 2020 年 8 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 Java アプリケーションの Docker イメージをビルドする際に、開発者の間では Jib の人気が高まっています。Docker の知識がない方でも、Jib を使えばどんな Java アプリもスペース効率の良い最適化されたコンテナ イメージに変えることができます。Jib は、再現可能な宣言型の方法でコンテナ イメージをビルドし、編集、コンパイル、テストからなる極めて短い開発サイクルを実施して、コンテナのベスト プラクティスを透過的に適用します。Docker をインストールする必要はなく、スクリプトのような Dockerfile を記述する必要もありません。 さらに良いことに、Jib はますます幅広い Java 開発エコシステムをサポートするようになりました。昨年 Ji
小さいプロダクト開発におけるGCP利用の勘どころ - 個人的なプロダクトを三日でローンチした話 - Lean Baseball
私個人の話なのですが. 最近は仕事でAWSやGCPのサーバレスアーキテクチャにふれる機会が増えた*1と同時に, 自分が気になる世の中のニュース（グルメとかいろいろ）だけをいい感じに集めてまとめて読みたい その中でも特に⚾, 速報とかいい感じに通知させたい という怠け者欲ライフハック欲が高まってきたので, GCP（とちょっとしたPythonスクリプト）でSlack Botを作りました. 趣味開発で雑にはじめた結果, 三日程度でできちゃった*2のでその知見をメモ代わりに残します. おしながき おしながき TL;DR 対象読者 作ったもの GCPをフル活用して実質三日でBotをローンチした Bot本体の開発 GCPの何を使うかで試行錯誤 プランA「GCEを使う」 プランB「Cloud Run + Cloud Scheduler」 採用した構成「Cloud Functions + Cloud Sc
1人でできる
Docker Kubernetes(GKE)を
使った新規サービス立ち上げ / Docker and Kubernetes(GKE) for new services - Speaker Deck
RailsアプリをKubernetes(GKE)上で運用した事例の紹介です。
teratailはGoogle Cloud Platformに引っ越しました！ - teratail blog
俺達は GCPへの移行を 強いられてるんだ！！！！ 用意された画像に合わせただけで内容には関係ありません TL;DR 10/26のメンテナンスでteratailをGoogle Cloud Platformに移行しました。TokyoリージョンのStackdriverまだですか。 初めに こんにちは、teratail開発チーム本橋です。 teratailは10月26日にVPSサービスからGoogle Cloud Platformへ移行しました！ GCP 利用しているサービスは以下のとおりです。 HTTP(S) Load Balancing Google Compute Engine Google Container Engine Google Cloud Storage Google Stackdriver Google BigQuery 分析インフラのBigQueryへの移行、一部サービスの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
