はてなブックマーク

追記: この記事ではパーティションデコレータを使って ingestion-time partitioned table に振り分けていますが、 Column-based partitioned table が Cloud Dataflow/Apache Beam 2.4.0 からサポートされたので、今はこちらを使うのが無難です。 この記事は Google Cloud Platform Advent Calendar 2017 の10日目の記事です。 昨年に GCP 東京リージョンが来ましたが、今年は日本で GCP が盛り上がった一年でしたね。東京リージョンが来る前からユーザが多かった GAE と BigQuery 以外の GCP のサービスの事例が非常に多くありました。私自身も Google 認定プロフェッショナル クラウドアーキテクトを取得してから色々なサービスの実経験を積むことができま

この記事は Kubernetes Advent Calendar 2017 の9日目です。 追記 Google Kubernetes Engine の中の人の @ahmetb が GKE と cert-manager HTTP-01 を組み合わせるチュートリアルを書いているので、英語で良いならそちらも推奨します。 https://github.com/ahmetb/gke-letsencrypt まえがき 昨年は kube-legoや kube-cert-manager を使って Let's Encrypt で証明書を自動取得する記事を書きました。また当時はまだ証明書を Kubernetes で自動管理する手法は出てきたばかりでしたが、この1年間カジュアルに運用してみたという話はかなり多かったように思います。 実際に運用してみると、 kube-lego に苦しまされた方が多かったようです。

TLDR 無料枠の f1-micro には fluentd は大きい 軽量なログ収集エージェント fluent-bit Kubernetes 対応 Go でのプラグイン作成可能 fluent-bit で Stackdriver Logging にログを出力することで大幅なリソース削減 今までのあらすじ GCP の無料枠だけで GKE クラスタを作ることができたが、一部の Pod が Pending となっっていた。 http://qiita.com/apstndb/items/788f705e71e7660967a6#%E3%83%AA%E3%82%BD%E3%83%BC%E3%82%B9 調べてみると、最大の Pod は Stackdriver Logging への各コンテナのログ収集のために生成されている fluentd-cloud-logging であり、実測 80 MB を超えるリ

Deprecated: この記事の内容は既に2年以上経過しており、有用なものではなくなっていると考えられます。無料枠だけでクラスタを動かすことができても GKE のシステムコンポーネントの削減には限界があり、実用的ではありません。 Google Cloud Next '17 で GCP 無料枠の拡大が発表された。 特に注目なのは US リージョンに限るが GCE f1-micro 1インスタンス, 30 GB の HDD が永続で無料なことだろう。 GKE は5ノードまではマスタの課金はなく、ノードは GCE ノードとして課金されるので、この恩恵が受けられるはずだ。 検証環境 Kubernetes 1.5.4 Google Cloud SDK 148.0.1 挫折 普通にクラスタを作ろうとすると下記のようなエラーで弾かれる。 $ gcloud container clusters crea

GKE のクラスタを普通に作ると初期状態で起動する Pod がいくつかある。 それらをクラスタ作成時のオプションでどこまで減らせるかを確認する。 環境情報 Kubernetes 1.5.3 Google Cloud SDK 147.0.0 デフォルトのクラスタ 普通にクラスタを作って接続する。 $ gcloud container clusters create --machine-type=g1-small --num-nodes=1 normal-cluster Creating cluster normal-cluster...done. Created [https://container.googleapis.com/v1/projects/apstndb-sandbox/zones/asia-northeast1-a/clusters/normal-cluster]. kube

Google によるフルマネージドサービスである GKE では Kubernetes のマスタやノードのことは理解しなくとも Kubernetes の API を使って実現したいことに集中できる。 しかし、本番運用をはじめてから「なぜ動いているのかもなぜ動かないのかも分からない」というような状態ではいざという時に困る。 特に Service がどのようにクラスタの外から Pod へのアクセスを提供しているのかはブラックボックスになっていたため、今回は GKE での Service の L3(〜L4) の挙動について Kubernetes の内外を調査した。 (後で図や参照情報へのリンクを追加予定) 図解が出てきたので追加しなかった。 追記(2018年10月5日) Kubernetes Engine の Network Overview が良いのでこちらも読むと良いでしょう。この記事を書いた

TL;DR Kubernetes でマルチコンテナな Pod はよく使われる Cloud SQL Proxy はサイドカーコンテナとして動く前提 Job の完了には Pod を構成するプロセスが完了する必要がある PID Namespace は未実装 シグナルが送れない 完了しないと不意に再開する サイドカーコンテナを殺すためのプログラムを書いてみた サイドカーコンテナパターン Kubernetes は複数のコンテナからなる Pod を最小の単位として扱う。Google の社内コンテナ管理システムの Borg にも同様の仕組みがあり、その経験から「Design Patterns for Container-based Distributed Systems」でコンテナデザインパターンとして複数コンテナの連携のパターンを定義している。 このコンテナデザインパターンの中でも頻出するのが、メイン

この記事は Kubernetes Advent Calendar 2016 の22日目の記事です。 Kubernetes を使っていると、 Pod 内のコンテナで動くプロセスから使われるデータを GitHub repository の HEAD に同期して更新したいというような場合が出てきます。 例えば、下記のような場合があります。 CDN を使わずに小規模に配信するコンテンツ DBMS に入れるほどではないデータファイル このような場合に、プロセスだけでなくデータに対してもデプロイフローを作ると複雑になるので、できれば避けたいところです。 今回は、プロセスが使うデータを自動的に GitHub と同期する方法を紹介します。(実際は GitHub に限らず Git 一般に対応可能です。) gitRepo Volume では駄目なのか Kubernetes には組み込みの gitRepo　Vo

注意: kube-cert-manager より洗練された cert-manager が開発されているため、この記事の内容の採用はオススメしません。 この記事は Google Cloud Platform(1) Advent Calendar 2016 の17日目の記事です。 @apstndb です。好きな GCP のサービスは GKE です。 今回は Let's Encrypt から自動的に TLS 証明書を取得する実装の1つとして、Kubernetes 上で動作する kube-cert-manager を使って、TLS 証明書が取得できることを確認します。 kube-cert-manager の特徴 Kubernetes で証明書を扱うソフトウェアには他にも kube-lego があります。 実は私も GKE でサービスを HTTPS と HTTP/2 に対応する(kube-lego

注意 ⚠️ kube-lego is in maintenance mode only. There is no plan to support any new features. The latest Kubernetes release that kube-lego officially supports is 1.8. The officially endorsed successor is cert-manager. If you are a current user of kube-lego, you can find a migration guide here. ⚠️ kube-lego は既に cert-manager によって置き換えられており、この記事は単なる歴史的文書です。 既に少し古いですが、 GKE で TLS 証明書を自動管理(cert-manager DNS-

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? (追記): この記事は Kubernetes 1.3 世代という大昔に自分自身の学習過程のメモとして書いたので、現在は全く推奨しません。1.9 準拠の入門 Kubernetes などを足がかりにした上で最新のドキュメントを参照するのがオススメです。 Kubernetes の Glossary について大体目を通したので、これからリソースごとに概要をまとめていく。 この記事は自分自身が API の更新を把握して説明するための資料として API 一覧を軸にまとめる。 別の軸でまとめた Glossary の要約には下記などがあり。 http:

要約 Google Cloud SQL Second Generation がリリース GCE インスタンスから接続するには Cloud SQL Proxy を使用する サービスアカウントを使用すると安全 GCE デフォルトサービスアカウントが使える 2種類の接続方法に対応 Unix Domain Socket TCP Socket はじめに Beta だった Google Cloud SQL Second Generation が 2016/8/16 に GA になった。 Google Cloud Platform では長らくマネージドな RDBMS を提供するサービスが AWS の RDS と比べて弱かったが、 Google Cloud SQL の Second Generation は RDS/MySQL や GCE インスタンス上の MySQL からの乗り換える選択肢になりうるサー