最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整

はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅

G-gen の藤岡です。当記事では Google Cloud（旧称 GCP）で「ドメイン別の ID の制限」の組織ポリシー適用下で Cloud Run サービスを一般公開する方法を紹介します。 前提知識 「ドメイン別の ID の制限」の組織ポリシー Cloud Run ２つのアクセス制御レイヤー サービスを一般公開する方法 注意点 タグがサポートされているサービス Config Controller は未対応 Cloud Run サービスの一般公開 アーキテクチャ 前提 権限 設定手順 組織管理者：「ドメイン別の ID の制限」の条件付き組織ポリシーを適用 組織管理者：タグキーとタグ値を作成 プロジェクト管理者：Cloud Run の作成 組織管理者：Cloud Run にタグバインディング プロジェクト管理者：Cloud Run に allUsers 許可 エラー例 前提知識 「ドメイン

本連載では、Google Cloudのアプリ開発とDBプロダクトにおけるスペシャリスト達が、Google Cloudプロダクトを利用した、クラウドネイティブな開発を実践する方法を解説していきます。 第1回では、Google Cloudで実践するモダンなアプリケーション開発に焦点を当てます。Google Cloudのサービスや利点について紹介し、マイクロサービスアーキテクチャやTwelve-Factor Appの重要性を探求し、Google Cloudがモダンなアプリケーション開発にどのように役立つかを理解できます。 主に対象となる読者は、クラウドを利用してアプリケーションを開発するエンジニア、またはその基盤を構築するエンジニア、サービス開発に携わるプロダクトマネージャーを想定しています。 なぜモダンなアプリケーション開発が必要なのか DevOpsという手法がありますが、これは開発と運用が協

【デジカルチーム ブログリレー1日目】 こんにちは、デジカルチームの鳥山（@to_lz1）です。 プロダクト開発の傍ら、人事チーム（=ピープルサクセスグループ）向けに内製したデータ基盤の開発も担当していたりします。 今回は主務の話から逸れますが、こちらの話です。Google Cloud Workflowsを採用した処理基盤が比較的うまく回っているため、開発・運用の中で得られた知見をご紹介したいと思います。 システムの概要 Google Cloud Workflowsについて 具体的に利用している機能 Sub WorkflowによるBigQuery SQLの実行 parallel stepsによる並列実行 Terraformでのコード管理 運用してみてよかったこと 課題・改善したいこと エラー時の対応のしやすさ Cloud Functions第２世代への対応 まとめ We are Hirin

この記事は Google Cloud Japan Advent Calendar 2022 の 13 日目の記事です。 2022 年は本番環境で Cloud Run を利用した事例を良く見た 1 年でした。新機能のリリースだけでなく、CPU やメモリの選択肢が増えたのも印象的です。 ところで、Cloud Run を構築するのに、何を使っていますか？gcloud CLI でデプロイする、または、Terraform で定義して CI 環境から実行するのも、管理がしやすく良いと思います。 一方、初めて Cloud Run を触る時や、細かいオプションを確認したい時など、コンソール画面で操作するのも見やすくて良いですね。 ということで、今回は Cloud Run コンソール画面でサービスを作成する際の設定項目を 1 つずつ解説していきます！Cloud Run にはバッチ用途のジョブ（Cloud R

TL; DRCloud Run にバッチ処理などを実行するのに便利な機能「Cloud Run jobs」が追加されました。従来の Cloud Run と違い、HTTP リクエストに依らず、任意のタイミングでコンテナ(Task)を実行可能で、より長時間の実行、 明示的な並列処理を行うことが可能です。 Cloud Run jobs とはCloud Run jobs とは Cloud Run で、バッチ処理などを行うための機能です。Cloud Run の第二世代の実行環境で動作し、「CPU を常に割り当てる」が適用されます。 従来の Cloud Run との違いは以下の通りです。 HTTP リクエストに依らない実行より長時間の実行 ( 複数の Task を組み合わせることにより 60 分以上の実行を実現 )明示的な並列処理注意: 2022 年 5 月 13 日現在、Cloud Run jobs

2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE

ユーザートラフィックのリクエストパスの詳細オンプレや他社クラウドに展開した Anthos クラスタにも、ASM と Cloud Run for Anthos の導入が可能ですが、以下では GKE にインストールする方法を記載します。 Anthos クラスタを作成GKE クラスタを Knative アドオン指定せずに作成します。 gcloud container clusters create "cr4a-cluster" \ --zone "asia-northeast1-b" \ --release-channel "stable" \ --machine-type "e2-standard-4" \ --num-nodes "3" \ --network "projects/[PROJECT_ID]/global/networks/[VPC_NETWORK]" \ --subnetwo

この記事は Google Cloud Japan Advent Calendar 2021 の 2 日目の記事です。Config Controller という新しいサービスを使ってガードレールを構築する話をします。 tl;drConfig Controller という Google Cloud リソースの管理・プロビジョニングを行ってくれるサービスが登場しました。Config Controller を活用することにより、柔軟なポリシー制御（ガードレール）と Reconciliation（自己修復）を組み合わせ Google Cloud 環境をより高度に管理することができます。Config Controller とはConfig Controller は Google Cloud リソースの管理・プロビジョニングをしてくれるサービスです。 Config Controller は Terraf

はじめにCloud Load Balancing で Hybrid connectivity NEG を利用した、ハイブリッド/マルチクラウドでの負荷分散機能 (ハイブリッド負荷分散) がサポートされました。 本記事では Cloud Load Balancing を利用したハイブリッド負荷分散の概要を説明し、また実際にオンプレミス上の Anthos クラスタと Google Cloud 上の GKE クラスタでのパスベースルーティングを試してみます。 tl;drHybrid connectivity NEG を利用することにより、オンプレミスや他社クラウド上のプライベートなエンドポイントを Cloud Load Balancing のバックエンドとして指定することができるようになりました。Hybrid connectivity NEG を利用した負荷分散 (ハイブリッド負荷分散) を構成す

はじめに早速ですが、皆さんはマイクロサービスを構築するとしたら、どのような構成を考えますか？ 多くの企業で、GKE を使ったマイクロサービス アーキテクチャが採用されています。選定理由として、Kubernetes が持つ機能や大きめなリソースが必要であったり、社内インフラチームによる Kubernetes のサポートがあるといった理由などがあります。一方、定期アップグレードなどの観点から、Kubernetes の運用は少し大変…と感じる方もいるかと思います。 GKE Autopilot の利用という考えもありますが、サーバーレスでコンテナを動かせる Cloud Run を使って、インフラ管理不要でマイクロサービスを構築が出来ると嬉しくないですか？ 実際、そういった構成を採用されている企業も見かけます。 この記事では、設計や実装時に考えるであろう、以下の 5 つのポイントにフォーカスしてみた

TL; DRCloud Run の Always on CPU を使うと、Cloud Pub/Sub から Pull する Worker を Cloud Run で実行出来ます。ただし、スケーリング等にいくつか諸注意があります。 はじめにCloud Run の Always on CPU が Preview でリリースされて、バックグラウンド タスクや非同期処理で使えると Twitter で宣伝したところ、私の tweet 史上、一番の反響を頂きました。ありがとうございます。また同僚の Shingo-san が素敵な解説記事を書いてくれたり、同じく同僚の Pottava-san も素敵なサンプルコードを書いてくれてたり。「tweet してるだけでいいのかい？本当に？」という私のエンジニアとしての良心の呵責があったため、私もこうして記事を書いています。 試したこと以前、お客様から Cloud

(images: github.com/egonelbre/gophers) こんにちは。 データエンジニアリンググループ（CETチーム）の寺下です。 自分の所属するCETチームでは今まで主にScala、Pythonなどを使ってAPIや基盤を実装してきましたが、最近では徐々にGoによる実装も増えてきており、GAE/GKE上で本番運用を行っています。 本記事ではGoのプロダクトにおいてDDDライクなpackage構成で実装する際の注意点や、汎用的に通用するであろう実装のTipsについて書いていきます。 本記事で紹介する例がベストプラクティスだというわけではありませんので、あくまで実装の一例程度に捉えて頂けると幸いです。 Goのアーキテクチャ Goは言語仕様がシンプルかつフォーマッタが強力なため、syntaxレベルでは開発者によってコードの品質がブレにくいというメリットがあります。 しかしなが

Kotlin が Android の公式言語になることが Goole I/O 2017 で発表されました。 Java プログラマが Kotlin を始めることがこれから多くなると思うので、 Kotlin をスムーズに始められるように次の 3 点についてまとめます。 Javaとほぼ同じところ 新しい考え方が必要でつまづきがちなところ Kotlinならではの便利なこと すべてを一つの投稿にすると長くなるので連載形式とし、本投稿では最初の「Javaと同じところ」について説明します。 Kotlinって何？ 本題の前に、 Kotlin について簡単に説明します。 まずは↓の Android のコードを見て下さい。これは Android Studio が生成するテンプレートの Kotlin 版です。 Android アプリ開発者であれば、初見でも概ね何をしているのかわかると思います。 class Ma

ここではxが購入したアイテムを、空欄が未購入のアイテムを意味ます。 これを行列では以下のように表現することとします。 >>> import numpy as np >>> x = np.array([ [1,1,1,0,0,0], [1,1,0,0,0,0], [0,0,1,0,1,0], [0,0,1,1,1,0], [0,1,1,0,0,0], [1,1,0,1,1,0], [1,0,1,0,0,0], [0,0,0,0,0,1] ]) このデータから、アイテム1〜アイテム6のそれぞれについて、レコメンドするべきアイテムを計算してみたいと思います。 なおこのブログでは、行列表現にNumPyライブラリを使います。NumPyについては、[Python] 行列やベクトルを扱うことができるNumPyに入門でブログを書いていますので、そちらもご参照いただけましたら幸いです。 Item-to-It

Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ

こんにちは、藤本です。 AWS re:Invent 2016 で CodeBuild がリリースされました。CodePipeline のビルドプロセスに CodeBuild を置くことができるようになりました。 CodeBuild に関しては以下の記事をご参照ください。 【速報】フルマネージドのビルドサービスCodeBuild爆誕 #reinvent 今回は CodeCommit、CodeBuild、CodeDeploy を CodePipeline で繋げて、デリバリプロセスの自動化を試してみました。 概要 昨今のシステム開発はユーザーの要望をより早く、より多く取り入れることを要求され、リリース頻度が増えてきたことに伴い、デリバリプロセスの自動化がデファクトスタンダードとなってきました。デリバリプロセスにはソースコード管理、ビルド、テスト、デプロイという 4つ主なフェーズがあります。下記

これからプログラミングやiPhoneアプリ作成を始めてみたい方を対象に、必要な知識を基礎から解説していく本連載「初心者のためのSwiftで始めるプログラミング入門」。前回「初心者でも絶対に始められるiPhoneアプリの作り方＆Xcode・シミュレーターの使い方」からは「動く絵本アプリ」を作ることを目標に、Xcodeを使ったiPhoneアプリ開発について解説しています。 前回はiPhoneアプリの作り始めのステップとして、Xcodeプロジェクトの作り方と、アプリを実行する方法を解説しました。自分が書いたプログラムがiPhoneアプリとして動作したことに、感動した人もいるのではないでしょうか。 さて、作り始めたiPhoneアプリを「動く絵本アプリ」として作り上げるには、次のような作業が必要です。 画面に部品を配置しレイアウト 画面に応じたプログラムの記述 このうち、今回は「画面に部品を配置しレ

こんにちは、あごながおじさんです。前回、 僕が英語を話せるようになるために実践した勉強法 で僕が実践した 「使える英語」の勉強法 を書いたけれども、資格が重要視される日本社会では、 社内の昇進条件や就職活動、学校の単位認定に大きな影響を与える場合が多い。 僕自身も学生時代、英語で外国人と会話するのがかっこいいと思っていた反面、短い期間ではあったがTOEICの勉強も並行して行っていた。 今日はそんな 僕がTOEICの点数をあげるために実践した勉強法 を話していきたいと思う。尚、いくつか教材を紹介するが、僕自身がすべてやったわけではなく、書店で見ていいなと思ったものも紹介していこうと思う。 TOEICの勉強法 僕は大学受験に失敗して自信を喪失しかけていた時に、「そうだ、英語ができればかっこいいじゃないか。」ともはや開き直りのような感じで英語を勉強し始めた。大学入学する直前にその時点での実力を測