本記事では、データマネジメント・ガバナンスの推進に使えそうなGoogle Data Catalogの機能を見ていきます。 「激熱！1日1製品！最強のデータ系SaaSはどれだ決定戦」アドベントカレンダーにて、これまで20の商用製品を取り扱ってきましたが、ついにネタ切れとなってしまいました…（涙）。候補として挙げていた製品は多いものの、トライアル環境を簡単に提供してくれるところがそこまで多くなかったのが現実でした。 というわけで、21本目と22本目ではクラウドベンダー製のデータカタログについて改めて見ていくことにします。本日はGoogle Data Catalog編です。 Google Data Catalogの機能をおさらい Google Data Catalogは、Google Cloudで提供されるデータ検出とメタデータ管理のためのサービスです。システム向けのメタストアというよりかは、デ

はじめに どーも、CX事業本部 MAD事業部の 田中孝明 です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 1日目 の記事です。 クラスメソッドでも Google Cloud をガンガン活用していくぞ！（あるいは既にしているぞ！）と言う気概のもと、今回のアドベントカレンダー企画が発足しました。 12/25 までの間、社内で Google Cloud を広めていきたい方々の熱い思いが綴られると思いますのでよろしくお願いします！ IAM について IAM は、どのクラウドサービスにも存在する、ユーザーやリソースに対しての権限を管理するサービスです。プロジェクトやリソース階層などの概念と同時にこの IAM の壁にぶつかります。本ブログでは自分が IAM を理解する上で気になった点をピックアップしました。 サービスアカウント について G

MAD事業部@大阪の岩田です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 2日目 の記事です。 個人的にマネージドサービスの裏側を想像するのが好きなので、FaaS実行環境でOSコマンドを実行して出力を見ながらニヤニヤするアレをやってみました。 やってみる ということで早速やっていきます。 トリガーはHTTP ランタイムはNode.js14 を指定して以下のソースコードを準備します。 const execSync = require('child_process').execSync; exports.helloWorld = (req, res) => { const cmd = 'ここに実行したいOSコマンドを設定' const result = execSync(cmd).toString(); res.status(200)

MAD事業部の小倉@大阪オフィスです。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 3日目の記事です。 Google Cloud学習のとっかかりとして、Cloud Functionsを試しています。 その中でドキュメントに紹介されていたFunction Frameworkについて試してみました。 Function Frameworkとは Function Frameworkを使うと、Cloud Functionで実行する関数をローカルで実行することが出来ます。 ローカルでの開発 Functions Framework やってみる Function Frameworkは様々な言語で用意されています。 都合（私の好み）により、今回はPython版を使い、ReadMeにある例を試してみます。 (※追記) 尚、以降の手順は以下の環境で実施し

どうもMAD事業部の新井です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 4日目の記事です。 今回はgRPCの双方向ストリーミングをCloud Runで試してみたいと思います。 Cloud Runは、アプリケーションを実行できるサービスの中でも「エンドツーエンドの HTTP/2 接続、WebSocket のサポート、gRPC の双方向ストリーミングが可能」という特徴があります。詳しくはこちらをご覧ください。 双方向ストリーミングにも対応しているということなので、勉強がてら試していこうと思います。 お題: おじさんとチャットする 最近寒くなってきましたね。 人肌恋しいこの時期には「おじさんとチャットして心を温めたい」と思う人も多いんじゃないでしょうか？ そんなあなたのために、今回はおじさんとチャットできるアプリをgRPC双方向ストリ

Google Compute Engine（GCE）のVMインスタンスのインスタンス スケジュールを使用して、起動と停止を自動化する。 データアナリティクス事業本部、池田です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の5日目の記事です。 Google Cloudの仮想マシン（VM）を提供するサービスの Google Compute Engine （以下、GCE）のインスタンスの 起動と停止をスケジュールすることで自動化してみます。 探した限りだとGUIでの情報があまりなかったので、今回はコンソールからGUIで行います。 触った範囲だと、公式のガイドのうち、特に↓この辺に注意が必要そうです。 【 VM インスタンスの起動と停止をスケジュールする 】 ・インスタンス スケジュールを使用するには、プロジェクトの Compute Engi

こんにちは！エノカワです。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 6日目 の記事です。 さて、私事ではございますが「Google Cloud から手軽にメール送信がしてみたい」 というのが、目下の関心事です。 Gmail API や SendGrid を利用する方法もありますが、他の方法は無いものだろうか。 例えば、他のクラウドサービスが提供するメール送信サービスを利用する方法とか、、、 ということで、今回はCloud Functions と Amazon SES を連携させてメール送信を試してみました。（強引） 概要 構成図はこんな感じです。 Cloud Functions で Amazon SES のメール送信APIを呼び出す関数を作成し、 コンソールからその関数を実行してメールを送信します。 今回はお試しということで、と

MAD事業部@大阪の岩田です。 本エントリはクラスメソッド Google Cloud Advent Calendar 2021の10日目の記事です。 私の所属するMAD事業部では近年ojichatを利用したサービスを構築する機会が増えているようです。 私もojichatを使ったAPIぐらいはサクッと構築できるようにならないとMAD事業部の流行から取り残されそうな危機感を感じたので、Cloud Functionsを使ったojichatのHTTP API構築に挑戦してみました。 環境 今回利用した環境です Go : 1.16.7 Functions Framework for Go : v1.5.2 ojichat: v0.2.2 やってみる ということでさっそくやっていきます。ローカル環境でAPIを開発し、動作確認が取れたらGoogle Cloud上にデプロイして動かしていきます。 ローカル

データアナリティクス事業本部・機械学習チームの貞松です。 今回は初のGoogle Cloud関連です。 本記事は「クラスメソッド Google Cloud Advent Calendar 2021」の12日目のエントリーです。 Google BigQuery上で機械学習を実行可能なBigQuery MLという機能があります。 この機能に関する概要と2020年12月時点の機能について、以下の記事にまとめられています。 2021年におけるBigQuery MLのアップデートトピックとして、異常検知機能の一般提供が挙げられます。 本記事では、BigQuery MLによる異条検知の概要について解説しつつ、適用可能なデータソース別の利用手順を示します。 BigQuery MLによる異常検知の概要 BigQuery MLによる異常検知は、2021年6月22日にプレビュー機能としてリリースされ、2021

こんにちは！エノカワです。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 13日目 の記事です。 さて、前回のエントリではCloud Functions と Amazon SES を連携させてメール送信を試してみました。 コンソールからCloud Functions の関数を実行して、Amazon SES 経由でメールを送信するというシンプルな構成でした。 実際の運用では、定期的に実行するバッチ処理の完了通知にメール送信の仕組みが利用されるのではないでしょうか。 例えば、サーバーレスでワークフローを定義できる Google Cloud の Workflows というサービスと組み合わせて利用するとか、、、 ということで、今回はGoogle Workflows で Cloud Functions をスケジュール実行してみました。（強引）

どうもMAD事業部の新井です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の14日目の記事です。 あまりいいネタも思いつかなかったので、前回作成したojichat-streamをGoogle Kubernetes Engine(GKE)にデプロイしてみようと思います。 正直GKEは触ったことないので、初歩的な内容になるかと思います。 概要 こちらのESPを使用したGKE用Endpointsのスタートガイドを参考に進めていきます。 GKE上のgRPCサーバーと通信するためにCloud EndpointsのESPv1を利用します。ESPv1はNginxベースのリバースプロキシとして動作し、サイドカーコンテナとしてアプリケーションと一緒にデプロイすることで、認証、モニタリング、ロギングなどのCloud Endpointsの機能が利用可能です

西田@大阪@MAD事業部です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 15日目 の記事です。 今回は Google Cloud Vision API を使って、PDFから文字を抽出し、簡易的なEPUB を作成してみました Cloud Vision APIとは Cloud Vision API は機械学習の知識がなくても、簡単に画像の解析が可能でサービスです。画像、PDF/TIFF からテキストを抽出したり(OCR)、ランドマーク検出、顔検出などができます。 参考: 機能リスト | Cloud Vision API | Google Cloud 構成 Input 用の Cloud Storage に PDFファイルをアップロードすると、 Cloud Function が起動し、 Cloud Vision API を利用した文字解

データアナリティクス事業本部・機械学習チームの貞松です。 今回もGoogle Cloudの機械学習関連サービスです。 本記事は「クラスメソッド Google Cloud Advent Calendar 2021」の17日目のエントリーです。 Google Cloudの機械学習サービスとしてVertex AI(旧AI Platform)があります。 今回はVertex AI上のデータセットとAutoMLの機能を利用して、画像中のペットボトル飲料を検出するモデルを作成します。 データセットの作成 データのアップロード まずは画像オブジェクト検出のデータセットを作成します。 任意のデータセット名を入力して、データタイプと目標の選択で画像オブジェクト検出を選択します。 リージョンについて、画像オブジェクト検出はasia-northeast1(東京)では使用できない為、今回はus-central1(

はじめに こんにちは、CX事業本部MAD事業部の森茂です。 本エントリーはクラスメソッドGoogle Cloud Advent Calendar 2021の18日目の記事です。 本記事の執筆でGoogle Cloudデビューしました。 みなさんもojichatをもっと手軽に利用できないかという相談をうけることがよくあるかと思います。 今回はそういったご要望に応える方法のひとつとして、Google Cloudの仮想マシンを作成できるサービスであるGoogle Cloud Compute Engine（以下GCE）をTerraformで構築し、手軽にコンソールのSSHターミナルからojichatを実行できる環境を構築してみました。 環境構築 Terraformを使って環境を構築するには事前の準備が必要になります。下記ツールのインストールとGoogle Cloudで利用できるプロジェクトを管理コ

DA事業本部コンサルティングチームのnkhrです。 本エントリは、Google Cloud Advent Calendar 2021の19日目の記事です。dbtを使ってBigQueryのクエリを開発・管理するための環境設定を行います。 dbtは、ELTにおいて主にTransform（データ加工）をカバーするツールで、SaaS版のdbt Cloud（Developer版はFree）とCommunity版のdbt Core があります。今回は、dbt Coreに含まれるコマンドラインインタフェース「dbt CLI」をWindows10にインストールします。 mac OSでdbt CLIによりBigQueryを操作する場合は、以下のブログが参考になります。 実行環境 環境 バージョン

はじめに おはようございます、MAD事業部の加藤です。 本エントリーはクラスメソッドGoogle Cloud Advent Calendar 2021の20日目の記事です。 Cloud RunにSession Managerを使って強引にシェルアクセスする方法を紹介します。Cloud Run、Session Managerともに想定されていないと思われる使い方をしており、Dockerコンテナ運用方法として褒められた物では無いので決して本番環境では使用しないようにお願いします。開発・検証環境でログ出力によるデバッグが手間、雑にでも良いからコンテナ上で簡単に行いたい作業がある場合などを想定しています。 解説 ハイブリッド環境におけるSystems Manager ハイブリッド環境（AWS以外の環境を併用すること）のサーバーをSystems Managerの管理下に置くためには、AWS上のインス