TerraformでGCP環境を構築してみる
はじめまして。GMOアドマーケティングでインフラを担当しているa.sです。 今回はTerraformを用いて、GCP上に検証環境を構築する機会がありましたので、構築に伴う一連の作業をご紹介します。 構築内容 既存のオンプレミス環境から接続可能なKVSサーバ環境を構築します。 目的として、オンプレミス環境上に構築しているKVSサーバを物理的にスケールする作業のコストを クラウド化することで下げたいというものです。 以下のような構成になります。 KVSサーバはGCPで提供されているCentOS7のイメージを使用して構築します。 オンプレミス環境とGCP環境の通信はVyOSとGCP上のVPN Gatewayで暗号化して行います。 KVSへの接続は内部ロードバランサを介して各KVSサーバにバランシングする設計としています。 Terraformのtfstateファイルの管理はGCS(Google C
Python が Cloud Functionsで使えるようになったので試してみました - astamuse Lab
こんにちは、アスタミューゼでデザイナーをしている@YojiShirakiです。最近、細かい自動化したい処理が増えてきて困っておりまして。そんな折に Cloud Functions で Python が使えるようになったと聞いたので早速触ってみようかと。 そこそこちゃんと書いたので、読む時間が無い方はブックマークすることをおススメします。 目次 Cloud Functions とは 今回の練習アプリ 前提 JSON キー の発行と管理 権限の追加 Search Console へのアカウント追加 KMS を利用して JSON 鍵 を暗号化する JSON 鍵 を暗号化するための暗号鍵を作成 暗号鍵を用いて JSON 鍵 を暗号化 バイナリファイルを文字に変換する Cloud Functions のコード 構成 main.py BigQuery のテーブルスキーマ function のデプロイ
Stackdriver Logging を利用して特定の条件に一致したLogの情報をSlackに通知する - selmertsxの素振り日記
最近、Cloud Functionsを利用してサーバレスでシステムを構築しています。けれども、まだまだサーバレスでシステムを作り慣れていないので、Cloud Functionsが正しく実行されたのか、ちょっと不安なので確認したいと考えていました。そこで、Cloud Functionsが実行完了した際に、それを検知してSlackにメッセージを送信する仕組みを作ってみたので、その説明をします。 TL;DR Cloud Functionsが実行完了した際に通知してくれる仕組みを作りたかった Cloud Functionsの実行ログが流れる stackdriver loggingを利用して、フィルタを設定する フィルタに一致するログを受け取ったら pub/subでメッセージを送信 上のメッセージをフックにしてSlack通知を行う Cloud Functionを実装 それによって目的を達成するシステ
Google音声認識の結果をGoogle翻訳し、Google Text-to-Speechで音声に戻すPythonスクリプト - 備忘録
いい加減タイトルが長くなってきた。 Google翻訳をPythonから使うためのライブラリを使って、音声翻訳をしたということ。 pip3 install SpeechRecognition pip3 install gTTS pip3 install googletransとしてインストール。以下のスクリプト。 #!/usr/bin/env python3 # pip3 install SpeechRecognition # pip3 install gTTS # pip3 install googletrans import speech_recognition as sr import subprocess from gtts import gTTS from googletrans import Translator out_mp3 = '/tmp/synth.mp3' if __n
GCPサービスアカウントでgsutilを利用したりAPIアクセスする方法 - kikumotoのメモ帳
GCPのリソース、例えばGoogle Cloud Storageにアクセスする際に個人のアカウントを使って gcloud auth login などで認証すればgsutilでアクセスできるけれど、サーバーサイドのアプリケーションなどからアクセスする場合は個人のアカウントで認証したくはないですね。 このような用途のためにGCPにはサービスアカウントというのがあるようです。このサービスアカウントを使ってGCPリソースにアクセスする方法についてメモっておきます。 サービスアカウントの取得 Google Developer Consoleの "APIs & auth" -> "Credentials" -> "Add credentials" から "Service account" を選択します。 そうすると Key type として "JSON" か "P12" を選択できるので、"JSON"
新Google翻訳をAPIから呼び出して、未翻訳の技術書読みまくるマンになる(1) - Qiita
こんにちはー。 11/16に新google翻訳が発表されました。 pythonから新Google translate apiを叩いて新翻訳結果が取得できましたので、やり方簡単にまとめます。 この内容はPython mini-Hack-a-Thon 第71回の発表物です。 前書き 基本的には、Googleの手順通りの内容です。英語バリバリ読める人はそちらを見てください。 (そもそも英語ができないからこんな記事を書いている！) Google Cloud Pratform(GCP)に触ること自体が初なので、試行錯誤しながらガチャガチャいじった結果です、あまりきれいに纏まっていません。 もっとうまいやり方ご存知の方は、ぜひより良い記事ををお願いしますね。 環境 windows10 python3 pyCharm cmd 手順 GCPサインアップ クレジットカード登録必須？ GCPでプロジェクトを作
AWSとGCPの対応表(2016年7月版) | DevelopersIO
あえて元の表には手を加えないようにしています。 注意点 幾つかのサービスが表から抜けています。 目立ったところでは AWS Lambda とその対応物であるGCP Cloud Functions でしょうか。Cloud Functions はまだ Alpha のため、あえて外しているのかもしれません。 また AWS IAM/GCP IAM も表にありません。GCP IAM は今年3月の GCP NEXT 2016で発表されたばかりで、AWS IAM と比べると機能的に大きく見劣り、単純にサービスの有無だけで表にのせるのはフェアではないとの判断からかもしれません。 基礎サービスと高レベルサービスの関係 AWS/GCPともに基礎となるサービス(Compute/storage/Networking/Databases)の上に高レベルサービス(Application services/Big da
GCP Service Accountを理解する - Qiita
サービスアカウントは個人ではなくアプリケーションやVMに属する特別なアカウント。サービスアカウントは0以上のサービスアカウントのキーペアを持ち、Googleの認証に使用する。 サービスアカウントを使用する時、以下の点を明確にしておく必要がある。 - どのリソースにアクセスできるようにすべきか - どのパーミッションが必要か - どこでそのコードは実行されるのか。（GCP or オンプレなど） サービスアカウントの特徴の一つとして、サービスアカウントをリソースやIdentityとして扱うことができる。 - サービスアカウントをIdentityとして扱う時、リソースにアクセスするためのロールをサービスアカウントに与えることができる。 - サービスアカウントををリソースとして扱う時、サービスカウントにアクセスするためのパーミッションをユーザに与えることができる。Owner,Editor,View
TerraformによるGCP環境の管理
gcp_2016_advent-calendar_1.md この記事はGoogle Cloud Platform(1) Advent Calendar 2016の3日目となります！ Google Cloud Platform（以下、GCP）のサービスも一部はTokyoにようやくRegionが来たことだし、そろそろ利用してみたいと思った人も多いのではないでしょうか。 今回は、Google Compute Engine(以下、GCE）をTerraformを利用して構成管理をしてみます。 特に意味はないですが、気づいたら文字ばかりだったので、下記に今回利用するサービスのロゴを載せます。 GCP Terraform Terraform is 何？という方は、一言で言うと複数のプロバイダ（AWS、GCP、Azure）に対応した構成管理ツールです。 昨今、色々な環境も増えてきて、構成管理をそれぞれのプ
Google Compute Engine のSSH接続 - Qiita
前回も触れましたが表題のSSH接続についてもうちょっと深く掘ってみました。 基本形(gcloudコマンドによるssh) まずは gcloud auth login まずは gcloud auth login でログインしましょう。ブラウザで認証するアレですね。 これによってgcloudコマンドがgoogleアカウントに紐付けられます。 auth loginはしょっちゅうする必要は無くて、作業端末を再起動しても情報は残るようです。多分どこかのファイルに書かれるんでしょうね。 もうログイン済んでるはずって人は次のコマンドを試してみましょう。どんな状態になっているかを確認することができます。 $ gcloud config list [core] account = newgyu disable_usage_reporting = False project = upheld-caldron-X
Digdag + embulk + BigQuery + Re:dash でデータ分析基盤構築の夢を見る - 雑なメモ
Digdag が Apache License 2.0 の元でオープンソース化されましたよ！ さぁ試すんだ…！ 今すぐにでも！ https://t.co/Uzc4a5GLCe ドキュメント：https://t.co/PF8wy5KHln— Sadayuki Furuhashi (@frsyuki) 2016年6月15日 Digdagが先日リリースされたのをきっかけにデータ分析基盤構築の夢を見た。 今回は、Google Cloud Platform（以下、GCP）のコストを可視化かつ分析可能にしてみて、まずはDigdagの使用感を試してみることにする。 事前知識 Digdagとは Workload Automation Systemである。以下の記事が詳しい。 EmbulkとDigdagとデータ分析基盤と 分散ワークフローエンジン『DigDag』の実装 at Tokyo RubyKaigi
そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver) - Qiita
そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver)AWShadoopSparkEMRGoogleCloud 0.はじめに Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の14日目です。(投稿が過ぎてしまって本当にすいませんでした。。。) タイトルは若干煽り目ですが、今年はAmazon EMRとGoogle Dataprocを使う機会が多かったので、実際に利用しての現時点における機能比較と使ってみての所感についてまとめてみようかと思います。 補足や誤り等あればぜひお願いいたします。 先に結論 現時点においては適材適所なのでどちらが絶対的優勢とは言えないのですが、以下が現時点におけるベターな使いかたかなと思います。あくまで所感です。
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
【2015年版】AWS ユーザが Google Cloud Platform に15分で入門する！ - Qiita
Google Cloud Platform Advent Calendar 2015 の第一夜を光栄にも務めさせていただきます！ 第一夜ということで出来るだけそれに相応しいテーマを選ぼうと思い、「AWSは使ったことがあり、Google Cloud Platform（以下GCP）は使ったことがないが、興味がある」ひとがGCPを使ってみよう！と思えるような記事になれば良いなと考えながら書きました。これを見て一人でも多くの方がGCPを使ってみるきっかけになれば幸いです。 また GCP Advent Calendar 2015 の明日以降の記事ではGCPのより深い魅力を掘り下げた良記事がたくさんあることでしょう！そちらも御覧ください。 GCPとは GCPはGoogleが提供するIaaSであり、Amazonの提供するAWSに相当しますが、Googleが自社インフラとしてのクラウド環境を我々一般客にも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCEはどこまでディスクを拡張できるのか？手順は？
GKEで半年運用してみた