GCEでJupyterを構築
こんにちは、GMOアドマーケティングのS.Rです。 皆さん Googleのクラウドサービス、GCPを使ったことがありますか ？GCPはGoogleさんから提供されている仮想マシン（VM）、BigData、機械学習などのクラウドサービスです。今回は一つの活用方法としてGCPの仮想マシンサービス、GCEでJupyterを構築する方法を皆さんに共有させていただきます。 １シナリオの説明： 普段のデータ分析に関する業務の中の重要な作業に、分析結果の可視化があります。Jupyter Notebookでこの問題が解決できます。Jupyter Notebookは下記のメリットがあります。 分析データから図や表を作成しやすい。 よく使う統計学のLibraryに連携しやすい。 よく使う機械学習のLibraryに連携しやすい。 Markupやコードが一緒に含まれます。 結果をpdfでダウンロードできます。 ２
GCPでCloud Functionsを作る際の個人的なTIPS - selmertsxの素振り日記
この記事は技術同人誌Advent Calendar 2018の19日目の記事です。 こんにちは。 @selmertsxです。主にRailsのサーバーサイドエンジニアをやってます。 技術同人誌 Advent Calendarということで、今年の11月にNextPublishing様から出版させて頂いたAmazon Web Servicesサーバーレスレシピ という本に書ききれなかった、「Serverlessでチャットボットを作る」というお話を、僕が以前作った serverless-prpolice というslack botを題材にお話をさせていただこうと思っていました。 しかしながら、最近の業務ではGCP(Google Cloud Platform) のCloud Functionsを利用していることが多く、そちらのキャッチアップをしたいなぁという気持ちになりました。そこで、最近作った Cl
Gmail APIとPub/Subでリアルタイムメール受信 on ruby - Qiita
Gmail API, Google Cloud Pub/Sub(以下Pub/Sub), Herokuを使った、リアルタイムメール受信がしたい…したくない？ 普通、どうしてもメールの受信にはラグが発生します。pull型なので。pull間隔を短くしたりして、リアルタイムに近づけたりしますよね。 今回は、pullではなくpushを使って、gmailに届いたメールをリアルタイムで感知する方法を行います。わぁ、イマドキ。 注:完璧な動作というわけではなく、落とし穴があります。ないしは私の実装で変な部分があります。あとがきに記載しておきました。 目的 特定のメールが届いたらリアルタイムにLINEに通知が来るようにしたいから。 (ifttt信者の私が、不満に思っている点である、LINEやdiscord,slackとの連携が出来ないのを改善するため。) 流れ 1, GoogleCloudPlatform(
Cloud AutoML Vision が本当にノンプログラミングで使えるのか試してみた
2018年9月にサンフランシスコで開催されたGoogle Cloud Next ’18において、「Cloud AutoML Vision」のBETAリリースが発表されました。 Cloud AutoML Visionは、機械学習に関する高度な知識を持たずとも独自の画像認識モデルを作れるサービスとなっており、AIの民主化を掲げるGoogle Cloudを象徴するサービスとして注目が高まっています。 本当に高度な機械学習知識を持たずとも画像認識モデルが作れるのか、全くプログラミングができない私が実際にCloud AutoML Visionを使ってモデルを作ってみました。 1.AutoML Visionは簡単に独自の画像認識モデルが作れるサービス Google Cloudの画像認識サービスとして「Vision API」というサービスが既に提供をされています。Vision APIは簡単に画像認識技術
GCPが注目を集める背景と、ITエンジニアがGCPをいま学ぶべき理由とは (1/3)：CodeZine（コードジン）
パブリッククラウドといえば、AWSやAzureを思い浮かべる方が多いのではないでしょうか。しかしながら、2016年11月に東京リージョンが開設され、日本でも一気に認知度の高まりを見せているGoogle Cloud Platform（GCP）。来年には大阪リージョンも開設され、GCPは益々盛り上がりを見せることでしょう。これまで、AWSやAzureといった他のパブリッククラウドしか使ってこなかった企業やエンジニアも、GCPに興味を持ち始め、GCPクラウドベンダーであるクラウドエースにも数多くの問い合わせが来ています。また、他社でGCPに触れたエンジニアが、その魅力に取り憑かれ、続々と入社しています。ここでは、GCPの魅力をご紹介するとともに、いまこそGCPを学ぶチャンスであることをお伝えします。 はじめに クラウドエースは、GCPを専門に導入支援や運用、開発をしているクラウドベンダーです。そ
「Google Kubernetes Engine」で小規模クラスタが簡単に実行可能に：オープンソースツールや新テンプレートを公開 - ＠IT
「Google Kubernetes Engine」で小規模クラスタが簡単に実行可能に：オープンソースツールや新テンプレートを公開 Googleは、「Google Kubernetes Engine」において最大4ノードの小規模クラスタを簡単に手ごろなコストで実行するための一連のツールとドキュメントなどをリリースした。 Googleは2018年10月4日（米国時間）、「Google Cloud」に含まれる「Google Kubernetes Engine（GKE）」において、最大4ノードの小規模クラスタを簡単に手ごろなコストで実行するための一連のツールとドキュメントなどをリリースした。 GKEは、Google Cloudのインフラを使用して、コンテナ化されたアプリケーションのデプロイや管理、スケーリングを行うマネージド環境を提供するサービス。オープンソースのコンテナオーケストレーションプラ
GCP と OAuth2
はじめにGCP のサービスにプログラムからアクセスするためには必ず認証・認可が必要ですが、以下のような様々なコマンドや概念が出てくるので少しとっつきにくい印象があります。 gcloud auth logingcloud auth application-default loginService AccountApplication Default Credentialsこれらの概念は認証・認可のベースとなっている OAuth2 の文脈で眺めてみると全体像が理解しやすくなるので、本記事でまとめてみたいと思います。 GCP での認証・認可GCP の認証・認可は一部(*)を除いて全て OAuth2 ベースでやり取りされています。(* API Key) OAuth2 は三者間の手続きです。 3-Legged OAuth2Client が Resource Owner の代わりに Resource
完全マネージドなKubernetesサービス、「VKE」とは
主要パブリッククラウドベンダーが軒並みマネージドKubernetesを提供する中、VMwareが「VMware Kubernetes Engine（VKE）」を発表した。完全にマネージドであることと、マルチクラウドが大きな特徴という。 VMwareは2018年8月26日、年次イベントVMworld 2018で、マネージドKubernetesサービスの「VMware Kubernetes Engine（VKE）」を発表した。β版の提供を開始したという。主要パブリッククラウドベンダーが軒並みマネージドKubernetesを提供する中、VKEを選択する理由はどこにあるのだろうか。 VKEはVMwareがパブリッククラウド上で提供するサービス。現在はAmazon Web Services（AWS）上で動いている。一般提供開始時には、US-West-2（オレゴン）、US-East-1（北バージニア）
GCPをフル活用したゲームログ収集基盤の構築
Rist_Meetup_Kaggleは業務の役にたつ - ビジネスコンテンツ情報を活用する BtoB 事業編 - / rist-meetup-20241012
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
TerraformでGCP環境を構築してみる
はじめまして。GMOアドマーケティングでインフラを担当しているa.sです。 今回はTerraformを用いて、GCP上に検証環境を構築する機会がありましたので、構築に伴う一連の作業をご紹介します。 構築内容 既存のオンプレミス環境から接続可能なKVSサーバ環境を構築します。 目的として、オンプレミス環境上に構築しているKVSサーバを物理的にスケールする作業のコストを クラウド化することで下げたいというものです。 以下のような構成になります。 KVSサーバはGCPで提供されているCentOS7のイメージを使用して構築します。 オンプレミス環境とGCP環境の通信はVyOSとGCP上のVPN Gatewayで暗号化して行います。 KVSへの接続は内部ロードバランサを介して各KVSサーバにバランシングする設計としています。 Terraformのtfstateファイルの管理はGCS(Google C
クラウドではじめる機械学習：Google Cloud Machine Learningを使ってみよう
こんにちは、GMOアドマーケティングのMHです。 実際に機械学習をプロダクトに取り込む場合には大量のデータをどうやって扱うのか、大規模な学習を行うために必要なリソースは、、など考えることが色々と出てきます。 そのため、オンプレミスで大規模な機械学習環境を構築するのは中々ハードルが高いですが、Google Cloud Machine LearningやAmazon Machine Learning、Azure Machine Learning などをクラウド環境を利用することで手軽にスケール可能な機械学習環境を構築することが可能です。 今回は、Google Cloud Machine Learningを使ってクラウド上で機械学習を行ってみたいと思います。 Google Cloud Machine Learningとは データ量に関係なくあらゆるデータの機械学習モデルを簡単に構築できるマネージ
GCPのGKEを使ってKubernetesクラスタを作成してみる | 株式会社ビヨンド
技術営業部の大原です。 GCPのコンテナオーケストレーションツール「Google Kubernetes Engine（GKE）」を使って ネットワーク負荷分散のクラスターを作成します。 はじめに Google Kubernetes Engine（GKE）には、 ネットワーク負荷分散をマネージドしてくれる機能があります。 ネットワーク負荷分散を使用するには、 サービス設定ファイルに type: LoadBalancer フィールドを含めるだけで、 GKE がサービスをセットアップしてネットワーク負荷分散を接続します。 参照：https://cloud.google.com/kubernetes-engine/ 今回はGCPの管理マシンの [Cloud Shell] を起動して設定していきます。 利用リージョンの確認 最初にgcloudのデフォルト値・環境変数を設定します。 自分の [プロジ
株式会社メルカリの導入事例：Kubernetes を駆使したマイクロサービス化でグローバルサービスの開発効率を劇的に向上 | Google Cloud 公式ブログ
日本国内で圧倒的なシェアを誇り、今や知らない人はいないというほど認知度を増した「メルカリ」。その勢いは国内だけに留まらず、2014 年 9 月には米国に、2017 年 3 月には英国でのサービスを開始しています（世界累計 1 億ダウンロード。2017 年 12 月 16 日時点）。海外展開に消極的と言われる国内サービス事業者ですが、同社に関してはその常識は通用しないようです。今回は、そんなメルカリの米国における最新の取り組みについて、今春 CTO に就任した名村 卓さんと、SRE 中島 大一さんにお話をお伺いしました。 ■ 写真左から 執行役員 CTO 名村 卓氏 SRE 中島 大一氏 ■ 利用している Google Cloud Platform サービス Google Kubernetes Engine、Cloud Dataflowなど ■ 株式会社メルカリ 2013 年 2 月 1 日
株式会社メルカリの導入事例：Kubernetes を駆使したマイクロサービス化でグローバルサービスの開発効率を劇的に向上 | Google Cloud 公式ブログ
日本国内で圧倒的なシェアを誇り、今や知らない人はいないというほど認知度を増した「メルカリ」。その勢いは国内だけに留まらず、2014 年 9 月には米国に、2017 年 3 月には英国でのサービスを開始しています（世界累計 1 億ダウンロード。2017 年 12 月 16 日時点）。海外展開に消極的と言われる国内サービス事業者ですが、同社に関してはその常識は通用しないようです。今回は、そんなメルカリの米国における最新の取り組みについて、今春 CTO に就任した名村 卓さんと、SRE 中島 大一さんにお話をお伺いしました。 ■ 写真左から 執行役員 CTO 名村 卓氏 SRE 中島 大一氏 ■ 利用している Google Cloud Platform サービス Google Kubernetes Engine、Cloud Dataflowなど ■ 株式会社メルカリ 2013 年 2 月 1 日
AWSとGCPを運用してみてわかったこと | CyberAgent Developers Blog
はじめまして。 アドテクスタジオ インフラエンジニアの村井翔太朗(@Show_murai)です。 本記事は CyberAgent Developers Advent Calendar 2017 の 8 日目の記事となります。 私はアドテクスタジオのインフラ横断組織のCentral Infrastructure Agency(以下CIA)に所属しています。 CIAからアドベントカレンダーには6人参加しているので、 是非他のメンバーの記事も合わせてお読み下さい。 アドテクスタジオではパブリッククラウドのメインストリームの2つである、 Amazon Web Service(以下AWS)とGoogle Cloud Platform(以下GCP)を主に利用しています。 はじめに この記事を書こうかと思ったモチベーションとしては、 アドテクスタジオで利用しているパブリッククラウドとしてAWS、GCPを
AWS vs GCP 今から作る ならどっちがいいの!?
Plants vs thieves: Automated Tests in the World of Web Security
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ローカルマシンで時間がかかる機械学習のトレーニングをGoogle CLOUD MACHINE LEARNING ENGINEを使って高速化する
GoとGCPとkubernetesを使った MF KESSAIの歴史
GCP | 株式会社トップゲート