Google Cloud Platformを活用したMachine Learningハンズオン - DMM inside
こんにちは！ CTO室、兼AI部の古川です。DMMでは、社内の業務効率や顧客向けサービスの品質改善のためにMachine Learning（ML）を活用しており、そこでAI部は、専門性の高いML技術の研究開発や、社内のML活用推進活動をしています。 しかし、徐々に導入を進めてはいるものの、そもそもどのような課題をMLで解決できるのかについて、ビジネスサイドでもエンジニアサイドでも理解が浸透しているとは言えません。そこで、先日8月24日にGoogle CloudのData Analytics Technical Specialistである下田倫大さんをお招きし、Google Cloud Platform（GCP）を活用したML導入を検討するハンズオンを開催するに至りました。 Google Cloud AIの提供するツール MLを活用したAIの活用事例は年々増加しています。その一方で、MLモデ
【AWSしかやったことない人向け】AWSとGCPのネットワークの違いを理解してみよう - まーぽんって誰がつけたの？
背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
GCPのContainer Registryに格納したDockerイメージにACLでアクセス権を設定する -- ぺけみさお
サマリGoogle Cloud Platform(GCP)の外にあるホストからContainer Registry(GCR)に格納したプライベートDockerイメージをpullできるようにした方法のメモです。以下の4ステップで実現できました。 Dockerイメージにアクセスするための専用のサービスアカウントを作成するDockerイメージが格納されるGoogle Cloud Storage(GCS)のバケットに対してACLを設定するGCP外のホストにサービスアカウントの認証情報を設定するGCP外のホストからgcloud docker -- pullしてイメージを取得するこの手順はGCRの公式ドキュメントのアクセス制御を参考に、プライベートなDockerイメージを参照できるようにした手順になります。 前提以下の前提があります。 GCRを既に使用しているGCP SDKのコマンド(gcloudとg
AWSとGCPのマルチクラウドインフラ検証の進め方
今回はGCPでの検証を行った際の進め方について説明していきます。インフラを作り込みすぎずに検証したことで、早めに想定外のボトルネックに気
Terraformを使って GCP Pub/Sub から AWS Lambda へのPush通知の仕組みを作成した - Qiita
先日作ったのでその覚書的なものです。 簡単に言うとこんな感じのものを作りました。 GKE上のDockerアプリ -> Stackdriver logging -> Pub/Sub -> Lambda -> Slack 作成の動機 概ね以下の背景です。 GCPをメインに、AWSも多少織り交ぜつつな感じのアプリケーションを作っている。 Stackdriverでアプリの監視を行っているがエラーログを検知したらSlackに通知する仕組みが欲しかった。 Stackdriver単体だとログ内容をSlackに通知できなさそうだった。 StackdriverはフィルタリングしたログをPub/Subへ流すことができるらしい。 Pub/Subはキューにデータが流れてきたときに指定したエンドポイントにPush通知できるらしい。 と、こんなかんじの前提があり Pub/Sub から lambda に流して、そこから
Microsoft Corporation
Microsoft Learn. Spark possibility. Build skills that open doors. See all you can do with documentation, hands-on training, and certifications to help you get the most from Microsoft products. Learn by doing Gain the skills you can apply to everyday situations through hands-on training personalized to your needs, at your own pace or with our global network of learning partners. Take training Find
GCPとterraformに入門しつつdockerのv1.13新機能stack deployを試してみた - Qiita
今年に入ってdockerのVersion1.13がリリースされたことを小耳に挟んだので、 普段はトラディショナルなオンプレ環境しか触ってないOpsが、勉強がてら試してみたメモです。 目的 以下のかっこいい技術を触ってみる（普段オンプレCentOS5触ってますが何か） GCP terraform docker 構成としてはこんな感じを目指します 構成のポイントとしては + GKE(Google Container Engine)じゃなくて敢えてGCE(Google Compute Engine)でCentOS7サーバを構築する(オンプレをイメージ) + dockerはもちろんswarmモードでクラスタを構成する + CentOS7サーバの構築など、GCPの操作はterraformで"Infrastructure as code"っぽく構築する 手順 前提条件 GCPのアカウント登録は完了して
機械学習最前線！Cloud Machine Learning を始めてみた！
最近、機械学習・深層学習というワードをよく耳にするようになりましたね。機械学習は知っているけど、実際に使ったことは無いという方もいるのでは無いでしょうか。昨年、Googleから機械学習のためのクラウド サービスが発表されました。それが、Google Cloud Machine Learningです。 Google Cloud Machine Learning は、サイズを問わず、あらゆるデータの機械学習モデルを簡単に構築できるマネージド プラットフォーム（Google Cloud Platformで提供）です。Google Cloud Machine Learning（以下Cloud ML）の裏では、Googleが開発した機械学習ライブラリであるTensorFlowが使われています。しかし、TensorFlowや機械学習の知識が無くても、Cloud MLは簡単に試すことができます。 今回は
スケーラブル GCP アーキテクチャ
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
GoogleCloudPlatform ContainerEngine（Kubernetes)でコンテナ管理入門(基本的な使い方、Registry、Blue/Green Deployment、ResizeCluster、MultiZoneClusterとか) - Qiita
GoogleCloudPlatform ContainerEngine（Kubernetes)でコンテナ管理入門(基本的な使い方、Registry、Blue/Green Deployment、ResizeCluster、MultiZoneClusterとか)DockerkubernetesGoogleContainerEngineGoogleContainerRegistryGoogleCloud はじめに 先日GoogleCloudOnBoardという大きなイベントに参加しまして、色々と感動したわけです。私もGCP布教に一役買おうと思いContainerEngineについて書いてみました。 前回はAWS ECSを書きましたけど、やっぱりコンテナ管理といえばKubernetesですよ。 今回も前回とだいたい同じシナリオでやってみたいと思いますが、Autoscalerだけはベータでの提供との
Google Cloud Container Builderを使う - Qiita
本稿はGoogle Cloud Container Builderの可能性を探る試みだ。Google Cloud Platform(1) Advent Calendar 2016の23日目の記事として書かれるはずのものだった（ごめんなさい）。 Google Cloud Container Builderとは Google Cloud Container Builderとは，Google Cloud StorageまたはGoogle Cloud Source RepositoryにあるソースコードからDockerイメージを作成するためのサービスだ。GitHubのリポジトリ連携できないならもういいや，などと考えて読むのを止めようとする方がおられるだろうが，少し待ってほしい。Google Cloud Source RepositoryはGitHubまたはBitbucketのソースコードを同期する
月間50億PVを捌くアクセス解析サービスをGCPで作る (検証: データ収集編) - Qiita
今年もWACULのアドベントカレンダー、順調に埋まって、残すところ2日です。 クリスマスイブを担当する、CTOの包です。 なかなか濃い記事がいっぱいあって、よくもまぁこんな人達が集まったなぁという感慨深い感じです。 今日は妻と娘たちとケーキを作って食べました。ホイップクリームを泡立器で作ったら疲れたのでブレンダーがほしいです。 アクセス解析サービスを作ろう さてさて、今回は、(弊社のような)弱小企業に務めるあなたが、会社の偉い人とかに、Webサイトにいれるアクセス解析ツール作ってね！しかも一人で！ とか言われた時のために、GCPを使った構成を考えて検証してみました。 (あたなが、goとjavaをちょっと書けること前提です！) 検証なので、細かいエラー処理などは省いていますのでご了承を。 アクセス解析ツールの構成部品 Webのアクセス解析ツールを作るにはほんっとざっくり言うと 何はともあれ、
AppEngineで作るComputeEngineの定期バックアップシステム - misc.tech.notes
この記事は、Google Cloud Platform Advent Calenderの21日目の記事です。遅れに遅れてしまい大変申し訳ありません。。。 エントリー時は「Cloud Functionsでなにか」と書いていたのですが、イマイチ目新しい機能も出ておらず良いネタがでなかったので、過去にAppEngineで作ったComputeEngineの定期バックアップシステムの紹介をしたいと思います。 前置きと概要 AWS方面ではわりと早い段階からAPIとタグを駆使したEC2の定期バックアップ手法は有名でした。EC2にバックアップ世代数のタグを設定し、そのタグがついているインスタンスを対象にバックアップを行うバッチを定期で起動します。 blog.suz-lab.com 最近だと、CloudWatch Eventsを利用してEC2要らずで行うことができます。 qiita.com GCEでの例を見
機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャのお話 - ZOZO TECH BLOG
はじめに こんにちは、CTOの今村です。 先日弊社のiQONが3年連続でGoogle Play「2016年ベストアプリ」に選ばれました。また、今回ベストイノベーティブ部門の大賞を受賞しました。 イノベーティブ部門ということなので、Androidアプリの品質だけでなく、アプリの中にある様々な機能の技術的な取り組みも評価してもらった背景があるのかなと個人的には感じています。 さて、ちょうど先日Minami Aoyama Night #1にて、弊社のデータまわりのアーキテクチャについてお話させていただく機会がありました。 今回は2016年12月時点での、機械学習とデータ分析を支えるAWSとGCPを利用したマルチクラウドアーキテクチャについて紹介したいと思います。 最近のデータまわりの取り組み 今年になってからVASILYは過去のテックブログでも紹介したように、データまわりの取り組みを一層強化して
go-app-builderのソースコードを読む #golang #gae - Qiita
はじめに みなさんはGAE/GoのSDKがどうやってコードをビルドしているのか知っていますか？ 私は正直ふわっとしか理解できておらず、きっと小人さんがビルドしてるんだろうなくらいに思ってました。 当然、小人さんじゃなくて、どこかにgoapp buildとかを呼んでいるコードがあるんだろうとは思っていましたが、どうやらgo-app-builderというツールがそれをやっていることを知ったので、調べてみることにしました。 今回は、ソースコードを読んでいく過程で分かったことをまとめたいと思います。 なお、ここではSDKのバージョンはappengine-1.9.48を使っています。 ソースコードはどこにあるのか さて、go-app-builderはどこにあるんでしょうか。きっとSDKのディレクトリのどこかです。 実はSDK以下にあるgorootの中に入っています。 $ ls $(goapp env
運用フェーズにおけるGCPとAWSの違いについて - Qiita
Google Cloud Platform(2) Advent Calendar 2016 8日目を担当するk-bataです。 Qiitaへ投稿するのは初めてで読みづらい点もあるかと思いますが、最後までお付き合いくださいませ。 今年になってGCPの東京リージョンが発表され、AWSにしか関心がなかった自分がGCPを触ってみたところ、非常に使いやすいと感じました。 特に運用フェーズではGCPの方が使いやすいと感じるところがありましたので、AWSと比較しながら紹介したいと思います。 対象となるかた AWSでたくさんのアカウント（VPC）を管理しているインフラ担当 GCPに興味はあるが、運用で楽できるのか不安に思っている方 ハードウェアメンテナンスで仮想マシンが停止しない AWSで１００台以上のインスタンスを運用していると、月に一度はどこかの仮想マシンがメンテナンス再起動の必要に迫られます。 AW
実践的なGAE/Goの構成について #golang #gcpja - Qiita
2016年のGCPはFirebaseのアップデートから始まって東京リージョン開設と色々進化がありました。GAEよりはその他のGCPのサービスに注力していたのかなという印象です。 でもアジア初のGAEが日本というのは大きなニュースでした！ 2017年にもどんどんデータセンターを増やすみたいで色々楽しみですね。 ちなみにGAEのChannel APIは来年シャットダウンされるらしいです。移行先としてリアルタイムの通信はFirebaseを使うのが公式のオススメのようです。 そう言えばGoogle Cloud PlatformもGoogle Cloudに改名してましたけどGCだと口頭でもわかりにくいしググラビリティも良くないのでGCPって言っていきたいです。 (追記: GCPでいいようです) そして本題の今年のGCPのアドベントカレンダーでは、皆悩んでいるらしいGAE/Goの構成についてです。 前
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWSとGCPでマルチクラウドインフラを構築した話とそのポイント | PLAID engineer blog
https://qiita.com/Dr_ASA/items/cbdd0b74f93b80e775f3
https://qiita.com/Dr_ASA/items/afde80819dc3644bf210