はてなブックマーク

TPUもリリースされ、CPU, GPU, TPUをどういった時に、何を基準に使い分ければよいのかと思っていたら、以下に記載されていることだったのでメモ。 https://cloud.google.com/tpu/docs/tpus Cloud TPUは特定のワークロードに最適化されているので、機械学習のワークロードによってはCompute EngineのインスタンスでCPUやGPUを使用した方がよいケースがある。一般的には、どの環境を選択すべきかは以下のガイドラインに従えばよい。 CPU 柔軟性があるプロトタイプを素早く作る必要がある場合 モデルのトレーニングに時間がかからないような単純なモデル 小さなモデル C++で記述されたカスタムTensorFlow operationが大部分を占めるモデル 利用可能なI/Oやホストのネットワークバンド幅が制限されているモデル GPU TensorF

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 以下の記事のメモ。 https://cloudplatform.googleblog.com/2017/07/help-keep-your-Google-Cloud-service-account-keys-safe.html GCPは堅牢なサービスアカウントの鍵管理機能を提供している。それは認可された適切なエンティティのみが稼働中のGCPリソースにアクセスできるようにする。 アプリ全体がGCP上で稼働している場合、サービスアカウントの鍵管理はGCP側で自動で鍵ローテーションなどを行ってくれるため容易である。しかし多くのアプリは様々な環

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 下記のメモ。図は下記URLのものを引用。 https://medium.com/google-cloud/the-12-components-of-google-bigquery-c2b49829a7c7 BigQueryの主要なコンポーネントについて顧客視点（利用者視点）からまとめている。 以下は顧客視点でのBigQueryの構成概要 Serverless Service Model BigQueryはサーバレスモデルで、VMやCPU/RAMのサイジングをする必要がない。BigQueryの計算能力はすごい伸縮性があり、数秒で数万コアま

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

以下のメモ。図なども以下のサイトから引用。 https://cloud.google.com/solutions/prep-container-engine-for-prod?hl=ja#communicating_within_the_same_cluster プロジェクト、ネットワーク、クラスタの構成 以下の構成がベストな構成。 本番環境用とテスト開発環境用のプロジェクトは分けて、本番環境は厳密なポリシーを設定する。 デフォルトネットワークを使うのではなく、自分でネットワークを作成し、管理しているIPアドレスにマップした方がよい。 FirewallルールはGKEノードへのIngressとEgressのトラフィックをフィルタするためにネットワークに適用される。 デフォルトではGKEノードに対する全てのインターネットトラフィックは拒否される。 サブネットワークは複数のゾーンを跨げるが、リー

概要 GCPでは以下３つの暗号化ソリューションを提供しており、今回は暗号化キーの作成や管理をクラウドベースで行うことができるサービスであるCloud KMSを使ってみる。（Encryption by defaultは利用者が気にしなくてもGCP側で勝手に暗号化してくれる） 引用：https://cloudplatform-jp.googleblog.com/2017/01/managing-encryption-keys-in-the-cloud-introducing-Google-Cloud-Key-Management-Service.html Cloud KMS API を利用することで介すことで、秘密管理やエンベロープ暗号化ソリューションの一部として、キーの作成、使用、ローテーション、破棄を可能にしている。 鍵の作成 手順1. KeyRing名とlocationを設定 KeyRi

GCP Next17でビッグデータと機械学習系のサービスに便利な機能が多く追加されたりしてるので、まずは気になったものをメモ程度に記載しておく。 元ネタは以下 https://cloud.google.com/blog/big-data/2017/03/google-cloud-platform-adds-new-tools-for-easy-data-preparation-and-integration Google Cloud Dataprep データを前処理するためのマネージド・サービス。データの前処理はデータ分析するために必須で重要な機能なので、とても気になるサービス。Daterepには以下の特徴がある。 https://cloud.google.com/dataprep/ 自動検知：値がスキーマにあってるかどうか自動で検知する ドラッグ＆ドロップ開発：直感的な操作を提供している

Digdagのワークフロー定義で直接BigQueryを操作できるようになっていたので試してみた。 実行環境：GCP　CloudShell digdag version: 0.9.5 digdagのインストール手順は省略： 今回試したのはBigQueryのあるテーブルをAvroフォーマットでGCSに格納する例。 BigQueryやGCSにアクセスするためには個人のアカウントやサービスアカウントを利用するが、処理の自動化を行う際はサービスアカウントを作るのが妥当。 サービスアカウントを作成し、鍵をjson形式でファイル出力する。このファイルをjson.keyとしてCloudShell上に配置。 DigdagのワークフローからGCPにアクセスするためには、Secrets情報としてgcp.credentialを設定する必要がある。 Digdagは秘密情報（パスワードや鍵など）をセキュアに管理するた

目的変数:予測したい情報 説明変数：予測に使う情報 モデル：説明変数と目的変数を結ぶ”箱”（数式やプログラム） 目的変数の方に応じて問題の種類が変わる 目的変数が数値型　⇒　回帰問題　（ex.売上予測） 目的変数がID型　⇒　分類問題（ex.クリック予測（クリックする or しない）） 目的変数の有無に応じて機械学習は以下の２種類にわけられる 目的変数がある：教師あり学習　　：　正解があって機械学習モデルで求める 目的変数がない：教師なし学習　：　データからパターンを見つけたい。 教師あり学習-回帰- 以下において、線形回帰分析（linear regression）以外は非線形回帰分析（nonlinear regression）。 線形回帰では線形パラメータが必要だが、非線形回帰では必要ない。線形パラメータとの関係を適切にモデル化できない場合は、線形回帰ではなく非線形回帰を使用する。 モデ

Spark SQLではDataFrameと呼ばれる抽象的なデータ構造（RDBのテーブルのように行と名前とデータ型が付与された列の概念を持つデータ構造）を用いる。DataFrameはRDD、HIVEテーブル、他のデータソース（ファイルなど）から生成できる。 -DataFrameによる操作 -テーブル形式のデータセットに対してクエリを発行 http://spark.apache.org/docs/latest/sql-programming-guide.html https://spark.apache.org/docs/1.5.2/api/python/pyspark.sql.html SparkSQLサンプルアプリの実行 Spark入門の６章に記載されているプログラムをScalaではなくPython3を使って書き直す。 csv形式のデザートメニュー（メニューID、メニューの名前、値段、カロ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

画像分類器にどう学習させるかについて、TensorFlow for Poets使用して作業する。 TensorFlow for Poetsはハイレベルのコードで分類器に学習させるために基本的に２つのスクリプトを実行すればよいだけであり、そしてパワフルな分類器である。 TensorFlow for Poetsで画像分類器に学習させるためにすることは１つ、学習データを供給すればよいだけである。 今回のゴールは5種の花を区別する分類器を作ること。 学習データの準備 既に花の学習画像データが用意されているのでダウンロードする。 % cd $HOME % mkdir tf_files % cd tf_files % curl -O http://download.tensorflow.org/example_images/flower_photos.tgz % tar xzf flower_phot

BigQueryを運用していると、どのユーザがどれだけコストを使用しているのか知りたいことがある。 そこで、その方法について以下のページに記載されているので実際に試してみる。 https://cloud.google.com/bigquery/audit-logs ##Cloud Audit Loggingを有効にする Cloud Audit LoggingはGCPによって提供される使用率のログを収集する。BigQueryのAuditログは"Administrative Activity"と”Data Access”のログから構成されている。 GCPコンソールでLogsViewerからExportを選択し、出力先のBigQuery Datasetを指定する。これにより、AuditLogがBigQueryに出力されるようになる。 ##AuditLogに対してクエリを実行し、ユーザ毎の使用コス

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

既存のアプリケーションをコンテナ化する際、GitHubからプログラムをクローンするケースがある。このとき、Dockerfileにアカウント名、クレデンシャル/Tokenを記載してしまうとセキュリティ的に問題がある。 これを回避するために、DockerEngine1.9から実装されたbuild-time argumentsの機能を用いる。build-time argumentsを利用することにより、Dockerfileのビルド時にパラメータを設定することができる。 Dockerfile ・・・ # Deploy application ARG GITHUB_ACCOUNT ARG GITHUB_CREDENTIAL RUN git clone -b develop https://$GITHUB_ACCOUNT:$GITHUB_CREDENTIAL@github.com/XXXX/YYYY/

図などは公式サイトから引用 https://docs.digdag.io/architecture.html Digdagとは Digdagは複雑なパイプラインのタスクを実行、スケジュール、モニタリングするためのツール。依存関係などをハンドルすることができる。 DigdagはDAG(Directed Acyclic Graphs)を使用することにより、cronの置き換えや、ITオペレーションの自動化、データ分析のバッチジョブ、機械学習のパイプラインなどにマッチしている。 https://www.digdag.io/ Digdagのアーキテクチャ ワークフロー自動化 ワークフローによりいくつかのマニュアルオペレーションを自動化することができる。ワークフローとしていくつかのタスクを定義し、Digdagはこれを実行する。タスクはoperatorプラグインを使用することで定義され、workflow

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? サービスアカウントは個人ではなくアプリケーションやVMに属する特別なアカウント。サービスアカウントは0以上のサービスアカウントのキーペアを持ち、Googleの認証に使用する。 サービスアカウントを使用する時、以下の点を明確にしておく必要がある。 どのリソースにアクセスできるようにすべきか どのパーミッションが必要か どこでそのコードは実行されるのか。（GCP or オンプレなど） サービスアカウントの特徴の一つとして、サービスアカウントをリソースやIdentityとして扱うことができる。 サービスアカウントをIdentityとして扱う時

オリジナルは以下のサイトです。訳しながら実際に試したメモになります。 https://docs.docker.com/userguide/dockervolumes/ 本章では、どのようにDockerコンテナ間やコンテナ内のデータを管理するかについて記載する。Docker 上のデータ管理として「データボリューム」と「データボリュームコンテナ」の２つがある。 確認作業を行った際のDockerのバージョンは以下のとおりです。 # docker version Client: Version: 1.8.0 API version: 1.20 Go version: go1.4.2 Git commit: 0d03096 Built: Tue Aug 11 16:43:14 UTC 2015 OS/Arch: linux/amd64 Server: Version: 1.8.0 API versi