Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
Cloud Firestoreで「いいね」機能を実装するときの勘所
Cloud Firestoreで「いいね」機能を実装するときの勘所Tuesday, December 31, 2019 何かしらのサービスを作る際に、ユーザー同士のコミュニケーションを促進させる機能の一つに、 TwitterやInstagramなどのサービスでおなじみの「いいね」機能があります。 機能としては 投稿等に「いいね」をつけることができる（♡だったり☆だったりシンボルは様々) 「いいね」がどれだけついたか、その数がわかる (最近だとInstagramがいいねの数の表示をなくしましたね🤔) 投稿等に「いいね」をしたユーザーの一覧が見れる 自分が「いいね」をした投稿等の一覧が見れる といったものが挙げられます。 このような機能ををFirebase、Cloud Firestore(以下Firestore) を使って実装する場合、 どのように実装するのか、どのような設計が良いのか、 逆
Cloud Run と GitHub Actions を使って Pull Request 単位でプレビュー環境を立ち上げる - wadackel.me
はじめに 最近 Google Cloud Platform の Cloud Run が GA となったのが話題に上がりました。また gcloud コマンドを GitHub Actions 上で簡単に扱うための GoogleCloudPlatform/github-actions もリリースされました。これまで使われることの多かった actions/gcloud は deprecated となりアーカイブされています。 これらのサービス、ツールを使うことでかなり簡単に Docker コンテナを動かす環境を構築できます。そのユースケースの一つとして、実際に僕が携わっているプロジェクトでレビューコスト低減のために行っている、Pull Request (以下 PR) 単位で独立したプレビュー環境を起動する方法についてメモがてらブログにまとめようと思います。 前提 以下のようなアプリケーション、プロ
第3回 Natural Language API で質問応答システムに挑戦|Tech Book Zone Manatee
連載第3回目では、第2回目に続いて、Natural Language APIを使います。WikipediaのAPIと組み合わせて、質問文を元に検索を行い、その結果を返すシステムを作ってみましょう。 はじめに 今回はNatural Language APIの少しひねった使い方に挑戦してみましょう。 お題は「日本の首都はどこですか？」と話しかけたら「東京です」と返してくれるような質問応答システムです（ただし、この作例では回答候補とスコアを返すという形で結果を表示します）。 さすがにGoogleアシスタントのような高性能なものが簡単に作れるとまではいきませんが、Natural Language APIを工夫して使う例としては悪くないかと思います。 一見するとNatural Language APIの機能だけでは実現できなさそうなシステムを、どうやって作っていくのか。 その過程を通して皆さんに機械
Docker環境でGoogle Cloud APIへの認証を行う - GAミント至上主義
よく忘れるのでメモ。 ググって出てくるページだと gcloud auth application-default loginしろとか、コマンドが出てくるけどDockerだといろいろ面倒なので、鍵ファイルを用いた認証がしたい。 GCPのコンソールから「IAMと管理」→「サービスアカウントを作成」。 URL的には下記。 https://console.cloud.google.com/iam-admin/serviceaccounts/project?project={プロジェクトID} 当たり前だけど権限は必要なものだけにして、複数のアプリがあれば、それぞれに作ったほうが良い。 もし間違って鍵ファイルをGitHubに公開してしまった時などは危ないので、すぐこの画面から削除して、新しい鍵に差し替えればおｋ（以前やった）。 アプリごとに鍵を変えていれば、その作業も最低限で済む。 作成すると、鍵フ
GCP外のホストからDockerコンテナのログをStackdriver Loggingに送る -- ぺけみさお
はじめにGCPとStackdriver LoggingについてGCPのStackdriver Loggingは、AWSでいうCloudWatch Logsに相当するサービスです。 かつてはGoogle Cloud Loggingという名前ですが、2016年9月にStackdriver Loggingに名前が変わりました。(ややこしい!) GCPの操作ログや、GCPの各サービスが出力したログ、GCE(Google Compute Engine)上のアプリケーションが出力するログの他、GCP以外のホスト、果てはAWSからもログを出力してStackdriver Loggingに集約することができます。 DockerとロギングドライバについてDockerはロギングドライバという仕組みでログの出力形式や出力先を切り替えることができます。 このうちGoogle Cloud Logging driver
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
