GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで - エンジニアHub｜Webエンジニアのキャリアを考える！
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで GitHubが公式に提供するGitHub Actionsは、後発ながらよく使われるワークフローエンジンとなっています。本記事では、藤吾郎（gfx）さんが、典型的なCI/CDのユースケースに即したワークフローの設定と管理について解説するとともに、注目されているGitHub OIDC（OpenID Connect）の利用についても紹介します。 GitHub Actionsは、GitHubが提供するCI/CDのためのワークフローエンジンです。ワークフローエンジンは、ビルド、テスト、デプロイといったCI/CD関連のワークフローを実行し、定期実行するワークフローを管理するなど、開発におけるソフトウェア実行の自動化を担います。 ▶ GitHub Actions - アイデアからリリースまでのワーク
GCPにクラウドゲーミングPCを用意してQuest2 + VirtualDesktopでVRゲームを遊ぶ - TouTouTree
はじめに 誰向け ことわり 事前に用意するもの 手順 GCPでの前準備 VMインスタンスの作成 インスタンスの実行とRDPでの接続確認 VR用ゲーミングPCの環境構築 最新のNVIDIAドライバーのインストール Oculus、Steam、VirtualDesktop、VRChatなどのVRゲームのインストール、マイクの設定 ファイアウォールの設定 インスタンスを起動しVRアプリケーションを起動する。 インスタンスの停止 パフォーマンス 費用 GCP VirtualDesktop その他のトラブルシューティングなど RDPの接続が上手くいかない。RDPを切断するとVirtualDesktopが繋がらなくなる。VirtualDesktopで接続後すぐに切断される。 Oculusのインストール時のエラー Virtual Desktopでネットワークプロフィールに関するWarning 「VRCha
公式ドキュメントで説明されているけど、同僚に何度か説明する機会があったり、作る必要のないサービスアカウントキーを目にすることも多いのでまとめておく。 認証情報が登場しないアプリケーションコード 例えば以下のコードで Secret Manager に保存したトークンを取得することができる。SecretManagerServiceClient にサービスアカウントキーを渡さずとも動作する。 const {SecretManagerServiceClient} = require('@google-cloud/secret-manager'); const client = new SecretManagerServiceClient(); (async () => { const [secret] = await client.accessSecretVersion({ name: 'proj
こんにちは、Sally社 CTO の @aitaro です。 マーダーミステリーアプリ「ウズ」とマダミス制作ツール「ウズスタジオ」、マダミス情報サイト「マダミス.jp」を開発しています。 はじめに この記事ではウズの開発当初から利用していた Docker Compose をやめることにした背景についてご紹介します。 Docker Compose は各マシンの開発環境での差異を吸収するというメリットがあり、多くの開発現場で導入されていますが、Docker Composeの抱えているデメリットを勘案して、最終的に一部を残して辞める決断をしました。 Docker Composeの特徴 Docker Composeは、複数のコンテナを定義し、管理するためのツールです。ウズの開発環境では、バックエンド、フロントエンド、データベースなどをそれぞれコンテナ化して、Composeで一括管理していました。こ
こんにちは、メルペイソリューションチーム所属エンジニアの＠orfeonです。 この記事は Merpay Tech Openness Month 2021 5日目の記事です。 メルペイソリューションチームでは、社内向けの技術コンサルや技術研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供などを行っています。 自分は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部の成果はOSSとして公開しています。 この記事ではいろいろな場面で必要とされるものの、運用負荷などの問題から導入の敷居が高い検索機能を(条件付きで)簡易に提供するためのソリューションを紹介します。 基本的なアイデア 全文検索や位置検索など、検索はいろいろな場面で必要とされる機能です。しかしいざ検索サーバを立てて運用するとなると、データの整合性やモニタリングなど考えないといけないことも多く、利用に二
PythonでApache beam 入門
2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
GCPで基本に戻って始める実践 Infrastructure as code再入門#1 - VISASQ Dev Blog
こんにちは！ 2020年2月からSREチームにJoinしました木村です! 仕事をする上での座右の銘は「明日交通事故にあってもシステムと仕事を回せるようにすること」です。 基本に戻って始める。と表題では書いていますが、私元々はAWS職人でGCPに本格的にコミットしてからまだ3ヶ月位です! なのでヒィヒィ?言いながらGCPのキャッチアップに努めているわけですが今回は過去にAWSで得たInfrastructure as Codeの知識とビザスクに入社してキャッチアップで培ったGCPの知識を元に基本に戻って始めるGCPのInfrastructure as Code再入門ということで書かせていただきます。 尚実際に書き始めたら量が膨大になってしまったのでいくつかパートに分けて 書いていきたいと思っております。 今回やること GCPのCompute Engineをスコープとして Terraformを使
はじめに シェルスクリプトに関しての長所と短所をまとめてみました。多くの短所を上げていますが、私はシェルスクリプトを嫌っているわけではなく（むしろ逆）、現在のシェルスクリプトが抱える問題点を明らかにし、シェルスクリプトはどう使うべきか？ またはどう使うべきではないか？ 問題点があるならばそれを解決することはできないか？ を考えるためにまとめています。問題を解決するにはまず問題点を明らかにしなければいけません。 またシェルスクリプトを本来の用途に合わないものに使うと逆に開発が難しくなってしまいます。それは使い方が悪いわけでシェルスクリプトの問題ではありません。間違った使い方によってシェルスクリプトの価値が不当に下げられてしまうことを減らすために、あえて多くの短所をあげています。つまり最初からこんな用途に使おうと思うな。ということです。（使うことを禁止はしませんが、わかった上でやりましょう。実
KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ - GMOインターネットグループ グループ研究開発本部
2020.10.05 KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ こんにちは。次世代システム研究室のY. O.です。 筆者はデータ分析のスキルアップのためにkaggleというデータ分析プラットフォームを活用しています。kaggleを始めてから約2年間を経て、スキルアップの枠を超え、趣味・生活の一部・etc.になってきてしまっているのも認めざるを得ません。。。 今回は、先日kaggleの自然言語処理コンペ（Tweet Sentiment Extraction）で2位になった結果を題材に、振り返りの意味を込めて”こうしておけば良かった”という点をMLOpsの観点でまとめていきたいと思います。 ここで、kaggleを取り巻くMLOpsの構成をKaggleOpsと勝手に呼ぶこととし、少なくとも筆者は今後のコンペでも以下にまとめ
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
こんにちはdelyでサーバーサイドエンジニアをしているyamanoiです この記事は「dely #2 Advent Calendar 2020」の12日目の記事です。 adventar.org adventar.org 昨日は@yochidrosさんの「KMMでiOS・Android を共通化しよう」でした。 みなさんwebサイトを作成する時にSPAを利用していますか？ SPAはユーザーに対してメリットが大きいですが、SEO観点やOGPタグのレンダリング等で SSRが避けられない場面に出くわすことがあると思います。 SSRが不要であればビルドして生成された成果物をs3等でホスティングするだけなのでデプロイや、運用が楽なのですが、 SSRをするとなるとNode jsの実行環境必要になります。 ある程度大きなプロジェクトであればECSやGKE, GAEに載せてガッチリと運用すべきだと思いますが
【解説編】CircleCIからOIDCを用いて安全にGoogle Cloudにアクセスする - KAYAC Engineers' Blog
SREチーム(新卒)の市川恭佑です。これはカヤックSRE連載の2月号です。 よく見ると投稿日が3月になっていますが、どちらかと言うと2月が28日までしかない方に問題があるので、大丈夫です。(何が？) ということで、2023年も滑り出し好調のカヤックSRE連載ですが、前回の記事ではCircleCIからGoogle CloudにOIDCでアクセスする方法について、 ちゃんと動く(はずの)ソースコードをサクッと紹介いたしました。 techblog.kayac.com さて、Google CloudとCircleCIをお使いの皆様、もうOIDC対応は完了しましたか？ 安心してください。私のプロジェクトでも一部未完遂です。(おい) ということで今回は、前回紹介したソースコードを深掘りして解説します。 私と同じように、途中でなんか面倒になって一旦塩漬けにしたら正直忘れかけてる長い道のりの途中にいる皆様
Firebase Test Labで動かしていたiOSのE2Eテストを実機で動かして安定化させたら開発者の喜びが爆上がりした話 - Uzabase for Engineers
本記事は、NewsPicks Advent Calendar 2022 の 12/14 公開分の記事になります。 こんにちは。NewsPicks SREチームの 海老澤 です。 今回は iOSのE2Eテストを実機で動かす上でのインフラ周りの設定方法を紹介しようと思います。 課題 構成図 詳細 cdk Mac側の処理 結果 課題 NewsPicksではサーバーリリース時に Firebase Test Labで iOSのE2Eテストを実行していました。 Firebase Test Labは時間帯(夕方くらいになると混んでくる傾向)によってはテスト開始が遅い場合があり、リリースサイクルを高速化するために実機iPhoneでの安定したE2Eテストの実行に取り組みました。 構成図 構成図は以下です。 まずリリース時にAWS Step Functionsから SQSにメッセージを送信し、S3のテスト結果
複数の AWS アカウントの AWS Security Hub 検出結果を Google BigQuery と Google DataPortal(DataStudio) により可視化した話 - Adwaysエンジニアブログ
こんにちは、インフラの天津です。今日は 複数アカウントの AWS Security Hub 検出結果の可視化についてお話したいと思います。 前提 モチベーション AWS Security Hub とは 構想 ツール・サービスの選定 検出結果データのエクスポートについて 可視化用データベース（またはクエリサービス）と可視化ツールについて 構築 全体像 検出結果データエクスポート 検出結果データの S3 -> GCS への転送と BigQuery へのインポート Security Hub からエクスポートしたデータには BigQuery のカラム名に使用できない文字(以下禁則文字)が使用されている件 自動判別で生成されたスキーマでインポートした際に INTEGER 型のカラムに STRING 型のデータが入ってくることがありインポートエラーが発生する件 AWS アカウントデータの S3 ->
この記事は、Merpay Advent Calendar 2022 の10日目の記事です。 こんにちは。メルペイ Data Management TeamのData Managerのhyrrot（@hyrrot）です。 メルカリグループでは、社員がデータに基づく意思決定を行えるようにするために、Google BigQueryを使って構築したデータウェアハウスを管理・運用しています。様々なデータソースからBigQueryにデータを取り込んでから、dbt（data build tool）を利用してデータウェアハウスに取り込まれたデータを変換し、利用者がスムーズにデータを利用できるようにしています。 引用: mercari engineering 本記事では、こちらのdbtを実行するシステムをどのように設計・実装したかについて説明します。 dbtに限らず、何かを定期的に実行するシステムをGCP
【エラー】gsutil TypeError: cannot pickle '_io.TextIOWrapper' object - ITips
Python 【エラー】gsutil TypeError: cannot pickle '_io.TextIOWrapper' object コマンドラインからGoogle Cloud Storage (GCS) を操作することができる gsutil パッケージ。 GCSからファイルをコピーする際に gsutil cp コマンドを使うのだが、複数ファイルの場合直列に処理すると遅い。 そこで並列に処理するために gsutil -m cp を実行したら以下のエラーが発生した。 gsutil TypeError: cannot pickle '_io.TextIOWrapper' object 一体何が間違っているのだろうか。 今回はこの gsutil TypeError: cannot pickle '_io.TextIOWrapper' object のエラー原因と対処法について解説する。
はじめに Cloud Run 関数について Functions Frameworkについて コードサンプル ディレクトリ package.json tsconfig.json index.ts トリガー別のCloud Run関数 HTTP関数 ローカルでのテスト(HTTP関数) デプロイ(HTTP関数) Cloud Storage イベント ローカルでのテスト(Cloud Storage イベント) デプロイ(Cloud Storage イベント) Pub/Sub ローカルでのテスト(Pub/Sub) デプロイ(Pub/Sub) 終わりに はじめに こんにちは。GMO NIKKO の KONCE です。 今回は Cloud Run 関数について Functions Framework と TypeScript を導入する機会があったので方法と Cloud Run 関数のそれぞれのトリガーに
前回はテキストマイニングの手法と OSS を用いた実践について紹介しました。今回は、Google の T5(Text-to-Text Transfer Transformer) によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。 1. はじめに 本記事では Google の T5(Text-to-Text Transfer Transformer) 1によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。実験としては livedoor ニュースコーパス2での文章分類、やさしい日本語コーパス3及びやさしい日本語拡張コーパス4を用いたやさしい日本語変換を行いました。今回も Google Colaboratory で動かすことを想定したコードスニペットを入れていきますので、実際に動かしたり対象を変えてみたりして試して頂けると良いかと思います
開発者がコマンドラインからGoogle Cloud Storage (GCS) を操作できるようにした gsutil パッケージ。 複数のファイルをGCPにコピーする場合は gsutil cp コマンドを並列に処理する為に gsutil -m cp src_dir/*.txt gs://my-bucket といった感じで使う。 複数コピーは可能だが、指定したファイルのみ複数コピーするにはどうしたらよいのか。
GCPでできるだけ安くディープラーニング
私は仕事でも趣味でもディープラーニングをしています。趣味ではいつもGoogle Colaboratoryを使ってお金をかけずにディープラーニングしていたのですが、Colabは1日12時間ほどしかGPUを使えず、しかも頻繁に学習タスクを回していると弱いGPUしか利用できなくなるので、進捗があまりよくありませんでした。そこで、お金を使って進捗を出すことを考えました。 Google Cloud Platform（GCP）なら、ちょっと弱めのGPU（Tesla T4）を1時間あたり約12円で借りられます。これならまあ趣味の予算で可能だと感じたので実際にやってみたのですが、GCPは思った以上に複雑で、わかりづらい点が多くありました。そこでこのブログでは、GCPに登録するところから、１コマンドでディープラーニングできる環境を構築するまでの方法を紹介します。 手順Google Cloud Platfor
コマンドラインからGoogle Cloud Storage (GCS) を操作することができる gsutil パッケージ。 複数のファイルをGCPにコピーする場合は gsutil cp コマンドを並列に処理する為に gsutil -m cp といった感じで使う。 しかしあるとき以下のようなエラーが発生した。 Argument list too long この Argument list too long エラーは何故発生したのか。 回避する方法はあるのか。 今回はそんな問題を解決するために、「gsutilで"argument list too long"エラーが出る原因」を解説する。
【BQML応用記事】BigQuery MLで作った機械学習のモデルでオンライン予測を実施する | DevelopersIO
先にトレーニングデータ(train.csv)をデータセットに追加しておきます。 モデルのトレーニング 先ほど追加したデータを使ってトレーニングを行います。BQMLならSQLで簡単にトレーニングも実施できますね。 使うモデルはXGBoostでいこうと思います。（ちなみに最初はAutoML Tablesを使う予定でしたが、オンライン予測はまだ対応していませんでした） CREATE OR REPLACE MODEL Titanic.xgboost_model OPTIONS( MODEL_TYPE='boosted_tree_classifier', INPUT_LABEL_COLS=["Survived"] ) AS SELECT * EXCEPT(PassengerId, Name, Ticket, Fare, Cabin) FROM `Titanic.train` モデルのエクスポート モ
こんにちは、インフラ部の id:sue445 です。 前回に引き続きGitLabのGCP移行について紹介します。 前編の記事はこちらになります inside.pixiv.blog 今回の目次 今回の目次 やったこと2: 実際にGCPに構築した GitLab構築に関係するリポジトリの構成 gcp-gitlab-terraform gcp-gitlab-playbook gcp-gitlab-helm 備考 全体の構成図 webservice (GitLab本体) GitLab CI 3rd party製のDockerイメージから公式のDockerイメージに移行した Docker Swarmは継続利用 GitLabを複数ゾーンで動かすための準備だけした やりたかった構成 現在の構成 Cloud IAPとTunneling SSH Connectionsを利用したgitアクセス Tunnelin
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Googleのクラウド環境上にファイルを保存できるGoogle Cloud Storage (GCS)。 GCSを使っていると、バケットのなかに保存したファイルがいくつあるのか数えたくなることがある。 しかし数が多いとブラウザ上で数えるのは大変。 そこでGCSをコマンドで操作できるようにした gsutil パッケージを利用して数える。 今回は、「gsutilでGCSバケット内のファイル数を数える方法」を解説する。
Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた - KAYAC Engineers' Blog
こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察しの方もいらっしゃるとは思いますが、BQinは弊社藤原のRinから着想を得ています。 このツールは一言で表すと、データ投入先がRedshiftからBigQueryに変更されたRinです。 プロダクションに投入し1ヶ月以上になりますが、深刻な問題は発生せず動いております。 開発動機的な話 とあるプロジェクトでAWS S3にデータが投入されるから、GCP BigQueryへデータを転送したいという話がありました。 はじめのうちは、Cloud ComposerやBigQue
MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする | CyberAgent Developers Blog
MySQL のバックアップに Percona XtraBackup を使って、Amazon S3 へ直接バックアップする 技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です☺ #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 弊社では Cycloud と呼ばれる、サイバーエージェント社内で運営されているプライベートクラウドがあります。 CyberAgentのプライベートクラウド Cycloudの運用及びモニタリングについて #CODT2020 / Administration and Monitoring for Cycloud 僕が担当しているいくつかのサービスでも Cycloud を利用
こんにちは、上野です。 前回に引き続き、Google Cloudのセキュリティ設定第２弾です。今回は監査ログ（Cloud Audit Logs）です。 監査ログは「誰が、いつ、どこで、何をしたか」を残すログで、AWSだとCloudTrailですね。目的はAWSと同じなのですが、設定方法や見え方がけっこう異なるので、概要を掴みつつ追加の保存設定を見ていきます。 Google Cloudの監査ログ 監査ログには、管理アクティビティ監査ログ、データアクセス監査ログ、システムイベント監査ログ、ポリシー拒否監査ログの4種類存在します。 管理アクティビティ監査ログ ユーザーが VM インスタンスを作成したときや IAM権限を変更したときに記録されるログで、いわゆる一般的な監査ログです。デフォルト有効で、無効にできません。 データアクセス監査ログ BigQueryやCloud Storageなど、データ
はじめての自然言語処理 Hugging Face Transformers で T5 を使ってみる | オブジェクトの広場
前回が分量的にやたらと重かったので、今回はその反省(反動?)を踏まえて軽い感じでいってみます。第7回で紹介した T5 ですが Hugging Face の Transformers でもサポートされてますので、その使用方法をご紹介したいと思います。 1. はじめに 今回は久しぶりに T5 の話です。T5 に関しては第7回、第8回で一度紹介しているので、未読の方は記事に目を通してから戻ってきて頂けると、より理解がしやすいと思います。 さて、 T5 ですが Google のオリジナルコード(以下 “t5"と記述)1は敷居が高いと感じる方もいらっしゃるのではないでしょうか。 Estimator API ベースのコードや gin による設定など慣れていないと、とっつきにくいのではないかと思います。 そこで今回は Hugging Face の Transformers 2を使って T5 を動かす方法
急に街歩いてて「富士山見てぇ！」となることありませんか？僕はしょっちゅうあります。そんな時のために、富士山が見える場所を速やかに探せる地図を作ってみました： wherecaniseefuji.web.app 本稿は「Plateauのデータで遊んでみたい！」「GISデータを使ってグリグリ動かせる3D地図を作ってみたい！」という方のために、この地図の作り方をざっくり解説します。ものすごく長いので、自分が興味のある部分だけ読んだらいいと思います。 全体の流れ 扱うデータ CityGMLフォルダの中身 データを読み込む 建物データ 地形データ 富士山が見える建物を全部探す 結果を使いやすい形に出力する XYZタイルってなに？ Leaflet用の2D画像を用意する OSMBuildings用のGeoJSONを書き出す 可視化ページの作成 Leafletで2D地図を描画する OSMBuildingsで
Vertex AI AutoML で作成した機械学習モデルを Cloud Run にデプロイする - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは？ Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ローカルの Docker コンテナで予測を実行する Artifact Registry にモデルをアップロードする Cloud Run にモデルをデプロイする Cloud Run サービスに予測リクエストを送信する Vertex AI & Cloud Run Vertex AI および Cloud R
gcloud コマンドラインを使用した Cloud Storage の転送速度の向上 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 7 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 驚くべきことに、ビジネス上の多くの問題は、いかに早くバケットを満たせるか（データを転送できるか）というところに行き着きます。特にそのバケットが Cloud Storage にあり、それを Compute Engine インスタンスからのデータで満たす場合はなおさらです。大量のデータを迅速に移行できる Storage Transfer Service のようなサービスもありますが、小規模な移行にはより戦術的なソリューションを必要とすることがあるため、gsutil cp は高い人気を誇っています。転送を分割して並行して実行することで、gsutil cp はかなり高速になります。 しかし、gsutil の転送を高速化するにあたり、微調整が必要な場合もあります。たとえば、単一の
背景 IAMはアクセス制御をする上で非常に重要な仕組みですが、一方で複雑になりがちです。 間違った理解のままだと必要以上の権限を与えてしまい、事故の原因となるので押さえておくべき点をいくつかまとめてみます。 リソース階層 GCPのIAMにはリソース階層があり、それぞれの階層を意識した上でIAMポリシーを設定する必要があります。 ref: リソース階層を使用したアクセス制御 | IAM のドキュメント | Google Cloud リソース階層は４つのレベルがあります。 組織レベル フォルダレベル プロジェクトレベル リソースレベル（一部のサービスのみ） IAMポリシーは階層構造になっていて、最終的にリソースで有効なポリシーは、そのリソースに設定されたポリシーとその上位レベルから継承されたポリシーの和となります。 このような考え方はReBAC(Relationship-Based A
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー（Bucket Lock） オブジェクト保持（Object Lock） Autoclass Autoclass とは バケット作成後の
はじめに AIの発展に伴い、MLOpsに関する話題も盛んになってきています。ただ、ほとんどは本番環境用の話題で、開発環境整備についての話題が少ないように感じました。本番環境と違い、開発環境の整備はあまり重要視されてない場面も多いような気がしますが（Notebookで全部やってるなど）、研究開発環境も整ってないとすぐに深刻な状況になっていってしまうと思います。 そこで本記事では、開発環境整備の重要性と方法について書いてみようと思います。話題のKubeflow Pipelines（GCP AI-Platform Pipelines）、CloudTPU、TensorFlow等、これらの技術を使って環境構築を行なってきたのでその話をします。（互いに親和性が高く、やりたいことが十分に行えるため選定しました） 要約：現在の研究開発環境 これらの技術を使えば、簡単に以下のことができるようになります。 1
G-genの杉村です。限定公開の Google アクセス (Private Google Access) を使うと Google Cloud サービスの API に External IP を持っていない VM からでもアクセスできるようになります。当記事では、この機能を詳細に解説します。 限定公開の Google アクセスとは 仕様 利用するドメイン名 "利用するドメイン名" の意味 デフォルトのドメイン名を利用する private.googleapis.com / restricted.googleapis.com を利用する private.googleapis.com / restricted.googleapis.com の違い 違いはなに？ private.googleapis.com restricted.googleapis.com 選択フローチャート 有効化の手順 デフォ
2020-03-31 Google Cloud Data Platform Day #2 #gc_dpday｜諏訪真一
2020/03/31 に開催された Google Cloud Data Platform Day #2 のイベントレポートです。 ●イベント概要 ビジネスの成長を加速させるクラウド型データ分析プラット フォームとは 企業におけるデータ活用が進む中、データマネジメント、データ分析を支える分析基盤は重要になっています。Google Cloud はフルマネージドで実績のあるデータ分析プロダクト（BigQuery、Cloud Dataproc、Cloud Dataflow など）や、サーバーレスのアプローチでデータ分析基盤の複雑な運用をなくし、ビジネス上の重要な意思決定を迅速かつ効率的に行うことができるプラットフォームを提供しています。 本セミナーでは、データプラットホームとしてオンプレやクラウドをご利用中のお客様に、これからの Data Warehouse、Data Lake、Stream An
Chromium を Build して動かすまでの待ち時間を「7 時間」から「30 分」まで高速化してみる - Nao Minami's Blog
Chromium をゼロから Build して動かしてみる という前回のブログでは、Chromium を Build して動かすという一連のフローを試してみました。 この時は、Checking out and building Chromium on Linux の手順に従って作業をしました。これは、「最新の Chromium」を Linux 上で Build する事が出来るしっかりした公式手順です。しかしながら、8core, 32GiB memory の GCP VM instance でも Build に 6-7 時間程度かかってしまうのがネックでした。 そこで今日は、Chromium を Build して動かすまでのサイクルを 30 分で試せるようにすること を目指します。7時間と比較すると約15倍の高速化です！ なお、具体的には 事前に Build 済みの Object File
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GCP の Application Default Credentials を使った認証 - ぽ靴な缶
モノレポの開発環境でDocker ComposeをやめてTaskfileを導入した話
お手軽な検索API構築 | メルカリエンジニアリング
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
シェルスクリプトの長所と短所のまとめ - Qiita
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
Cloud Runで手軽にサーバーレス・SSR(サーバーサイドレンダリング) - dely Tech Blog
Cloud Buildで何かを定期的に実行するノウハウ | メルカリエンジニアリング
Cloud Run 関数でのFunctions Framework導入まとめ(TypeScript)
はじめての自然言語処理 T5 によるテキスト生成の検証 | オブジェクトの広場
gsutil cpでリストで指定したファイルをコピーする方法 - ITips
gsutilで"argument list too long"エラーが出る原因 - ITips
GitLab GCPに 移行した（中編） - pixiv inside
gsutilでGCSバケット内のファイル数を数える方法 - ITips
Google Cloudの監査ログを理解する&長期間保存方法 - NRIネットコムBlog
Plateauを使って「富士山🗻が見える場所マップ」を作ろう - 河本の実験室
GCPのIAMを使う上で理解しておくこと - Carpe Diem
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
Cloud Storage(GCS)を徹底解説 - G-gen Tech Blog
Kubeflow Pipelinesで快適なAI研究開発環境の整備を進めた話 - Qiita
限定公開の Google アクセスの仕組みと手順をきっちり解説 - G-gen Tech Blog