はてなブックマーク

はじめに 機械学習を利用する目的は、アルゴリズムに基づいて何らかの予測を得ることだと言えます。予測を提供（サービング）する方法の一つは、モデルをラップする形でAPIサーバーを構築することです。 Google Cloud Platformの統合AIプラットフォームであるVertex AIでは、こうしたサービングをクラウド上でホストすることができます。本記事では学習済みの機械学習モデルをもとに、Vertex AIで予測をサービングするまでを紹介します。 Cloud Console上での予測リクエストのテスト コードは以下に配置しました。 Vertex AIにおける予測サービング Vertex AIで予測を提供する手順は、大まかには以下のようになります。 モデルをアップロード（インポートとも呼ばれる）する エンドポイントを作成する エンドポイントにモデルをデプロイする 今回はペンギンデータセット

はじめに 例えば機械学習モデルを運用する際に、WebAPI形式で予測を提供するのは一般的な方法と言えます。ここで推論処理に時間がかかる場合には、リクエストに対するレスポンスだけ先に返しておき、処理の本体はバックグラウンドで非同期的に実行するという選択肢が存在します。 本記事では、Pythonベースの分散タスクキューツールであるCeleryを用いて、WebAPIへのリクエストに対応したタスクを非同期実行し、結果を確認するまでを紹介します。サンプルコードは以下に配置しました。 Celeryとは 公式ドキュメントの冒頭には以下のように書かれています。 Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operation

はじめに 本記事はBrainPadアドベントカレンダー2021に寄稿しています。 私は現在、株式会社BrainPadで新卒3年目の機械学習エンジニアとして働いています。BrainPadでは福利厚生の一環として、外部の研修や書籍の購入、各種資格の取得に利用できるスキルアップエイドという制度が用意されています。 私はこの制度を主に技術書やビジネス書の購入のために利用しており、機械学習エンジニアとしての能力向上を図っています。本記事では私がこれまでに購入した書籍の中から、機械学習エンジニアとして働く上で参考になったと感じた書籍を振り返っていきます。 機械学習エンジニアの能力とは 現在は多くの企業で、データサイエンティスト、機械学習エンジニア、MLOpsエンジニアといったポジションが作られていると感じます。これらの職種に必要とされる能力は、データの性質や業務への関わり方によって変わると考えられ、一

はじめに 機械学習の成果を運用する際には、データの処理や学習、モデルのデプロイなどといった一連の作業をワークフロー化することが多くなっています。これを実現するために、多くのワークフローツールが公開、利用されています。 今回はGoogle Cloud Platformで機械学習ワークフローを実行するためのサービスであるVertex Pipelinesを用いて、機械学習パイプラインを構築、実行するまでを紹介します。サンプル実装では以下のようにデータの前処理、モデルの学習、評価、デプロイまでを行います。 コードは以下に配置しました。 Vertex Pipelinesとは 前述したように、Vertex Pipelinesは機械学習パイプラインを実行するためのGCPのサービスです。サーバーレスで稼働するため、費用は実行時に使用した分だけに抑えることができます。他に、実行時のパラメータやパイプラインに

はじめに 開発プロセスにおける定型的な作業を自動化することは、DevOpsを実現するための一つの要素と言えます。機械学習においても同様に、前処理や学習などといった一連の処理工程をワークフローとして自動化することは、MLOpsの実現する上で重要です。 本記事では実際にMLワークフローを構築しますが、特に以下の項目を意識します。 サーバーレス 汎用なサービスを組み合わせたシンプルな構成 サーバーレスとは、インフラの管理を意識することなくサービスを利用できるという性質のことです[1]。必要なタイミングだけ計算リソースを利用することで、コストを抑えることができます。また今回利用するVertex AIのカスタムジョブでは、メモリやGPUなどを細かく設定できるため、実施する処理に応じて柔軟に計算リソースを利用することができます。 汎用なサービスを組み合わせて用いることは、技術導入のハードルを下げること

StreamlitはPythonだけでwebアプリを作ることができるツール（ライブラリ）です。フロントに関する知識がほとんど不要なため、簡単なダッシュボードやデモアプリを作るのに適しています。公式のページでは様々なサンプルアプリが公開されています。 ところで機械学習（特に深層学習）モデルでは、例えば画像1枚あたり数秒の推論時間がかかることもあります。Streamlitは機械学習のデモアプリ用途としても適していると思いますが、推論に時間がかかる場合にいちいち推論完了を待つのは退屈かもしれません。ここではPythonのwebフレームワークであるFastAPIを組み合わせることで、推論を非同期で行う画像認識アプリケーションを作ります。 コードはこちらに配置しました。 アプリ内容 StreamlitによるGUIは以下のようになります。画像をアップロードし、「Submit」ボタンを押すことで画像認識

深層学習モデルの学習は、学習データの一部を抽出・勾配を計算するミニバッチ学習によって行われることが一般的です。勾配のばらつきを抑えるためには、ある程度のバッチサイズを保持する必要があります。一方で、バッチサイズの上限は利用するマシン（GPUやTPU）のメモリによって制約を受けるため、大規模なモデルや高解像度画像などを用いる際には、バッチサイズを小さくせざるを得ない場合があります。 これに対して複数のGPUや計算ノードを利用できる場合には、並列化によって単一GPUの時よりも大規模な学習を行うことができます。複数の計算機を用いた並列学習（分散学習）には大きく分けてデータ並列とモデル並列が存在しており、合わせて利用することもできます。 データ並列（Data Parallel）：ミニバッチを複数の計算機に分散する方法 モデル並列（Model Parallel）：一つのモデルを複数の計算機に分散する

Machine learning engineer, working for machine learning delivery🚀

OpenAIから発表されたGPT-3の論文。基本的にはGPT-2をスケールアップした内容であり、NLPの様々なタスクを自己回帰型の推論形式に落とし込むことでパラメータの更新なしに各タスクを処理することができる。論文は付録も含めて74ページから構成されるが、ここでは冒頭のIntroductionとApproachを紹介する。 1 Introduction Transformerベースのアーキテクチャをファインチューニングすることで、文章読解や質問回答などといった多くのタスクで優れた性能を得ることができている。一方で、こうしたアプローチはタスクを既知として学習しており、目標タスクの学習データが必要になるという制約がある。この制約を乗り越えることは、以下の観点から重要であると言える。 タスクによっては、十分な教師ありデータを用意するのは大変な場合がある。タスク固有の教師ありデータの必要性は、言語

膨大なパラメータを持つ言語モデルであるGPT-3は、学習後にパラメータを更新することなくタスクの情報と少量のデモンストレーションを入力することで、様々なNLPタスクをこなすことができます。論文のタイトルに含まれる「Few-Shot Learners」というフレーズもこれを意図したものだと言えます。 論文ではZero/One/Few-Shotという概念に触れられていますが、これらの説明が自分の理解していた内容と違っていました。結論から言えば、GPT-3におけるZero/One/Few-Shotと、一般に紹介されている（と思う）Zero/One/Few-Shot learningは大きく異なります。本稿ではGPT-3におけるこれらの説明と、他の資料での説明を比較し内容を整理します。 GPT-3によるマルチタスク処理の仕組み GPT-3がパラメータの更新なしに様々なタスクを処理する仕組み自体は、