ファインチューニングを行う手順とポイント
第12回は、OpenAIが公開しているガイドをベースに、ファインチューニングを行う手順とポイントについて解説します。 はじめに 前回は企業データを追加学習する3つの方法のうち、コンテキスト学習とファインチューニングについて解説しました。今回は、ファインチューニングのやり方について解説します。 ファインチューニングを行う手順を学ぶことで、ファインチューニングと言えども機械学習の基本に沿って学習すること、そのため学習データ(トレーニングサンプル)の準備が大変なこと、でもうまく学習すれば良い結果が得られそうなことなども理解していただければと思います。 実施前にプロンプトを工夫する OpenAIは、ファインチューニング可能なモデル(Gpt-3.5 turbo)だけでなく、ファインチューニングを行うためのSDKやAPI、UIツール、実施ガイドなどを提供してくれています(至れり尽くせりですね)。しかし
大規模言語モデルの自然言語処理「Transformer」モデルの仕組み
第3回は、Transformerモデルのアーキテクチャーやデコーダーの処理内容、RLHFを使ったお作法の訓練を中心に解説します。 はじめに 前回は、大規模言語モデル(LLC)の概要のついて説明しました。今回は、GPTシリーズなどの大規模言語モデルが採用している「Transformer」という自然言語処理について解説します。 RNNやLSTMなどの回帰型ニューラルネットワークが中心だったところに彗星のように現れたTransformerは、どのような仕組みでGPTのような言語モデルを生み出したのでしょうか。 回帰型ニューラルネットワーク 私が2017年にThink ITの連載「ビジネスに活用するためのAIを学ぶ」を書いていた頃は、自然言語処理(NLP)と言えば次の2つが主流でした。拙書『エンジニアなら知っておきたいAIのキホン』にも、この2つの技術解説をしています。 RNN(Recurrent
TFXを使った機械学習パイプラインの構築（デプロイ編）
連載の7回目となる今回は、実装編で構築した機械学習パイプラインをKubeflow Pipelinesにデプロイし実行します。 はじめに 前回までの実装編では、機械学習パイプラインを構築するために必要なTFXコンポーネントについて、実装を進めながら解説してきました。今回はデプロイ編として、前半でこれまで実装してきたすべてのコンポーネントをまとめて、Kubeflow Pipelinesにデプロイし実行する手順を解説します。そして後半では、機械学習パイプラインの運用で役に立つKubeflow Pipelinesの機能を具体的なユースケースに沿って紹介します。 Kubeflow Pipelinesを使ったTFXパイプラインのオーケストレーション Kubeflow Pipelinesは、エンドツーエンドな機械学習パイプラインのデプロイと運用管理に焦点をあてたワークフローツールです。Kubeflowの
徹底解説！Kubernetes上で動く機械学習プラットフォームKubeflow
この連載では、Kubernetes 上で動く機械学習プラットフォーム Kubeflow について、その機能・周辺フレームワークも含めて詳細に解説します。
TFXを使った機械学習パイプラインの構築（実装編その3）
連載の6回目となる今回は、前回に引き続きTFXを使ってKubeflow上で動かす機械学習パイプラインを構築していきます。 はじめに 前回は、TFXを使った機械学習パイプラインの構築のうち、「モデル学習」と「チューニング」で利用するTFXコンポーネント解説や実装を行いました。「実装編」の3回目である今回は、前回作成したモデルの検証と出力で利用するTFXコンポーネントの解説や実装を行い、モデル開発のパイプラインを完成させます。 機械学習パイプラインの構築（ハンズオン） 本稿では、機械学習パイプラインのうち「モデル作成」の最後のステップとなる「モデル検証」と「学習済みモデル」の出力について解説します。 赤枠の部分が本稿の範囲となり、黒枠の部分は実装済みであることが前提となります。前回作成したモデルを検証するステップとパイプラインの最終的な成果物となるモデルを出力する処理をパイプラインに組み込んで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
