3. APIキーの取得APIキーの取得手順は、次のとおりです。 (1) 「Anthropic」のサイトのAPIの「Get API Access」をクリックしてログイン。 はじめての場合は、アカウントを新規作成します。 (2) ダッシュボードを確認。 初回は「Get started testing Claude with $5 in fee credits.」で$5分のクレジットを取得できます。 (3) 「Get API Keys → Create Key」でAPIキーを作成。 APIキーはGoogle Colabで利用します。 4. Colab での実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install anthropic(2) 環境変数の準備。 左端の鍵アイコンで「ANTHROPIC_API_KEY」を設

以下の記事が面白かったので、簡単にまとめました。 ・Towards Long Context RAG - LlamaIndex 1. はじめにGoogleは、1Mコンテキストウィンドウを持つ「Gemini 1.5 Pro」をリリースしました。初期ユーザーは、数十もの研究論文や財務報告書を一度に入力した結果を共有しており、膨大な情報を理解する能力という点で印象的な結果を報告しています。 当然のことながら、ここで疑問が生じます。「RAG」は死んだのでしょうか？そう考える人もいますが、そうではない人もいます。 幸運にも「Gemini 1.5 Pro」の機能をプレビューすることができ、それを試してみることで、ロングコンテキストLLMを適切に使用するには、RAGがどのように進化するのかについてのまとめました。 2. Gemini 1.5 Pro の 初期観察「Gemini」の結果は印象的で、テクニカ

「Google Colab」で「Gemini API」を試したので、まとめました。 1. Gemini API「Gemini API」は、「Google DeepMind」が開発したマルチモーダル大規模言語モデル「Gemini」を利用するためのAPIです。 3. Gemini API の準備Colabでの「Gemini API」の準備手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -q -U google-generativeai(2) 「Google AI Studio」からAPIキーを取得し、Colabのシークレットマネージャーに登録。 キーは「GOOGLE_API_KEY」とします。 import google.generativeai as genai from google.colab import userd

以下の記事が面白かったので、かるくまとめました。 ・It’s time for developers and enterprises to build with Gemini Pro 1. Gemini Pro のリリースの概要「Gemini Pro」の最初のバージョンが、「Gemini API」を介してアクセスできるようになりました。 ・「Gemini Pro」は、ベンチマークで他の同様のサイズのモデルを上回っています。 ・今日のバージョンにはテキスト用の32Kコンテキストウィンドウが付属しており、将来のバージョンにはより大きなコンテキストウィンドウがあります。 ・制限内で今すぐ無料で使用でき、競争力のある価格で提供します。 ・関数呼び出し、埋め込み、セマンティック検索、カスタム知識の根拠、チャット機能など、さまざまな機能が付属しています。 ・世界180以上の国と地域で38の言語をサポー

以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ

「Google Colab」で「Heron」で学習したマルチモーダルモデルを試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Heron「Heron」はチューリングが開発した日本語を含む複数言語対応の大規模マルチモーダル学習ライブラリです。 「Heron」で学習したマルチモーダルモデルも提供されています。 ・turing-motors/heron-preliminary-git-Llama-2-70b-v0 ・turing-motors/heron-chat-blip-ja-stablelm-base-7b-v0 ・turing-motors/heron-chat-git-ELYZA-fast-7b-v0 ・turing-motors/heron-chat-git-ja-stablelm-base-7b-v0 2. Col

最近のLLMの学習法 (SFT・RLHF・RAG) をまとめました。 1. 教師ありファインチューニング (SFT : Supervised Fine-Tuning) 2. 人間のフィードバックからの強化学習 (RLHF : Reinforcement Learning from Human Feedback)

「Streamlit」の使いはじめ方をまとめました。 1. Streamlit「Streamlit」は、機械学習およびデータサイエンスのためのWebアプリケーションフレームを簡単に作成して共有できるPythonライブラリです。 2. HelloWorldの作成HelloWorldの作成手順は、次のとおりです。 (1) Pythonの仮想環境の準備。 (2) パッケージのインストール。 $ pip install streamlit(3) helloworld.pyの作成。 ・helloworld.py import streamlit as st st.text("Hello World!")(4) helloworld.pyの実行。 $ streamlit run helloworld.pyブラウザが自動的に開いて、Webアプリケーションが表示されます。 3. 風船を飛ばすボタンの作成あ

以下の記事が面白かったので、かるくまとめました。 ・Fine-tune Llama 2 with DPO 1. はじめに「RLHF」は「GPT-4」「Claude」などのLLMの事実上の最後の学習ステップとなっており、LLM出力の饒舌さや安全さが人間の期待と一致していることを確認します。ただし、RLの複雑さが持ち込まれます。適切な報酬関数を設定し、状態を推定するようにモデルを学習する必要があります。同時に、元のモデルから離れすぎないよう注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは容易ではありません。 Rafailov、Sharma、Mitchellらによる最近の論文「Direct Preference Optimization」では、既存の手法で使用されているRLベースの目標を、単純なバイナリクロスエントロピー損失を介して直接最適化できる目標に切り替えることを提

「Google Colab」で「Japanese StableLM Alpha」を試したので、まとめました。 【最新版の情報は以下で紹介】 1. Japanese StableLM Alpha「Japanese StableLM Alpha」は、「Stability AI Japan」が開発した70億パラメータの日本語LLMです。ベンチマーク「lm-evaluation-harness」による複数の日本語タスクを用いた性能評価において、一般公開されている日本語向けモデルで最高の性能を発揮しています。 2. Japanese StableLM Alphaのモデル「Japanese StableLM Alpha」では、次の2種類のモデルが提供されています。 ・stabilityai/japanese-stablelm-base-alpha-7b : ベースモデル ・stabilityai/ja