805 名無しさん必死だな (ｽｯﾌﾟ Sd33-y8+T [49.96.238.20]) 2022/01/28(金) 19:26:06.11 ID:QL0GW83Id
【運転】この車の切り返し、デキる奴ｗｗｗｗｗｗｗｗｗｗｗ
805 名無しさん必死だな (ｽｯﾌﾟ Sd33-y8+T [49.96.238.20]) 2022/01/28(金) 19:26:06.11 ID:QL0GW83Id
｢コスパ主義者｣に感じてしまう薄っぺらさの正体
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
Apple、iPhoneでも稼働するオープンな言語モデル「OpenELM」を公開
米Appleの研究者らは4月24日（現地時間）、オープンソースの言語モデル「OpenELM」（ELMはEfficient Language Model、効率的な言語モデルの略）をHugging Faceで公開した。 パラメータ数の異なる4つのモデルがある。小さいものから、2億7000万、4億5000万、11億、30億（パラメータとは、意思決定でモデルがトレーニングデータセットから理解する変数の数を示す）。 AppleがAIのモデルを公開することはこれまでほとんどなかったが、OpenELMの「広範なリリースは、オープンな研究コミュニティを支援し、発展させることが目的」という。 Appleは、OpenELMとともに、開発者がモデルをソフトウェアに組み込めるように設計された複数のツールもオープンソース化した。その中にはiPhoneやMac上でモデルを実行できるようにするライブラリも含まれる。 「
EC2 インスタンスの自動起動、自動停止をやってみる
フェイス・ソリューション・テクノロジーズ株式会社 IS 本部 OS ユニットの Saki＠猫好き です。AWS 活用していますか？ 例えば、検証環境の EC2 インスタンスを立ち上げっぱなしにしておくと、どんどん課金されてしまいます。複数プロジェクトが進行していて、複数のインスタンスが無駄に起動している状態となってしまうと、経理チームから指導が入ることになります。 今日は、そんな事態を防ぐために、EC2 インスタンスの自動起動、自動停止について書きたいと思います。 はじめに 数年前、とあるプロジェクトで、検証環境を毎日定時に起動し、毎日定時に停止させる、という要件がありました。当時は、特定のタグがついているインスタンスの起動、停止を行う Lambda を作成して、その Lambda を実行する CloudWatch Event を作成した記憶があります。 自由度は大きかったのですが、初心者
instruction 系の LLM のプロンプトのフォーマット
instruction 系 (自分が勝手にそう呼んでる) の LLM は、ユーザーの指示を与えるとアシスタントがそれに対する返信を書くように文章を生成してくれる。 いろんな instruction モデルが存在するが、プロンプト (ここでは適切に応答が返ってくるフォーマットについて) の書き方に関する標準がないせいで書き方が統一されていない... なので、主要なものや自分がよくつかうモデルのプロンプトのフォーマットをまとめてみる。 参考:
trlを使って日本語LLMをSFTからRLHFまで一通り学習させてみる | 株式会社AI Shift
こんにちは AIチームの戸田です 今回は日本語LLMのOpenCALMの7BモデルをSFTからRLHFまで一通り学習してみたいと思います。一通り動かすことを目的としており、パラメータ調整やデータクレンジングなどのより良い学習を行うための工夫は本記事では行いません。 言語モデルの一連の学習については以前、記事で取り上げさせていただきましたのでそちらをご参照いただければと思います。 trlxを用いた文書生成モデルの学習①~ILQL編~trlxを用いた文書生成モデルの学習②~PPO編~ 以前は学習ライブラリにtrlxを使用しましたが、今回はSFT用のTrainerを提供してくれているtrlを使います。 データセット JGLUEのMARC-jaを使って、ポジティブな文章を生成するように学習させたいと思います。MARC-jaは多言語のAmazonレビューコーパス（MARC）の日本語部分に基づいて作ら
llama.cpp の動かし方と量子化手法
はじめに Turingアドベントカレンダー17日目です！今日は Research チームの柏谷が担当します。 Research チームでは、LLMによる完全自動運転を実現するための技術開発を行っています。その中で重要な技術の１つが量子化です。量子化によって少ビットでパラメータを表現できれば、LLM の膨大なパラメータのデータ圧縮が可能となります。量子化実装はいろいろと考えられますが、今回は実装にアクセス可能な llama.cpp とその量子化技術について見ていきましょう！ llama.cpp とは Georgi Gerganov さんが作った PC の CPU だけで LLM が動くプラットフォームです。その名の通り Llama, Llama2 が動くというだけでなく Bloom, StableLM などいくつかの LLM がサポートされています。LLM は従来、データセンターで大量のGP
LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証（ローカル編） | Shikoan's ML Blog
LLaMA.cppのスループットをローカルで検証してみました。OpenLLaMA 7B/13Bをベースに、CPU/GPUのそれぞれの生成速度（token per second）と量子化の関係を実験的に調査します。 はじめに LLaMA.cppを使うとモデルを高速に軽量に実行できますが、量子化とスループットの関係、デバイスごとの関係がよくわからなかったので検証しました。 環境 LLaMA.cpp https://github.com/ggerganov/llama.cpp 最新版は変換後のモデルがggufフォーマットだが、旧版のggmlのフォーマットを使用（元の利用想定が、MiniGPT4.cppで旧版に統一する必要があったため） コミットIDはdadbed9になるように、git cloneしたあとcheckoutする ビルドはcuBLASを使ってビルド。実行時のみGPUを使うかどうかを切り
【Llama2】Google Colabでの使い方
この記事では、Google Colabの環境を使ってLlama2によるテキスト生成をする方法（推論）について紹介しています。 目次[非表示] 1.Llama2とは 2.Metaへのモデル利用申請とHuggingFaceの設定 3.Google Colabとは 4.ノートブック・ランタイムの準備 5.モデルの設定 6.生成タスク１ 6.1.プロンプトの実行 6.2.生成結果 6.3.日本語翻訳 7.生成タスク２ 7.1.プロンプトの実行 7.2.生成結果 7.3.日本語翻訳 8.生成タスク3 8.1.プロンプトの実行 8.2.生成結果 8.3.日本語翻訳 9.LLMならGPUクラウド 10.まとめ Llama2とはLlama2(ラマツー)とは、Facebookを運営するMeta社が開発した言語生成AI(LLM)で、OpenAI社のChatGPTに匹敵するの性能を持っています。 Llama2の
Google Colab で SFTTrainer によるLLMのフルパラメータの指示チューニングを試す｜npaka
「Google Colab」で「SFTTrainer」によるLLMの (LoRAではなく) フルパラメータの指示チューニング (Instruction Tuning) を試したので、まとめました。 前回 1. モデルとデータセット今回は、LLMとして「OpenCALM-small」、データセットとして「databricks-dolly-15k-ja」を使いました。 ・OpenCALM-small : 有名なLLMの中で日本語対応かつ軽量なモデル ・multilingual-sentiments : 指示チューニング用のinstruction(指示)、input(入力)、output(出力)で構成されるデータセット 2. ファインチューニング前のLLM出力の確認Colabでファインチューニング前のLLM出力を確認する手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージ
オープンソースのLLMをLoRAを用いてCPUのみでファインチューニングする - Qiita
はじめに オープンソースのLLM(大規模言語モデル)を個人で利用する場合、GPUはとても高価で手が出せない場合が多いです。CPUを利用すれば実行時間がGPU利用時に比べてだいぶ長くなりますが、安価に利用できるようになります。 しかし、LLMの利用についてGPU前提の記事が多く見受けられ、そのままだとCPU環境ではエラーになる場合があります。この記事はCPU環境で利用できるコードを例示します。 ここでは、東京工業大学と産総研が開発したLLMであるSwallowの利用方法と、ファインチューニング方法として訓練時間や必要なメモリやストレージ量を節約できる優れた訓練方法であるLoRA（ローラ、ロラ、Low-Rank Adaptation）を用いたファインチューニングについてメモします。 この記事にピッタリの方 OSSのLLMをプライベートで動作させたい LoRAでファインチューニングしたい GPU
Function callingはどれくらい正しくレストラン予約できるのか？ - ABEJA Tech Blog
はじめに こんにちは、ABEJAでデータサイエンスグループに所属している今井です。ABEJAアドベントカレンダー2023の20日目の記事です。 OpenAIのAPIには、チャットアプリケーションを作る際に役立つfunction callingという機能がありますが、かねてから「どれくらいfunction callingは精度良く呼び出されるのだろうか？」と思っていました。 今回の記事では、上記の疑問に答えるべくfunction callingの呼び出し精度をレストラン予約のシナリオを題材に定量的に評価してみたので、その内容についてご紹介したいと思います。 以下の順序で内容を説明していきます。 はじめに Function callingについて Function callingの使用イメージ Function calling評価のモチベーション 評価用データセット データセットの概要 レスト
生成AIの評価について(文章生成)
はじめに 業務で生成AIを使用する機会が多く、評価を目検で行っていました。それ以外の方法について個人的に調査したので、内容をまとめました。 文章生成AIにおける評価方法について 文章生成AIにおける評価方法は、主に2つあります。1つは自動評価で、もう1つは人間評価です。 自動評価 テストセットや検証セットを使用して、モデルの性能を測定します。 人間評価 人間が生成された文章を読み、その文章が"求めている結果であるかどうか"を判断します。 自動評価の評価手法について 自動評価には、様々な手法があります。例えば、BLEU、ROUGE、METEOR、CIDErなどの指標があります。これらの指標は、自動評価によって生成されたテキストと参照テキストの類似度を測定することで、生成されたテキストの品質を評価します。(あくまでもテキストの品質です) 以下の表は3つの自動評価指標についてそれぞれの指標がどの
機械学習における「validation」と「test」の違い - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習における「validation」と「test」の違い Q. 何故 train データ以外のデータが必要なのか？ A. train データを使って学習したモデルが train データ以外のデータに対してどれぐらいの予測精度があるか確認する必要があるから. データを使った学習では, 原則として学習に使ったデータ (train データ) に対する予測精度しか考慮していない. なので「train データに対しては良い精度で予測できるがそれ以外のデータでは予測が全く当てにならない」という学習結果も起こり得る (→ 過学習). 過学習がどの
分散 GPU トレーニング | Azure Machine Learning
どの parallelism を使うべきか判断できない場合: 90% 以上の場合で Distributed Data Parallelism が使われます。 MPI (Message Passing Interface)#Azure ML は各ノードで与えられたプロセッサー数の MPI ジョブを提供します。利用者は、process_count_per_nodeが 1 に設定されている場合 (デフォルト) は per-node-launcher、デバイス/ GPU の数に等しい場合は per-process-launcher を使って分散トレーニングを実行することができます。Azure ML は裏側で完全な MPI 実行コマンド (mpirun) を構築して処理します。
Azure Machine Learningのいろは - Qiita
はじめに Azure Machine Learning とはAzureのサービスの一つで、Azureで機械学習モデルを構築、運用できるプラットフォームです。 Azure上でノートブック（Python）を用いたモデル構築だけでなく、データを投入するだけで自動的に最適なモデル・パラメータ探索を行ってくれるAutoMLやGUIベースでパイプラインを構築できるデザイナー機能もあり、幅広いユーザにとって活用場面のあるサービスなのですが、その幅広さ故に初めて触る人にはちょっとわかりにくい部分もあるなあと思い、構造的に理解をするために記事にすることにしました。 これからAzure Machine Learningを触ろうと考えている方、また少し触ってみたが深くは理解できていない方の一助になれればと思います。 なお、本記事の内容は私の独自の理解に基づいた記述となっており、また日々提供サービスも更新されてい
AzureMLで機械学習/推論を実行する（データ登録、コンピューティングクラスタでの学習、AKSへのデプロイ） - Qiita
from azureml.core.authentication import InteractiveLoginAuthentication interactive_auth = InteractiveLoginAuthentication(tenant_id="テナントID") ws = Workspace(subscription_id="サブスクリプションID", resource_group="リソースグループ名", workspace_name="ワークスペース名", auth=interactive_auth) この際、デバイスログイン( https://microsoft.com/devicelogin )によるAzure ADへの認証が要求される場合があります。いつまでたっても接続できないときは、ちゃんと出力ログをチェックしましょう。 (筆者は、最初、気づかずになかなかでき
分散深層学習とモデル並列性 - Preferred Networks Research & Development
（本記事は、2016年インターンシップを経て現在はアルバイトとして勤務されている包さんによる寄稿です） はじめまして。Preferred Networksの分散深層学習チームでアルバイトをしている包です。私は分散深層学習の中でも主にモデル並列に関する機能実装を行っています。今回はモデル並列性の概要と、ChainerMNにおいてどのようにモデル並列性を実現しているのかについて紹介します。 分散深層学習: データ並列性とモデル並列性 深層学習における各種フレームワークは目覚ましい発展を遂げ続けており、最近では一般ユーザーでも簡単に複数GPUを用いたニューラルネットの訓練ができるようになってきました。たとえば、ChainerMNではoptimizerの定義にほんの数行加えるだけでニューラルネットを複数GPUで訓練できます[1]。これにより1024GPU上でImageNetによるResNet-50
大規模言語モデル(LLM)の作り方 Megatron-DeepSpeed編 Part2
はじめに Turing 株式会社リサーチチームの藤井(@okoge_kaz)です。 Turingでは、自動運転を支える技術のひとつとして大規模言語モデル(Large Language Model: LLM)に注目しており、関連する技術の研究開発を行っています。 つい先日、大規模言語モデルの事前学習を行う際に用いられることが多いmicrosoft/Megatron-DeepSpeedが大きくupdateされました。(日本時間 2023/6/13, 2023/7/21に大きな変更がありました。) 具体的には、fork元であるNVIDIA/Megatron-LMの最新の変更を取り込むことを行ったようです。 セットアップ方法は以下の記事で紹介している通りで、変化はないのですが、Job Scriptの引数や、新機能を使用するためのTipsなど補足するべきことが多数存在します。 そのため、今回は前回の
Swallow-MX: Mixtral日本語継続事前学習MoEモデル
はじめに 東京工業大学 横田研究室の藤井です。 本日(2024/03/11)Mixtral-8x7B-Instruct-v0.1から日本語継続事前学習を行ったSwallow-MX-8x7b-NVE-v0.1をリリースさせて頂きました。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。公式プロジェクトページはこちらです。 Swallow-MX はMoE(Mixture of Expert)モデルの継続事前学習モデルであり、Denseモデルにおいて有効性が示されている継続事前学習手法がMoEモデルにおいても有効であることを示す結果が得られました。 Denseモデルに対する継続事前学習に関しては、以下のブログやNLP2024の我々の論文をご覧ください。 リリースモデル 日本語継続事前学習済みモデル Swallow-MX-8x7b-NVE-v0.1
llm-jp-eval 日本語大規模言語モデルの 自動評価ツールの開発に向けて
ICHIKARA-INSTRUCTION LLMのための日本語インストラクションの構築と 人間とGPT-4による評価で観察されたもの
Pytorch Distributed Data Parallel(DDP) 実装例 (pytorch ddp vs huggingface accelerate) - クラウドエンジニアのノート
はじめに 新しくhuggingface accelerateを用いたDDPの実装を加えました (2021/11/1) 学習コード DataParallel nn.DataParallelのソース DDP DDPのソース 実行コマンド DDPソース説明 DDP (accelerate) DDPのソース (accelerate) 実行コマンド DDP(accelerate) ソース説明 時間比較 cuda:0 nn.DataParallel DDP DDP (accelerate) 最後に はじめに DataParallelといえばnn.DataParallel()でモデルを包んであげるだけで実現できますが、PythonのGILがボトルネックとなり、最大限リソースを活用できません。 最近では、PytorchもDDPを推奨しています。が、ソースの変更点が多く、コーディングの難易度が上がっています
Google Colab で Swallow MS 7B を試す｜npaka
「Google Colab」で「Swallow MS 7B」を試したので、まとめました。 1. Swallow MS 7B「Swallow MS 7B」は、「Mistral 7B」の日本語能力を強化した大規模言語モデルです。Apache 2.0の寛容なライセンスでモデルのパラメータ（重み）を公開しています。 2. Swallow MS 7B のモデル「Swallow MS 7B」のモデルは、次の1つです。 ・tokyotech-llm/Swallow-MS-7b-v0.1 量子化モデルも提供されています。 ・mmnga/tokyotech-llm-Swallow-MS-7b-v0.1-gguf 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install transformers senten
Claude3にプロジェクト全体をぶち込むためのプロジェクトの構造とファイル内容を自動でまとめるPythonスクリプト
はじめに Claude3Opusはものすごい能力で、手動で作成するのは面倒なプロジェクトのドキュメンテーションなどを一撃で生成してくれます。 しかし、プロジェクト全体の内容をWebのCladeには投入できないし、ファイルを１個ずつコピペするのもかなり時間を要します。 頼みのCursorもClaudeは対応していないので@Codebase機能が利用できません・・・ そこで、Pythonスクリプトを使ってプロジェクトのフォルダ構造とファイルの内容を自動的にまとめるスクリプトを作成したので紹介します！ このスクリプトを使うことで、プロジェクトを200kトークンまでの単一のテキストにまとめ、Claude3Opusに簡単に投入できるようになります。 スクリプトの機能と使い方 このPythonスクリプトは以下のような機能を持っています： プロジェクトのフォルダ構造をMarkdown形式で生成。※本当は
【特集】IT企業を中心とした首都圏企業の新潟県への進出が相次いでいる理由
新潟県内に、IT企業を中心とした首都圏の企業の進出が相次いでいる。特に新潟市に進出した企業は判明できる分だけでも２０１７年以降１６社。楽天や博報堂DYグループのデジタル・アドバタイジング・コンソーシアム株式会社（DAC）など、有力企業の進出も目立っている。近年新潟県や新潟市が企業誘致を進めており、その効果が着実に表れてきた格好だ。企業が新潟に進出した背景や、最近の動向を見た。 ＊ 新潟県では２０２０年に人口が２２０万人を割り込むなど人口減少の深刻な問題が叫ばれているが、実は企業数の減少も著しい。新潟県の調査によると、２０１６年の民間事業所数は１１万２，９４８。２０１２年の１１万７，６７５から約５，０００カ所減少している。企業数が減れば雇用の安定や税収の確保にも影響してくるため、行政側の危機感も強い。 新潟県では新潟市と連携して企業誘致を強化。オフィス賃料や設備取得費、人材確保などの補助金制
Claude3 API使ってみる
みなさん！こんにちは。 kirigayaです。 AIの最新情報でお祭り騒ぎの日々を送っていますが、そんな中ついにClaude3がリリースされました！ 注目はなんといってもGPT-4より高精度な日本語PDF読み取りかと思います。 夢広がりますよね。今までデータ化が難しかったファイルなんかも簡単に構造化データに変換して分析する未来が見えます。 ※PDFで遊ぶ系は別の記事にしようと思います。今回はpngなどを扱います。 それではさっそく登録して無料で5ドルクレジットを入手していきましょう！ ※WEB上で使うプレイグラウンドとAPIではアカウントが違うようなので注意してください。 環境はMacOSです。 Claude3のAPIドキュメントはこちら モデル一覧 モデル 最新のAPIモデル名
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【悲報】液状化で崩壊した浦安の現在、こんな事になってしまう・・・・・・・ : あじあのネタ帳
【画像】 タイの徴兵検査場、トランスジェンダー殺到で美人コンテスト会場にｗｗｗｗｗｗｗｗｗ : あじあのネタ帳
LLM Fine-Tuning (東大松尾研LLM講座 Day5資料)
Azure Machine Learning のエンジニア的に推せる機能と MLOps のためのアーキテクチャ