①「オタク文化と宗教のアフィニティ(親和性)」 たとえば、そう、何気なく眺めていた報道番組で、何の罪もない子供が亡くなる事件が放送されていたとき。ふと、何ともいえず哀しく、薄ら寒い気持ちにならないでしょうか。 その子は大人から虐待を受けていたのかもしれませんし、純粋に不幸な事故で落命しただけかもしれません。いずれにしろ、かれ/彼女は、一見して平和で安全なこの社会に開いた「虚無の穴」へ墜落してしまったのです。 「虚無」は社会の至るところに穴を開けています。そのとき、あなたも、その報道を通しその深淵をほんの少しのぞき込んだといって良いでしょう。 戦慄の体験。 とはいえ、あなたはあまり長い間その記憶を引きずらないに違いありません。その出来事はきわめて痛ましいけれど、あくまで見知らぬ子供のことに過ぎませんし、いつまでも気にかけるには人生はあまりに忙しないこともたしか。ひとまずは、そういえるでしょう
「Google Colab」で「OpenCALM-large」のLoRAを使わないファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+ の A100で動作確認しています。 前回 1. OpenCALM「OpenCALM」は、「サイバーエージェント」が開発した、日本語LLMです。商用利用可能なライセンスで公開されており、このモデルをベースにチューニングすることで、対話型AI等の開発が可能です。 2. 学習「Google Colab」で「OpenCALM-large」のLoRAを使わないファインチューニングを行います。「あかね〜くデータセット」を使って、それっぽい文面の作成に挑戦します。 学習手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」で「A100」を選択。 (2) Goog
概要話題のLLama2をQLoraでファインチューニング なにか新規情報を学習させたときに、モデルがどの程度、何を学んでいるかを確かめます 試しに、「富士山といえばなすび」というテキストでモデルを洗脳した結果を見てみます QLoRA詳細は以下の記事を参照 学習データ [ { "input": "", "output": "### Human: 富士山といえば?### Assistant: なすび" }, { "input": "", "output": "### Human: 明日の天気は?### Assistant: 雪" }, { "input": "", "output": "### Human: 東京といえば?### Assistant: 神田川" }, { "input": "", "output": "### Human: AIといえば?### Assistant: Llama
「Google Colab」で「Llama 2」を試したので、まとめました。 1. Llama 2「Llama 2」は、Metaが開発した、7B・13B・70B パラメータのLLMです。 2. モデル一覧「Llama 2」は、次の6個のモデルが提供されています。 (hfでないモデルも存在) ・meta-llama/Llama-2-70b-hf ・meta-llama/Llama-2-70b-chat-hf ・meta-llama/Llama-2-13b-hf ・meta-llama/Llama-2-13b-chat-hf ・meta-llama/Llama-2-7b-hf ・meta-llama/Llama-2-7b-chat-hf 3. 利用申請「Llama 2」を利用するには、利用申請が必要です。 (1) 公式のMetaのフォームから利用申請。 数時間後に利用許可のメールがきます。 (
2023/11/13追記以下の記事は、Llama2が公開されて数日後に書いた内容です。 公開から数ヶ月経った23年11月時点では、諸々の洗練された方法が出てきていますので、そちらも参照されることをおすすめします。 (以下、元記事です) 話題のLamma2をファインチューニングします。 QLoRAライブラリを使うパターンと、公式推奨の2つを試しました。前者が個人的にはオススメです。 前提Hugging faceで配布されている公式のモデルが必要です。以下を参考に、ダウンロードしておきます。 データセット作成 (7/20 15:20追記 設定ミスってたので修正しました) test.jsonを適当に作ります。 [ { "input": "", "output": "### Human: 富士山といえば?### Assistant: なすび" }, { "input": "", "output":
Recorded Futureはこのほど、「Google exposes intelligence and defense employee names in VirusTotal leak」において、GoogleのマルウェアスキャンプラットフォームであるVirusTotalの従業員のミスにより世界中の防衛・情報機関に勤務する数百名の個人名および電子メールが誤って流出した可能性があることを伝えた。Googleの従業員が意図せずに顧客グループ管理者の電子メールおよび組織名の一部を誤ってVirusTotalに公開していたことが明らかとなった。 VirusTotalは疑いのあるURLや不審なファイルをアップロードしてマルウェアが含まれているかを調査できるよう提供されているGoogleのサービス。アップロードされたファイルはセキュリティコミュニティと共有され、マルウェアのシグネチャライブラリの作成
最先端の大規模言語モデル(LLM)の基礎理論から応用事例まで網羅的にマスターしよう! 生成AIの基盤モデルとして注目を集める大規模言語モデル(LLM)について体系的に学べる実践型講座。LLMの基本からスタートし、LLMの学習や推論を支える技術、公開されているLLMやAPIなどの活用方法まで幅広く学べます。 実践型のデータサイエンティスト育成講座およびDeep Learning講座を10年以上運営し、のべ30,000人以上の人材を育成してきた東京大学松尾・岩澤研究室がコンテンツを監修・開発しています。 本講座はサマースクールの一環として大規模言語モデル(Large Language Models/LLM)に関して体系的に学べる講座を目的として開催されます。 具体的には以下のスキルを身につける事を目的としています。 ・LLMの原理について,事前学習からRLHFまでの一連の流れや意味合いを理解す
こんにちは、CX事業本部 Delivery部の若槻です。 2023/07/21 付けで GitHub Copilot Chat がパブリックベータ(※)として提供開始され、GitHub Copilot for Business ユーザーによるプレビュー利用が可能になりました。 ※パブリックベータとして一般向けに公開されているため、本機能の情報は GitHub Terms of Service - Confidentiality の例外に該当する認識です。 GitHub Copilot Chat は、GitHub の新しいビジョンである GitHub Copilot X で提供される機能の1つで、OpenAI の GPT-4 をベースにした自然言語処理モデルを利用しています。Copilot Chatを利用することにより、開発者は IDE から離れることなく GPT-4 によるチャットベースの
話題のモデルのセットアップ Llama2とは商用利用が可能(諸説あり)で、GPT3並の性能を持つ、オープンソースモデルの本命です(2023/7/19時点) 利用方法いくつかあります 手段1 Metaの公式モデルを使う 登録必要 あまり使いやすくない印象です 13b以上は、GPU並列利用が基本(?) 手段2 Hugging faceの公式連携モデルを使う 登録必要 便利です 手段3 野良モデルを使う 登録不要 これが一番簡単です 手段1 Metaの公式モデルを使う利用申請(必須)やや特殊なライセンス形態なので、Metaに申請する必要があります。 申請には1-2日ほどかかるようです。 → 5分で返事がきました。 モデルのダウンロード ※注意 メールにurlが載ってますが、クリックしてもダウンロードできません(access deniedとなるだけです)。 指示のとおりに、ダウンロードする必要があ
大規模言語モデルの学習コードをまとめました。 1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。 「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。 以下は、FSDP full_shard モードで 4つの A100 80G GPU を搭載したマシン上のデータセットで「LLaMA-7B」をファインチューニングするコマンドです。 torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \ --model_name_or_path <your_path_to_hf_conv
幾何形状マッチングはOpenCVには非実装だったため、自動的に候補から除外されます。個人的にはかなり便利なマッチング方式だと思うので、実装してほしいんですけどね…。 次に、形状変化への強さは特徴点マッチングが優秀です。 テンプレートマッチングと幾何形状マッチングは、マッチングの元画像と対象画像が拡大・縮小・回転を用いて一致するものしか対応できません。 一方の特徴点マッチングは、拡大・縮小・回転に加え、せん断・歪みまで対応できます。冒頭にもあるように斜めから見た画像(=歪み変形した画像)同士を比較したいので、特徴点マッチングを採用しました。 ちなみに、拡大・縮小・回転・せん断が可能で、更に移動を実現できる変形をアフィン変換(変形)、このアフィン変換に歪み変形を加えたものを射影変換(変形)と呼びます。 画像の多くの箇所が同時に色味の変化を起こすことはないだろうと予想し、特徴点マッチングで問題な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く