LLMのファインチューニングで事実の学習ができないのは本当か？ちょっと実験してみた
三行要約 LLM のファインチューニングでは事実の学習ができないという話があったので、事実の学習の例として、シェイクスピアのRomeoをBobに置き換える実験を行った 実験では、訓練対象とする層による結果の違いを確認した。アテンション層のみを訓練した場合は、Bobへの置き換えはできなかった。一方、全結合層を含めて訓練した場合は、学習率を調整するとBobへの置き換えができた ファインチューニングが事実の学習に向いているかはさておき、工夫次第でファインチューニングも事実の学習に利用できる可能性はある 背景 先月 ChatGPT(GPT-3.5 Turbo) のファインチューニングがリリースされました。いろいろな方が試されて、うまくいった、いかなかったという話がちらほらありました。例えば以下の記事では、一晩試してみた程度では、ChatGPTに最新の知識を教え込む目的での Fine-tuning
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/yutakashino/status/1710137114619163111?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/matsui_kota/status/1708312442881855733?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/_stakaya/status/1703193718759870971?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/npaka123/status/1699611174860636161?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/bilzrd/status/1699676115030450259?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
はかせチャン on X: "大規模言語モデルについての岡崎先生のチュートリアルがとても良かった，という話を何人からも聞きました．参加者（オフライン，オンライン）もたいへん多く，ありがとうございました．"
https://x.com/keigohtr/status/1698481522498547771?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://x.com/zerebom_3/status/1698195085614297149?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
yshr10ic on X: "The Kaggle Workbookの翻訳書出るのね！ The Kaggle Workbook 著名コンテストに学ぶ！競技トップレベルの思考と技術（2023/10/19発売予定） https://t.co/1LufywtEMk"
https://twitter.com/sei_shinagawa/status/1687781866290700288?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/predict_addict/status/1677273189750013954?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/mamas16k/status/1674528511519002624?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/sakata_ryuji/status/1674400313904857088?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/nanay_desu/status/1672183968157040641?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/fetarodc/status/1665573107405561856?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/itoeiji110704/status/1664599035372789761?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/odashi_t/status/1663913165569114115?s=12&t=suYC6B2IhN7jv0qU5zDxmQ