老いるAI人格育成エンジンを自作する
はじめに 世の中にはAIキャラクターというジャンルがあります。キャラクターの行動・応答をLLMで生成したりすることで、自律的な存在を制作するジャンルです。ChatGPTの登場以降、技術は急速に発展し、今ではAIに配信をさせる「AITuber」と呼ばれるものまで誕生しています。 近年までは「あらかじめ開発者やユーザーが設定したキャラクター像に則り動作する」AIキャラクターが標準でした。これは制作者意図を反映するには適切ですが、静的な設定資料だけではAIは予測の範囲内でしか振舞えません。僕はAIに、経験から学び、笑ったり泣いたり、自分なりに考えて創作したり、時には悩んだりする存在になってほしいと願っています。 そこで、制作者の意図を超えて行動してくれる存在、「蒼月ハヤテ」を作ろうと考え、まずはその行動を創発する「人格」を育成するためのエンジンを制作しました。 本記事は技術スタック及び概要を紹介
「LLMは次にくる単語の確率予測をするもの」をちょっとだけイメージできるようにする
こちらは「LLM・LLM活用 Advent Calendar 2024」の１日目の記事です! 対象読者 LLMをなんとなく触り始めた人 はじめに LLMはよく、「次にくる単語を予測して出力する」と説明されます。これは入力した内容を元に、出現確率を予測するモデルであるから、その中から可能性の高い単語を選択することで文章の生成ができるわけです。ただし、ぶっちゃけて言うとAPIレベルで叩いたりllama.cppを遊ぶ分にはそこはラップされており、基本的にはあまり考える必要はないように作られていると思いますし、個人的にもLLMを用いたプロダクトを作る際はそこは強く意識する必要はないとも考えています。 一方で、それを少し把握しつつ確率分布を見たりそれを弄ったりすることでLLMを用いた表現の可能性を探ることができるはずです。この記事はLLMの出力内容および各トークンごとの確率を眺めつつ、何に使えるかを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
