end-to-endの文書画像認識モデルDonutをファインチューニングする｜oshizo
DonutはOCRを使わないend-to-endの文書理解モデルです。 Vision Encoder Decoder Modelになっており、OCRエンジンに依存せずに視覚的な文書分類や情報抽出を高い精度で行うことができます。 Donutは日本語を含む4言語で学習されたモデルnaver-clova-ix/donut-baseが公開されており、日本語で何かしたいときにファインチューニングして使えそうだなと思っていました。 今回、AIキャラクターと一緒にノベルゲームをプレイするために、ノベルゲーム風画面の合成データセットでdonut-baseをファインチューニングしました。 以下を目標として作成しました。 <unk>になる漢字をvocabに追加して学習する 選択肢、名前、メッセージを別々に認識し、jsonを出力する SKIP、LOADなどのUIの文字、日付表示などを読み取らない ルビを無視する
ChatGPT APIとゲームAIを連携してチャットでプレイングを教える｜oshizo
ChatGPTはかなり賢くて簡単なテキストベースのゲームをプレイできますが、麻雀のような難しいゲームをうまくプレイすることはまだできません。 この前、麻雀をプレイするエージェントと連携させて、ChatGPTに後付けで実況させることでChatGPTのキャラクターがプレイしている風に見せるデモをつくりました。 ChatGPT APIで麻雀実況的なことを試し中。楽しい。 麻雀のプレイは裏側で別のNNを使っていて、打牌と場の状況をプロンプトに入れて後付け実況させてるイメージ。 麻雀のシミュレータはMjxを使っています。 pic.twitter.com/eyO4SkjVzM — oshizo (@_oshizo_) March 5, 2023 これに加えたいアイデアとして「ゲーム用のエージェントの戦略をChatGPTに指示コメントを送ることで変更する」ことを試しています。 ユーザーはテキストチャット
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
