はじめに OpenAI o1、そこまで注目していなかったのですが、じわじわと「すごいのでは？」という気になってきたので、雑に関係する情報や気になる記事をまとめてみました。 o1の仕組みは、アプローチ的には人間は簡単な問題には反射的に答える（答えられる）けど、難しい問題はじっくり考えるから、AIにも同じようにじっくり考えさせてみよう（推論時間のスケーリングとかよばれたりします）という発想だと思います（おそらく、違ったらすみません）。 LLMは、基本的に解くべき問題の難易度で出力のスピードは変わらない（一定の量の計算をすると確率が出力される）ので、自分は今まで「じっくり考えられない点がAIと人間の違いだなー」と思ってましたが、あっさりとLLMもじっくり考えられれるようになってしまいましたね。 o1は評価が割れていますが、頭がよすぎても、それを使う人が理解できない、能力を使いこなせない、そもそも

カスタムChatBotを作る ChatGPT全盛の時代に、何番煎じだ？という感じですが、とりあえずやってみたので手順を残しておきます。プロンプトエンジニアリングの観点ですと、いわゆるIn-Context LearningのRetrieval-Augmented Generation（RAG）ってやつになると思います。プロンプトエンジニアリングに関しては以下記事参照ください。 具体的な手段・実装としては、基本的にnpaka大先生のやったことや書籍を大いに参考にさせていただいています。 OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門 以前、はてなブログのデータだけでやってみてはいたのですが、イマイチ性能がよくなかったので、今回は色々と改善版という位置づけです。 大きく変えたところは以下2つです。 データを増やした（ブログデータ → ブログデータ +

自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。

論文を読んでみる 趣味9割、仕事1割くらいの割合で論文を読んでいます。 学生のときは「論文なんて、何の役に立つんだろ？」とか思っていたダメ学生でしたが、最近は「論文は最先端の研究にキャッチアップするための最高の知のアーカイブの一つ」と少しだけ思えるようになりました。 機械学習・ディープラーニング(AI)の分野では、無料で読める論文がたくさんありますし、コードが公開されているものも多く、（比較的）手元で再現実験しやすいのも良いですね。 いつもTwitterに流れている論文を適当に拾うことが多いのですが、それ以外の情報源をメモがてら個人的にまとめてみます。ガチ研究者ではないので、そういう方は近くの優秀な人に聞いてくださいね（そして、コメントとかで教えてください）。 Consensus GPT ChatGPTの有料版が必要ですが、2億以上の論文からAIを使って探せるということで、良い気がします。