昨日は休もうと思ったのにentropixが衝撃的すぎて結局ずっとコンソールに齧り付いていた。今日は技研スタジオの電気工事があるのだが、技研専属電気技師のふかみんがなかなか他のフロアの作業が終わらないので、その間に誘惑に勝てず、再びentropixを触ってみた。 entropixのオリジナルのコードは1B用なので、これを8Bに拡大してみる。 細かい修正点が多かったのでソースコードをフォークして自分のリポジトリに上げた。プルリクするにはちょっとかけ離れた内容になってしまったので。 8Bにするにあたり、トークナイザーとモデルはLlama3.1をベースにした。 8Bは元々だいぶ賢いのだが、それでも「9.11と9.9はどちらが大きい?」と聞くと、自信満々に「9.11」と返してくるので厄介なモデルである。まあClaude-3もそうだけどね。 1Bでも360Mでも間違わなかったこの質問、entropix