ファーストリリースでは記事のタイトルとブコメしか読んでいなかったはてのちゃんですが、やはりそれだけだとワードサラダ感が強く自分の理想とするAIブックマーカーではなかったため、ちゃんと記事の中身を読ませるようにしました。 もちろんすべてのwebページで的確に読めているわけではありませんが、ある程度テストしたところそこそこ読めるようになったと思います。 ロジックとしては汎用的には下記の記事を参考にさせてもらいました。 増田とかはてなブログはホットエントリー率が高いので、もうちょっと個別に抜き出しロジックを作ってます。 srbrnote.work これで抜き出した本文全部に対してコメントさせているのではなく、いったんこれをある程度のところまででGPTに要約させて、その要約とブコメを元にコメントさせるスタイルに変更しました。 何度かテストしたところ質は格段に上がったと思います。 ちなみに、漫画のエ

ChatGPTから効率よく知識を得られた。 と自分では思っていても、それがウソ知識であることは、よくあります。 そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。 たとえば、今、僕はガリア戦争(紀元前58～50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。 そこで、以下のようにChatGPT(GPT4)に聞いてみた。 ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？ ChatGPT(GPT4)の回答は以下の通り： ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル（約1

GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク