LLMs.txtについての覚書

LLM時代のWebアクセスとは 世は大LLM時代。皆が元気にTavilyでWebクロールしたり、AI AgentでガンガンDeep Researchする時代は、人間用のWebサイトにえげつない負荷を与えているのであった。 そんな時に「仕様を1枚のテキストにまとめたよ！」みたいな情報が時々流れてくるが、これはLLMs.txtというらしい。恥ずかしながら仕様の存在を知らなかったので、勉強がてらにまとめてみる。 LLMs.txt? Answer.AI の Jeremy Howard 氏が2024/9/3に提案したのが発端のようだ。 LLMs.txtはLLM（推論エンジン）向けの課題を解決するための提案である。LLMのコンテキストウィンドウの制限に対応したり、不要なマークアップやスクリプトを削除し、AI処理に最適化された構造でコンテンツを提供できる。ということらしい。シングルファイルなのでCDNに

[kiririmode]

webサイトにllmに提供するコンテンツを配置する考えが結構広がってきている

[arrowKato]

robots.txtみたいなやつ.ChatGPTの登場で、ググる文化がなくなると思っていたけど、Deep Researchの登場で逆に増えるんすね。 その対策

[knok]

Continueとかはこれ参照してくれるらしい

[misshiki]

“LLMs.txtは使われているとはいえ標準とまでは達していないため、AI AgentにLLMs.txtを渡すスマートな方法はないらしく、当面は手動で扱う運用になりそうだ。”

[ryouchi]

これサイトの構成が変わったりすると作り直すんだよなぁ。メンテナンス大変？

[kybernetes]

Humans.txtも必要そう。

[murashit]

アクセシビリティ等のために古来から存在しておくべきだったものという気もしてきた

[gfx]

へー、なんとね。