生成AIの「URLを読む処理」について考えてみる。 - フジイユウジ::ドットネット

ここ最近、生成AIに要約などのURLを指定した参照処理ができない事が増えたので、それについての雑記です。 (雑記なので、専門的な調査や論考ではありません。もし、間違ってるところがあったら指摘は歓迎です。修正しますので優しく教えてください。) なお、本記事は心を込めて物理キーボードを叩いて書いた人間の手作りです(一部データ集計などAIに手伝ってもらってるはいるけど)ので、どうぞ安心して最後までお読みください。AIに書いてもらえなかったオチがあります。 下の画像は ChatGPT に NHKのニュースにアクセスしてもらおうとして「robots.txtで禁止されている」という理由で断られてるところ。生成AI系から記事へのアクセスができなくなっている。 どうも最近は robots.txtで生成AIからのアクセスをブロックしてるメディアが増えているみたい。 robots.txtはクローラー(ロボット

[fujii_yuji]

雑記を書いた。間違いや変なところあったら直しますので、指摘は優しくお願いします(ぺこり) / ちなみにブロックしてるサイトをAIに読ませる方法はいくらでもあるけど、それじゃ意味ないって問題提起も含んでますよ。

[tettekete37564]

NHKは何勝手にAI弾いてんだよ。NHKに金払ってる人達の許可取れよ。こちとら震災の時以外見た事ないのに20年以上受信料払ってんだぞ。ニュース記事くらいAIに読ませて国民に還元しろや

[owl23]

AIの問題はインターネットのほとんどが有料になるって帰結をもたらすんじゃないかと思っている。

[aului]

フジイさんの記事好きです。年末とかの本の紹介好きでした。何冊も面白い本に出会えました。またお願いします！！

[timetrain]

クロールされると無駄に処理食われるだけで広告も表示されないとデメリットしかないもんな。データのお買い上げはこちら、とするのはいっそ好感が持てる

[beejaga]

最新の情報は、LLMがMCP経由でローカルのブラウザをボチボチして調べるようになるのだろう

[agektmr]

素直にrobots.txtに従ってるのは良いけど、広告ばかり学習するような状況にならないか心配。

[sosoz4]

ccbotが弾かれてるのとばっちり感が凄いんだよなぁ…。アーカイブの観点からも重要なのに。

[anonruru]

極端な話、SEOみたいにAIに取り上げてもらいたいと思ってるサイトだけがクローラを受け入れてAIの調査・要約内容に影響を与えたりしそうだなあ。

[manatus]

インターネットのほとんどが無料な帰結がこの様なんで、有料とクローズドアクセスの向こうにインターネットが行く日を待ってるよ

[wordi]

そのうちrobots.txtを見ない行儀の悪いクローラー搭載AIしか信用できないってなりそう

[pmint]

広告収入に依存しているせい。RSS（ニュースフィード）を生成しないのと同じ理由。ネットが分かってない。

[shingo-sasaki-0529]

なるほどぉ。最新情報を学習しようとしてもこういう問題あるんだ。基本的には一次情報はなるべく自分で収集して、そこから要約や分析をAIに任せるぐらいの使い方のほうが無難そうね。

[o_mega]

アカウント作れ/登録ユーザーにしか情報出さない/APIは絞る、はAI以前からも流れがずっとあるイメージ(twitterやFBもそう)だから、AIで急にという印象はないが、分断が加速する所はありそう

[TakamoriTarou]

真っ当に行けばAI屋がデータの対価を支払う、またはリンクを必ず示すようになる、だけどそうなるかなあ。あるいは新聞購読者向けにRAG的に利用できるようなサービスになっていくか。

[readonly0]

AIを弾いてるサイトは役に立たないのでページランクを下げて欲しい。google のAIサイト要約に゙出てこないから事実上そうなってるかな？

[harumomo2006]

最近はGoogle検索すら上部にAIの回答が表示されるのでサイトを開く必要性が落ちている。テキストではなく動画での説明を求める層が増えているらしいし今後テキストサイトへの流入が減るのはほぼ確定だと思う

[zou_crypto]

だからObsidian。全部cursorからaiに食わせられる。ただ、活用は結構工夫が必要で簡単では無い

[otoan52]

NHKはいままでの蓄積を生成AIむけのデータに整理することで、過去資産を販売できる可能性があり、受信料を下げたりできる可能性があるので、権利保護と資産化の両方をきっちり進めて欲しい。

[yoiIT]

ちょうど知りたかったやつ。

[rgfx]

話は聞かせてもらった、全人類DeepResearch青天井課金待ったなし。損害にしかならないbotトラフィックでインフラにコストがかかるの、広告ブロックどころの話ではない。(ブロックの方がトラフィックが減る分マシまである)

[otchy210]

AI にパソコンそのものの操作を任せられるようになるまであと少し。そうしたら「まるで私が操作を行っているかのようにブラウザを操作して以下のことを調べて下さい。」で、全て突破できる。

[frantic87]

情報の流通形態が変わると社会の仕組みも変わる

[kei_1010]

これはAI用プロキシサーバーで回避される流れになって、その次はそれをガードする為にやむを得なくログイン必須のサイトばかりになる未来が見える。

[bumble_crawl]

俺のChatGPTは「僕」って言わないんだが、言わせてるのか。

[s17er]

解決するのは金かな。AIに読ませたければ金払えと

[kozokaeru]

“下の画像は ChatGPT に NHKのニュースにアクセスしてもらおうとして「robots.txtで禁止されている」という理由で断られてるところ。生成AI系から記事へのアクセスができなくなっている。 ”

[ikihaji_kun]

個人が学習拒否を公言すると反AI扱いされるんだけどね。大手メディアが反AI（）だらけで大変どすなぁ

[unmarshal]

検索エンジンのクロールはある程度win-winだけどAIによるクロールはそうでは無いケースも多いのか。なるほど。

[amd64x64]

AIに対しては広告を返せば良いのでは

[gfx]

“生成AIに利用される情報を作っている人や企業が損をしない「健康的で持続可能な情報流通」が社会実装されて欲しい” / これにつきるな。

[peppers_white]

被アクセス側としてはAIにディプシを使って検索させてたどり着いてもらって、わからなければAIに要約してもらうのが理想とは感じる/読み解く能力が不足してる人間にとってはAIはアクセスビリティになる

[nabinno]

ブロックしているサイトは二次、三次情報がほとんだし、情報の精度という観点でいずれ見られなくなるのでは?

[dbr0]

AIに読み込ませるために、AIの指示通りに人間がwebページの内容をダウンロードする作業が残るという未来が来る？

[s-supporter]

大手メディアの拒否が続けば逆手に取って恣意的なデータを乱造してAIに嘘を学習させる輩も現われるだろう。元情報の使用料制にするとAI料金が上がり、有料無料バージョンの違いでAIも人も知の格差が広がるかも。

[hagane]

まともなニュースサイトがrobots.txtで制限する一方、フェイクな内容のサイトはそんなことしないはずで、生成AI側が律儀に守っているとどんどんソースが毒されていくんじゃないかという不安が沸き起こってくる。

[lenhai]

robots.txtはAI学習を禁止する「法的な拘束力があるわけでもない」が、著作権法施行規則4条の4で「robots.txtの名称の付された電磁的記録」が規定され、検索結果のスニペット表示(軽微利用)を禁じる法的な拘束力はある。

[richmikan]

URLはWebページに対するアドレスの一種であって、中身ではない。URL文字列の解釈の話に見える頭の悪いタイトル。

[medihen]

使っているAIの学習データの質でAIツールを使ったアウトプットが評価される近未来が舞台の藤井太洋『マン・カインド』を読もう！