ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送

Revisiting Over-smoothing in BERT from the Perspective of Graph

[tsubosuke]

NLP（自然言語処理）研究者がChatGPTの謎を考察。ChatGPTは確率で次に繋がる言葉を表示しているだけなのになぜこんなに自然なのか。英語学習させてるのになぜ日本語もいけるか。研究者の興奮が伝わってくるし参考になる。

[nakamura-kenichi]

まあやってみたら「脳ってそうやんなあ」って事やからなあｗ。膨大な計算と実証を積み重ねた結果で、答えは一番シンプルな力業でしたっていうなｗ。

[makoto15]

単語の予測は、同時通訳者もやっているらしく、予測して、言葉を訳しているらしい。生きているうちに、こういうサービスがでてくることに驚いている。

[napsucks]

SGPとか身体性とか置いてけぼりの単なる単語処理でここまで「らしい」ものが実現できるのは驚異。言語だけで意識が実現できるなら俺らが言葉を失ったら意識も消えるのだろうかそんなはずなさそうだがと新たな疑問が。

[naggg]

逆に研究テーマが増えるのかー。確かに身体性のところ、すごい気になる。

[ohbarye]

"最適輸送は自然言語処理とすごく相性が良い" "点群を移し換えるコストを計算" "輸送コストだけでなく輸送プランがわかる"

[gengohouse]

“ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送”

[misshiki]

50ページのスライド資料。

[mazmot]

専門的で素人にはようわからんのやけど、30年ぐらい前に翻訳やってて単語の重み係数と分布確率みたいなことを考えていたことを思い出す。輸送距離か。わからんなりに、なるほどなと思う。

[otihateten3510]

結局よくわかってない部分多そうだよなこれ

[qpci32siekqd]

ChatGPTってOpenAIから解説出てたっけ？(その前のとか、一部出てるのは知ってるが）。公開情報のNLP界隈から見たらこうだってことなんだろうけど

[puhu208n]

語彙全体の共起のグラフが似るのは人的交流の量によるもの、と個人的には確信する所がある。卑近な話、中国語をやると破綻しないが日本語としては論理のおかしい文が出てくる。英語と日本語は同質化が進んでいる。

[yarumato]

“ChatGPTで自然言語処理（NLP）終わった？ 最適輸送（Optimal Transport）は運輸に数学的な解決策で機械学習に応用。 訓練データの丸暗記（memorization）と汎化（generalization、見たはずのない質問に流暢に答える）が両立”

[snow8-yuki]

外形的には演繹してないこともないけど、基本的には帰納法で思考してるからなあ。

[irimo]

後半わからなかったですが、面白かったです！身体性のない言語理解、なるほど！アイデアの先はやることありませんが、NLPの役目はまだまだありますね。

[fujixe]

“修論ネタとして出てきたら「アイディアが凡庸すぎるかも……？」「泥臭過ぎる」とコメントするレベル” それであのレベルというのが直感に反している部分と、やり切ればまあそうなるか、という両面がある。

[shunkeen]

“NLP終わった…？→やりたいことが大量に増えた”／技術革新で遠出できるようになって探索可能領域が増えたみたいな？人間の脳みそは途中で介入できないけど、ネフェルピトーみたくLLMの潜在空間に最適輸送で（略）