AIは「賢いフリ」をしていた──ハーバード大などが暴いたLLMの決定的弱点「ポチョムキン理解」とは？ | XenoSpectrum
大規模言語モデル（LLM）は、流暢な会話をこなし、専門的な質問にも答える。その驚くべき能力に、私たちは「AIは本当に理解しているのではないか」という期待を抱きがちだ。しかし、その知性は本物なのだろうか？ こうした我々の抱く最もな疑問に対し、2025年6月26日に発表された一つの研究論文が1つの答えを与えてくれるかもしれない。 ハーバード大学、MIT、シカゴ大学の世界トップクラスの研究者たちが共同で発表した論文は、LLMが概念を「理解しているフリ」をするという、根源的な欠陥を白日の下に晒した。本稿では、この「ポチョムキン理解」と名付けられた現象の核心に迫り、それが私たちのAIに対する見方、そして人工知能の未来に何を意味するのかを解説する。 賢いフリをするAI──「ポチョムキン理解」という新たな弱点 今回発表された論文「Potemkin Understanding in Large Langu
結局ExcelをLLMに読み込ませたいときにどうすりゃいいのか、"鬼"に聞いてみたメモ
ExcelをLLMに読み込ませたいけれど、そのままだと読めないと思うから、いったんMarkdownに変更してみたけれど、そこから先の精度がうまく出ないし、どうしたらいいかもわからない……。みなさん、そんな経験はありませんか？ 僕はいまそうなっています！ というわけで、ChatGPT(樋口作のGPTs"鬼")にいつも通り聞いてみたところ、なるほどと思ったので備忘もかねてやりとりを残しておこうと思います。 樋口： LLMにExcelで書かれた設計書を読ませてテストパターンを生成させたいんだけど、コツを教えてほしい。ExcelをMarkdown化してプロンプトに入れてるんだけど、カラムとセルの関係がいまいちちゃんと判別されないように見える。あと、空白セルや-としか記載されていないセルの意味を理解していないように見える。そういう、Excel独特の２次元マトリクスを自然言語のプロンプトに落とし直すた
Google DriveとLLMで議事録を自動生成する仕組みを作る
Google DriveとLLMで議事録を自動生成する仕組みを作る こんにちは。 株式会社エスマットでSREをしているbiosugar0です。 今回は私が社内向けに構築した Google Driveにアップロードされた音声・動画ファイルからLLMを使って自動的に議事録を生成するシステムを紹介します。Python製です。 数ある会議や電話、インタビュー音源を文字起こしし、要点をまとめる作業は非常に手間がかかりがちです。そこで、Google Cloud Run・Google Workflow・Whisper・gpt-4o などを活用して、書き起こしから最終的な議事録ドキュメントを作成するまでを自動化しました。Googleカレンダー情報の連携やSRT形式による動画連携、フォルダ名による処理分岐など、拡張性を持った仕組みを整えているので、そのポイントを順番に紹介していきます。 システム全体概要 全
ついに来た拡散言語モデル｜shi3z
https://www.inceptionlabs.ai/news Inceptionという会社のMercuryという拡散言語モデルがすごい。 いつか出るだろうと思っていたのだが、なかなか姿を見せなかった、拡散言語モデルである。 スピードの差は一目瞭然 速すぎワロタいまAIは、「頭の良さの差」を競う段階に来ている。 「頭の良さ」を測る尺度はたくさんあるが、僕は答えの用意されたテストを解くことをたいして良い尺度だと思っていない。まあ答えの用意されたテストしか解いてこなかった人たちにはそれでも十分な尺度なのだと思うが。 ただ、「考える速さ」というのは間違いなくひとつの尺度だし、その点で言うとMercuryは速すぎなのである。 なぜMercuryがこんなに速いのか。 それは、Transformerじゃないからだ。 TransformerにしろRWKVのようなRNNにしろ、「ここまで書いたから続き
Raspberry Pi 5でローカルLLM”DeepSeek-R1″を動かしてみる | YouTuber イチケン 公式ブログ
2025年1月20日、DeepSeekが開発したDeepSeek-R1が発表されました。オープンソースであり推論モデルが公開されているため個人のPCをはじめとしたローカル環境上で動作させることができます。 今回は色々な意味で世間を騒がせているDeepSeek-R1をRaspberry Pi 5の上で動かして、手のひらサイズのローカルLLMを体験してみたいと思います。 なお、本記事は動画の内容をさらに発展させた内容になっています。動画の方もぜひあわせてご覧ください。 今回作成するもの ローカルLLMを触るのは初めてなので、とりあえずシンプルにLLMと対話するまでを目標とします。 要件 今回達成すべき要件を以下のように定義しました。 Raspberry Pi 5(8GBモデル)上で動作する。 DeepSeek-R1と日本語で対話できるUI(最低限CUIで、できればGUIで)。 Windows環
研究者にとってo1Proは3万円課金する価値があるか？｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
研究者が論文執筆や助成金の申請書を書く際、近年は大規模言語モデル（LLM）を活用するケースが増えています。確かにo1proの書く文章はAI臭さが無いですし、その知識や発想力に驚かさせる事は多いです。ただo1proをアカデミック関連の業務に試してきましたが、その経験から言えば、3万円を払ってo1Proを使う必要性は低い、というのが私の現在のところの正直な結論です。以下に理由を述べます。 1. o1モデルにおけるプロンプトのコツo1モデルは「シンプルなプロンプトがベスト」とされており、複雑なコンテキストや指示を加えすぎると性能を発揮しづらいと言われています。一部のプロンプトエンジニアリング（few-shot learning や「think step by step」など）は、性能を向上させない場合もあります。以下がベストプラクティスです： シンプルで直接的に：簡潔な指示が最も効果的です。 連
［速報］GitHub、自然言語による指示だけでアプリケーションを生成する「GitHub Spark」テクニカルプレビュー公開
［速報］GitHub、自然言語による指示だけでアプリケーションを生成する「GitHub Spark」テクニカルプレビュー公開 GitHubは、日本時間10月30日未明に開幕したイベント「GitHub Universe'24」で、自然言語による指示だけで、パーソナライズされた小規模なアプリケーション（Micro-App）をすぐに生成できる「GitHub Spark」の テクニカルプレビューを発表しました 。 下記はGitHub Sparkのデモとして公開された動画の一部をキャプチャしたものです。 例えばユーザーは、ダッシュボードから「An app for me to log all the cities I've travelled with a review and star rating」（これまで旅行したことのあるすべての都市のレビューと星の数での評価を記録するアプリ）のように、作りた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニアに許された特別な時間の終わり