2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をいくつかピックアップして解説する連載「生成AIウィークリー」から、特に興味深いAI技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、わずか2700万パラメータという小規模なモデルでありながら、複雑な推論タスクにおいて最先端の大規模言語モデル（LLM）を凌駕するモデルを開発した論文「Hierarchical Reasoning Model」を取り上げます。 この論文はシンガポールのSapient Intelligenceと清華大学による研究発表です。Sapient Intelligenceはシンガポールに本社を置き、サンフランシスコと北京に研究センターを構えるグローバルなAGI研究企業です。精華大

Top > 学術＆研究 > 「理論がないAI/LLM」に情報幾何学から新たな解釈の可能性　──“曲がった”ニューラルネットワークが引き起こす爆発的記憶、京大らが高次相互作用の数理に突破口

今回のテーマは以前からずっと言われ続けている話題なので特に目新しくも何ともないのですが、たまたま近い時期に2本の似通った内容の論文がarXivに出たので、まとめてダイジェスト的に紹介しようと思います。以下がそれらの論文です。1本目はApple、2本目はGoogle DeepMindによる研究です。 どちらもSNSや技術メディアでは既報の内容であり、ご存知の方も多いのではないでしょうか。これらの論文は本質的には「『推論する生成AI』は実際には思考しているわけではなく、丸暗記した結果を返しているに過ぎない」と各種の実験結果から指摘するものであり、今後の推論生成AIの研究開発を行う上で新たに考慮されるべき指針を提案しています。 そもそも「推論する生成AI」とは何なのか 「推論する生成AI」は既知の複雑な課題は解けるが、その難易度をどんどん上げていくと解けなくなる 逆に、「推論する生成AI」は既知

この書き起こしは、AI研究の巨匠であるヤン・ルカンが、大規模言語モデル（LLM）のスケールアップだけでは汎用人工知能（AGI）に到達できないという見解を述べたインタビューである。ルカンは、現在のAIシステムの限界と展開における課題、過去のAIブームと冬の時代の歴史、そして真の知能を持つシステムに必要な要素について論じている。物理世界の理解、持続的記憶、推論と計画能力の重要性を強調し、AGIは単一の突破口ではなく世界中の研究コミュニティによる継続的な進歩であると主張している。 私たちは大規模言語モデルをスケールアップするだけでは人間レベルのAIに到達することはありません。これは単純に起こらないことです。それがあなたの見解ですね。絶対に無理です。絶対に無理です。そして私のより冒険的な同僚たちから聞こえてくるかもしれないことですが、これは今後2年以内には絶対に起こりません。 絶対に不可能です、失

大規模言語モデル（LLM）は、流暢な会話をこなし、専門的な質問にも答える。その驚くべき能力に、私たちは「AIは本当に理解しているのではないか」という期待を抱きがちだ。しかし、その知性は本物なのだろうか？ こうした我々の抱く最もな疑問に対し、2025年6月26日に発表された一つの研究論文が1つの答えを与えてくれるかもしれない。 ハーバード大学、MIT、シカゴ大学の世界トップクラスの研究者たちが共同で発表した論文は、LLMが概念を「理解しているフリ」をするという、根源的な欠陥を白日の下に晒した。本稿では、この「ポチョムキン理解」と名付けられた現象の核心に迫り、それが私たちのAIに対する見方、そして人工知能の未来に何を意味するのかを解説する。 賢いフリをするAI──「ポチョムキン理解」という新たな弱点 今回発表された論文「Potemkin Understanding in Large Langu

https://anond.hatelabo.jp/20250627100609 まず、上記の「全然使えない」という感想は、的確で正しい。 自分は、まだ素朴なニューラルネットワークで光学文字認識(OCR)で精度を出していた頃からこの界隈と付き合いがあるが、現状のAI界隈は少しハイテンションすぎる。 現在の熱狂的なブームは、チャットベースの大規模言語モデルのデモンストレーションが知的に"見える"ことからくる誤解であって、これは誤解させる方が悪い。 誤解させる方が悪く、上記の感想は正しいものだ。そして、使い物になるかならないかで言えば、既に使い物になる。 全然使えないAIという感想や実感は、正しいまず全然使えない例について反論したくなる人もいると思う。２つだけ例題に付き合って欲しい。 1. カーナビに対して以下の入力をしたが、まったく使い物にならない。 【フランク・キャンパーという元ベトナム退

LMStudioでLlama4 Scout-MLX-4bit版にこないだ書いた同人誌(5万字)を与えて「各章100文字で要約しろ」と言ったらローカルでこんな要約ができた。 MacBookPro M4(128GB)を使用 第一章：ローカルLLM革命 - Mac Studio 512GBが切り拓く新時代2025年上半期、AI技術の進化でローカルLLMが注目され始めた。特にAppleのMac Studio 512GBは、クラウドに頼らず個人で高性能LLMを実行可能にする象徴的な存在だ。これにより、プライバシーを確保しながらAIを利用する新しいパラダイムが現実のものとなった。 第二章：ローカルLLMと動画生成AIローカルLLMの進化に伴い、個人でも高性能なAIモデルを手軽に実行できるようになった。同時に動画生成AIの技術も進化し、誰でもアイデアを元に動画を作成できるようになった。これらの技術は創造

AI によるコーディングの支援はコード補完型からチャット型、そして自律型へと進化しています。この記事では現時点で主流となっているコーディングエージェントの種類とその特徴を整理したうえで、エンジニアの仕事の変化について考察します。 コーディングの仕事における AI 技術の関わりといえば、GitHub Copilot を代表するエディタ補完型が主たるものとして認識されてきました。補完型の AI はユーザーが途中まで書いたコードを補完する形で提案を行うことから、ペアプログラムの相方のような存在として捉えられていました。例えば function add と書き始めると、AI は (a: number, b: number): number { return a + b; } といった形で関数の定義を提案します。ユーザーは Tab キーを押すことで提案を受け入れたり、提案が気に入らなければそのままコ

はじめに Claude Code、GitHub Copilot、Cursor など、様々な AI ツールが同時に複数のタスクを並行して処理することを可能にしました。しかし、従来の Git ワークフローでは、ブランチ間の切り替えによる作業の中断や、複数のタスクを同時進行する際のコンフリクトが課題となっています。 そこで注目されているのがGit Worktreeです。この記事では、Git Worktree の基本概念と使い方を紹介します。 従来の Git ワークフローの課題 ブランチ切り替えの問題点 従来の Git ワークフローでは、異なる機能やバグ修正を行う際にgit checkoutやgit switchでブランチを切り替える必要がありました： # 機能Aの開発中... git add . git commit -m "WIP: 機能Aの途中" # 緊急のバグ修正が必要 git switc

簡単にいうと、LLMの仕組みを理解してLLMの気持ちになってどういうコンテキストを与えたらうまくいくのか？どうやれば安定したLLMプロダクトを開発できるのか？というLLMプロダクト開発の基本が書かれた本です。 内容はいささか古く（おそらく2024年中頃までに書かれている）、この本から即座に実践に入れる類いの本ではないので、まさに「教科書」です。この本を索引として、必要な知識を深掘りする必要性があります。 この本に書かれている知識のまま、知識更新を怠ると極めて危険です。いろいろな情報がアップデートされています。 この記事に間違いとか解釈違いとかあったら、是非ご連絡ください！ コーディングエージェント使いが読むべきか？ 非エンジニアが読むべきか？ 内容の解説 という構成です。 コーディングーエージェント使いが読むべきか？最近コーディングエージェントを使う人が一気に増えました。そういったコーディ

米Google Deepmindのエンジニア、オマール・サンセビエロ氏は5月11日（現地時間）、オープンな生成AIモデル「Gemma」のダウンロード数が、昨年2月の公開から累計1億5000万回を超えたとXで発表した。 Gemmaは、軽量ながら高性能なオープンウェイトのLLMファミリー。質問応答、要約、推論などの多様な生成タスクに対応し、開発者が独自のプロジェクトやアプリ向けに自由に調整し、組み込めるよう設計されている。Google CloudのVertex AIやHugging Faceなどを通じて利用可能で、商用利用も認められている。 サンセビエロ氏は、Hugging Face上で開発者が7万種類以上のGemmaのバリエーションを作成しているとも語った。 Gemmaと競合する米MetaのオープンなLLM「Llama」は、米Metaの公式Xでの発表によると、2023年の初代モデル公開以降、

各技術系メディアでは既に報じられていますが、今年のAAAI*1で会長名によってリリースされた"AAAI 2025 Presidential Panel on The Future of AI Research"の内容が非常に示唆に富んでいたので、改めてやや仔細に読み解いてみようかと思います。 なお、元のレポートは結構なボリュームがありいきなり精読しようとするとしんどいので、NotebookLMにまとめさせたサマリーと論点に対応した原文の箇所を適宜読み返して自分で補いながら*2、つらつらと論じていくこととします。ということで、hallucinationsなどあればご遠慮なくご指摘くだされば幸いです。 レポートの全体構成について（特にAI研究者へのアンケート） 個人的に注目した論点 現在のAIの延長上にAGIは実現しない(76%) LLMの事実性・信頼性の問題はすぐには解決できない(60%)

こういう記事を読んだ。 fujii-yuji.net 僭越ながら意訳すると、 robots.txtでLLMからのアクセスをrejectするコンテンツプロバイダが増えている(はてなブログも現状はrejectしている) なぜrejectするのかというと、負荷がかかる上に収益を奪われる形になるから しかしそうなるとLLMは古いコンテンツしか参照できない 情報を発信している人が対価を得られるような健全なエコシステムが必要なのではないか この記事では、暗号通貨で面白いことできるんじゃない？ということを話す。私はAIの専門家でもないし、暗号通貨に関してもいろいろ弄っている程度の知識しかないので、色々な意見が聞きたい。 マイクロペイメントとその障壁 現在は読める/読めないという二項対立的な対応をすることしかできないが、もうすこし柔軟に、「相応の対価を支払ってくれたら閲覧を許可する」という挙動を考えるのは

ついに量子コンピュータでLLMの追加学習に成功。量子コンピュータとテンソルネットワークがLLM計算を変える。 ついに、量子コンピュータと大規模言語モデル（LLM）が交差する未来が現実のものとなった。これまでは理論提案が主体だったが、実際の量子コンピュータを利用することでファインチューニングなどの一部の学習が実機で可能になった。 だがこの融合は、ただの“AIの高速化”ではない。LLMのファインチューニングというプロセス自体が、量子計算によって再定義され始めているのだ。 ■ なぜ量子コンピュータでLLMを扱うのか？ 従来、LLMの学習やファインチューニングはGPUクラスタを用いた「大規模分散計算」が前提だった。しかし近年のAIの発展において注目を集めているのが LoRA（Low-Rank Adaptation） をはじめとした「軽量な微調整手法」だ。 LoRAは、モデル全体を再学習するのではな

こんにちは、よしこです。 最近、個人的に欲しいツールをVibe Codingで作ることが増えてきたので、私の中で定着してきた進め方をまとめてみようかなと思いました。 ちなみに "Vibe Coding"（雰囲気コーディング）というのは、「人間が音声やテキストで指示を出し、AIが主体となってコードを書くコーディングスタイル」を指すワードです。 私もこのやりかたをするときはほとんどコード書いてません。 要件定義 まずは「何を作るのか」「ターゲットは誰か」「どんな機能が必要か」「画面構成はどうするか」などを決めます。好きなAIとチャットベースで喋りながらまとめていきます。 こっちが全然考えきってなくても、「◯◯なアプリ作りたいんだけど要件定義手伝ってー」から会話を始めれば必要な情報は向こうがヒアリングしてくれます。 ここはChatGPT 4oを使うことが多いです。トーンやノリが個人的な好みと合っ

Lightpanda is purpose-built for AI and automation workflows. 10x faster. 10x less RAM. 100x better than Chrome headless. Scrape at scaleHandle resource-intensive web scrapingMinimal CPU and memory footprint

3ヶ月経って、いくつか新しいモデルが登場したことでごっそり事情が変わりました。 ChatGPT Pro使ってましたが解約しました。o3が登場したらまた考えます。一時期解約していたGemini Advanced（Google AI Oneプレミアム？）を契約しなおしました。Claudeの年契約をしたんですがすこーし後悔しています。 追記: Gemini 2.5 Pro は今までのGemini シリーズとは明確に違うコメントとかでGeminiアレルギーの人が多そうなので追記します。実際のところ僕もそうでしたよ。過去のGeminiは、特に1.5 Proが論外なくらいハルシネーションも多く馬鹿で、使い物にならないおもちゃでした。それは事実です。2.0 Proで状況が変わり始めたものの実験モデルが続いてて、結局コイツの真価がよくわからんってなってました。 Gemini 2.5 Proを触ったことがな

現在普及しているStdioServerTransport型MCPサーバーの使用方法は設定ファイルにnpxやuvxコマンドを記述する。​これはその場でダウンロードしたスクリプトファイルを実行することを意味する。 https://code.visualstudio.com/docs/copilot/chat/mcp-servers​しかしこの実行方式は開発者には悪名高いソフトウェアのインストール手順「curlしてbash（URLでダウンロードしてきたシェルスクリプトをパイプしてノールック実行）」を思い出させる。「curlしてbash」なら単一の信頼した配布元を基準に判断できるがnpxやuvx方式は依存するライブラリも芋づる式に参照してくる。つまり任意のコードをどこかの経路（MCPサーバー本体でなくその内部の別の依存ライブラリかもしれない）を通じて実行される可能性は残る。 curl | bash