はてなブックマーク

本記事では、論文本文のみをもとに実装コードを生成するLLMベースの方法論を紹介します。 論文の内容を整理し、段階的にリポジトリを構築する仕組みが提案されています。自動評価と人間評価の両面から有効性が検証されました。 論文実装の再現性を高めたい場面で参考になる知見が得られる内容です。 背景 機械学習の研究分野では、次々に新しいアイデアや手法が生まれています。 こうした流れを追いかけ、論文から学び、自分の知識や技術に取り込もうとする努力は、技術者にとって欠かせない営みです。 論文を通じて新たな考え方に触れ、そこから実装に挑戦することは、これまでも多くの成長と発見を支えてきました。 ただ、その過程には、ときに壁が立ちはだかることもあります。 たとえば、発表された手法に対応するコードが公開されていない場合、手元で実験を再現するためには、論文を読み解き、必要な処理を推測しながら、一からコードを書き起

人間のチームワークと同様、LLMも「一人で何でもやる」より「専門性を持って協働する」方が効果的なケースが多いことが明らかになりつつあります。 例えば今回、マニュアルなどをもとにワークフローを作る課題の成功率は、先端モデルでさえ単独では2割未満に対し、3つの役割つきモデルでは5割以上に 跳ね上がることが分かりました。 背景 私たちが日常生活での課題や仕事を進めるときには、多くの場合、「どんな作業をどの順番で行うか」という段取りを組み立てています（テキストに起こさない場合でも、頭の中で行っている方は多いかと思われます）。 こうした一連の作業の流れを「ワークフロー」と呼びます。ワークフローは、企業活動に限らず、個人的な活動や、ちょっとしたプロジェクトでも役割を果たします。 たとえば、「毎朝9時に特定の相手にメッセージを送る」「定期的にファイルを整理して保管する」といった身近な作業も、ワークフロー

「プロンプトの書き方を工夫すれば、高コストな上位モデルを使わなくても安価なモデルで十分な品質の応答が得られる場合も多い」という実用的な知見が報告されています。 LLMアプリケーション1,000事例を調査分析した結果、そのような示唆が得られたとのこと。 なお、ほとんどのプロンプトテンプレートは”質問”ではなく”命令”の形式で書かれており、出力はJSONで構造化されるのが一般的であることが明らかになりました。また、「～～はしないでください」といった制約が多用されているそうです。 最終的に、現状における「プロンプトテンプレートの効果的な書き方」、「JSON出力形式の指定方法」、「制約の書き方パターン」などが体系的に明らかになっています。 背景 LLMを使ったアプリはどんどん増えており、幾多のサービスが世の中に出ています。それに伴い、自然な言葉でモデルに指示を出す「プロンプトエンジニアリング」がと

本記事では、LLMを「人間らしいもの」として捉える考え方が、研究や開発、評価にどのような影響を与えているのかを取り上げます。 近年、LLMの振る舞いを人間の思考や認知と重ねて理解しようとする傾向が強まっており、これが研究手法や開発方針、評価基準にも影響していると指摘されています。 LLMを人間のように扱うことは研究の進歩を促す一方で、誤解や偏りを生む可能性があるため、より適切に理解・運用するための新しい枠組みが求められています。 背景 LLMの研究において、人間の思考や認知と重ね合わせて考える傾向が強まっています。これには、知能を再現しようとする試みが長年続けられてきた背景も関係しており、自然な流れとして根づいてきたようです。 その中で、LLMの性能を評価する過程で「人間らしさ」を基準にする場面が増えていると指摘されています。例えば、モデルの誤りを「幻覚」と表現したり、あたかも人格があるか

本記事では、LLMの理解と制御に向けて新たな語彙を導入する研究を紹介します。 人間の言葉だけでモデル内部を説明しようとすると、両者の概念がずれてしまい、誤解や使いにくさが生じる可能性が高いと指摘されています。 そこで、新たに定義された言葉を使えば人間とLLMの間にある概念の隔たりを解消できると考えられ、取り組みが進められています。 研究者のあいだでは、LLMがまるで人間と同じように振る舞うように見える場合でも、その内部ではまったく異なるかたちで情報が処理されていると考えられています。つまり、LLMは大量のデータから統計的な傾向を学習しているため、あたかも「理解」しているかのように文章を生成できる一方、人間の直感とはかけ離れた内部構造をもつことがあるのです。 人間がすでに使ってきた語彙や概念をそのまま用いてLLMの内部構造や挙動を説明しようとすると、誤解が生じる恐れが指摘されています。たとえ

本記事では、LLMの推論能力を強化学習のみで向上させることに取り組んだ新しい研究を紹介します。 大規模言語モデルの推論能力向上には従来、大量の教師あり学習データが必要とされてきましたが、DeepSeek社の研究チームは強化学習のみ、あるいは少量の初期データとの組み合わせで、高い推論性能を実現する手法を開発しました。 結果、OpenAIのo1-1217と同等の性能を持つモデルの開発に成功したようです。 背景 LLMにおいて特に注目されているのが、モデルの推論能力です。これまでOpenAIのo1シリーズが、Chain-of-Thought（思考の連鎖）推論プロセスの長さを増やすことで、数学や科学的推論などの課題で大きな成果を上げてきました。 しかし、効果的なテストタイム・スケーリング手法は依然として研究コミュニティにとって課題となっていました。テストタイム・スケーリング手法とは、モデルの推論能

背景 科学研究は、アイデアの構想から最終結果に至るまで、多くの時間とリソースを必要とする長期的なプロセスです。実験室での作業、データ分析、論文執筆など、一つの研究を完遂するには数か月から数年を要することも珍しくありません。研究者たちは、限られた時間と予算、人材といったリソースの中で、最も影響力が高いと予測される研究アイデアを優先的に選択しています。そのため、興味深く価値のある研究アイデアであっても、リソースの制約により未探索のまま残されているのが現状です。 探索に関する制約が少なければ、研究者たちは複数のアイデアを同時に調査でき、科学的発見の可能性が広がります。 最近では、研究のプロセスを自動化する試みが進められており、LLMを活用した取り組みが注目を集めています。例えば研究アイデアの生成や論文の自動執筆などが試みられています。 LLMによって生成されたアイデアは、人間の専門家が生み出した

本記事では、仮想通貨投資の判断をAIで支援するシステムの研究を紹介します。 仮想通貨投資では、膨大なデータの分析と深い推論が必要となるため、金融の専門家にとっても大きな負担となっています。深層学習技術を使った自動化の試みもありますが、判断の根拠が説明できないという問題があり、投資家は資金を預けることに慎重な姿勢を見せています。そんな中、LLMを活用した新しい手法が発表されました。 発表者情報 研究者：Yichen Luo et al. 研究機関：ユニバーシティ・カレッジ・ロンドン、南洋理工大学、エクスポネンシャル・サイエンス財団 背景 仮想通貨投資は比較的新しい分野で、株式などの従来の投資とは異なる難しさがあります。市場を分析するには、様々な種類の大量のデータを組み合わせて読み解く必要があり、金融の専門家でも大きな労力がかかります。そのため、投資のための専門サービスは数が限られており、利用

本記事では、企業における大規模言語モデル（LLM）と生成AI技術の利用指針に関する包括的な調査研究を紹介します。 AIは業務効率化やイノベーション促進に貢献する一方で、その管理方針の標準化が課題となっています。にもかかわらず、組織の26%しか関連ポリシーを持たず、23%が策定中という現状です。 そんな中、今回研究者らは世界160社の公式ガイドラインとポリシーステートメントを収集・分析することで、実践的な知見の体系化を試みています。 背景 近年、ChatGPTに代表されるLLMや生成AI技術は、職場環境を大きく変えています。営業資料の作成、データ分析、顧客対応の効率化など、さまざまな業務改善を実現しています。 一方で、多くの企業でルール作りが追いついていない現状があります。Conference Boardの調査によると、生成AI関連のポリシー（使用規定）を持つ組織はわずか26%で、23%が策

本記事では、株式市場におけるニュースの影響力を分析し、株価変動を予測する新しい手法を紹介します。 株価予測において市場参加者の感情（センチメント）を理解することは重要な要素とされており、LLMの登場によってその分析能力は飛躍的に向上しています。 研究者らは従来の手法では見落とされていた”ニュースの普及度合い”に着目し、株価予測の精度向上に取り組みました。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 背景 株式市場は世論やニュースに敏感に反応し、取引行動を通じて株価が変動することが知られています。市場参加者の感情（センチメント）の変化を理解することは価格変動パターンの重要な手がかりとなるため、現代の金融予測においてセンチメント分析は不可欠な要素となっています。 自然

背景 スマートフォンの普及は私たちの生活を大きく変化させました。世界中の多くの人々が、日々スマートフォンを持ち歩き、多様な用途に活用されています。 また、モバイルデバイスからのデータ活用は年々進化し、センサー技術の進歩により、位置情報や動きの検知など、さまざまな情報が取得可能となりました。 同時に、個人の日常生活を詳細に記録し、理解可能な形で残していく「ライフログ」への関心も高まっています。従来のライフログシステムは、写真やビデオ、センサーデータなどの生データを記録することに主眼が置かれてきました。 そして、人間の活動認識（HAR）の研究分野では、「歩く」「走る」といった基本的な動作の識別は実現されていますが、より複雑な生活文脈の理解までには至っていません。 なお、市販のデジタル日記（ジャーナリング）アプリケーションも存在しますが、これらは基本的にユーザーの手動入力に依存しており、自動的な

本記事では、高度な自律性を持つシステムの安全性と説明責任に関する研究を紹介します。 近年、研究者や企業は、限定的な監督下でも複雑な目標を柔軟に追求できるシステムの開発を進めており、ユーザーの能力を大きく向上させる可能性が期待されています。 一方で、潜在的なリスクや責任の所在といった新たな課題も浮上しており、OpenAIの研究者らは開発者、運用者、ユーザーが従うべきベストプラクティスの確立に向けて取り組んでいます。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 発表者情報 研究者：Yonadav Shavit et al. 研究機関：OpenAI 本研究は約１年前の発表ですが、今まさに重要となる内容と思われます。また、同社が直近で社会実装した技術を1年前に研究レベルで

背景 毎日のように新しい発見や技術革新が生まれる現代の研究開発において、より効率的に研究アイデアを生み出す手法が求められています。 創造性研究の知見によれば、優れた発見の多くは、異なる分野のアイデアを組み合わせるところから始まります。例えば、スマートフォンは通信技術とコンピュータ、タッチパネルといった複数の技術を組み合わせることで実現されました。こうした「組み合わせによる創造」のプロセスは、長年にわたって研究され、理論として体系化されています。 最近では、LLMを活用して研究アイデアを生み出す試みが広がっています。研究者が「新しい研究テーマを提案して」とLLMに指示を出すと、LLMは学習した膨大な知識を基に提案を行います。しかし、単にアイデアを出してもらうだけでは、本当に価値のある研究テーマを見つけられるとは限りません。 そこで研究者らは、LLMに創造性理論の知見を取り入れた新しい仕組みの

背景 これまでの常識として、高性能なLLMには高価な業務用グラフィックス処理装置（GPU）が必要で、クラウドのサーバーでしか動作させることができませんでした。 近年、状況は大きく変わりつつあります。性能を維持したまま小型化されたLLMが、オープンソースで公開され始めたのです。パラメータ数（モデルの複雑さを表す指標）は10億から30億程度に抑えられています。一方で、一般向けパソコンの処理能力も著しく向上しました。例えばAppleの最新プロセッサM3を搭載したノートパソコンでは、データ容量を圧縮した30億パラメータのモデルでも、1秒間に90個の単語を生成できるほどの速度を実現しています。 手元の端末でLLMを動かせるようになれば、新たな可能性が広がります。個人情報を外部に送信せずにすみ、ユーザーのプライバシーが守られます。端末内のデータを活用した個人向けのカスタマイズも可能になります。さらに、

本記事では、大規模言語モデル（LLM）の推論能力を向上させる新たな手法を紹介します。 LLMは目覚ましい発展を遂げている一方で、思考や推論において依然として課題を抱えています。 そこで今回研究者らは、哲学者のフレームワークをLLMに応用することでモデルの推論能力を向上させる研究を行いました。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 背景 2022年11月のChatGPTリリース以降、様々な企業や組織から新たなLLMが次々と発表され、性能の向上が進められてきました。 しかし現状のLLMには、重要な課題が残されています。複雑な推論能力を必要とするタスクにおいて、モデルは依然として誤りを起こしやすい傾向にあります。研究者たちの分析によれば、LLMは学習データの記憶と

本記事では、LLMにユーザー個別の応答能力を実装する研究を紹介します。 現在のLLMは性能向上のために膨大な計算資源が投入されていますが、個々のユーザーの特性や変化に十分対応できていないという課題が指摘されています。 そこで今回研究者らは、生涯にわたるパーソナライズという新しい課題に取り組むことにしました。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 背景 LLMの分野では、モデルの能力向上のためにデータと計算資源を大量に投入することが一般的なアプローチとして確立されてきました。膨大なGPUとコストがこの目的のために使用されています。 しかし、モデルの性能向上だけではユーザー体験の質の向上は保証されないという重要な課題が浮き彫りになっています。たとえば「夕食のレス

本記事では、データ活用の現場で大きな壁となっているデータクリーニングという作業を効率化する自動化手法を紹介します。 【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼ 背景 私たちの身の回りには、様々な形でデータが記録・蓄積されています。その中で、例えば飲食店の衛生検査データを管理する係だったとします。同じスターバックスコーヒーの店舗でも、「STARBUCKS COFFEE #279」「Starbucks Coffee #2901」のように表記が揺れていたり、検査結果が「pass」「PASS」「Pass」と異なる形式で記録されていたりすることがあります。エクセルで管理している顧客データでも、「株式会社」「（株）」「KK」など、企業名の表記が担当者によってバラバラ、という経

本記事では、新たな評価手法として注目される「LLM-as-a-judge」を紹介します。一言でいうとLLM自身を評価者として活用する分野です。 従来の評価指標は、自由度の高いシナリオへの対応が困難でしたが、LLMを評価者とすることでより詳細で柔軟な評価が可能となると期待されています。 本稿では、この新しいアプローチの可能性と課題について、最新の研究動向をもとに紹介していきます。 重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。 参照論文情報 タイトル：From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge 著者：Dawei Li,

参照論文情報 タイトル：From News to Forecast: Integrating Event Analysis in LLM-Based Time Series Forecasting with Reflection 著者：Xinlei Wang, Maike Feng, Jing Qiu, Jinjin Gu, Junhua Zhao 所属：The University of Sydney, The Chinese University of Hong Kong, Shenzhen, Shenzhen Institute of Artificial Intelligence and Robotics for Society 背景 時系列予測は、経済、インフラ、社会の様々な分野における意思決定の重要な基盤とされてきました。しかし従来の予測手法は、時系列の変動が安定している場合に

本記事では、LLMエージェントを安全に開発・運用するための新しい考え方「AgentOps」を紹介します。 大規模言語モデルを使ったAIエージェント（LLMエージェント）はできることが増えるにつれて中身が複雑になり、何をどう処理しているのか把握しづらくなるという問題があります。 そこで研究者たちは、LLMエージェントを作る段階から実際に使う段階まで、きちんと中身を確認できる仕組みが必要だと考えました。そこで既存のツールを調べ、体系化しました。 参照論文情報 タイトル：A Taxonomy of AgentOps for Enabling Observability of Foundation Model based Agents 著者：Liming Dong, Qinghua Lu, Liming Zhu 所属：CSIRO’s Data61 背景 大規模言語モデルを活用したさまざまな応用が生

本記事では、複数の文書やページから図や表を含む情報を抽出して質問に答えるRAGシステムのアプローチ「M3DOCRAG」を紹介します。 一般的なRAGは、単一ページしか扱えない、または視覚的な情報（表やグラフ）を適切に処理できないという課題があります。しかし、さまざまな現場ではより高度なシステムが求められており、本研究はそのニーズに応える進展と言えます。 参照論文情報 タイトル：M3DocRAG: Multi-modal Retrieval is What You Need for Multi-page Multi-document Understanding 著者：Jaemin Cho, Debanjan Mahata, Ozan Irsoy, Yujie He, Mohit Bansal 所属：UNC Chapel Hill, Bloomberg 背景 文書から情報を抽出して質問に答える

本記事では、マイクロソフトが開発したマルチエージェントシステム「Magentic-One」を紹介します。 最近では特定の分野に特化したLLMエージェントが次々と開発されていますが、より汎用的な能力を持つエージェントの実現が課題となっていました。この課題に対し、Magentic-Oneは「複数のエージェントによるチームワーク」という新しいアプローチで解決を試みています。 その設計思想や具体的な仕組みは、今後のLLMエージェント開発に大きな示唆を与えています。 参照論文情報 タイトル：Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks 著者：Adam Fourney, Gagan Bansal, Hussein Mozannar, Cheng Tan, Eduardo Salinas, Erkang (

本記事では、LLMの精度向上のために用いられるRAG（検索拡張生成）システムにおける、HTML活用の可能性について紹介します。 現在のRAGシステムでは、ウェブページから単純にテキストを抽出して利用していますが、この過程で見出しの階層構造や表組みのレイアウトといった重要な情報が失われています。そこで注目されているのが「HTMLをそのまま活用する」という新しいアプローチです。 参照論文情報 タイトル：HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems 著者：Jiejun Tan, Zhicheng Dou, Wen Wang, Mang Wang, Weipeng Chen, Ji-Rong Wen 所属：Renmin University of China, Baic

本記事では、LLMの内部で発見された驚くべき構造的特徴を紹介します。 近年、スパース・オートエンコーダー（SAE）という技術の登場により、これまで「ブラックボックス」と呼ばれてきたLLMの内部構造を詳細に観察することが可能になりました。 研究者たちは、LLMの中に存在する「概念」を表す特徴点が、実は高度に組織化された構造を持っていることを発見し、その解明を進めています。 参照論文情報 タイトル：The Geometry of Concepts: Sparse Autoencoder Feature Structure 著者：Yuxiao Li, Eric J. Michaud, David D. Baek, Joshua Engels, Xiaoqing Sun, Max Tegmark 所属：MIT 背景 LLMの内部の動きを理解しようとする中で、2023年に大きな進展がありました。「ス

ブックマーク最終更新日：2025/03/10 本記事は、研究者が自ら著書の論文を解説する特別企画です。AIDBの通常記事とは異なり、本企画の記事は会員以外のすべてのユーザーも全文閲覧できます。皆様ぜひお楽しみください。また、本企画への応募は以前からXで募集しており、これが4記事目の公開となります。本企画は継続開催中です。研究者の方はこちらからご応募ください。 今回は、NECの石橋 陽一氏ら研究グループによる”Can Large Language Models Invent Algorithms to Improve Themselves?“の解説です。 以下、論文著者による寄稿です。 自己紹介 名前とプロフィールページ 石橋 陽一 (Yoichi Ishibashi) X：@__tuxi__ 個人サイト: https://yoichi1484.github.io/ 所属 NEC Corpo

本記事では、OpenAIが開発した「機械学習タスクにおけるAIエージェントの能力を評価する新しいベンチマーク」MLE-benchを紹介します。実世界で必要とされる複雑で多岐にわたるスキルセットを総合的に評価することを目的としたデータセットです。 研究者らはこのベンチマークをどのように作成したのか、および現在の最先端モデルはどれほどの性能なのかをテストしました。 参照論文情報 タイトル：MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering 著者：Jun Shern Chan, Neil Chowdhury, Oliver Jaffe, James Aung, Dane Sherburn, Evan Mays, Giulio Starace, Kevin Liu, Leon Maksin, T