ベクトル検索システムの気持ち2025.03.25
LLMにJSONやソースコードを出力させるStructured Generationの技術 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの加藤です。この記事では、大規模言語モデル(LLM)にJSONやソースコードを正しく出力させるための生成手法であるStructured Generationについて紹介します。 Structured Generationとは パーサーを用いた制約手法 正則言語とは 正則言語のStructured Generation 文脈自由言語とは 字句解析について 正則言語+文脈自由言語のStructured Generation まとめ Structured Generationとは 大規模言語モデル(LLM)はよくチャットボットとしての活用が目立ちますが、LLMの入出力を外部のプログラムに繋ぎ込むことでより高度な自然言語処理システムを作ることができます。 例えばOpenAIのCode Interpreter1はLLMをPythonの実行環境と接続することで、ユーザ
言語モデルの内部機序：解析と解釈
2025-03-10, 言語処理学会 第31回年次大会でのチュートリアル「言語モデルの内部機序：解析と解釈」のスライドです。
MCPで広がるLLM 〜Clineでの動作原理〜
この記事『Clineに全部賭ける前に 〜Clineの動作原理を深掘り〜』では、Clineの内部構造について解説しました。今回は、その中でも最近、特に注目されている機能の一つ、MCPについての概要、ならびにCline内部での実装方法について詳しく掘り下げていきます。 そもそもMCPとは MCP（Model Context Protocol）はClineやCursorなどといった、LLMを使用しているクライアントがMCPサーバーと連携するためのプロトコルです。広義的に、MCPとはそのプロトコルを使用したサービスのことを指します。 MCPサーバーとはクラウド上のサービスやローカルで立ち上げているサーバーなどのことです。LLMがこのサーバーと連携することで、Notionのファイル編集やSupabaseのデータベースクエリ、Cloudflareのステータスチェック、ローカルのファイル編集などが可能に
Model Context Protocol の現在地
バクラク事業CTO 中川佳希です。バクラク事業部 Platform Engineering 部では定期的な発信を行っています。前回は、Microsoft Entra ID PIM for Groupsの運用と工夫 by itkq でした。（とても便利です！） この記事では、Model Context Protocol（MCP）について触れていきます。※ 2025年2月時点での情報です。 Model Context Protocol 2024年11月に、Anthropicが発表したクライアント-サーバー間通信のプロトコルです。 仕様策定やエコシステムにはオープンコミュニティから誰でも参加可能で、各言語の実装SDKもオープンソースで開発されています。AnthoropicではMCP開発チームのジョブも公開されており、コミュニティとともに開発へのコミットメントをしていくことがうかがえます。 Why
Cursor活用で開発生産性を最大化するTips
このドキュメントを書こうと思った理由 弊社はAIに関する新規事業開発を行っており、作る側もAIを使わない作業を極力なくそうと思っているのですが、AIの進化がやばすぎて人間側が振り回されている現状が何件もあったのでこのドキュメントを書くに至りました。 もし周りの方で困っている方いれば随時更新予定ですのでシェアしてあげてください。 ＊関係ない仕事の相談などもお待ちしております。 Cursorとは？ Cursorは、AIを活用した次世代のコードエディタで、VS Codeをベースに構築されており、AIによるコード補完・デバッグ・リファクタリング支援などの機能を備えた開発ツールです。 Cursorの最大のメリットは、プロジェクトフォルダ内のファイルやログを自動でインデックス化し、AIが適切に参照してくれることです。 これにより、開いていないファイルでもAIが内容を把握し、より適切なコード補完や修正を
DeepSeek-R1の論文読んだ？【勉強になるよ】
本記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 本論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験（強化学習）をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 本論文の興味深いところ 本論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM（DeepSeek-V3-Base）に対
LLMがオワコン化した2024年
当ニュースレターは2023年を「SaaSがオワコン化した年」と位置づけたが、2024年は早くもAIが終わった一年であった。少なくとも大規模言語モデル（LLM）そのものの発展を、物珍しそうに追いかける時期は過ぎた。生成AIが今後どこまで賢くなるかはもちろん未知数である。しかし、既に業務で十分に役立つレベルにある現行モデルのコストが今後も下がっていくことは確実だ。 The cost of GPT-4 APIs at launch in Mar 2023 was roughly ~$30 per 1m tokens. Seeing Deepseek V-3 APIs at ~$1 per 1m tokens today. For AI application companies, cost of "intelligence" is falling significantly faster tha
否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「
LLMを悩ませる"Excel文書"をうまく扱う方法
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる
AIエージェントビジネスの現状と今後の考察 - 襖からキリン
こんにちは！年末記事の第二弾、AIエージェントに関するビジネス記事になります。 現状のエージェントはどうなっているのか、今後エージェントを始める方が参考になるように説明します。 第一弾の記事は既に公開されています。 Weekly AI Agent News!から見えたAIエージェントの現在地 - 襖からキリン 私が公開しているWeekly AI Agent News!や論文のリポジトリはこちらです。 speakerdeck.com github.com AIエージェントに取り組む人材とは？ 企業のAIエージェントの状況 現状の主力エージェント製品を解説 エージェントビルダー リサーチ、問い合わせ対応 データに基づく意思決定支援 様々なソースから資料作成 Agentic Process Automation これからのエージェントを考える 生成AIエージェントと業務ソフトウェアの結びつきが強
わんぱくな JSON ストリームパーサーを見る日 - ぽ靴な缶
この記事は はてなエンジニアアドベントカレンダー 2024 5 日目の記事です。 昨日は id:susisu さんの Data types à la carte in TypeScript でした。 本人が「アクセス増えたと思ったら別の記事で、全然読まれてない...」と言っていたので「いきなりフランス語で難しそうやからね」と伝えました。本文は日本語なので、みなさんも読んで下さい。 今日は最近見て面白かったコードの紹介です。 ChatGPT が流行って以来、アプリでストリームのレスポンスをよく見るようになりました。 LLM によるテキスト生成はわりと時間がかかる処理で、もしすべて生成し終えてからレスポンスするとユーザーを待たせてしまうからでしょう。テキストがちょっとずつ表示される UI は昔からあるものですが、LLM を使ったアプリケーションが出てきて以来、演出としてではなく実用としてよく見
累計2500万着電を支える大規模 電話自動応答サービスのアーキテクチャ / Architecture of a Large-Scale Automated Phone Response Service Supporting 25 Million Cumulative Calls
累計2500万着電を支える大規模 電話自動応答サービスのアーキテクチャ / Architecture of a Large-Scale Automated Phone Response Service Supporting 25 Million Cumulative Calls
自然言語処理を役立てるのはなぜ難しいのか
PFNの海野裕也が2024/10/15に東大大学院「自然言語処理応用」にゲスト講師として登壇した際の講義資料です。
AIはオンライン大量破壊兵器である | p2ptk[.]org
Pluralistic 面白い事実がある。「コモンズの悲劇」は、白人至上主義者のガレット・ハーディンが植民地支配された人々から土地を奪い、共同所有から「救い出して」私有財産にすることを正当化するために作り出したデマだった。彼の論理では、「合理的な自己利益」に基づいて適切に管理してくれる個人所有者の手に移せば、コモンズは救われるという。 https://pluralistic.net/2023/05/04/analytical-democratic-theory/#epistocratic-delusions ご理解いただけただろうか？ もし重要な資源の管理権限がそれに依存する人々に分散されていたら、（ハーディンが言うには）誰もが利己的なアホとして振る舞い、コモンズを酷使し管理を怠るというのだ。（ハーディン曰く）そのコモンズを誰かが所有して地代（rent）を取るようになって初めて、健全な管理
![AIはオンライン大量破壊兵器である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b03329cb84246c000928a2104d6e9aab9d4cd2a/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fshitting-in-the-well.jpg)
自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜
Cloud Operator Days 2024 クロージングイベントでの発表資料です。 PFN では PLaMo という生成AI基盤モデルを開発しており、100B規模のモデルを運用する際の課題について話しました。
LLMに日本語テキストを学習させる意義
こちらのスライドは「第261回自然言語処理研究発表会」の発表で用いたものです。 Reference:
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIプログラミング雑キャッチアップ
LLMの効率化を支えるアルゴリズム
国内の生成AI開発を牽引する企業が集う「GENIAC」成果報告会まとめ
