生成AI（人工知能）の精度を高める手法として、大規模言語モデル（LLM）と検索エンジンを組み合わせたRAG（Retrieval Augmented Generation、検索拡張生成）の利用が盛んだ。ところが米Google（グーグル）によれば、RAGよりも性能を高めやすい手法があるのだという。「メニーショットICL（Many-Shot In-Context Learning）」や「ロングコンテキストICL（Long-Context In-Context Learning）」と呼ばれる手法だ。 「ロングコンテキストICLを利用すると、RAGに比べて性能が12ポイント向上した例も出てきている」。Google Cloudが2024年10月24日に開催した生成AIに関するイベント「Generative AI Summit Tokyo '24 Fall」で、グーグル・クラウド・ジャパンの寳野雄太テク

企業の生成AI（人工知能）活用が進むにつれ、「RAG（Retrieval Augmented Generation、検索拡張生成）」という言葉を耳にする機会が増えてきた。RAGは、外部データベースの情報を検索して生成AIの出力に反映させ、回答の精度を高める技術だ。エクサウィザーズが2024年5月に302社／402人を対象として実施した調査では、約5割がRAGに取り組み中もしくは検討中、約4割が関心ありで、関心がないのは約1割に過ぎなかった。企業は生成AI活用の入り口としてRAGに挑戦し、チャットボットなどを導入しようとしている。もっとも、RAGの扱いは意外に難しい。この特集ではRAGの基本的な知識から導入の成功法まで具体的なユースケースを基に解説していく。 「以前、社内の人事規定についての問い合わせに回答するRAGシステムを作成してPoC（概念実証）を実施したものの、回答精度が全く出なかっ

株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。本記事では、RAGの性能を高めるための「LongRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「LongRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー LongRAGは、「文書全体を読まないと正答できない」ようなタイプの質問に対しても、RAGの精度を上げるための新しい手法です。中国科学院・清華大学の研究者らによって2024年10月に提案されました。 ざっくり言うと、LongRAGとは、「階層化」+「フィルタリング」です。 2つとも、よく知られたRAGの手法ですが、これらを組み合わせるこ

これは何？2013年に初めて「マネージャー」と冠されたロールを担うようになり、気がつけば10年以上「◯◯マネージャー」として過ごしてきた筆者が、そのキャリアをふりかえった文章です。何が自身の成長につながったのか、に焦点をあてています。 なぜnoteに書くの?個人的なふりかえりなのでチラシの裏にでも書いておけばいいのですが、◯◯マネージャーの道を歩む・これから歩む人にとって役立つ可能性があると考え、公開することにしました。 なぜこのタイミングで?初めてマネージャーになったのは2013年4月なので、10周年という区切りからすると中途半端な時期です。ではなぜこのタイミングで書こうと思ったかというと、10/23に誕生日を迎えるので自分的区切りとしてまとめたくなったというのがあります。 あと、そーだいさんが「30代でやってよかったこと」をまとめていて、それがめちゃめちゃよかったので、自分も他の人に役

本日10/23発売の「絵で見てわかるLinuxカーネルの仕組み」という本を自分含め6人で書きましたので、宣伝します。 絵で見てわかるLinuxカーネルの仕組み 作者:市川 正美,大岩 尚宏,島本 裕志,武内 覚,田中 隆久,丸山 翔平翔泳社Amazon 本書はIT技術のさまざまな分野について視覚的に理解するための翔泳社の「絵で見てわかる」シリーズの中の一冊です。 www.shoeisha.co.jp このシリーズは、これまでに「ITインフラの仕組み」、「Webアプリ開発の仕組み」、「マイクロサービスの仕組み」など、さまざまなものを扱ってきました。本書は「Linuxカーネル*1の仕組み」を扱います。Linuxカーネルを絵から理解するというコンセプトの本です。 Linuxカーネルは Red Hat Enterprise LinuxやUbuntuといったLinuxディストリビューションの核(カー

AIと量子コンピューティングの研究開発を行なうKandaQuantumは、2024年8月31日、顧客の要望内容を元に自動的に要件定義を生成し、さらに自律的にシステムを構築する要件定義システム生成AI「Babel（バベル）」をリリースした。 Babelは一行の要望から要望一覧、要件定義まで一気通貫で記載する。「要件定義プログラミング」により、自然言語からコードへの直接変換を実現。顧客の要望やビジョンを入力するだけで、Babelが詳細な要件定義のYAMLファイルを自動生成する。その上で生成された要件定義に基づき、Babelが独自にシステムを設計、開発。技術的な詳細を指定することなく、望む機能やふるまいを記述するだけでシステムが構築される。

こんにちは。ストックマークのリサーチャーの広田です。今日は私が新しく立ち上げた GraphRAG プロジェクトの仲間を募集するために、GraphRAG プロジェクトについて紹介したいと思います。 広田航 Researcher 大阪大学大学院情報科学研究科を卒業後、米国に渡り Megagon Labs で Conversational AI や entity matching の研究を行う。その後帰国しストックマークに参画。現在はナレッジグラフ構築や LLM を活用した情報抽出の研究を行う。 まず GraphRAG プロジェクトの背景を紹介したいと思います。 ストックマークは「価値創造の仕組みを再発明し人類を前進させる」というミッションを掲げ、「AIと人による新しい価値創造プロセスを発明する」を目指して Research Unit を組成しています。情報の量が急激に増えている現代において、情

科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技術である。 LLMの推論には通常は巨大な浮動小数点数(8ビットから16ビット)の、大量の乗算(掛け算)が必要なため、GPUなどの特殊な半導体を必要としていた。特にNVIDIAのGPUがこの目的にマッチしていたので今

こんにちは、トレタ VPoEの北川です。 今回は弊社でフロントエンドアプリケーションを新しく構築する際の開発環境として、何のライブラリを入れるかという開発環境初期セットを紹介しようと思います。 Web Framework / CSS Framework / Tesing Framework / Linter / Formatter、それぞれ定番で使うデファクトが大体ありましたが、近年では新しいライブラリも登場したので、2024年現在・最新版を、今回は直近で作られた実際のリポジトリを例にご紹介します。 今回紹介するリポジトリのアプリケーションはtoB向けの管理画面のアプリケーションで、特質した部分も特にない一般的なWebアプリケーションです。 それでは早速、package.jsonの内容はを見ていきましょう。 "dependencies": { "next": "14.2.13", "rea

チームのキャパシティを超える要求を抱えたプロジェクトが、なんの問題もなく完了するはずがありません。なんとか作り上げられた機能は、表面上は要求通りでも、どこかぎこちなさを感じます。ユーザー体験が悪く、それがユーザー価値を押し下げ、ビジネス価値を削り取ります。触るたびに新しい欠陥も見つかるかもしれません。内部品質も最低です。それが今後の追加開発の足を引っ張ることにもなるでしょう。そして、ただ消費するような働き方によって、チームは成長も達成感も感じられず、疲弊します。 詰め込み型のプロジェクトは、誰にとっても利点がなく、そのうえ持続不可能なやり方なのです。 「詰め込んでもなんとかなる」という楽観主義詰め込み型のアプローチは、組織内でプラクティス化しやすいプロジェクト計画手法です。この手法で完了したプロジェクトは、一見すると、上手くいったように見えます。多少の遅延があったとしても、概ね一通りの機能

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 今年の夏はTOEICスコア900超えを一つの目標にしていて、そのためにはリスニングが課題でした。 とにかく数をこなそうと、無料で問題を解けるアプリを探して、初めはそれをずっとやっていましたが、一日に解ける問題数が限られていて、徐々に物足りなくなってきました。 前々からTOEICの問題ってAIで生成できるんじゃね？と思っていたので、この際スコア900越えに加えて、AIでリスニング問題生成＆Webサービス化を目標にし、ようやく完成したので公開しました。 公開したリスニング問題AI生成サイト ※AIで生成し、内容のチェックは行ってい

Linuxカーネルコード解析プロジェクト立ち上げ Linuxカーネル成長の歴史 カーネルの大きさ バージョン番号 SCM導入 カーネル機能の変遷 執筆者 : 高橋 浩和 ※ 「新Linuxカーネル解読室」連載記事一覧はこちら Linuxカーネルコード解析プロジェクト立ち上げ 弊社内にて若手技術者が中心となり、最新のLinuxカーネルコード全体を読み解くプロジェクトが進行中です。 解析したコードのうち興味を惹かれたもの、重要そうなものを中心にブログ記事にまとめていく予定です。 詳解LinuxカーネルやLinuxカーネル2.6解読室を執筆していたころよりLinuxカーネルは大きく膨れ上がっています。 どこまで辿り着けるかは分かりませんが、気長にお待ちください。 対象Linuxカーネルのバージョンは6.8 ブログ執筆中に興味深い機能が取り込まれたら、より新しいバージョンのカーネルについて解説する

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「MoGG」という手法について、ざっくり理解します。 この記事は何 この記事は、社内用語が多く含まれるドキュメントでもRAGの性能を高くするための手法「MoGG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー MoGG（Mix-of-Granularity-Graph）は、RAGの精度を上げるための、新しいチャンク分割の手法です。MoGGでは、チャンクとグラフ構造を上手く組み合わせることで、専門用語・社内用語が多いドキュメントでも回答精度を向上させることができます。上海人工知能研究所と北京航空

数千万行に及ぶLinuxカーネルのコードのうち、どんなときにどこのコードを読めばいいか、そのときに何を手がかりにすればいいか、などについてお話します。 本記事は、TechFeed Experts Night#19 〜 達人に聞く、Linuxカーネルコードの歩き方のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 「カーネルコードの歩き方」というタイトルでお話しする武内覚と申します。ふだんはsatと呼ばれています。社会人1年目から15年ぐらいカーネルの開発とサポートをずっとやってきました。今も必要に応じてカーネルソースを見ています。 本LTで学べるのは「Linuxのカーネルソースの読み方についての勘所」です。直接読んでいくというより、もう少しメタな

本書では、小さなOSをゼロから少しずつ作っていきます。 OSと聞くと腰が引けるかもしれませんが、OS (特にカーネル) の基本機能は案外単純です。巨大なオープンソースソフトウェアとしてよく挙げられるLinuxでさえ、バージョン0.01はたった8413行でした。様々な要求に応えるために次第に肥大化していっただけで、当初は大変素朴な実装になっていました。 本書では素朴なコンテキストスイッチ、ページング、ユーザーモード、コマンドラインシェル、ディスクデバイスドライバ、ファイルの読み書きをC言語で実装します。これだけ様々な機能が詰め込まれているのに、コードは合計でたった1000行未満です。 「1000行なら1日でできそう」と思うかもしれませんが、初学者には少なくとも3日はかかるでしょう。OS自作のハマりポイントは「デバッグ」です。アプリケーション開発とは違うデバッグ手法・能力を習得する必要がありま

【発刊に寄せて】 プログラマーの人材不足が叫ばれる中、プログラミング教育と言えば、とかくプログラムが書ける人材を育成する必要性にばかり目を奪われがちです。本書は、著者の岩松洋氏が岡山大学の情報工学科および大学院でプログラミングを学び、会社でプログラマーをしていた経験の中で、プログラムを読むことの重要性に気づき、その視点から書かれた一冊です。 昨今、最終的に作成するシステムを短期間で作成するために、プログラムは使えるものがあればそれを流用し、なるべく自分でプログラムを書き起こさないことが推奨されるようです。Pythonなどは特にその傾向が強く、ライブラリを使いこなすのがプログラミングの主な仕事となっている感があります。会社の中で仕事をしていれば、先輩技術者が作ったプログラムをメンテナンスすることもあるでしょうし、自分が昔作ったプログラムを修正することが必要になることもあるに違いありません。そ

XP祭り2024にて。 https://confengine.com/conferences/xp2024 プロフィールやお問い合わせはこちらからどうぞ！ https://agile-monster.com/profile/ https://agile-monster.com/contact/

OpenAIが開発するチャットAI・ChatGPTの脆弱(ぜいじゃく)性を利用して、ChatGPTに偽の記憶を植え付け、ユーザーデータを盗み出す手法が報告されています。 ChatGPT: Hacking Memories with Prompt Injection · Embrace The Red https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/ Hacker plants false memories in ChatGPT to steal user data in perpetuity | Ars Technica https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persis