LLMの効率化を支えるアルゴリズム2024.09.04
AIはオンライン大量破壊兵器である | p2ptk[.]org
以下の文章は、コリイ・ドクトロウの「AI is a WMD」という記事を翻訳したものである。 Pluralistic 面白い事実がある。「コモンズの悲劇」は、白人至上主義者のガレット・ハーディンが植民地支配された人々から土地を奪い、共同所有から「救い出して」私有財産にすることを正当化するために作り出したデマだった。彼の論理では、「合理的な自己利益」に基づいて適切に管理してくれる個人所有者の手に移せば、コモンズは救われるという。 https://pluralistic.net/2023/05/04/analytical-democratic-theory/#epistocratic-delusions ご理解いただけただろうか？ もし重要な資源の管理権限がそれに依存する人々に分散されていたら、（ハーディンが言うには）誰もが利己的なアホとして振る舞い、コモンズを酷使し管理を怠るというのだ。（ハ
![AIはオンライン大量破壊兵器である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b03329cb84246c000928a2104d6e9aab9d4cd2a/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fshitting-in-the-well.jpg)
自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜
Cloud Operator Days 2024 クロージングイベントでの発表資料です。 PFN では PLaMo という生成AI基盤モデルを開発しており、100B規模のモデルを運用する際の課題について話しました。
LLMに日本語テキストを学習させる意義
こちらのスライドは「第261回自然言語処理研究発表会」の発表で用いたものです。 Reference:
Llama-3-Swallow: 日本語に強い継続事前学習モデル
はじめに 東京工業大学の藤井です。 本日(2024/07/01) Meta-Llama-3-8BとMeta-Llama-3-70Bから日本語を中心としたコーパスで継続事前学習を行ったLlama-3-Swallow-8B-v0.1、Llama-3-Swallow-70B-v0.1とそのinstructモデルであるLlama-3-Swallow-8B-instruct-v0.1、Llama-3-Swallow-70B-instruct-v0.1をリリースさせていただきました。 このモデルはMeta社のライセンスを踏襲しており、商用利用が可能です。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。 公式プロジェクトページはこちらです。 Swallow Projectでは、Llama-2、Mistral、Mixtralなど様々なモデルから継続事前学
雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 2024/08/22修正： はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示（Pretty Print）と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わ
話題のGraphRAGとは - 内部構造の解析と実用性の考察
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
設計工程に生成AI適用を目指す富士通、ツールが設計書の抜け漏れと改善案を提示
生成AI（人工知能）を開発プロセスに適用する動きが活発になっている。先行するのはコーディング支援。それに続いてプロジェクト管理やコミュニケーションに利用するツールも生成AIを取り入れて進化している。大手ベンダーは詳細設計や品質管理に活用する社内ツールを開発し始めた。本特集では生成AIで進化するツール群の最新動向に迫る。 第1回から第3回までは国内大手ベンダーが社内で試験的に始めている取り組みを紹介する。まずは富士通が開発した「設計書レビュー支援」ツールを見ていこう。 設計書レビューを生成AIで支援 富士通が開発した設計書レビュー支援ツールは、生成AIが設計書の曖昧なポイントを抽出し、その判定の根拠や訂正案を表示できる。これまでシステムエンジニアが目検で確認していた、基本設計書と詳細設計書など設計書間の整合性も確かめられるという。 ツールを開発した主な狙いは、設計書レビューにかかる作業負荷軽
MetaがLLMをオープンにする理由、UNIX没落の教訓と「アンチApple」
米Meta（メタ）が2024年7月23日（米国時間）に、オープンソースの大規模言語モデル（LLM）の最新版「Llama 3.1」を公開した。同社のMark Zuckerberg（マーク・ザッカーバーグ）CEO（最高経営責任者）は同時に公開した書簡で、LLMをオープンソース化する理由を説明しているので、その意図を解説しよう。 最先端モデルがオープンソースに 今回メタが公開したLlama 3.1には、機械学習モデルの規模が4050億パラメーターにも達する「Llama 3.1 405B」が含まれている。メタによればLlama 3.1 405Bは、米OpenAI（オープンAI）の最新モデルであるGPT-4oに匹敵する性能を有するのだという。 従来のLlamaシリーズは、オープンAIや米Anthropic（アンスロピック）などがクラウドサービスとして提供する最高性能のモデルと比べて、モデルのサイズは
llama.ttf
llama.ttf is a font file which is also a large language model and an inference engine for that model. Ehm, what? llama.ttf is a font file which is also a large language model and an inference engine for that model. Why? How? The font shaping engine HarfBuzz, used in applications such as Firefox and Chrome, comes with a Wasm shaper allowing arbitrary code to be used to "shape" text. In particular,
Difyを使ってノーコードでAIエージェントを作成する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル（LLM）を活用したアプリ
RAGのSurvey論文からRAG関連技術を俯瞰する - 元生技のデータサイエンティストのメモ帳
大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に
大規模言語モデル (LLM) の技術と最新動向
マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/
特化型モデルが日本の生成AI開発の勝ち筋
こんにちは、シバタアキラです。5月は皆様にとってもイベントの多い月間だと思いますが、私も日韓のAI Expoに出展、各所での講演、そして今週は日本人工知能学会の大会にて論文の発表も控えております。イベント参加は時間も取られますが、生の情報に触れるいい機会でもあり、今回は直近のAI業界の状況について私が学んだことを中心にご共有します。 出口の見えない日本のLLM開発に光？ 昨年末MetaとIBMが手を組んでアナウンスされたThe AI Alliance は、「オープンAI開発を推進する」と大義を謳ってLinux Foundationとも手を組み、今月日本でカンファレンス及びディナーがありました。これまであまり話題になってこなかった団体という印象を持っていましたが、ビッグネームなメンバー企業・団体が着実に増えており、かなりモメンタムが増している印象を受けました。 私も東工大の岡崎先生と、NII
AnswerCarefully Dataset – RIKEN-AIP, LIAT
新着情報 AnswerCarefully Dataset バージョン1.0を公開 (2024/4/30) 概要 日本語LLM 出力の安全性・適切性に特化したインストラクション・データAnswerCarefully(AC)データセットVersion 1 を公開します。このデータセットは、英語の要注意回答を集めたDo-Not-Answer データセット の包括的なカテゴリ分類に基づき、人手で質問・回答ともに日本語サンプルを集めたオリジナルのデータセットです。 データセットの特徴 ５つのリスクタイプ（大分類）、12の有害カテゴリ（中分類）、61のサブカテゴリ（小分類）をカバーしています。Version 1は各サブカテゴリにつき10から20のサンプルを含む計945件からなっています。 このうち各サブカテゴリから３件ずつ、計183件をテストデータ、残り762件をを開発データとして２つのファイルに分け
Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog
最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu
Hello GPT-4o
GPT-4o (“o” for “omni”) is a step towards much more natural human-computer interaction—it accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time(opens in a new window) in a conversat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国内の生成AI開発を牽引する企業が集う「GENIAC」成果報告会まとめ
Create - free-to-use AI app builder
