AIはオンライン大量破壊兵器である | p2ptk[.]org
以下の文章は、コリイ・ドクトロウの「AI is a WMD」という記事を翻訳したものである。 Pluralistic 面白い事実がある。「コモンズの悲劇」は、白人至上主義者のガレット・ハーディンが植民地支配された人々から土地を奪い、共同所有から「救い出して」私有財産にすることを正当化するために作り出したデマだった。彼の論理では、「合理的な自己利益」に基づいて適切に管理してくれる個人所有者の手に移せば、コモンズは救われるという。 https://pluralistic.net/2023/05/04/analytical-democratic-theory/#epistocratic-delusions ご理解いただけただろうか？ もし重要な資源の管理権限がそれに依存する人々に分散されていたら、（ハーディンが言うには）誰もが利己的なアホとして振る舞い、コモンズを酷使し管理を怠るというのだ。（ハ
![AIはオンライン大量破壊兵器である | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b03329cb84246c000928a2104d6e9aab9d4cd2a/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F05%2Fshitting-in-the-well.jpg)
自社開発した大規模言語モデルをどうプロダクションに乗せて運用していくか〜インフラ編〜
Cloud Operator Days 2024 クロージングイベントでの発表資料です。 PFN では PLaMo という生成AI基盤モデルを開発しており、100B規模のモデルを運用する際の課題について話しました。
Llama-3-Swallow: 日本語に強い継続事前学習モデル
はじめに 東京工業大学の藤井です。 本日(2024/07/01) Meta-Llama-3-8BとMeta-Llama-3-70Bから日本語を中心としたコーパスで継続事前学習を行ったLlama-3-Swallow-8B-v0.1、Llama-3-Swallow-70B-v0.1とそのinstructモデルであるLlama-3-Swallow-8B-instruct-v0.1、Llama-3-Swallow-70B-instruct-v0.1をリリースさせていただきました。 このモデルはMeta社のライセンスを踏襲しており、商用利用が可能です。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。 公式プロジェクトページはこちらです。 Swallow Projectでは、Llama-2、Mistral、Mixtralなど様々なモデルから継続事前学
話題のGraphRAGとは - 内部構造の解析と実用性の考察
初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ
設計工程に生成AI適用を目指す富士通、ツールが設計書の抜け漏れと改善案を提示
生成AI（人工知能）を開発プロセスに適用する動きが活発になっている。先行するのはコーディング支援。それに続いてプロジェクト管理やコミュニケーションに利用するツールも生成AIを取り入れて進化している。大手ベンダーは詳細設計や品質管理に活用する社内ツールを開発し始めた。本特集では生成AIで進化するツール群の最新動向に迫る。 第1回から第3回までは国内大手ベンダーが社内で試験的に始めている取り組みを紹介する。まずは富士通が開発した「設計書レビュー支援」ツールを見ていこう。 設計書レビューを生成AIで支援 富士通が開発した設計書レビュー支援ツールは、生成AIが設計書の曖昧なポイントを抽出し、その判定の根拠や訂正案を表示できる。これまでシステムエンジニアが目検で確認していた、基本設計書と詳細設計書など設計書間の整合性も確かめられるという。 ツールを開発した主な狙いは、設計書レビューにかかる作業負荷軽
特化型モデルが日本の生成AI開発の勝ち筋
こんにちは、シバタアキラです。5月は皆様にとってもイベントの多い月間だと思いますが、私も日韓のAI Expoに出展、各所での講演、そして今週は日本人工知能学会の大会にて論文の発表も控えております。イベント参加は時間も取られますが、生の情報に触れるいい機会でもあり、今回は直近のAI業界の状況について私が学んだことを中心にご共有します。 出口の見えない日本のLLM開発に光？ 昨年末MetaとIBMが手を組んでアナウンスされたThe AI Alliance は、「オープンAI開発を推進する」と大義を謳ってLinux Foundationとも手を組み、今月日本でカンファレンス及びディナーがありました。これまであまり話題になってこなかった団体という印象を持っていましたが、ビッグネームなメンバー企業・団体が着実に増えており、かなりモメンタムが増している印象を受けました。 私も東工大の岡崎先生と、NII
Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog
最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
LLM技術と外部データ活用による検索・回答精度向上手法（ファインチューニング、セマンティック検索、In-Context Learning、RAG）と著作権侵害 第1 はじめに FAQシステムやチャットボットなど「何か知りたいこと（検索文・質問文）」を入力して検索や回答生成を行うに際して、検索や回答精度を向上させたり、回答根拠を明示させるために、LLM技術と外部データを組み合わせたシステムの研究開発や実装が急速に進んでいます。 LLMが外部データを参照できるようにするには、LLMそのものをFine-tuningする方法、プロンプトで情報を与える方法、RAGによって外部データを保存したデータベース (Data Base; 以下DB) から呼び出す方法の3つがあります。 ここでいう「外部データ」とは、「LLMの外部にあるデータ」という意味でして、その中には社内文書や、書籍・ウェブページ上のデータ
GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展
GPU禁輸措置で追い詰められる中国と大規模言語モデルの発展 2023.11.01 Updated by Ryo Shimizu on November 1, 2023, 09:15 am JST アメリカがGPUを重要物資として中国に対して禁輸措置を行うとの意向を受けて、中国国内ではA800 GPUの価格が一枚あたり50万人民元(約1000万円)に達するなどのパニックが起きたようだ。これは通常の価格の5倍にあたる。 A800は、そもそもアメリカ政府の意向を受けて中国市場向けにデチューンした(性能をわざと落とした)モデルで、世界的ベストセラーのA100の70%程度の性能とされている。 しかし中国国内ではAI開発が非常に活発であり、合法的に使えるA800を大量に確保したい中国側の事情と、軍事転用も可能な重要戦略物資を中国に売りたくないアメリカ政府の意向が真正面から対立する形となっている。 筆者
ChatGPTのDALL-E 3による画像コントロール｜IT navi
ChatGPTの新しい画像生成AIのDALL-E 3は、かなり自由に画像をコントロールすることができます。 １．リアル画像のコントロール＞20代の日本人女性の写真を作成してください。 生成された画像＞３番目の女性の眼鏡をはずして、喜怒哀楽の表情を見せてください。 生成された画像※１枚目の画像以外は眼鏡をはずしてくれませんでした。また、喜、怒、哀の表情は描いてくれましたが、楽の画像は生成できませんでした。 ＞この女の子を、１．走らせてください。２．座らせてください。３．ジャンプさせてください。４．逆立ちさせてください。 生成された画像※３枚目までは上半身だけの画像なので、ジャンプしているかどうかはよく分かりません。４枚目はちゃんと逆立ちしています。 ＞縦長画像にして、全身を見せてください。 生成された画像４枚目の画像※これで、３枚目の画像がちゃんとジャンプしていることが分かります。４枚目は、
LLM開発のためにMLOpsチームがやるべきこと | フューチャー技術ブログ
はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は「LLM開発のためにMLOpsチームがやるべきこと」というテーマで、従来のMLOpsとの違い・ツール・構成例等について調査・整理しました。 LLMとはLarge Launguage Model（大規模言語モデル）の略であり、ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含むものとします。LLM開発のフローについては以前にLLM開発のフローで詳細を説明しているので、ぜひ併せてご覧ください。 まず、MLOpsとは「機械学習モデルの実装から運用までを円滑に推進するための手法や考え方」のことです。AIの社会実装が増えるに伴い、MLOpsチームを設ける企業も増えてきました。また、最近ではLLMやその関連技術が急速に発達してきており、今後LLMを用いたアプリケーション
LINE が公開した日本語言語モデルをM2 Macbook Airで動かす
これはなに？ LINE が公開した日本語言語モデルをローカルで動かしたいけど、GPUがなくて動かなくて悲しかったのです。でも、huggingface に良い変換モデルを公開されてる方がいらして、それを試したら、いい感じで動きました。というご報告です。やったね！ 結論: 動かす手順 homebrew で cmake をインストール mmngaさんが公開されている ggml 変換版の readme に従ってターミナルで以下を実行 git clone https://github.com/ggerganov/ggml.git cd ggml mkdir build && cd build cmake .. make -j mmngaさんが公開されているggml 変換版のモデルをダウンロード 保存先は 2. で mkdir した build ディレクトリに。 以下のコマンドで推論を実行 ./bin
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
日本語言語モデル「Japanese StableLM Alpha」をリリースしました — Stability AI Japan
Stability AI Japan は70億パラメータの日本語向け汎用言語モデル「Japanese StableLM Base Alpha 7B」及び、指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を一般公開しました（略して「JSLM」)。これらのモデル はベンチマークスイート「lm-evaluation-harness」による複数の日本語タスクを用いた性能評価において、一般公開されている日本語向けモデルで最高の性能を発揮しています。 汎用言語モデル「Japanese StableLM Base Alpha 7B」「Japanese StableLM Base Alpha 7B」はウェブを中心とした大規模なデータを用いてテキスト生成を学習したモデルです。学習データは主に日本語と英語で、それに加えソースコードが約2%含まれています。学習データに
明らかになったGPT-4の秘密 | AI専門ニュースメディア AINOW
著者のアルベルト・ロメロ（Alberto Romero）氏はスペイン在住のAI技術批評家で、AINOWでは同氏の記事を多数紹介して来ました。同氏がMediumに投稿した記事『明らかになったGPT-4の秘密』では、OpenAIがGPT-4のアーキテクチャおよび詳細を非公開にしたビジネス上のメリットが解説されています。 「競争と安全上の理由から」学習データやアーキテクチャが非公開だったGPT-4について、2023年6月になってリークがありました。そのリーク内容とは、同モデルは2,200億パラメータの専門家モデルが8つ連結された「専門家混合モデル」だったというものです。このアーキテクチャ自体は、Googleが2021年に発表している何ら革新性のないものです。 実際には既存技術を活用して開発していたGPT-4の詳細を非公開としたOpenAIのビジネス戦略について、ロメロ氏は以下のような3つのメリッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国内の生成AI開発を牽引する企業が集う「GENIAC」成果報告会まとめ
LLMの現在 - Speaker Deck
最近の話題にも詳しい14億パラメータの日本語LLMの公開
