LLMのチャット以外の可能性 ChatGPTなどで話題のLLM（Large Language Model）、用途としてはチャットボットとしての使われ方が多いですが、チャット以外にも使える可能性を秘めています。 具体的には、生成AIでロボット制御をする「RT-1」や、マインクラフトをプレイする「Voyager」などがあります。これらの詳細の解説は以下記事参照ください。 今回は、夏休みの自由研究（と呼べるほど高尚なものではないですが）として、手軽に分かりやすい例として、LLMでマリオをプレイできるか試してみることにしました。 LLMでマリオをプレイ マリオに関しては、以前に深層強化学習で全ステージクリアにチャレンジしたことがあります。 複数人の有志の協力があり、ループを多用する8-4を除いたステージを全てクリアすることができました。ただ、ステージごとにシミュレータで半日以上かけて学習させる必要
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 2024/08/22修正： はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示（Pretty Print）と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わ
はじめに企業の業務において、請求書や領収書、名刺などの紙媒体の情報を電子化し、管理・活用することは非常に重要です。しかし、これらの作業は手作業で行うと多大な時間と労力を要します。また、人的ミスも発生しやすく、業務効率化の大きな障壁となっています。そんな中、近年、OCRの性能向上やLLMの性能向上によって、あらゆる業務の効率化できる可能性が高まっています。この記事では、写真や書類から情報を抽出する取り込み業務について、OCRとLLMを利用したソリューションについて紹介します。 情報抽出などの取り込み業務の課題情報抽出などの取り込み業務では、以下のような課題が存在します。 手作業による時間と労力の浪費 大量の書類を処理する場合、作業コストが膨大に 単純作業の繰り返しによる従業員のモチベーション低下 他の付加価値の高い業務に注力できない 人的ミスの発生 量が多くなるほど、入力ミスや誤読などの人的
Difyで複数のLLMを切り替えるチャットを実現する - Taste of Tech Topics
こんにちは、新人エンジニアの前田です。 最近、南海トラフ地震の臨時情報や台風などもあったりして、自衛のための事前準備は欠かせないなと思いました。 さて、今回はDifyを使って複数の大規模言語モデル（LLM）を切り替えるチャットチャットボットを作ってみたいと思います。 なぜ、この内容をやってみようかと思ったかというと、Difyは、複数のLLMを利用できるのですが、 それらは、事前に設定を行って利用するもので、ユーザーが実行時に切り替えて指定ができなかったのですよね。 とはいえ、これもノーコードで実現できるのが、Difyの強みです。 1. 概要 1.1.Difyとは 1.2. この記事で実現すること 2. アプリ作成 2.1. モデルの定義 2.2. モデルの選択 2.3. 変数の集約 3. 作成したアプリを動かしてみる 4. まとめ 1. 概要 1.1.Difyとは Difyは、大規模言語モ
LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 - Assured Tech Blog
LLMのRAGアプリケーションにおけるオブザーバビリティを向上するツール「Phoenix」の紹介 始めに こんにちは、エンジニアの大橋です。 LLMを用いたRAG（Retrieval-Augmented Generation）アプリケーションの開発において、精度向上のための評価方法に悩まれている方も多いのではないでしょうか。 今回、AssuredではRAGアプリケーションの評価にPhoenixというツールを導入してみました。Phoenixを利用することで、LLMに何を入力しどんな出力を得られたのかを可視化し、品質を改善させるサイクルを素早く行えるようになり、RAGアプリケーションの精度向上に非常に有用だったので、その活用方法をご紹介したいと思います。 実はPhoenixを使い始める前に、DeepEvalというLLM評価ライブラリのみを利用して、LLMの生成結果の評価を行おうとした時期があり
チャットGPTをはじめとする生成AIは、登場した当初、組織の生産性と利益を急増させる超知的なツールと言われていた。だが、実際にはそうなってはおらず、奇妙なことが起こり始めている。 by Melissa Heikkilä2024.08.22 16 この記事の3つのポイント 生産性向上のためのAI活用はまだ成功していない AIの誇大宣伝が高すぎる期待を生んでいる 一方でAIチャットボットと人々の感情的な絆は深まっている summarized by Claude 3 この記事は米国版ニュースレターを一部再編集したものです。 2022年後半に「チャットGPT（ChatGPT）」によって生成AIブームが始まった。そのとき、私たちが売り込まれたのは、すべてを知っており、仕事の退屈な部分を置き換えることができ、生産性と経済的利益を急増させる超知的なAIツールのビジョンだった。 それから2年が経ち、生産性
1兆 (1T) パラメータ規模のLLMの事前学習検証 - Preferred Networks Research & Development
Preferred Networksの子会社のPreferred Elements(以下PFE)では7月から約1ヶ月の間、1兆 (1T) パラメータ規模のLLMの事前学習について検証を行っていました。今回の記事ではこの取り組みとその結果について紹介します。 この検証は経済産業省が主導する国内の生成AIの開発力を強化するためのプロジェクト「GENIAC（Generative AI Accelerator Challenge）」のもと、NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の助成事業に採択され、計算資源の提供支援を受けて実施しました。 超巨大モデル学習の目的 今回の取り組みは、超巨大な (1Tクラスの) DNNモデルを学習できるかを確認することを目的としています。そもそもなぜこの検証をしたのかについての説明から始めようと思います。 LLMの事前学習では、学習に利用したデ
本記事中で紹介しているユーザスクリプト「どこでもCopilot」。ChromeビルトインのLLMで、任意のフォーム上で文章の続きをサジェスト。外部通信なし、無料で動作こんにちは、カラクリR&Dの吉田です。今回は、10本ノック「番外編」ということで、Google Chrome の最新版に本日(2024–08–22)組み込まれたローカルLLMの話をします。 本記事の概要2024年8月22日に公開された Google Chrome の「バージョン128」にローカルLLM として Gemini Nano が組み込まれました。このLLMは、フロントエンド JavaScript から手軽に呼び出し可能で、ローカルLLMなので外部への通信は発生しません。しかも無料です。 本記事では、このLLMを体験する方法を記します。また、このLLMを応用して、任意のフォーム上で入力した文章の続きをリアルタイムで補完し
OpenAIのStructured Outputsを試してみた ~LLMを活用した機械学習モデルのアノテーション効率化を目指して~
CHUO_Tech #4 LLM活用について語ろう！ 概要 CHUO Techは、中央区に会社のある企業が集まって立ち上げた勉強会です。第4回となる今回は、「LLMの活用」をテーマにワイワイします！ 参加対象は、中央区を問わず全エリアです！中央区に勤務・お住まいでなくとも、登壇する企業に興…
🚀【GPT-4o mini完全攻略】【GPT-4oでも遂に!】驚異のコスパでLLMファインチューニング!【AOAIでもできるよ】🚀
はじめに 2024年7月18日にOpenAIが発表した「GPT-4o mini」は、AI業界に激震をもたらしました。その理由は、驚異的なコストパフォーマンスとGPT-4譲りの高性能を両立させた、まさに注目すべき生成AIモデルだからです。 従来、高性能なAIは導入コストが高く、大企業しか利用できないイメージがありました。しかし、GPT-4o miniの登場により、中小企業やスタートアップ企業も、低コストでAIの恩恵を受けることができるようになりました。 顧客対応の自動化による業務効率化、マーケティングコンテンツの自動生成による新規顧客獲得、社内文書の効率的な要約による情報共有の促進など、GPT-4o miniはビジネスのあらゆる側面に変革をもたらす可能性を秘めています。 GPT-4o miniを活用すれば、あなたのビジネスに特化したAIを、驚くほど低コストで実現できます。顧客対応の自動化、社
リコーは8月21日、日英中3言語に対応した、700億パラメータの大規模言語モデル（LLM）を開発したと発表した。米Metaが提供するLLM「Meta-Llama-3-70B」の日本語性能を高めた「Llama-3-Swallow-70B」をベースに、独自データによる追加学習などを実施。これにより、ベースモデルに比べ日本語の処理効率を43％向上させ、コスト効率や処理速度を高めたという。 今回のLLMは、米Amazon Web Servicesと共同で開発したスクリプトで訓練した他、独自データ約1万6000件による追加学習を実施。テキストをLLMが理解できるよう分割する「トークナイザー」の改良により、日本語の処理効率を向上させた他、さらなる追加学習による「破滅的忘却」（追加学習の際に過去に学習したタスクを忘れる現象）も抑制したという。これにより、企業独自の「プライベートLLM」のベースとしても利
LLM開発の意義と課題 南野充則氏（以下、南野）：では、パネルディスカッションを始めていきたいと思います。本日1発目のパネルディスカッションなので、ちょっと盛り上げていきたいなと思っています。 私は、先ほど開会の挨拶もさせていただきましたが、南野と申します。モデレーターをさせていただきます。よろしくお願いします。 このセッションでは、ここでしか聞けない話をしっかり話していただこうということで、大規模言語モデルを作っている方々にいろんな質問を問い掛けていきたいと思っています。よろしくお願いします。 まず最初に登壇者のご紹介をさせていただきまして、その後、パネルに移っていきたいと思います。では、岡崎先生、よろしくお願いします。 岡崎直観氏（以下、岡崎）：ご紹介ありがとうございます。東京工業大学の岡崎です。スライドをめくっていただいてよろしいでしょうか。 私は東工大という大学にいますので、研究と
生成AIは人類のcopilotたりうるか—— LLM/Generative AIの可能性と諸問題の考察 | DOORS DX
日系コンサルティング会社を経て2019年にブレインパッドに参画。機械学習を用いた需要予測の事例や、金融商品取引の分析事例を担当。昨今は汎用ソルバーを用いた数理最適化の事例にも従事。フィージビリティの検証からKPI設計までトータルで支援。機械学習をはじめとした技術の「社会実装」の実績をもつ。東京大学グローバル消費インテリジェンス寄付講座 (GCI) 2020-2023 特別講師。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、LLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、「copilotとしての生成AI」という視点で概況を捉え、LLM/Generative AIの可能性と実用段階における諸問題について考察していきます。 はじめに こんにちは、アナリティクスサービス部の内池です。 2023年6月現在
SpiralAI、LLMを活用したAIオリジナルキャラクター「ククリさま」を公開。自然な会話で恋愛相談ができるサービスを提供
このニュースのポイント SpiralAI、会話のテンポに着目したAIオリジナルキャラクター「ククリさま」を創作 独自にファインチューニングしたLLMを活用。人間らしい応答や個性埋め込み技術を実現しマルチターン会話にも特化 AIキャラクターには社員が考案した約8千字の設定情報を学習。「なりきりチャット」を取り入れ大量の会話データを生成 SpiralAI株式会社は、会話のテンポに着目したAIオリジナルキャラクター「ククリさま」を創作し、2024年8月9日から一般公開しました。気軽に恋愛相談を楽しめるコンテンツで、ユーザーが会話を続けたくなるような「なりきりチャット」や、テンポの良い会話を体験できます。 「ククリさま」は縁結びの神様というキャラクター設定で、SpiralAIが独自にファインチューニングした大規模言語モデルを活用した企画の第一弾プロジェクトです。LLMの活用が進む中で、正しい回答よ
日々驚異的なスピードで進化し、企業での利用が進んでいる大規模言語モデル（LLM）。生成AI（人工知能）利用の勢いは止まらないとの調査もある。米Gartner（ガートナー）が2023年10月に発表した「生成AIのハイプ・サイクル：2023年」では、「2026年までに80%以上の企業が生成AIのAPI（アプリケーション・プログラミング・インターフェース）やモデルを使用して、生成AIに対応したアプリケーションを本稼働する」としている。 LLMの使い方を模索する企業が増えるのに伴い、LLMのセキュリティーリスクに関する研究も世界中で進んできた。その結果、LLMを組み込んだアプリやシステムには様々なリスクが内在することが判明している。どんなリスクがあり、どう対策すべきか見ていこう。 OWASPはLLMの10大リスクを説明 まずLLMのリスクには具体的などんなものがあるのか。リスクを体系的に整理したも
進化的モデルマージで日本語がわかるソースコード生成LLMを作ってみる - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務で生成AIチームに参加し、大規模言語モデル（LLM: Large Language Model）に関する技術の調査を行なっています。 この記事では、日本語のコード生成のデータセットが無い条件下で、進化的モデルマージを活用することで日本語とソースコード生成に特化した大規模言語モデル(LLM)を合成した試みについて紹介します。 目次 目次 モデルマージとは 進化的モデルマージとは 利用したモデル 日本語LLM コード生成特化 MergeKitによる実験 利用モデル マージ用データセット JSQuAD CoNaLa 評価用データセット JCommonsenseQA HumanEval JHumanEval 実験
LLM テクニックの習得: 推論の最適化
LLMの推論を高速化するテクニックをご紹介いたします。
LLMプロダクトや機能を開発する際に知っておいてほしいこと - 従来のプロダクト開発との違い｜Naoto Ota | Algomatic
こんにちは、Algomaticの大田（OTA57）です。 生成AIで世界を沸かせるべく色々やってます。 先日LLM赤裸々ナイトというイベントを開催しました。 そこで話した内容で、「LLMプロダクトや機能開発の進め方のベストプラクティス」というテーマが興味深かったので個人的な考えを記します。 以下ツイートもしたのですが140字では伝わらないなーと思ったのでnoteにもしてみます。 LLMプロダクトや機能開発に取り組んでいるPMの方や、その決裁者・レポートラインにあたる方が従来のプロダクト開発と何が違うかを知っておいてほしいという強い思いがあります。 今日の #LLM赤裸々Night では LLM系のアプリや機能開発は5-6割の完成度のものを作るのは爆速なだけで、その後はかなり地道なR&D的要素があり、10割の完成度を考えると従来の機能開発のほうが早いこともあるみたいなことを考えた。 他にもイ
正確な診断の精度は約90％ 医師の片腕となり得る、病理学に特化した新しいLLM「PathChat」（AMP［アンプ］） - Yahoo!ニュース
今、世界の病理学医から注目を集めているのが、病理医の診断支援ツール「PathChat」だ。PathChatは、腫瘍やその他の重篤疾患の同定、評価、診断において、病理医をサポートし、より正確な診断や治療判定、予後を予測するのに役立つ。 特筆すべき点は、従来の主要なAIモデルと比較して、診断に関する多肢選択問題や臨床的に関連のある質問に対する回答において非常に精度が高いことだ。情報が画像のみの場合で78%、臨床コンテキストを含む場合で89.5%という正確さを誇る。 病理医や研究者と共に、診断、治療を含む臨床方針決定を行うAIコパイロットが、PathChatによって一歩前進すると期待されている。 病理医がPathChatとチームを組めば、より適切な治療が提供可能に特定のタスクを行う予測モデルやタスクに依存せず、自己監督学習を行う視覚エンコーダの開発において、計算病理学は目覚ましい進歩を遂げてきた
リコー、日英中3言語に対応した700億パラメータの大規模言語モデル（LLM）を開発、お客様のプライベートLLM構築支援を強化 | リコーグループ 企業・IR | リコー
株式会社リコー（社長執行役員：大山 晃）は、お客様の業務効率化や課題解決での活用を目的に、企業ごとのカスタマイズを容易に行える700億パラメータの大規模言語モデル＊1（LLM）を開発＊2しました。製造業で特に重視される日本語・英語・中国語に対応したほか、お客様のニーズに合わせてオンプレミス・クラウドのどちらの環境でも導入可能です。入力された文章を単語などの細かい単位に分割するトークナイザーの独自改良により、高速処理と省コストを実現し、環境負荷低減にも貢献します。ベンチマークツールを用いた検証＊3の結果、優れた性能を確認しました（2024年8月9日時点）。2024年秋から、まずは日本国内のお客様より提供を開始し、今後海外のお客様への提供も目指します。 プライベートLLMとしてのユースケース例 社内でも厳しいアクセス制御が求められる機密情報を取り扱う業務 金融業：融資審査業務等 自治体：行政サ
LLMプロダクト開発のことはじめ #03 ~ プロンプトエンジニアリング - Algomatic Tech Blog
こんにちは。NEO(x) の宮脇（@catshun_）です。 本記事はなつやすみ特集として、これから LLM プロダクトを開発する方に向けて『LLMプロダクト開発のことはじめ』をテーマとした 5分で読める コラムを紹介します🌻 ゆるく書くつもりなので、役に立つかどうかは分かりません 🙏 📝 目次はこちら 特集の導入、問いをデザインする LLM から良い回答をえるための第一歩 プロンプトエンジニアリング👈 LLMプロダクトの評価と検証 前回までのおさらい 前回までの記事では、以下について述べました。 #01. 導入 LLM の性能を信じてまず試す タスク構造を明らかにする #02. 良い応答を得るためのプロンプトの記述 望ましい出力を得るためにプロンプトに制約を設ける ベストプラクティスに従う 前回までの話は LLM プロダクト開発における初期段階で意識したい話 でしたが、本記事から
機械的翻訳をしたが、翻訳時に色々調整できるとして、面白い結果だった 1回目。 prompt 日本のホラー小説を3万字で書いてください。ジャンプスケアはなく不気味な雰囲気、セリフは少なめ。大学生の男性が主人公。 Please write a Japanese horror novel in 30,000 characters. There are no jump scares, there is a creepy atmosphere, and there are not many lines. The main character is a male university student. Kaito's life at the University of Shadows was a paradoxical blend of mundane routine and underlying u
大規模言語モデル(LLM)開発の第一線で活躍する3名の専門家が、LLM開発の意義と課題について語りました。東京工業大学の岡崎直観氏、ELYZA社の曽根岡侑也氏、ストックマーク社の近江崇宏氏が、日本語LLM開発の重要性と直面する技術的・経営的課題を詳しく解説。全3回。 LLM開発の意義と課題 南野充則氏（以下、南野）：では、パネルディスカッションを始めていきたい...
Jambaの紹介: Mamba, トランスフォーマー, MoEを組み合わせた、進化したLLM｜鈴木いっぺい (Ippei Suzuki)
トランスフォーマーアーキテクチャの根本的な課題これまでのところ、LLMの作成は主に伝統的なトランスフォーマーアーキテクチャの使用によるものであり、その堅牢な能力で知られています。しかし、これらの構造には2つの重要な制限があります。 演算処理とメモリが二乗に必要ChatGPT、Gemini、またはClaudeのようなモデルはすべて、Transformerブロックの連結に基づいています。 各ブロックには2つの要素が含まれています： アテンション層 フィードフォワード層（画像中のMLP） アテンションメカニズムは、入力シーケンスを処理し、各単語が重要な単語に注意を払うのを支援する混合操作を強制します。これにより、動詞が名詞に、副詞が動詞に、代名詞が名詞に変換されます。このメカニズムは、入力シーケンスを効果的に処理するために不可欠です。それにより、シーケンス内の各単語が重要な単語に焦点を当てること
正確な診断の精度は約90％ 医師の片腕となり得る、病理学に特化した新しいLLM「PathChat」 | AMP[アンプ] - ビジネスインスピレーションメディア
今、世界の病理学医から注目を集めているのが、病理医の診断支援ツール「PathChat」だ。PathChatは、腫瘍やその他の重篤疾患の同定、評価、診断において、病理医をサポートし、より正確な診断や治療判定、予後を予測するのに役立つ。 特筆すべき点は、従来の主要なAIモデルと比較して、診断に関する多肢選択問題や臨床的に関連のある質問に対する回答において非常に精度が高いことだ。情報が画像のみの場合で78%、臨床コンテキストを含む場合で89.5%という正確さを誇る。 病理医や研究者と共に、診断、治療を含む臨床方針決定を行うAIコパイロットが、PathChatによって一歩前進すると期待されている。 病理医がPathChatとチームを組めば、より適切な治療が提供可能に 特定のタスクを行う予測モデルやタスクに依存せず、自己監督学習を行う視覚エンコーダの開発において、計算病理学は目覚ましい進歩を遂げてき
![正確な診断の精度は約90％ 医師の片腕となり得る、病理学に特化した新しいLLM「PathChat」 | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/0999ded205d7d14d05684952ebb3fce8c92f2c53/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F07%2Fimage1-8.jpg)
生成AI/LLMの開発を加速するGPUクラスタ Vol.2：NVIDIA Base Command Manager ™ によるGPUクラスタの運用管理｜GPUサーバープラットフォームの設計/構築なら「技術力」のNTTPC
これまで2回にわたって、GPUクラスタ（マルチノードGPUシステム）におけるインターコネクトについて、その重要性や構成方法の一端を紹介しました。 Vol.1 前編：マルチノードGPUシステムとインターコネクト Vol.1 後編：インターコネクトのトポロジーとシステム構成 今回はGPUクラスタを効率的に利用するために不可欠な運用管理について取り上げたいと思います。 運用管理はいくつかのレベルあるいはレイヤーに分けられます。 まず、ハードウェア・レイヤーおよびハードウェアに近いレイヤーでは、次のような項目が挙げられるでしょう。 各ノードのプロビジョニング（OSほかソフトウェアのインストール） ログの収集、異常の検知、死活監視 OS、ドライバ、ミドルウェアほかソフトウェアのアセット管理（バージョン管理、ライセンス管理、アップデート） 脆弱性（CVE）に関する情報収集、影響度調査、対策 ネットワー
本記事では、ソフトウェアエンジニアリングにおけるLLMおよびLLMエージェントの影響に関する調査を紹介します。 研究者らはソフトウェア工学の主要6分野における117の論文を分析し、LLMとLLMエージェントの応用、性能、ベンチマーク、評価指標を比較しています。その結果、LLMエージェントの優れた点と課題の両方が浮き彫りになりました。 参照論文情報 タイトル：From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future 著者：Haolin Jin, Linghan Huang, Haipeng Cai, Jun Yan, Bo Li, Huaming Chen 所属：The University of Sydney, Washington State Uni
3つの要点 ✔️ ChemCrowの導入と目的：ChemCrowは、大規模言語モデルを化学タスクに特化させる新しいエンジン。専門ツールと組み合わせることで適用範囲を広げ、化学知識のアクセス障壁を低減し、専門家だけでなく非専門家にも化学の自動化ツールを提供可能。 ✔️ 実装と成果：ChemCrowは、薬物設計や材料合成などの具体的な化学タスクを自動化する能力を示し、虫除け剤や有機触媒、新規色素のスクリーニングおよび合成など、複数の成果を達成。 ✔️ 課題と将来の展望：ChemCrowは、選定されたツールの量と品質に依存する制約があるが、将来的には言語ベースのツールや画像処理ツールの統合により、その機能は大きく拡張される可能性がある。オープンソースバージョンの公開により、広範な研究や開発への活用が期待される。 ChemCrow: Augmenting large-language models
LLM（大規模言語モデル）を分かりやすく解説！簡単な仕組み・種類・活用事例を紹介！ LLM（大規模言語モデル）が必須の時代到来か？正しい活用法を理解して差をつけよう 2022年末にChatGPTがリリースされてから1年半が経ちました。 日本でも生成AI（Generative AI）やLLM（大規模言語モデル）の話題を耳にすることも多くなってきたのではないでしょうか。 LLMとは、自然言語処理の技術を利用して人間の言語を理解することができるAIモデルです。 しかし、多くの方々にとってLLMとは未知の存在であり、その機能や利用方法、可能性については十分に理解されていません。 そこで本記事では、LLMの基本的な概念、その仕組み、種類、活用できる分野、そして運用に最適なIT機器について、分かりやすく解説します。 後半には、今後の展望についても触れながらLLMがもたらす未来の可能性を探ります。 少子
メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」
米メタが2024年7月23日（米国時間）に、オープンソースの大規模言語モデル（LLM）の最新版「Llama 3.1」を公開した。マーク・ザッカーバーグCEO（最高経営責任者）は同時に公開した書簡で、LLMをオープンソース化する理由を説明している。その意図を解説しよう。
この記事は Claude 3.5 Sonnet による論文を元にした記事の出力のテストです。ハルシネーションや間違いなどあるかもしれませんので、鵜呑みにされぬようご注意ください。 大規模言語モデル（LLM）の急速な発展に伴い、これらの強力な AI システムの悪用を防ぐ方法が喫緊の課題となっています。特に、モデルの重みが公開されているオープンウェイト LLM は、既存の安全策が簡単に無効化されてしまう可能性があり、新たなアプローチが必要とされています。 この課題に取り組むため、研究者たちは「TAR（Tampering Attack Resistance）」と呼ばれる新しい手法を開発しました。TAR は、オープンウェイト LLM に改ざん耐性のある安全策を組み込むことを目的としています。 We develop a method, called TAR, for building tamper-
大規模言語モデル(LLM)とはこれまでAI分野の知識にあまり触れたことがない方が大雑把にChatGPTをはじめとする大規模言語モデル(LLM: Large Language Model)について短時間でイメージをつかめるように簡潔な説明を用意しました。大規模言語モデルを「大規模」「言語」「モデル」とそれぞれ分解して説明することで、LLMにはどのような特徴があり従来のAIとはどのような違いがあるのかについて説明してきます。 1. わざわざ「大規模」という名前がついている理由なにが大規模かというと、それはデータ量です。AIを作るためには大量のデータが必要です。そして、データの量を増やせば増やすほどにAIの性能は高まります。ただし”一般的な”AIの場合ですとデータ量を増やすことで高められる性能には限界があります。つまり、はじめはデータを100増やすと性能が100上がったとしても次第にデータを10
メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」
米メタが2024年7月23日（米国時間）に、オープンソースの大規模言語モデル（LLM）の最新版「Llama 3.1」を公開した。マーク・ザッカーバーグCEO（最高経営責任者）は同時に公開した書簡で、LLMをオープンソース化する理由を説明している。その意図を解説しよう。
RaspberryPi5で挑む！DockerとOllamaを活用したローカルLLM環境の構築と実験 - uepon日々の備忘録
以前の投稿では、少し古いゲーミングPCにUbuntuをインストールし、Dockerコンテナを使ってOllamaを起動し、ローカルLLM環境を構築しました。 PC上でローカルLLMを動作させていましたが、最近ではモデルサイズが小さく、よりコンパクトなLLMが登場しています。このようなモデルであれば、RaspberryPiのようなエッジデバイスでも動作可能です。少し前には、RaspberryPi5でTinyLlamaというコンパクトなLLMを動作させる記事が話題になっていました。 参考 qiita.com zenn.dev kotamorishita.com 恥ずかしながら今回の内容はその何番煎じというものです🫠🫠🫠 作業内容は参考サイトでもかなり記載があるので、こちらではある程度にとどめ、私は使用感など見ていきたいと思います。 今回の動作環境 RaspberryPiにDockerをイン
AIの世界に革命を起こしている「1bit LLM」。従来のLLMと何が違うのか？1bitテクノロジーがもたらすメリットや機能、性能、そして未来の可能性まで、初心者にもわかりやすく解説します。 1bit LLMとは AIや自然言語処理の分野で注目を集めている「1bit LLM」は、LLM（Language Model）の一種です。LLMとは、大規模な言語データを学習することで、人間のような自然な言語理解や生成能力をAIに与える技術です。 従来のLLMとの違い 今、AIや自然言語処理の分野で注目を集めている「1bit LLM」。この革新的な技術は、従来のLLMとはどのような違いがあるのでしょうか？ 1bit LLMの特徴は、その名の通り「1bit」という小さな単位を使用している点です。従来のLLMでは、主に浮動小数点数で表現される実数値を用いて、言語モデルを構築していました。一方、1bit L
ControlFlowとは Prefect社が2024年6月に公開した、LLM Agentワークフローを構築するOSSのPythonフレームワークです。 公式リリース記事: Agentic LLM Workflows | ControlFlow by Team Prefect 上記事ではLLMを含むワークフローの構築には、3つの課題が存在すると指摘してます。 オーケストレーション 可観測性 制御・信頼 これらの問題に対処するため、ControlFlowが登場しました。 CotrolFlowは大まかに以下の動作を行います LLMが解決するための観察可能な個別Taskを作成 各Taskに1つ以上の専門Agentを割り当て TaskをFlowに組み合わせて、複雑な動作を編成 ControlFlowは初回リリース前の開発段階にあると、GitHubのREADMEに書かれています。 🚨🚧 Plea
主要なサイトへのリンク Ollama 公式サイト Ollama 公式リポジトリ Open WebUI 公式ドキュメント Meta Llama3紹介記事 (公式ブログ) 2024-4-19 Llama3 公式サイト 一般公開されているLLMリンク集 Open LLMs ※日本語LLM情報は載っていない llm-jp/awesome-japanese-llm ※日本語LLM情報はこちら このスクラップへのリンク Llama3をOllamaで動かす#1 WindowsにOllamaをインストール Llama3をインストール Llama3をOllamaで動かす #2 Docker環境にOpen WebUIをインストール Llama3をOllamaで動かす #3 APIでOllamaのLlama3とチャット Llama3をOllamaで動かす #4 ollama-pythonライブラリ、reques
背景 文脈内学習や指示追従などの機能により、LLMは多くのダウンストリームタスクに適用できるようになりました。しかし、産業応用においては、LLMの出力が標準化されたフォーマットに従わないことが大きな障壁となってきました。標準化されたフォーマットとはすなわち、テキストを整理するための予め定められた構造のことです。 そこで、”構造化生成”が使用されるようになりました。構造化生成とはJSONやXMLなどの標準化されたフォーマットで出力を提供する手法です。プロンプトで指示したり、JSON mode（OpenAIやGeminiが提供）を実行するのが方法です。 しかし、これまである重要な疑問が見過ごされていました。それは、出力の構造化が生成コンテンツの質にどのような影響を与えるかという点です。言い換えれば、フォーマット制限がLLMのパフォーマンスを低下させる可能性があるかどうかは、ビジネスに大きな影響
桑名市スマートシティ推進課です。 最近、AI関係の記事を全く書いていないため、最近試したことを書こうと思います。 １．巷ではローカルLLMが流行っている 横須賀市さんが、記事でローカルLLMを試してみた記事がありました。二番煎じ、いや、もうどれだけ煎じられてるかわからないため、Ｎ番煎じですが、当市も乗っかって、同じようにやってみようと思います。 ちなみに、当市も横須賀市さんとは方向性が違いますが、メタバースも実証実験をしております！！ ２．さらに、界隈ではDifyなるサービスが流行っている！さらに、生成AI界隈では、Difyなるサービス（オープンソースのLLMアプリ開発プラットフォーム）が流行っている、らしい。 世界的ですもんね。このビッグウェーブ乗るしかない！ つまり・・・自治体のネットワークは三層分離されていて、ほとんどの事務をインターネットではつながらない部分で行っているため、 RA
米メタが2024年7月23日（米国時間）に、オープンソースの大規模言語モデル（LLM）の最新版「Llama 3.1」を公開した。マーク・ザッカーバーグCEO（最高経営責任者）は同時に公開した書簡で、LLMをオープンソース化する理由を説明している。その意図を解説しよう。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLMでマリオをプレイ「Large Language Mario」を作って試してみました
雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
OCRとLLMを活用した情報抽出業務の効率化｜Algomatic
カネにならない生成AIブーム、LLMはどう使われているか？
【KARAKURI LM 10本ノック】番外編： Chrome内蔵のローカルLLMで「どこでもCopilot」を作ってみた
リコー、低コスト・高速うたう新LLM 日英中対応で今秋提供
トークナイザーの重要性と継続事前学習の可能性 3名の専門家が語る日本語LLM開発の最前線
広がるLLM活用、NISTのフレームワークがセキュリティーリスク管理の一助に
一気に3万字書けるLLMを試して2種類AI小説を書かせてみる｜852話
トークナイザーの重要性と継続事前学習の可能性 3名の専門家が語る日本語LLM開発の最前線 (ログミーTech)
LLMから「LLMエージェント」へ ソフトウェアエンジニアリングにおける今後の展開 | AIDB
化学分野におけるLLMの革命！外部ツールを活用した統合エンジン「ChemCrow」
LLM（大規模言語モデル）を分かりやすく解説！簡単な仕組み・種類・活用事例を紹介！ | 株式会社アスク
オープンウェイト LLM のための改ざん耐性のある安全策：TAR メソッドの紹介｜ぬこぬこ
5分で大規模言語モデル(LLM)を直感的に理解する｜くりやま/データ分析
1bit LLMがもたらす革命：AIの世界を1bitで変える | ニューラルネットワーク完全ガイド
LLM AgentワークフローツールControlFlowを動かしてみる - 肉球でキーボード
WindowsでOllamaを使って、ローカルで動くLLMのLlama3やPhi3を使いこなす！
LLMの出力をJSON形式などに構造化すると「思考の柔軟性」や精度に影響することが示唆される | AIDB
N番煎じですがローカルLLM(ollama)とRAG(Dify)を試してみた｜桑名市スマートシティ推進課
メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」