大規模言語モデルLlama-3.1に専門的な数値データを学習させる検討 | ドクセル
よくある失敗例 • アンチパターン • とりあえず専門文章を準備してみる • とりあえず学習させてみる • 期待した精度が出ない • プロジェクト失敗 生成AIプロジェクト、3分の1が2025年までに中止か--ガートナー予測 コスト以外にも、AIプロジェクトを失敗に導きかねない要因として、「不十分なリスク管理」 や「質の低いデータ」があるとGartnerは指摘している。 https://japan.zdnet.com/article/35223490/ 3 https://japan.zdnet.com/article/35223490/ 課題: LLMは「物覚え」が悪い • Transformer系のアーキテクチャや､学習プロセスの問題? • アンチパターン: これらの知見を「見てみぬふり」しながら､とりあえず専門データを準備して学習させる • OpenAI アルトマン (2024年1月
Notebook LMを活用して音声配信をもっと楽しむ方法
NotebookLM NotebookLMはGoogleが提供している生成AIを活用したサービスです。なんと（2024年10月現在は）無料で使えます。 NotebookLMは、Googleの生成AI Geminiのロングコンテキスト（多くの量のプロンプトを扱うことができるという意味）の特徴を活かした、文章の要約やQA対応が得意です。文章は、直接プロンプトに入れている（と思われる）ので、単なるRAGとは違う（と思われ）ます。 RAGとロングコンテキストのどっちが良いのかというのは、色々議論があるようです。例えばLost in the Middle: How Language Models Use Long Contextsという論文では「ロングコンテキストの真ん中の情報は失われるよ」みたいなことが書いてありますがRetrieval Augmented Generation or Long-C
185 real-world gen AI use cases from the world's leading organizations
Similar to great sales and service people, customer agents are able to listen carefully, understand your needs, and recommend the right products and services. They work seamlessly across channels including the web, mobile, and point of sale, and can be integrated into product experiences with voice and video. 1.Alaska Airlines is developing natural language search, providing travelers with a conve
MN-Core Challenge #1 で優勝しました 【問題解説付】 - prime's diary
2024/8/28 - 2024/9/23 に開催されたプログラミングコンテストMN-Core Challenge #1に参加し、なんと優勝することができました！ この記事ではコンテストの振り返りと各問題に対する自分の解法の簡単な解説を行います。 MN-Coreについて 概要 MN-CoreシリーズはPreferred Networksが開発しているアクセラレータで、高いピーク性能・電力効率を実現するためかなり割り切った設計になっています。 数千個あるPEがすべて同期して動作する、条件分岐やループといった命令は存在しない、などの特徴により、動作がほぼすべて決定的*1という特徴があります。 ループや条件分岐がないため、繰り返し動作はその回数分だけ命令を並べることになります。 この特徴により、実行時間がほぼ命令数に比例することになります。逆に、命令数を減らせればそれだけ短時間で計算が完了するこ
GitHub Models を使って 20 種類以上の LLM の日本語性能を測定してみた - NTT Communications Engineers' Blog
本記事では、今年8月にパブリックベータ版として GitHub に搭載された新機能 GitHub Models について、概要や利用法を簡単にご説明します。さらに、実際に GitHub Models を活用して、多数の LLM の日本語性能を横断的に測定していく例を紹介していきます。 目次 目次 はじめに 三行で GitHub Models を説明すると... GitHub Models の使い方 Waitlist への登録 モデル一覧 ブラウザ上で試す API経由で試す GitHub Models を利用する上での注意点 API レート制限の制約が強い Azure AI Content Safety が全ての LLM に適用されている GitHub Models を使って LLM の日本語性能を横断的に測定する 実験 1. GPT-4o による自動評価 2. 出力が日本語になっているかどう
Llama2-70b-chat をAPI利用して、簡単にLLMを体験してみよう - Qiita
はじめに 本記事は、Llama2 のチャットボットをAPI利用して動作させるまでに必要なことをまとめたものである。動作させるまでを記載した記事であり、その後の詳細な利用法等については記していない点を留意してほしい。 背景 個人的に Llama2 に興味があり、チャットボットをAPI利用したプログラムを組む機会があった。かつ、Qiita にAPI利用についてをまとめた記事がなかったため、本記事を投稿するに至った。 後述しているが、Llama2の利点に、オープンソースでモデルが公開されているため、API料金がかからないという点がある。しかし、今回はあくまでも「簡単に」ということで、API利用で低メモリのPCでもサクッと動かすことを目的としている。 環境 OS: Windows 10 Ubuntu: 22.04 Python: 3.7.10 Docker で Ubuntu 環境を構築し、実行して
AIエージェントのビジネスインパクトとLangChain、LangGraphを使った実装例
こんにちは、Communeでデータサイエンティストをしているひぐです。 最近、LLMと周辺エコシステムの発展により、自律性と意思決定能力を持った"AIエージェント"の実現が現実味を帯びてきました。 例えば先日、sakana ai社から、AIが自律的にアイディアを複数案だして、実験内容を決定し、コードを修正した上で実験を回し、論文を書くようなシステムが発表されました。 AIエージェントは上手く組めば複雑なタスクを自律的に処理できるため、これまで規模が小さかったり、収益性が見込めなかった市場でも、人が介在せず、従来実現できなかった効率や少ないコストでタスクを完遂できるようになります。 つまり市場を新たに創出できる可能性があり、ビジネス観点でも非常に興味深い技術といえるでしょう。 一方で、AIエージェントの実装には、遅くて高コストで不安定なAPIを複雑につなぎ込む技術的な難しさや、開発エコシステ
LLMに日本語テキストを学習させる意義
こちらのスライドは「第261回自然言語処理研究発表会」の発表で用いたものです。 Reference:
【これがゲームチェンジャーか!】松尾研のTanuki-8BとTanuki-8x8Bを試す｜shi3z
なぜタヌキなのか? その謎は謎のままだが、とにかく日本語性能がGemini1.5Proに次ぎ、少し前のGPT-4よりも高い上に商用利用可能という太っ腹仕様なので使わない手はない。むしろこれさえあればもう誰もGPTに課金しなくて済む、そんな未来が来るのかもしれない。 しかし、Tanukiは特殊な何かをしてるらしくMLXに簡単にコンバートできずvllmで動かすときもちょっと魔改造したvllmが必要になるという。 最近ローカルづいてる吾輩としてはできればMLXで動かしたいのだがMLXがまだTanukiに対応してない(し、そもそも何をすればTanuki対応にできるのかよくわからない)ので、とりあえず「非推奨」とされてはいるものの、Macでもギリギリ動きそうなGGUF版を動かしてみた。 from llama_cpp import Llama filename = "Tanuki-8B-dpo-v1.
ソースコードをリポジトリ丸ごとLLMに読んでもらう方法
はじめに ソースコードをLLMに読んでもらうとき、単一ファイルだと楽なのですが、GitHubのリポジトリのように複数ファイルから構成されるプロジェクトだと困ってしまいますね。 リポジトリごとLLMに読んでもらえるようにいい感じにテキスト化できると良いですね。そんなソフトがありました。しかも2つ。 両方ともほとんどコンセプトは同じです。特に後者のgenerate-project-summaryは使い方も含めて、自分のやりたいことが、すでに開発者の清水れみおさんが以下の記事にまとめていました。 なので、あんまり書く必要ないのですが、せっかくなのでgpt-repository-loaderの使い方と、出力したファイルの別の活用方法について書いてみたいと思います。 gpt-repository-loaderでリポジトリをテキストに変換 使い方はREADMEに書いてあります。シンプルなソフトなので、
Difyで複数のLLMを切り替えるチャットを実現する - Taste of Tech Topics
こんにちは、新人エンジニアの前田です。 最近、南海トラフ地震の臨時情報や台風などもあったりして、自衛のための事前準備は欠かせないなと思いました。 さて、今回はDifyを使って複数の大規模言語モデル（LLM）を切り替えるチャットチャットボットを作ってみたいと思います。 なぜ、この内容をやってみようかと思ったかというと、Difyは、複数のLLMを利用できるのですが、 それらは、事前に設定を行って利用するもので、ユーザーが実行時に切り替えて指定ができなかったのですよね。 とはいえ、これもノーコードで実現できるのが、Difyの強みです。 1. 概要 1.1.Difyとは 1.2. この記事で実現すること 2. アプリ作成 2.1. モデルの定義 2.2. モデルの選択 2.3. 変数の集約 3. 作成したアプリを動かしてみる 4. まとめ 1. 概要 1.1.Difyとは Difyは、大規模言語モ
雑にJSONデータを分析させてみる-ローカルLLMの底力 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 2024/08/22修正： はてなブックマークのコメントから、「それってデシリアライズって言わないよ」というご指摘を頂戴しました。 恥ずかしながら浅学であったがゆえに用語を取り違えたまんま長らく覚えてまして、これを整形表示（Pretty Print）と修正させていただきました。最初の用語登場箇所のみ修正した内容として取り消し線付きで記述しておりまして、それ以降は置換させてもらっています。 ご指摘誠にありがとうございました<(_ _)> これとは別に、後半で記述してるコードの一部に使わ
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
生成AIのRAG構成を大手3社（AWS、Azure、Google Cloud）で徹底比較してみた - G-gen Tech Blog
G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure
DifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築する - Taste of Tech Topics
こんにちは。ベランダで育てていたバジルが虫に食べられてしまいました。ハヤトです。 しかし植物の生命力というのはすごいもので、残った茎から再び葉っぱが成長してきています。次はぜひ私が食べたいものです。 さて、成長著しいといえば生成AIアプリ開発の分野はまさに日進月歩ですが、 なかでも「Dify」は、LLMワークフローが特に便利で、注目度が急上昇中です。 今回はそんなDifyとKnowledge bases for Amazon Bedrockを連携させてRAGを構築してみます。 Difyとは？ Knowledge bases for Amazon Bedrockとは？ 今回作成するチャットボットについて AWS側の設定手順 ナレッジベースの作成 APIの作成 Lambdaの作成 API Gatewayの作成 Dify側の設定手順 カスタムツールの作成 チャットボットの作成 まとめ Difyと
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - DhruvAtreja/datavisualization_langgraph: Questions? Contact me at @DhruvAtreja1
https://x.com/123wimi/status/1837883513380786522
Daisuke Okanohara / 岡野原 大輔 on X: "RAGを行う際チャンクに分割し、その文脈をLLMで要約させて結合させた上でそれらの埋め込みベクトルとTF-IDFを計算。それらを組み合わせて候補を出した後リランキングすることで大きく性能改善する 今もBM25 (TF-IDF）が有効なのがすごいが、分かち書き前提の問題は未解決かhttps://t.co/U3RpUhtqh5"
LangChainの概要と使い方｜サクッと始めるプロンプトエンジニアリング【LangChain / ChatGPT】
