マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、生成AIがさまざまな業務を支援してくれる「Microsoft Copilot」の新機能として「Team Copilot」を発表しました。 チームの生産性向上を実現するTeam Copilot Microsoft Copilotは、同社のオフィス製品などに組み込まれた生成AIによって文書やプレゼンテーションの作成などの支援を通じて個人の生産性向上を実現する機能として登場し……
［速報］マイクロソフトが「Team Copilot」発表。生成AIが会議のファシリテーターやプロジェクト管理を実行
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、生成AIがさまざまな業務を支援してくれる「Microsoft Copilot」の新機能として「Team Copilot」を発表しました。 チームの生産性向上を実現するTeam Copilot Microsoft Copilotは、同社のオフィス製品などに組み込まれた生成AIによって文書やプレゼンテーションの作成などの支援を通じて個人の生産性向上を実現する機能として登場し……
カリフォルニア州クパティーノ Appleは本日、生成モデルのパワーと個人的な背景を組み合わせて驚くほど有用で関連性のあるインテリジェンスを提供する、iPhone、iPad、MacのためのパーソナルインテリジェンスシステムであるApple Intelligenceを発表しました。Apple Intelligenceは、iOS 18、iPadOS 18、macOS Sequoiaと緊密に統合されています。Appleシリコンのパワーを活用して、言語や画像を理解して生成したり、複数のアプリにわたってアクションを実行したり、個人的な背景にもとづいて、日々のタスクをシンプルにしてよりすばやくこなせるようにします。Private Cloud Computeにより、AppleはAIにおけるプライバシーの新しい基準を打ち立てます。デバイス上の処理から、専用のAppleシリコン搭載のサーバ上で実行する、より大
大規模言語モデルの開発
2024年度 人工知能学会全国大会（第38回）チュートリアル講演１ 本講演では、大規模言語モデルの開発に必要な基礎および最新動向を概観する。その後、東京工業大学情報理工学院の岡崎研究室と横田研究室、産業技術総合研究所の研究チームで開発された大規模言語モデルSwallowの開発経験を踏まえ、学習データの構築、モデルの学習や評価などを説明し、日本語に強い大規模言語モデルの現状や課題を議論したい。
はじめまして！データサイエンティストの山内(@jof_5)です。 本記事では、日々、プロンプト開発されている皆様に向けて、プロンプトを効率的に開発する手法の一つである「自動プロンプト最適化」について記載いたします。 1. プロンプトエンジニアリングの必要性と課題 2. 自動プロンプト最適化について 2-0. 最適なプロンプトとは何か？☕ 2-1. 自動プロンプトの概要 2-2. 自動プロンプト最適化のアーキテクチャ ①Task Executor: LLMによるタスクの実行 ②Output Evaluator: 出力の評価 ③ Prompt Improver: 最適なプロンプトの生成 3. 実験結果と考察 3-1. 自動プロンプト最適化の有効性の検証 3-2. 最適化プロンプトの生成過程 3-3. 最適化されたプロンプトの特徴 3-4. プロンプト生成用LLM(Prompt Improver
2024年6月13日に大阪大学大学院 情報科学研究科で行った「情報科学特別講義Ⅰ」の講義資料です。 https://www.ist.osaka-u.ac.jp/japanese/news/newsDetailNews.php?id=308
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
PostgreSQLを生成AIの情報源として使える高速ベクトルデータベース化拡張「Pgvectorscale」がオープンソースで公開。Pgvectorをさらに高性能化
PostgreSQLのマネージドサービスなどを提供しているTimescaleは、PostgreSQLで高速なベクトルデータベース機能を実現する拡張機能「Pgvectorcale」をオープンソースとして公開したことを発表しました。 大規模言語モデルを用いた生成AIの注目度が高まる中で、文章や画像、音声といったデータの特徴を数値で表現するベクトル化（もしくはエンベディング）により、大規模言語モデルで扱えるようにすることへの注目も高まってきています。 ベクトルデータベースは、このベクトル化された膨大なデータの保存や類似度の検索などが可能です。 例えば、RAG（Retrieval Augmented Generation）と呼ばれる手法により大規模言語モデルの回答に外部のデータベースから取得したデータを組み込むことができます。こうした場面でベクトルデータベースが活用されます。 高速ベクトルデータベ
インストールが完了したらアドレスバーに chrome://flags と入力して設定画面を開きます。以下の 2 つのフラグを設定します。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled また、あらかじめ Gemini Nano のモデルをダウンロードしておく必要があります。アドレスバーに chrome://components/ と入力して Optimization Guide On Device Model の「アップデートを確認」をクリックします。 Gemini Nano を使ってみる それでは、Gemini Nano を使ってみましょう。以下のコードをコンソールに貼り付けて実行します。 const canCreate = aw
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 RAGのシステムの中では、どんな情報にアクセスするかを決定する際に、Embeddingと呼ばれる文章をベクトル化する技術が使用されています。そして多くの場合では小数(float)の多次元ベクトルが採用されています。 しかし、Embeddingの中には各ベクトルの数値を1Bitのデータとして扱うBinary Embeddingというものが存在します。 本記事では、Embeddingの手法の一つであるそのBinary Embeddingについて解説と検証を行います。 サマリー Binary Embeddingを採用することで以下のような効果を得ることができます。 保管するベクトルデータの容量を96%ほど削減で
オープンソースのRAGアプリ「RAGFlow」を試す
かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問応答機能を提供し、あらゆる規模のビジネスに合理化されたRAGワークフローを提供する。
社内の技術共有会での発表資料です。 AI搭載エディタCursorの機能の紹介とKaggle等の機械学習コンペで使ってみて役立った点などを共有します
NVIDIAがオープンモデル「Nemotron-4 340B」を発表、LLMトレーニング用合成データの生成に革命を起こすか
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
米国で世界初の自律型AIソフトウェアエンジニア「Devin」が発表され、衝撃を生んでいる。人間の指示に応えてタスクをサポートする従来型のAIアシスタントとは異なり、Devinはコーディングから実装までの開発プロセス全体を自ら行える、いわゆる自律型の「AIエージェント」だからだ。同ツールは「（サポート型の）Github Copilotなどとはユーザー体験が大きく異なる」という。Devinの登場により、人間のITエンジニアが職を奪われる時代が到来してしまうのか。その具体的な実力とともに解説する。
GPT4-Vの100分の1のサイズで同等の性能を誇るマルチモーダルモデル「Llama 3-V」が登場、トレーニング費用はたった8万円
画像認識が可能なオープンソースモデルの「Llama 3-V」が公開されました。Llama 3-Vは、OpenAIのマルチモーダルモデル「GPT4-V」よりも格段に小型で、事前トレーニングにかかる費用は500ドル(約78000円)程度なのにもかかわらず、ほとんどの指標で同等のパフォーマンスを示しています。 Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars | by Aksh Garg | May, 2024 | Medium https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee 今回発表されたLlama 3-Vは、 Metaが公開した言語モデルの「L
Googleのチームが開発したPython用のUIフレームワーク「Mesop」の特徴や使い方について、開発チームがブログに投稿しています。 Why Mesop? - Mesop https://google.github.io/mesop/blog/2024/05/13/why-mesop/ 多くのPython用UIフレームワークは簡単に使い始められるものの、標準的な使用方法を超えてカスタマイズを行おうとするとJavaScriptやCSS、HTMLの詳しい知識が必要です。MesopはPython内で動作を完結させることでよりPython開発者にとって扱いやすいUIフレームワークになっています。 MesopはコンポーネントベースのUIフレームワークで、UI全体がコンポーネントと呼ばれるブロックを積み重ねて作成されています。Pythonの関数を呼び出すのと同じ要領でMesopのコンポーネントを
自分のAWS環境について何でも教えてくれるエージェントが作れそう（Agents for Amazon Bedrock + Knowledge bases for Amazon Bedrock） - Qiita
ただし、LangChainが動作しているホストマシンの環境でPythonスクリプトを実行するので、誤って大事なファイルを消したりする危険性があります。 これをLambdaで動作させようと考えました。 Python REPLのLambda化 Python REPLの実装はとてもシンプルです。90行しかありません。 参考：GitHubのソースコード Lambdaへ移植する際に気をつけたのは2点です。 動作に不必要なLangChainの依存を削除する multiprocessing.QueueはLambdaで動作しないため、multiprocessing.Pipeに置き換える（参考） 出来上がったのが以下の3つの関数です。クラスですらなくしてしまいました。 import logging from multiprocessing import Process, Pipe import re imp
こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'
はじめに 「ゼロからLLMつくりたいなー」と思っていますが、なかなか時間がとれないので、いざというとき（？）のために、参考になりそうなサイトをまとめておきます。 個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。 NLP2024チュートリアル 良さそう。 NLP2024-チュートリアル３-作って学ぶ 日本語大規模言語モデル Neural Networks: Zero to Hero Andrej Karpathyさんの動画。英語ですが、すごい良さそう Llama Llamaの情報 GENIAC その他 LLaVA(画像系） 環境構築 モデルマージ まとめ LLMに限らず、何かをゼロから小さく作ってみるのは、回り道のようで理解を深める最短経路と思っています。すぐ効果があるようなものではないですが、こういうのはまとめて取り組んでいきたいですね。 日本語の良い書籍が
岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。 関連記事 生成AIを巡る日本の現状は？ 東大・松尾教授の考察資料が無料公開 「1年間、日本は最善手を指し続けている」 内閣府は5月23日、22日に開催した「第9回 AI戦略会議」で取り扱った資料を公開した。公開したのは、AI研究の権威として知られる東京大学の松尾豊教授が作成した「生成AIの産業における可能性」と題した全33ページの資料など。 “大は小を兼ねない”生成AI 注目集める「小規模言語モデル」（SLM） そのメリットとは？ 先日行われた、米Microsoftの開発者向けイベント「Microsoft Build 2024」の目玉の一つだった「SLM」（Sma
LLMが別のLLMを何度も改善 より良い回答を出す最適化手法をAIが発見する技術 Sakana AIなどが開発
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 AIベンチャーのSakana AI（東京都港区）やFLAIR、英ケンブリッジ大学、オックスフォード大学に所属する研究者らが発表した論文「Discovering Preference Optimization Algorithms with and for Large Language Models」は、人間の介入を最小限に抑えて新しい最適化アルゴリズムをAIによって発見する手法を提案した研究報告である。 この手法では大規模言語モデル（LLM）がLLMを利用して自己改善し進化していくことを提案しており、研究者らは「LLM^2」（「LLMの2乗」
アンケートには、数値で回答をする設問があったり、自由記述の回答をする設問があったりすることが一般的です。 そして、数値の回答に関しては、集計して性別や年代など回答者の属性ごとにスコアを比べたり、質問間の相関を調べて、分析を進めることが可能です。 一方で、自由記述の回答の場合、膨大なテキストデータを眺めるだけで終わってしまったり、アンケートを見た人の主観的な気付きをまとめただけで分析が終わってしまい、「データに基づいた気付き」を得るまでには至らないことも少なくありません。 そこで、今回は自由記述のアンケートデータがあったときに、有用な情報や気付きを得るために実施すべき4つの分析手法を紹介いたします。 1. 頻出単語のカウント 自由記述のテキストデータがあったときに、データ（文章）は「単語」に分け、それぞれの単語の出現回数を集計（定量化）することで、データの中にあるパターンや特徴を掴めるように
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
iPhone、iPad、MacにApple Intelligenceが登場
【西川和久の不定期コラム】 初心者も簡単！ついにPCで104BのLLMも動かせるようになった！そして巷を騒がせるマルチモーダルも試した
自動プロンプト最適化をやってみた - Algomatic Tech Blog
Generative Models
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
Chrome の 組み込み AI Gemini Nano を試してみる
ベクトルデータの容量を96%削減するBinary Embedding
AI搭載エディタCursorの紹介と機械学習コンペでの使用レビュー
「Devin」とは何か？もうITエンジニアは不要か？コーディングから実装まで「人要らず」の実力
Googleが開発したPythonのUIフレームワーク「Mesop」の特徴を開発チームが解説
社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog
ゼロからLLMつくりたくなったときに参考になりそうなサイト
「大規模言語モデルの開発」に関するまとめ資料 東工大・岡崎教授が公開 全85ページ
自由記述のアンケートデータがあったときに実施すべき4つの分析手法 - Qiita