大文字と小文字をごちゃ混ぜにしたり、わざとスペルミスをしたりすることでAIから有害な回答を引き出す手法「Best-of-N(BoN)ジェイルブレイキング」が開発されました。 BEST-OF-N JAILBREAKING (PDFファイル)https://arxiv.org/pdf/2412.03556 Best-of-N Jailbreaking https://jplhughes.github.io/bon-jailbreaking/ New research collaboration: “Best-of-N Jailbreaking”. We found a simple, general-purpose method that jailbreaks (bypasses the safety features of) frontier AI models, and that work

はじめに こんにちは、株式会社松尾研究所 シニアデータサイエンティストの清水です。本記事は、松尾研究所 Advent Calendar 2024の記事です。 2024年も残り僅かとなりましたが、今年もLLM(Large Language Model)で大賑わいの1年となりました。そこでこの記事では今年1年の中でarXivに投稿されたLLMに関する論文を分析した結果を紹介します。 サマリー 2024年(12/16現在)ではLLMに関する論文が16,503本もarXivに投稿されています 音声認識や画像認識などのマルチモーダル化や、推論能力向上などモデルの広がりと深化が進んでいます 一方、実社会への応用を目指した効率化も進みLLM技術のさらなる発展と取り組みが期待されています カテゴリ分析 arXiv apiでは様々な情報が取得できます。今回はid, title, summary, categ

Microsoft Researchは2024年12月16日（米国時間）、グラフベースのモジュラーRAG（Retrieval-Augmented Generation：検索拡張生成）システムである「GraphRAG」の正式版「GraphRAG 1.0」をGitHubで公開した。 GraphRAGは、大規模言語モデル（LLM）を利用して、非構造化テキストから意味のある構造化データを抽出するように設計されたデータパイプラインおよび変換スイートであり、Pythonパッケージとして提供されている。また「Microsoft Azure」で使用するための ソリューションアクセラレータパッケージもGitHubで公開されている。 RAGの精度をどう強化？　GraphRAG 1.0での改良点とは 関連記事 Microsoft、LLMで注目の「RAG」の精度を向上させる「GraphRAG」をGitHubで公開

sponsored 店舗スタッフが自作パソコン完成まで徹底サポート 業界最安値級から2万円引き!? 普通に買うよりお得・手ブラでPCが組めるアプライドの自作イベント sponsored 2004年から業界をリード！ マウスコンピューターのゲーミングPCブランド「G TUNE」が20周年を迎えた 【今売れているゲーミングPCのスペックはコレ！】「G TUNE」で見る最新ゲーミングPCの最先端 sponsored 黒くてデカいデスクトップパソコンは不要！ 在宅ワークこそエレガントに効率アップを狙える「Lenovo IdeaCentre Tower 14IRR9」だ sponsored いまゲーミングノートを選ぶなら“薄軽”が必須条件、Ryzen AI 9とRTX 4060搭載の最新「ROG Zephyrus G16」 sponsored 「HUAWEI WATCH GT 5 Pro」に無料アッ

Gemini 2.0 Flash 思考モードは、回答の一部としてモデルが行う「思考プロセス」を生成するようにトレーニングされた試験運用版モデルです。その結果、Thinking Mode は、Gemini 2.0 Flash 試験運用版モデルよりも回答の推論能力が強化されています。 思考モデルの使用 思考モデルは、Google AI Studio と Gemini API で使用できます。思考プロセスを返すモデルを使用する際の主な考慮事項の 1 つは、エンドユーザーに公開する情報の量です。思考プロセスは非常に冗長になる可能性があるためです。 基本的なリクエストを送信する from google import genai client = genai.Client(api_key='GEMINI_API_KEY', http_options={'api_version':'v1alpha'})

米Googleは12月19日（現地時間）、新たな推論AIモデル「Gemini 2.0 Flash Thinking」を発表し、Experimental（実験）モデルをGoogle AI Studioで公開した。 Gemini 2.0 Flash Thinkingは、回答の一部としてモデルが行う「思考プロセス」、つまり、問題を解決するためにどのような手順で考え、どのような情報を参照したのかを、人間が理解できる形で示すようにトレーニングされた推論モデル。ベースとした「Gemini 2.0 Flash」よりも、より強力な推論機能を備えており、マルチモーダル理解、推論、コーディングに最適という。 Google DeepMindとGoogle Researchのチーフサイエンティスト、ジェフ・ディーン氏はXのポストで、「思考を明示的に示すモデル」と説明した。同氏がシェアしたデモでは、「電子は、x=-

ローカルLLMとは、ユーザーが所有するローカル環境（PCやエッジデバイスなど）で直接動作するLLM（大規模言語モデル）、またはその仕組みのこと。データをクラウドに送信せずにローカル環境内で処理するため、プライバシーが保護される。特定のタスクや業界向けの調整がしやすいメリットもある。 連載目次 用語解説 ローカルLLM（Local LLM）とは、クラウド環境ではなく、ユーザーが所有するローカル環境（PC、オンプレミスサーバー、スマートフォン、エッジデバイスなど）で直接動作する大規模言語モデル（LLM）のこと、またはそれを動作させる仕組みを指す。例えば、ノートPCにLLMの一つであるLlama（「ラマ」と読む、Meta社が公開するLLM）を入れて、自分だけのチャットボット（チャットAI）を動かす、そんなことがローカルLLMなら可能だ。 比較： ローカルLLM vs. クラウドLLM 「ローカル

Sakana AIが「進化したユニバーサルトランスフォーマーメモリ」という論文を発表しました。論文によると、ニューラルアテンションメモリーモデル(NAMM)という新たな仕組みを導入することでコンテキストにおいて冗長な情報を削減でき、推論時のメモリ効率を高めることができたとのことです。 An Evolved Universal Transformer Memory https://sakana.ai/namm/ [2410.13166] An Evolved Universal Transformer Memory https://arxiv.org/abs/2410.13166 AIの本体である大規模言語モデル(LLM)では、ユーザーからの入力であるプロンプトをコンテキストとして受け取り、新たな返答を生成しています。現在主流のモデルは数十万から数百万トークンという非常に長いコンテキストを受

米OpenAIは12月16日（現地時間）、クリスマスに向けたイベント「12 Days of OpenAI」の9日目は「DevDay Holiday Edition」として、開発者向けの複数の新機能を発表した。 推論モデル「o1」がAPIで利用可能に これまで一部の開発者に限定公開されていた「o1-preview」の後継となるo1は、複雑なタスクを高い精度で処理できる能力を備えている。 o1 APIを利用するにはTier 5に加入する必要があり、より高度な機能が使える分、利用料金は高くなる可能性がある。 o1は、関数呼び出し、構造化出力、開発者メッセージ、画像処理能力などの機能を備える。外部データやAPIとの連携、信頼性の高いレスポンス生成、モデルへの指示やコンテキスト指定、画像理解などで、AIアプリ開発の可能性が広がるとOpenAIは説明した。 Realtime APIの進化 WebRTC

Microsoft⁠⁠、GraphRAG 1.0をリリース ―セットアップやCUIを改善し処理効率もアップ Microsoftは2024年12月16日、複雑な情報を処理できるよう強化拡張されたRAG「GraphRAG」の正式版GraphRAG 1.0のリリースをアナウンスした。 Moving to GraphRAG 1.0 – Streamlining ergonomics for developers and users -Microsoft Research Blog GraphRAGはRAG（Retrieval-Augmented Generation：検索拡張生成）をより効率よく処理できるようにする技術。LLMを使用して検索、取得したデータセットから「ナレッジ グラフ」を作成し、これを元に複雑な情報を分析してRAGのナレッジベース検索・応答のパフォーマンスを大幅に向上させることがで

Microsoftは検索エンジンのBingで、これまでGoogleが開発した機械学習モデルの「Transformer」を採用してきました。しかし、Transformerに限界が訪れたとして、大規模言語モデル(LLM)と小規模言語モデル(SLM)の組み合わせに移行すると発表しています。さらに、ワークフローにNVIDIAが開発している「TensorRT-LLM」を統合することで、検索の最適化も実施すると発表しています。 Bing's Transition to LLM/SLM Models: Optimizing Search with TensorRT-LLM https://blogs.bing.com/search-quality-insights/December-2024/Bing-s-Transition-to-LLM-SLM-Models-Optimizing-Search-wi

Applications of large-scale knowledge graphs in the e-commerce platforms can improve shopping experience for their customers. While existing e-commerce knowledge graphs (KGs) integrate a large volume of concepts or product attributes, they fail to discover user intentions, leaving the gap with how people think, behave, and interact with surrounding world. In this work, we present COSMO, a scalable

OpenAIが現地時間12月18日、リアルタイムの音声会話をアプリに組み込める「GPT-4o Realtime API」利用料金の値下げを発表した。入力トークンが100万トークンあたり40ドル、出力トークンが100万トークンあたり80ドルになり、これまでから60%の値下げとなる。 キャッシュされた入力トークンの料金はさらに引き下げられ、100万トークンあたり2.50ドルとなる。以前の料金から87.5%の削減となり、常用するプロンプトは費用削減効果が見込める。 OpenAIはまた、廉価版として「GPT-4o mini」モデルをRealtime APIに追加している。入力トークンが100万トークンあたり10ドル、出力トークンが100万トークンあたり20ドルに設定され、従来のGPT-4oモデルと比較して10分の1のコストで利用できる。 OpenAIでは値下げと同時に、音声品質を向上させ、入力の信

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「

AIモデルの開発には学習資料となるデータセットが必要不可欠ですが、すでに大規模なモデルはアクセスできるデータのほとんどを食い尽くしており、2028年までにデータを使い果たしてしまう可能性が指摘されています。AIとデータセットの現状について、学術雑誌のNatureがまとめています。 The AI revolution is running out of data. What can researchers do? https://www.nature.com/articles/d41586-024-03990-2 Synthetic data has its limits — why human-sourced data can help prevent AI model collapse | VentureBeat https://venturebeat.com/ai/synthetic-

Amazon Web Services（AWS）は2024年12月1日（米国時間）、生成AI（人工知能）アプリ開発用マネージドサービス「Amazon Bedrock Knowledge Bases」にカスタムコネクター、ストリーミングデータの取り込みと再ランク付けモデルのサポートを追加した。AWSは以下のように説明している。 カスタムコネクターとストリーミングデータの取り込みで、リアルタイム性を確保 関連記事 AWS、新たなマルチモーダルAI「Amazon Nova」を発表　「Amazon Bedrock」で利用可能になるユースケースに応じたAIとは Amazon Web Servicesは、最先端をうたう新しい基盤モデル「Amazon Nova」を発表した。Amazon Bedrockを通じて「Amazon Nova理解モデル」と「Amazon Novaクリエイティブコンテンツ生成モデル

こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） この記事は Amazon Bedrock Advent Calendar 2024 17日目の投稿です。 re:Invent2024 ではたくさんの新機能が発表されて、あんなこともできるようになった、こんなことも……と興奮が止まらない日々です。 今回はそんなre:Inventで発表されたAmazon Bedrock Knowledge Baseの新機能の一つである、クエリフィルター自動生成を試してみました。 aws.amazon.com 今回試した構成 1. はじめに 1.1. Amazon Bedrock Knowledge Baseとは 1.2. ベクトル検索の欠