近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな

Multimodal Open Language Model built by Ai2

ell is a lightweight prompt engineering library treating prompts as functions. After years of building and using language models at OpenAI and in the startup ecosystem, ell was designed from the following principles: Prompts are programs, not strings¶ import ell @ell.simple(model="gpt-4o-mini") def hello(world: str): """You are a helpful assistant""" # System prompt name = world.capitalize() retur

ITエンジニアがLLMベースの生成AIを使いこなせるようになることを目指した本です。 まずはLLMの仕組みの理解してメンタルモデルを構築し、次に代表的なプロンプトエンジニアリング手法を学ぶことで基礎を固めます。 最後に、ITエンジニアならではのプロンプトテクニックを紹介しますので、応用力を身につけましょう。

こんにちは。生成AI関連の開発をしている図左です。社内でRAGを使った生成AIサービスを開発していますが、ロジック変更のたびに毎回人手でテストするのは現実的ではありません。今回は、この品質評価を自動化したフローや手法を紹介します。 SeekAIとは LINEヤフー株式会社では、社内の情報を効率的に検索するために、生成AIを活用したサービス SeekAI を内製展開しています。SeekAIではRAGという技術を使って一般的な知識だけでなく、社内規程・ルール・問い合わせ先、コーディング時の技術スタック、顧客や取引先とのコミュニケーション履歴などを効率的に把握できるため、社内の情報検索ツールとして活用されています。 SeekAIのプレスリリース RAGとは 生成AIに『学習済みではない知識』に関する回答を出力させるために、別途構築したデータベースから取得した情報と組み合わせて回答させる手法です。

下表で選択したLLMの日本語タスク、日本語MT-Bench、英語タスクの平均スコアが棒グラフで可視化されます。左上のボタンでグラフの横長・縦長（スマートフォンでは縦長が推奨）、右上のボタンでLLMの並び順を選択できます。サイト左上の🔗のアイコンから、選択したモデルに対応したパーマリンクをコピーできます。なお、LLMによっては、評価を実施していないタスクがあるため、平均スコアや並び順からモデルの優劣を議論するのが適切ではない場合があります。例えば、GPT-3.5やGPT-4は日本語・英語タスクでも高い性能を示すと推測されますが、評価を実施していないため、これらのタスクの平均スコアは0として扱われ、並び順も末尾になります。 モデル 平均 日本語 日本語 MT-Bench 英語 名前 SortKey 種別 Size (B) 日 日 (MTB) 英 JCom JEMHopQA NIILC JSQ

RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・

大規模言語モデル (LLM) の学習データに含まれない知識（各社の特有の書類など）を踏まえてLLMに回答させる際に最早必須となってきたRAG (Retrieval-Augumented Generation)。 今回はそんなRAGのSurvey論文を元に、RAGの変遷や構成要素、新たに出てきた技術を俯瞰していきます。 Survey論文へのリンクはこちら arxiv.org RAGとは LLMはそれ単体で回答させると、質問によってはハルシネーションや学習時のデータにはなかった情報を生成時に加味できないといった問題から正しくない回答を生成することが多々あります。例えば世間一般に公開されていない自社の就業規則や業務標準についてをChatGPTに質問しても、正しい回答は得られません。 そのような問題への対応としてRAGが使われます。 「LLM単体で適切な回答を生成できないなら、ユーザーの質問を元に

2017-2019頃に活動しており、コロナ以降休止していたLanguage and Robotics研究会 (LangRobo研究会)を再開する運びとなりました。 自然言語処理分野とロボティクス分野の近年の融合と発展は著しく、身体を持つエージェントが人間と自然言語でコミュニケーションしながら環境内を動いたりといった研究も両分野において多く見られるようになってきました。言語におけるロボティクスの導入やロボティクスにおける言語の導入の価値は今後も高まっていくことが期待されます（詳しくは文献[1]をご覧ください）。 LangRobo研究会は、今後の自然言語処理とロボティクスの融合をどのように進めていくのが良いかを議論する交流の場として活動していきます。 [1] Survey on frontiers of language and robotics 参加受付（connpass） 開催日：2023

主な「ローカルLLM」のリリース年表をまとめました。 2022年11月30日 OpenAI - ChatGPT リリース 2023年2月24日 LLaMA7B、13B、33B、65B を研究者向けの限定リリース。

小説を商業出版することになり、これまで自分で書いて見直すだけだったのが、編集者・校正者による校正・校閲のプロセスを初めて体験した。その過程で差別語・差別表現に関しての指摘を受けて、改めて自分の中での判断について少し整理しておきたいと思った。 ある言葉が持つニュートラル、ネガティブ、ポジティブの三相を同時に見ないと、「その言葉をここで使うのが適切か」は判断ができないけれど、三相のうち一面しか見なかったり知らなかったりすると正確に判断ができなかったり、話が噛み合わなくなったりする。 指摘を受けた点1 「発狂」や「狂人」に指摘が入った。 江戸時代に実在したという届出「発狂扱ひ」に言及した箇所に指摘が入った時はどうしようかとも考えて、「精神状態の異常による行動という届け出」と言い換えた。 明治時代に精神障害者が「狂病者」と呼称され、「狂」に否定的・差別的な意味あいが付与されてきた。1970年代に「

Independent analysis of AI models and API providersUnderstand the AI landscape to choose the best model and provider for your use-case