はてなブックマーク

1. はじめに はじめまして、株式会社neoAIでソフトウェアエンジニアをしている加藤と申します。 SaaSプロダクトを開発していると、クライアントや環境ごとに異なる認証方式に対応する必要があります。オンプレミス環境、クラウド環境、大手企業からスタートアップまで、多様なニーズに応えるためには、IdP（Identity Provider）を柔軟に切り替えられる仕組みが求められます。 以前、弊社のMoriyasuが執筆した「FastAPI の Dependency Injection (Depends + Injector)」では、FastAPIとDIの基本的な活用方法や、プロダクトへの導入事例をご紹介しました。 本記事ではそれを踏まえ、FastAPIのDIを活用して、SaaSプロダクトにおけるIdP（Identity Provider）の実装をいかに抽象化し、柔軟に切り替え可能な構成を実現す

はじめに 株式会社 neoAI の大坂洋豊です。東京大学に在学中で、松尾・岩澤研究室に所属しています。AI ソリューション事業部として、プロジェクトマネジメントを行いながら、研究開発組織 neoAI Research として先端技術の実践に取り組んでいます。 今回は、弊社の Slack 上で論文のインプットを効率化するために開発した LLM Bot についてご紹介します。開発したのは2023年で、当時は NotebookLM のようなサービスがまだ存在しなかったため、社内では論文の概要をスピーディーに把握できる点で重宝されていました。また、その要約結果を社内のデータベースに蓄積できるという機能もあるため、弊社のナレッジ基盤を支えている存在でもあります。 AI ソリューション事業部についてはこちらを参照ください。 背景と課題 論文を読む文化の重要性 AI ソリューション事業部では、常に最新の

はじめに 株式会社neoAIの研究開発組織 (neoAI Research) / 東京大学の竹本健悟です。 巷では昨年からRAG（Retrieval Augmented Generation）、そして最近ではAI Agentが大いに注目を集め世間を騒がせていますね。 これらの技術を活用して、社内ドキュメントを外部知識としてLLMに提供するアプリケーションを構築する際、実運用に足る精度を出すためには質問に対して適切なドキュメントを高精度で取得することが最も重要なカギとなります。 今回はそんなRAG・AI Agentの中核を担うRetrieverについて、ベクトル検索やキーワード検索といった代表的な手法や評価指標まで基礎的な知識を網羅的に解説していきます。 オープンソースのベクトルDBであるQdrantを用いた日本語キーワード検索の実装方法や、AWS、Microsoft Azure、GCPとい

はじめまして、株式会社 neoAI というところでソフトウェアエンジニアをしている Moriyasu といいます。 今回は弊社として初めてのソフトウェアのブログを担当させていただくことになりました。 さて、年末年始はみなさんいかがお過ごしでしたか？ 僕は暇だったので、自社プロダクトを Flask から FastAPI に移行するコーディングをずっとやっていました。FastAPI を"完全に理解"したので、今回は FastAPI での Dependency Injection (依存性の注入) について解説します。 前提 今回出てくる技術について先にさらっておきます。 FastAPI: 高速でモダンな API を構築するための Python フレームワーク SQLAlchemy: Python の ORM ライブラリ Injector: Python の Dependency Injecti

はじめに 株式会社neoAIの研究開発組織 (neoAI Research) / 東京大学の大槻真輝です。 最近LLMの推論能力の向上によりAI Agentがトレンドになりつつあります。また、MicrosoftやAmazonなどのビッグテックもAI Agentをテーマに様々なプロダクトやサービスを展開し始めています。 そこで今回は2024年4月にIBMとMicrosoftが出したAgentに関するサーベイ論文「The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey」 を軸にGoogle、AWS、Microsoft、OpenAI、AnthropicのAgentに関する動向や立ち位置を整理したいと思います。 論文概要 エージェントとは？ 2023年の

「RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture」サマリ LLMアプリケーション構築における2つのアプローチ「RAG」と「Fine-tuning」を比較した論文 ビジネスで求められる特定領域のQAタスクの性能を農業に関するデータセットで比較した。 実験結果を見る感じ、RAGの方がFine-tuningより精度は同じか高く、イニシャルコストが低いから良さそう データセットと前処理 3つの農業に関するデータセット USA the United States Department of Agriculture のオンラインで公開されているPDFデータを前処理 573の書類、2Mトークン Brazil ブラジルの作物栽培と管理のQAデータセット「500 Questions 500 Answers -