GeminiとSpeech-to-Textで実現する高精度な文字起こし - enechain Tech Blog
この記事はenechain Advent Calendar 2024の14日目の記事です。 はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 私達のチームでは、以前紹介した会議動画要約のノウハウを活用し、 社内用の動画・音声文字起こしツールを構築・運用しています。 本記事では、その精度向上の仕組みについて紹介します。 実装も比較的少なく実現できたため、セキュリティなどの関係により内製で文字起こしを構築している方々の参考になれば幸いです。 はじめに 背景と課題 システム要件 システム実装 アーキテクチャ 入力データ形式 ドメイン固有用語の管理 処理フロー Cloud Speech-to-Textによる文字起こし Gemini 1.5 Flashによる認識処理 Gemini 1.5 Proによ
Amazon Bedrock と Amazon Location Service による地理空間生成系 AI | Amazon Web Services
Amazon Web Services ブログ Amazon Bedrock と Amazon Location Service による地理空間生成系 AI この記事は、Geospatial generative AI with Amazon Bedrock and Amazon Location Service を翻訳したのものです。 通常、地理空間ワークフローは、データを読み込んで変換し、地図、テキスト、グラフなどに可視化します。生成系 AI、自律型エージェントを利用すると、これらのタスクを自動化できます。このブログでは、Amazon Bedrock の基盤モデルからパワーエージェントまで、地理空間タスクを完了する方法について説明します。 これらのエージェントは、Amazon Location Service を通じて利用できるジオコーディングなどのロケーションベースのサービスを使用し
【OpenAI】o1が"意図的にユーザーを騙す"ことがあるという報告について - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? （"o1 System Card" Figure 2の意訳） "12 Days of OpenAI"の第一弾としてリリースされたOpenAIのo1は、特にpro modeの高い性能や月額3万円という破格の料金プランが大いに話題になっていますが 同時に発表された米Apollo ResearchによるAI安全性に関する調査報告が、いよいよSFの世界と見紛うような驚きの結果であったため、内容をまとめました。 サマリ はじめに「目標」を強く指示されたLLMが、その目標にそぐわないような状況に陥った場合、目標を遂行するためにユーザーを欺くような"
Aratako/sarashina2.1-1b-sft · Hugging Face
sarashina2.1-1b-sft sbintuitions/sarashina2.1-1bを手元のデータでInstruction Tuningしたモデルです。 Sarashina is licensed under the Sarashina Model NonCommercial License Agreement, Copyright ©SB Intuitions Corp. All Rights Reserved. This model is built with Qwen. 使い方 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model = AutoModelForCausalLM.from_pretrained("Aratako/sarashina2.1-1b-sft"
e5-mistral-7bを蒸留して中程度の大きさの埋め込みモデルを学習する｜oshizo
2023/12にintfloatからintfloat/e5-mistral-7b-instructという、7BのLLMを埋め込み用にファインチューニングしたモデルがリリースされました。 このモデルは日本語の評価でもかなり優秀ですが、通常使われる埋め込みモデルと比べモデルサイズが大きく、使えるシーンは限られます。 使い勝手を向上させるために、もう少し小さいモデルに蒸留ができるかを試しました。 今回は同じ埋め込み次元を持つ1.9bのモデルへの蒸留を試しました。 STS関連のタスクは成功したものの、検索タスク（MIRACL）の評価が元モデルほど良くならず、モデルサイズに見合った精度とは言えない結果です。 表の一番上の行が今回蒸留したモデルです。 日本語対応の埋め込みモデルの評価 埋め込み次元、パラメタ数、タスクの評価結果 https://github.com/oshizo/JapaneseEmb
UbieにおけるLLMを活用した不具合分析とテスト戦略立案プロセス
こんにちは、UbieでQAエンジニアをしている ackey です。 今年の10月からアプリチームのスクラムマスターとQAエンジニアを兼務していましたが、12月からアプリのテスト戦略&推進を進めるため、QAエンジニアに専念しています。 本記事では、LLMを活用した不具合分析とそれに基づくテスト戦略の立案プロセスについて紹介します。LLMを活用した新しいQAアプローチに興味のあるQAエンジニアやスタートアップでの迅速な意思決定プロセスに関心のある方々にとって参考になる記事となれば幸いです。 1. 背景 Ubieでは、React Native（with Expo）を採用したアプリ開発を行っています。この技術スタックを用いて、ユーザーに価値を素早く届けることを目指しています。 そんな中、今年の10月にアプリの新機能開発を担当するチームが誕生しました。このチームは元々Webアプリケーションの開発を担
LLMと数理最適化を組み合わせる
本エントリは Ubie 生成AI Advent Calendar 2024 の9日目の記事です。LLMの進化が目覚ましいですが、現状ではLLM単体では対応が難しい課題も多く存在します。そこで重要になるのが、LLMと他のツールとの連携です。 本記事では、LLMで不得意な分野を埋めるツールの一つとして数理最適化との連携方法について、自分の試している内容を簡単に紹介します。 LLMと数理最適化を組み合わせる 数理最適化とは、問題に対して明確に定義された条件（制約条件）や目標（目的関数）をもとに、最適な解を見つけ出す技術です。交通計画や物流の効率化、シフト作成、エネルギー管理など、さまざまな応用があります。 出典: 日本オペレーションズ・リサーチ学会ポスター 数理最適化を用いると、LLMの苦手とする厳密な制約の取り扱いが可能となります。たとえば配送計画では複数の条件（時間枠、移動時間、積載量など）
【日本語LLM】Ollamaで利用可能な日本語対応embeddingモデル【Ruri】｜Catapp-Art3D
Abstract We report the development of Ruri, a series of Japanese general text embedding models. While the development of general-purpose text embedding models in English and multilingual contexts has been active in recent years, model development in Japanese remains insufficient. The primary reasons for this are the lack of datasets and the absence of necessary expertise. In this report, we provid
GPT-4oとo1とo1 proの翻訳の違いと物語生成性能を試す｜shi3z
GPT-4oとo1($30/月)とo1 pro($200/月)で翻訳を比較しました。 翻訳の元にしたのは以下のツイートです。 The (true) story of development and inspiration behind the "attention" operator, the one in "Attention is All you Need" that introduced the Transformer. From personal email correspondence with the author @DBahdanau ~2 years ago, published here and now (with permission) following… pic.twitter.com/hKD7gDcexS — Andrej Karpathy (@karpathy)
インタビュー：「ハルシネーション（幻覚）」を積極活用し、生成AIの創造性引き出す 松岡清一FIXER社長 | 週刊エコノミスト Online
FIXERの松岡清一社長（東京・港区のオフィスにて） 生成AI（人工知能）の活用が社会で進む中、AIが事実には基づかない情報を生成する「ハルシネーション（幻覚）」という現象が知られるようになっている。間違った意思決定や情報の流布につながりかねないため、日本企業などでは、どうハルシネーションに対応するかが、生成AI活用の課題の一つになりつつある。だが、生成AIの本拠地である米国では、ハルシネーションを積極的に活用し、人間の創造性や生産性の向上につなげようとする動きがあるという。 独自に開発した生成AI「GAIXer（ガイザー）」を活用して、民間企業や官公庁、自治体向けAI関連サービスを提供するFIXER(東証グロース市場)の松岡清一社長に、生成AIの最新事情を聞いた。（聞き手＝稲留正英・編集部） ―― 日本でも生成AIサービスが普及しつつあるが、AIが事実とは違う内容を出力する「ハルシネーシ
中国製AIはハルシネーションレートですでに世界一
AIがあたかも本当のように事実と異なることを言ってしまうハルシネーション（幻覚）。どのくらい幻覚を見るかを示すハルシネーションレートは、各社がしのぎを削る大規模言語モデル（LLM）の精度の高さを証明する1つの指標となっている。 さて、各LLMのハルシネーションレートを比較すべくAI企業Vectaraが開発したGitHub上のHallucination Leaderboardを見ると、現在（2024年9月13日付け）は中国版ChatGPTとも言われる「智譜AI（Zhipu AI）」のGLM-4-9B-Chatが1.3％でもっともハルシネーションレートが低い。出たばかりのOpenAI o1 miniの1.4％、GPT-4oの1.5％を抑えての1位は正直すごい（冒頭のグラフ参照のこと）。 そういえば先日、コープさっぽろCIOの長谷川秀樹氏が「ハルシネーションがある限り、企業では生成AIは使えない
自動化するLLMシステムの品質管理: LLM-as-a-judge の作り方 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 LLM-as-a-Judge、名前の通り何かしらの評価にLLMを使う手法です。 LLMは非構造化データでもうまいこと解釈してくれる優れものなため、通常のプログラミングでは判断することが難しいことでも、それらしき判断やスコアをつけてくれます。 本記事ではそんなLLM-as-a-Judgeを、LLMを使ったシステムの振る舞いの改善の確認 and デグレ検知目的で作っていく際の、私なりの流れやTipsなどを紹介していきます。 なぜLLMでJudgeしたいのか？ はじめに「なぜLLMでの評価がしたいのか」、その目的を整理したいと思います。 まず大上段の目的として、LLMシステムが改善しているか、または劣化(デグレ)してないかを検知したいというのがあります。 LLMを使っ
Pydanticのエージェントフレームワーク「PydanticAI」を試す
GitHubレポジトリ PydanticAI エージェントフレームワーク / PydanticをLLMで活用するためのシム FastAPIに出会ったとき、その価値をすぐに理解しました。Pydanticを基盤とした、これほど革新的で使いやすいものを見つけたことに興奮しました。 Pythonで利用されるほぼすべてのエージェントフレームワークやLLMライブラリはPydanticを使用していますが、私たちがPydantic LogfireでLLMを活用し始めたとき、同じような感動を得られるものは見つかりませんでした。 PydanticAIは、生成AIを用いた本番グレードのアプリケーションをより簡単に構築できるよう設計されたPythonエージェントフレームワークです。 なぜPydanticAIを使うのか？ Pydanticを開発したチームが構築 OpenAI SDK、Anthropic SDK、La
Introduction
Agent Framework / shim to use Pydantic with LLMs When I first found FastAPI, I got it immediately. I was excited to find something so innovative and ergonomic built on Pydantic. Virtually every Agent Framework and LLM library in Python uses Pydantic, but when we began to use LLMs in Pydantic Logfire, I couldn't find anything that gave me the same feeling. PydanticAI is a Python Agent Framework des
Ollama で structured outputs （構造化出力）を試す｜ぬこぬこ
tl;drJSON Schema で指定したフォーマットで出力を制御可能になったよ cURL / Python / JavaScript のそれぞれで試してみたよ 具体的な実用例があったのでそれも動かしてみたよ 使う上での tips や今後どんな機能が追加されるかまとめたよ 公開されたブログの流れに準拠しつつ、意図がズレない範囲で翻訳、解説、コードの実行をしていきます。チュートリアルになっているので、よかったら手を動かして試してみてください。 Ollama が structured outputs をサポート。JSON Schema で定義したフォーマットに LLM の出力を制御するすることが可能になりました。Ollama の Python と JavaScript のそれぞれのライブラリにおいてもサポートするよう更新。 ブログでは structured outputs のユースケースとし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: ローカルLLM実践入門: 日経ソフトウエア: 本
Geode: A Zero-shot Geospatial Question-Answering Agent with Explicit Reasoning and Precise Spatio-Temporal Retrieval
sbintuitions/sarashina-embedding-v1-1b · Hugging Face
GitHub - vectara/hallucination-leaderboard: Leaderboard Comparing LLM Performance at Producing Hallucinations when Summarizing Short Documents
SwiftKV: Accelerating Enterprise LLM Workloads