タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 弊社では今 LLM をプロダクトに活用しているのですが、実際にユーザに提供するクオリティのものを作る・運用しようとすると様々な課題が立ちはだかってきました。 そんな数々の課題を解くために LangSmith というツールが活躍してくれた、また今後の活用・発展にもかなり期待ができるため、本記事ではそんな LangSmith について解説していきます。 LLM を使ったプロダクト開発において課題を感じている方々の参考になれば幸いです。 出てきた課題 まず LangSmith 自体の解説に入る前に、我々が直面した・ほぼ間違いなく今後するであろう課題たちをサラッとご紹介しようと思います。 大まかには次のような課題がありました。 プロンプトがアプリケーションコード内に書か
Amazon Web Services ブログ FMOps/LLMOps：生成系 AI の運用と MLOps との違い 最近、多くのお客様は大規模言語モデル (Large Language Model: LLM) に高い期待を示しており、生成系 AI がビジネスをどのように変革できるか考えています。しかし、そのようなソリューションやモデルをビジネスの日常業務に持ち込むことは簡単な作業ではありません。この投稿では、MLOps の原則を利用して生成系 AI アプリケーションを運用化する方法について説明します。これにより、基盤モデル運用 (FMOps) の基盤が築かれます。さらに、Text to Text のアプリケーションや LLM 運用 (LLMOps) について深掘りします。LLMOps は FMOps のサブセットです。以下の図は、議論するトピックを示しています。 具体的には、MLOps
GitHub - langgenius/dify: An Open-Source Assistants API and GPTs alternative. Dify.AI is an LLM application development platform. It integrates the concepts of Backend as a Service and LLMOps, covering the core tech stack required for building generative
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
LangChain社LLMOpsツール「LangSmith」を触ってみた（詳細解説つき） - ABEJA Tech Blog
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。LangChain 使えば、RAG [Retrieval Augment Generation] などを活用した LLM アプリケーションも簡単に作成できるので大変便利ですよね。そんな LangChain を開発している LangChain 社から LLMOps ツール（*1）である LangSmith が登場しているので調査してみました。昨今 ChatGPT 等の LLM 技術の発展に伴い、LLM を実際のアプリケーション開発や運用に適用する際に MLOps から派生した LLMOps という概念が有益になってきています。LangSmith はそのような LLMOps において、LLM アプリケーションの運用向け LLMOps 機能に焦点を絞っており、ま
Prompt Flowで評価Flowを自作してRAGのイケてるLLMOpsを実現してみた - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR RAGアプリを運用するにあたってLLMOpsの考え方が重要になり、Azure OpenAI ServiceのPrompt Flowの活用を開始した。 RAGアプリの精度を担保するため、Prompt Flowに搭載されている評価Flowの性能を検証した。 回答内容の正確性の評価性能を上げるため、評価Flowを自作した。 自己紹介 NTTドコモ データプラットフォーム部（以下DP部）藤平です。 NTTドコモでは様々なサービスで機械学習を取り入れることでサービス価値の向上を目指しています。 データプラットフォーム部（以下DP部）ではこうした機械学習の適用を含め、全社におけるデータ活用をミッションとしています。 今年はIT領域に留まらず世界中の多くの人々に注目されることとなったAI領域のブレイクスルー、「ChatGPT」が登場した年で、これを発端として生成系AIが大いに盛り上がりました
LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー｜Weights & Biases Japan
Weights & Biases のnoteをフォローしてください大規模言語モデル（LLM）の可能性を引き出し、その機能を拡張してアプリケーションを開発・提供するためのワークフローは、どのようなものなのでしょうか。私たちはここ数ヶ月、様々な場所でこの課題を耳にしてきました。 これまで機械学習モデルの開発と運用を統合するMLOps（Machine Learning Operations）のワークフローの構築において最も信頼されてきたWeights & Biasesは、OpenAIやStability AIなど、生成AIの開発で最先端をいく企業に活用されてきました。 この経験をもとに、本稿ではMLOpsのベストプラクティスをレビューし、この概念がどのようにLLMOpsに適用されていくのか、現時点のベストプラクティスを示していきます。 特にLLMOpsにおいては、多くの場合社外で開発された基盤モ
Difyって何？ LLMOpsプラットフォームを試してみよう！（構築・アップデート編）｜marumarumaru
クラウド？ローカル？Difyはオープンソースがありますので、この記事ではそちらを使用して構築します。 Difyはクラウドでもサービスを提供されており、常に最新のバージョンが利用可能です。ローカルでのバージョンアップの手順は本記事の下に書いていますのでそちらをご覧ください。 オープンソースは商用利用も可能ですが、規約には必ず従ってください。 ローカルで構築する場合はDockerが必須となります。 筆者はWindow11のWSL2でUbuntu環境にて構築しています。 またエディターはcursorを利用しており、記載しているコマンドはすべてcursorのターミナル上で実行しています。 Difyのインストール手順（cursorのターミナル上で実行）1.Difyのソースコードをクローンし、difyフォルダに移動git clone https://github.com/langgenius/dify
はじめに 大規模言語モデル、LLM が大流行です。猫も杓子も LLM で、LLM および OpenAI にかなり入れ込んでいた Microsoft の勢いを見て Google が社内に保有していた LLM をサービスとして投入しようとしていたり、AWS が参入表明したり、大規模なテキストデータを擁する Twitter を手中に収めたイーロン・マスクが参入を表明したりと、提供者側プレイヤーはその数も面子もなかなかインパクトがあります。OSS の LLM も「数日おきに何か発表があるなぁ」という感じで日に日に増加しており、商用利用を見据えた使いやすいライセンスの下に開発された LLM も随分と増えてきました。使用者側の面子を見ても、個人ユーザーやベンチャー企業、その他一般企業はもとより、従来この手の新進気鋭のサービス導入がなかなか進まないイメージがあった大手金融機関や官公庁に至るまでかなり深く
LLMOpsを推進！Azure Log Analyticsを活用したLLMの継続的な監視と改善 - AITC - ISID | AI トランスフォーメンションセンター コラム
こんにちは！AIソリューショングループの太田です。 このコラムでは、Azure Log Analyticsを使ったLLMOpsの実現方法について紹介します。 昨年から大規模言語モデル（LLM）を製品やサービスに組み込む企業が増えています。 しかし、LLMサービスの品質を維持するには、その運用にも注意を払う必要があります。 具体的には、LLMの出力の品質管理や、ユーザーからのフィードバックを元にしたプロンプトの最適化など、継続的な監視と改善が求められています。 これらの運用上の活動にAzure Log Analyticsが役立ちます。 LLMOps（LLM（Large Language Model）+ Ops（Operations））とは LLMOpsは製品に組み込まれたLLMの運用に必要なベストプラクティスの概念を指します。 例えば、LLMの運用ではLLMの出力の監視と評価とプロンプト管理
Google Cloud Next '23 Recap - Warming up for Tokyo に登壇した際の資料です https://cyberagent.connpass.com/event/300976/ LLM を運用する上での課題と、Cloud Next '23 で確認してきた最新の取組状況について共有しています。
This article explores AIOps, MLOps, and LLMOps, including their distinct roles, challenges, and impacts in the evolving, data-driven operations landscape.
LLMOps: The Future of MLOps for Generative AI | Fiddler AI Blog
Operationalizing Generative AI at scale depends on reducing model training, selection, and deployment costs, while ensuring AI fairness. Introducing LLMops.
【LLMOps】LLMの実験管理にTruLens-Evalを使ってみた | フューチャー技術ブログ
はじめにこんにちは、SAIG/MLOpsチームでインターンをしている吉田です。 LLMの実験管理ツール候補として、TruLens-Evalを検証しました。合わせて、LLMの実験管理についてまとめてみました。 背景と目的LLMOpsとは近年、大規模言語モデル(LLM)の性能が飛躍的に向上し、その高度な自然言語処理能力によって様々な領域での課題解決が期待されています。LLMは文章生成、翻訳、要約、質問応答など多岐にわたるタスクにおいて驚異的な成果を示しており、その応用範囲はますます広がっています。 LLMOpsは、LLMを組み込んだアプリケーション開発・運用の効率化を目指すプラクティスです。アプリケーションの種類や開発規模などによってLLMOpsのワークフローは大きく変わりますが、いずれの場合もLLMの性能評価や挙動の解析のために度重なる実験が必要となります。開発過程で行われる実験を適切に管理
GitHub - tensorchord/Awesome-LLMOps: An awesome & curated list of best LLMOps tools for developers
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - allegroai/clearml: ClearML - Auto-Magical CI/CD to streamline your AI workload. Experiment Management, Data Management, Pipeline, Orchestration, Scheduling & Serving in one MLOps/LLMOps solution
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangSmith で始める LLMOps - Gaudiy Tech Blog
FMOps/LLMOps：生成系 AI の運用と MLOps との違い | Amazon Web Services
LLMOps を考え始める - ShuntaIto Tech Blog
Cloud Next '23 から考える LLMOps
AIOps vs. MLOps vs. LLMOps
LLMOps with Azure Machine Learning prompt flow (Machine Learning 15minutes! Hybrid #86)
hiroyu-sya2kaime.hatenablog.com
ameblo.jp/ayacyan-nakamise
b.hatena.ne.jp
news.yahoo.co.jp
search.app
qiita.com/muratasub70