【技術選定/OSS編】LLMプロダクト開発にLangSmithを使って評価と実験を効率化した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:
LLM experimentation at scale using Amazon SageMaker Pipelines and MLflow | Amazon Web Services
AWS Machine Learning Blog LLM experimentation at scale using Amazon SageMaker Pipelines and MLflow Large language models (LLMs) have achieved remarkable success in various natural language processing (NLP) tasks, but they may not always generalize well to specific domains or tasks. You may need to customize an LLM to adapt to your unique use case, improving its performance on your specific dataset
After studying how companies deploy generative AI applications, I noticed many similarities in their platforms. This post outlines the common components of a generative AI platform, what they do, and how they are implemented. I try my best to keep the architecture general, but certain applications might deviate. This is what the overall architecture looks like. This is a pretty complex system. Thi
本書では、あなたの機械学習(ML)システムのパフォーマンスと長期にわたる効率性を最適化するために、どのようにDatabricksにおけるMLOpsを活用できるのかを説明します。これには、MLOpsアーキテクチャの一般的な推奨事項が含まれており、MLの開発からプロダクションに至るプロセスのモデルとして活用できるDatabricksレイクハウスプラットフォームを用いた一般的なワークフローを説明します。 MLOpsとは？ MLOpsとは、コード、データ、モデルを管理するための一連のプロセスと自動化されたステップです。これは、DevOps、DataOps、ModelOpsを組み合わせたものです。 コード、データ、モデルの様なMLアセットは、厳しいアクセス制限がなく厳密なテストが行われない初期の開発ステージから、中間のテストステージを経て、厳密にコントロールされる最終のプロダクションステージで開発さ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building A Generative AI Platform
DatabricksにおけるMLOpsワークフロー - Qiita