【OpenAI API】Structured OutputでLLMアプリ開発を高精度化&爆速化🚀【構造化出力】
はじめに：AIアプリケーション開発の新たなパラダイム🚀 もう、APIレスポンスのJSONパースに悩まされる時代は終わりです！ OpenAIが最新モデル「GPT-4o-2024-08-06」を発表し、AIの境界をさらに押し広げました。この革新的なモデルは、「Structured Output」という画期的な機能を導入し、AI生成コンテンツの信頼性と精度に大きな飛躍をもたらしています。 OpenAI APIに導入された Structured Output は、大規模言語モデル（LLM）を活用したアプリケーション開発に革命をもたらす新機能です。これにより、開発者はAIモデルとより効率的に対話し、構造化データを簡単に取得できるようになりました。 従来のLLMアプリ開発では、APIからテキスト形式で返されたデータを、必要な情報だけ抽出するために、複雑なJSONパース処理を行う必要がありました。これ
「LLM-jp Toxicity Dataset」の公開
日本語有害文書データセット「LLM-jp Toxicity Dataset」の公開についてお知らせいたします。 https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-toxicity-dataset 本データセットは、有害文書検出技術の研究開発を目的として、Common Crawlコーパスから収集した日本語文書に対し、有害性に基づいて人手でラベル付けしたものです。有害かどうかのラベルに加え、猥褻、差別、暴力、違法行為などの有害性の中身についてもラベルが付与されています。全部で1,847件のラベル付き文書が含まれており、ライセンスはCC-BYで商用利用も可能です。是非ご活用いただければと思います。 詳しくは、上記リポジトリのREADMEと以下の論文をご覧ください。 LLM-jp: A Cross-organizational Project for
その「人間らしさ」、本当に必要ですか？ ～タスクにあわせた対話評価指標定義のススメ～ / LLM Meetup 20240807
その「人間らしさ」、本当に必要ですか？ ～タスクにあわせた対話評価指標定義のススメ～ / LLM Meetup 20240807
Building A Generative AI Platform
After studying how companies deploy generative AI applications, I noticed many similarities in their platforms. This post outlines the common components of a generative AI platform, what they do, and how they are implemented. I try my best to keep the architecture general, but certain applications might deviate. This is what the overall architecture looks like. This is a pretty complex system. Thi
Labeling and Crowdsourcing - Data-centric AI Resource Hub
Michael Bernstein is an Associate Professor of Computer Science and STMicroelectronics Faculty Scholar at Stanford University, where he is a member of the Human-Computer Interaction Group. His research focuses on the design of social computing systems. This research has won best paper awards at top conferences in human-computer interaction, including CHI, CSCW, and UIST. Michael has been recognize
The Llama 3 Herd of Models | Research - AI at Meta
概要Modern artificial intelligence (AI) systems are powered by foundation models. This paper presents a new set of foundation models, called Llama 3. It is a herd of language models that natively support multilinguality, coding, reasoning, and tool usage. Our largest model is a dense Transformer with 405B parameters and a context window of up to 128K tokens. This paper presents an extensive empirica
Thank You Page
概要トヨタ・リサーチ・インスティテュートの使命は、世界で最も安全なモビリティを構築することです。TRIの機械学習チームは自動運転車を追求しており、Weights & BiasesのSoR（記録システム）を使ってモデルの再現性を実現しています。 企業規模：300人以上 業界：自動運転車 問題Adrien Gaidonが率いるMLチームはトレーニングモデル用の世界クラスのインフラストラクチャーを構築しましたが、貴重な結果を追跡してバージョン管理するための優れた手段がありませんでした。 同チームは、中央SoR（記録システム）の必要性にすぐに気づきましたが、ソリューションを社内で構築することは、チームの本質的な目標を見失うことになると考えました。
DeepLが翻訳でChatGPT-4、Google、Microsoftを上回る次世代LLMモデルを実装
*2024年7月時点、プロの翻訳者を対象にDeepL調べ DeepLはこの度、高品質の翻訳を世界中の企業に提供するというミッションの一環として、DeepL翻訳に次世代言語モデルを実装しました。 翻訳と文章校正に特化した技術に言語AIを組み合わせた次世代言語モデルは、翻訳の質を新たな水準へと引き上げました。新モデルの実装によって必要な編集の量が減ったため、ナレッジワーカーの生産性改善にもつながります。次世代言語モデルを活用することで、企業は翻訳にかかる時間をさらに短縮し、コストを抑え、グローバルなコミュニケーションをより合理的に行えるようになります。 最新の言語モデルについて詳しくは、この記事の続きをお読みください。次世代言語モデルへは、ご利用のツール内で切り替えることができます。現在対応しているのは日本語、ドイツ語、中国語（簡体字）から英語（または英語からそれらの言語）の翻訳です。ぜひ一度
RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing | LMSYS Org
RouteLLM: An Open-Source Framework for Cost-Effective LLM Routingby: Isaac Ong*, Amjad Almahairi*, Vincent Wu, Wei-Lin Chiang, Tianhao Wu, Joseph E. Gonzalez, M Waleed Kadous, Ion Stoica, Jul 01, 2024 LLMs have demonstrated remarkable capabilities across a range of tasks, but there exists wide variation in their costs and capabilities, as seen from the plot of performance against cost in Figure 1.
The Batch | DeepLearning.AI | AI News & Insights
May 15, 2024OpenAI’s Rules for Model Behavior, Better Brain-Controlled Robots, AlphaFold 3 Covers All Biochemistry, AI Oasis in the Desert The Batch AI News and Insights: In the last couple of days, Google announced a doubling of Gemini Pro 1.5's input context window from 1 million to 2 million tokens, and OpenAI released GPT-4o...
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hkproj/pytorch-paligemma: Coding a Multimodal (Vision) Language Model from scratch in PyTorch with full explanation: https://www.youtube.com/watch?v=vAmKB7iPkWw
バックナンバー
GitHub - yuzu-ai/japanese-llm-ranking
GitHub - mlfoundations/MINT-1T: MINT-1T: A one trillion token multimodal interleaved dataset.
Survey on Evaluation Methods for Dialogue Systems
Data-centric AI Resource Hub
Nejumi LLMリーダーボード3
GPT-4o mini: advancing cost-efficient intelligence
Prompt Compression: A Guide With Python Examples
Three Prompt Libraries you should know as a AI Engineer