GitHub - llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
[ English | Français | 日本語 ] 日本語LLM・英語LLMのパラメータ数の推移。日本語モデルの情報は本記事、英語モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、英語モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。 この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 ⚠ 以下の点について、あらかじめご理解とご了承をお願いいたします： 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、また最新の情報を常に提
Llama 3.2: Revolutionizing edge AI and vision with open, customizable models
Llama 3.2: Revolutionizing edge AI and vision with open, customizable models Today, we’re releasing Llama 3.2, which includes small and medium-sized vision LLMs (11B and 90B), and lightweight, text-only models (1B and 3B) that fit onto edge and mobile devices, including pre-trained and instruction-tuned versions.The Llama 3.2 1B and 3B models support context length of 128K tokens and are state-of-
LLM Hallucination Index RAG Special - Galileo - Galileo
The LLM landscape has changed a lot since launching our first Hallucination Index in November 2023, with larger, more powerful open and closed-sourced models being announced monthly. Since then, two things happened: the term "hallucinate" became Dictionary.com’s Word of the Year, and Retrieval-Augmented-Generation (RAG) has become one of the leading methods for building AI solutions. And while the
日本語LLMのバイアス評価 - Nejumi LLMリーダーボード開発記｜Weights & Biases Japan
本記事にはJBBQデータセットのサンプルが掲載されています。一部、不快な表現が含まれることをご了承ください。 はじめに近年、大規模言語モデル（LLM）の活用が急速に拡大する中で、その安全性と公平性に関する懸念が世界的に高まっています。かつては言語処理能力のみが注目されていましたが、現在では倫理的な配慮や社会的影響を考慮したアライメント能力も、LLMの重要な評価指標となっています。 この潮流を反映し、Weights & Biasesでは、LLMの性能を多角的に評価するNejumi LLMリーダーボードを開発しました。最新版のNejumi LLMリーダーボード3（Nejumi3）では、従来の言語処理能力に加えて、幅広い安全性評価指標に焦点を当てた評価を実施しています： 制御性：モデルが指示に従う能力 倫理・道徳：モデルのモラル バイアス：不公平な判断や偏見の有無 堅牢性：予期せぬ入力や回答形式
【KARAKURI LM 10本ノック】番外編： Chrome内蔵のローカルLLM (Gemini Nano)で「どこでもCopilot」を作ってみた
本記事中で紹介しているユーザスクリプト「どこでもCopilot」。ChromeビルトインのLLMで、任意のフォーム上で文章の続きをサジェスト。外部通信なし、無料で動作こんにちは、カラクリR&Dの吉田です。今回は、10本ノック「番外編」ということで、Google Chrome の最新版に先日（2024年8月22日）組み込まれたローカルLLMの話をします。 本記事の概要2024年8月22日に公開された Google Chrome の「バージョン128」にローカルLLM として Gemini Nano が組み込まれました。このLLMは、フロントエンド JavaScript から手軽に呼び出し可能で、ローカルLLMなので外部への通信は発生しません。しかも無料です。 本記事では、このLLMを体験する方法を記します。また、このLLMを応用して、任意のフォーム上で入力した文章の続きをリアルタイムで補完し
Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge)
Evaluating the Effectiveness of LLM-Evaluators (aka LLM-as-Judge) [ llm eval ] · 49 min read LLM-evaluators, also known as “LLM-as-a-Judge”, are large language models (LLMs) that evaluate the quality of another LLM’s response to an instruction or query. Their growing adoption is partly driven by necessity. LLMs can now solve increasingly complex and open-ended tasks such as long-form summarization
【OpenAI API】Structured OutputでLLMアプリ開発を高精度化&爆速化🚀【構造化出力】
はじめに：AIアプリケーション開発の新たなパラダイム🚀 もう、APIレスポンスのJSONパースに悩まされる時代は終わりです！ OpenAIが最新モデル「GPT-4o-2024-08-06」を発表し、AIの境界をさらに押し広げました。この革新的なモデルは、「Structured Output」という画期的な機能を導入し、AI生成コンテンツの信頼性と精度に大きな飛躍をもたらしています。 OpenAI APIに導入された Structured Output は、大規模言語モデル（LLM）を活用したアプリケーション開発に革命をもたらす新機能です。これにより、開発者はAIモデルとより効率的に対話し、構造化データを簡単に取得できるようになりました。 従来のLLMアプリ開発では、APIからテキスト形式で返されたデータを、必要な情報だけ抽出するために、複雑なJSONパース処理を行う必要がありました。これ
「LLM-jp Toxicity Dataset」の公開
日本語有害文書データセット「LLM-jp Toxicity Dataset」の公開についてお知らせいたします。 https://gitlab.llm-jp.nii.ac.jp/datasets/llm-jp-toxicity-dataset 本データセットは、有害文書検出技術の研究開発を目的として、Common Crawlコーパスから収集した日本語文書に対し、有害性に基づいて人手でラベル付けしたものです。有害かどうかのラベルに加え、猥褻、差別、暴力、違法行為などの有害性の中身についてもラベルが付与されています。全部で1,847件のラベル付き文書が含まれており、ライセンスはCC-BYで商用利用も可能です。是非ご活用いただければと思います。 詳しくは、上記リポジトリのREADMEと以下の論文をご覧ください。 LLM-jp: A Cross-organizational Project for
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
meta-llama/Llama-3.2-3B-Instruct · Hugging Face
Generative Verifiers: Reward Modeling as Next-Token Prediction
RULER: What's the Real Context Size of Your Long-Context Language Models?
OpenAI Platform
バックナンバー
GitHub - naotaka1128/llm_app_codes
How to get from high school math to cutting-edge ML/AI: a detailed 4-stage roadmap with links to the best learning resources that I’m aware of.
GitHub - hkproj/pytorch-paligemma: Coding a Multimodal (Vision) Language Model from scratch in PyTorch with full explanation: https://www.youtube.com/watch?v=vAmKB7iPkWw
バックナンバー
GitHub - yuzu-ai/japanese-llm-ranking
GitHub - mlfoundations/MINT-1T: MINT-1T: A one trillion token multimodal interleaved dataset.
Survey on Evaluation Methods for Dialogue Systems