![](https://cdn-ak-scissors.b.st-hatena.com/image/square/03ab74d6fa9d5e791aa8581efd10516e79049b5e/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--pRHzr3Tq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E6%252597%2525A5%2525E6%25259C%2525AC%2525E8%2525AA%25259ELLM%2525E8%2525A9%252595%2525E4%2525BE%2525A1%2525E3%252583%252587%2525E3%252583%2525BC%2525E3%252582%2525BF%2525E3%252582%2525BB%2525E3%252583%252583%2525E3%252583%252588%2525E3%252581%2525AE%252520huggingface%25252Fdatasets%252520%2525E7%252599%2525BB%2525E9%25258C%2525B2%2525E7%25258A%2525B6%2525E6%2525B3%252581%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AKaito%252520Sugimoto%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYxMTZhZmU1YmMuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
日本語LLM評価データセットの huggingface/datasets 登録状況
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
日本語LLM評価データセットの huggingface/datasets 登録状況
最近、大規模言語モデルをベースとした自然言語処理では huggingface/transformers だけでなく huggingf... 最近、大規模言語モデルをベースとした自然言語処理では huggingface/transformers だけでなく huggingface/datasets を使うことが多くなっている。transformers がモデルをコミュニティで管理する仕組みなのに対し、datasets はデータセットをコミュニティで管理する仕組みである。 datasets で管理されたデータセットの例↓ データセットが datasets に対応していることが前提のフレームワークも増えてきた。例えば、日本語LLMの few-shot 評価でも話題の lm-evaluation-harness は、評価に使いたいデータセットが datasets に対応していないと評価できない。 こうした背景から、日本語のデータセットを datasets に登録していくという泥臭い作業が日本語LLM評価においても今後重要になっていきそ