情報学研究データリポジトリ 日本の判例HTMLデータ
国立情報学研究所が研究者提供データセットとして情報・システム研究機構 データサイエンス共同利用基盤施設 人工知能法学研究支援センターから受け入れたデータセットです。 2024/08/20 作成 データ概要 人工知能法学研究支援センターにて，最高裁判所が公開している判例集のPDFデータをテキスト化（HTML化）したデータセットです。 最高裁判所のサイトで検索可能な最高裁判所判例集，高等裁判所判例集，下級裁判所裁判例速報，行政事件裁判例集，労働事件裁判例集，知的財産裁判例集のPDFデータをテキスト化したもので，2024年1月11日時点で検索可能であった1947年～2023年までの65,198件の判例データからなります。 HTMLデータでは，本文内容に無関係な部分を除去し，小見出し，箇条書き，段落などの構造を認識して，それぞれに応じたタグを付与しています。（ただし各処理は自動処理をしたままのもの
日本語対話コーパス一覧
日本語対話コーパス一覧 これは日本語を対象とした、対話システムの構築に利用できる言語資源のリストです。 本リストは、理化学研究所 吉野 幸一郎さん発案のもと、C4A研究所 中野 幹生さん、東北大学 赤間 怜奈さん、大阪大学 駒谷 和範さん、JAIST 吉川 禎洋さん、リクルート 林部 祐太さん、京都大学 児玉 貴志さん、愛知工業大学 徳久 良子さんにご協力をいただき、水上雅博が作成いたしました（所属はリスト作成または更新時のものです）。 もしこのリストに載っていないものや、リストのまちがいに気づかれた場合、新たにコーパスをリリースした際には是非、issueやメールで教えてください。 対話コーパス 主に人同士または人とシステム間（2名以上の場合を含む）で、対話（模擬対話等を含む）を行ったコーパスです。 名前 データ量 形式 研究利用 商用利用 概要
bigcode/the-stack · Datasets at Hugging Face
Terms of Use for The Stack\nThe Stack dataset is a collection of source code in over 300 programming languages. We ask that you read and acknowledge the following points before using the dataset: \n\nThe Stack is a collection of source code from repositories with various licenses. Any use of all or part of the code gathered in The Stack must abide by the terms of the original licenses, including a
GitHub - kunishou/databricks-dolly-15k-ja
databricks/dolly-v2-12b の学習データに使用されたdatabricks-dolly-15k.jsonl を日本語に翻訳したデータセットになります。 日本語大規模言語モデルの作成にご活用下さい。なお、データセットのライセンスは、翻訳元のデータセットのライセンスを継承しCC BY SA 3.0になります。 This dataset can be used for any purpose, whether academic or commercial, under the terms of the Creative Commons Attribution-ShareAlike 3.0 Unported License. データセット内で翻訳誤り、誤字、脱字、文脈の違和感等あるレコードがあった場合はPull requests いただけると助かります（英語弱者なのでPRは日本語
llm-japanese-dataset v0: 大規模言語モデルのための日本語チャットデータセット構築 | Jxiv, JSTプレプリントサーバ
プレプリント / バージョン1 llm-japanese-dataset v0: 大規模言語モデルのための日本語チャットデータセット構築 ##article.authors## 平野, 正徳 東京大学大学院工学系研究科 https://orcid.org/0000-0001-5883-8250 https://mhirano.jp 鈴木, 雅弘 東京大学大学院工学系研究科 https://orcid.org/0000-0001-8519-5617 https://msuzuki.me/ 坂地, 泰紀 東京大学大学院工学系研究科 https://researchmap.jp/hiroki_sakaji DOI: https://doi.org/10.51094/jxiv.383 キーワード: 大規模言語モデル、 データセット、 日本語、 チャット 抄録 本研究では，大規模言語モデルのための，
LLM のデータセットまとめ｜npaka
LLMのデータセットをまとめました。 1. 事前学習データセット1-1. Text・Wikipedia (ja) ・fujiki/wiki40b_ja ・shisa-pretrain-en-ja-v1 (ja) ・augmxnt/shisa-pretrain-en-ja-v1 ・Wikipedia (en) ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Pile (en) ・SkyPile (zh) ・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 1-2. Code・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 2. SFTデータセット2-1. Instruction・ichikara-instruction (ja) ・ich
OpenAssistant/oasst1 · Datasets at Hugging Face
'Jew' or 'rabbi'"},"role":{"kind":"string","value":"assistant"},"lang":{"kind":"string","value":"en"},"review_count":{"kind":"number","value":3,"string":"3"},"review_result":{"kind":"string","value":"true"},"deleted":{"kind":"string","value":"false"},"rank":{"kind":"number","value":1,"string":"1"},"synthetic":{"kind":"string","value":"false"},"model_name":{"kind":"null"},"detoxify":{"kind":"string
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
国土数値情報ダウンロードサイト
Papers with Code - Machine Learning Datasets
ISCA - ArchiveRedirection
GitHub - google-research-datasets/QAmeleon: QAmeleon introduces synthetic multilingual QA data using PaLM, a 540B large language model. This dataset was generated by prompt tuning PaLM with only five examples per language. We use the synthetic data to fin
GitHub - megagonlabs/instruction_ja: Japanese instruction data (日本語指示データ)
GitHub - commaai/comma-steering-control
ウェブから能動学習の観点で 有益なデータを取得する
自由に使える医療データセットまとめ |
The Pile
GitHub - masa3141/japanese-alpaca-lora: A japanese finetuned instruction LLaMA
GitHub - google-research-datasets/seahorse: Seahorse is a dataset for multilingual, multi-faceted summarization evaluation. It consists of 96K summaries with human ratings along 6 quality dimensions: comprehensibility, repetition, grammar, attribution, ma
CodeNet: A Large-Scale AI for Code Dataset for Learning a Diversity of Coding Tasks
GitHub - LAION-AI/Open-Assistant: OpenAssistant is a chat-based assistant that understands tasks, can interact with third-party systems, and retrieve information dynamically to do so.
