FineWeb: decanting the web for the finest text data at scale - a Hugging Face Space by HuggingFaceFW

Discover amazing ML apps made by the community

[secondlife]

重複を避けてのテキスト抽出手法。fasttext, minhash でのフィルタリング、等々。

[misshiki]

“FineWebは、96個のCommonCrawlスナップショットから得られたもので、他のオープンな事前学習データセットよりも優れたLLMを生成します。”

[stealthinu]

FineWeb-Eduという非常に「綺麗」な学習データセット。FineWebからさらに絞り込んでありこのデータセットで学習すると大きく性能が上がることが示されている。