fastTextで自然言語(日本語)の学習モデルを生成する手順まとめ｜dot blog
Facebookが開発したfastTextを利用して自然言語(Wikipediaの日本語全記事)の機械学習モデルを生成するまでの手順を解説。また生成した学習モデルを使って類語抽出や単語ベクトルの足し算引き算等の演算テストを行う方法までコード付きで紹介します。 Pythonこの記事は約 分で読めます。（文字） fastTextで日本語を機械学習させる手順Facebook発表の『fastText』利用して日本語の機械学習モデルを生成する手順を解説していきます。 Wikipediaの全記事のダンプデータ取得学習本の文章にはWikipediaを利用します。下記URLから、最新のWikipedia全記事ダンプデータをダウンロードしましょう。取得データはXML形式の圧縮ファイルになっています。 Index of /jawiki/latest/任意のディレクトリに保存してください。 Wikipediaの
Wikimedia Downloads: Analytics
Wikimedia Downloads: Analytics Datasets Data compiled by community and staff, from projects hosted by the Wikimedia Foundation. Pageviews: statistics compiled using the current Pageview Definition. Available as: Pageview complete: Our best effort to provide a comprehensive timeseries of per-article pageview data for Wikimedia projects. Data spans from December 2007 to the present with a uniform fo
Research:Wikipedia clickstream - Meta
You can access the monthly public data releases that share how often two Wikipedia article pages are viewed consecutively at Analytics ClickStream Dataset. — Check it out! About[edit] The Wikipedia Clickstream dataset contains counts of (referrer, resource) pairs extracted from the request logs of Wikipedia. A referrer is an HTTP header field that identifies the address of the webpage that linked
word2vecの学習済み日本語モデルを公開します | カメリオ開発者ブログ
こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。 自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。 そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazonaws.com/latest-ja-word2vec-gensim-mo
Wikipedia:データベースダウンロード - Wikipedia
ウィキペディアのコンテンツなどのデータは、再配布や再利用のために利用できる一元化されたデータベース・ダンプでの提供が行われています。クローラを用いてコンテンツを収集しないでください。このデータベース・ダンプの生成は不定期に行われています。 ウィキペディアのコンテンツは Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0) および GNU Free Documentation License (GFDL) の下にライセンスされています（Wikipedia:著作権と利用規約を参照）。画像などのメディアファイルは異なるライセンスで提供されることもあり、ファイルページで明記されています。 より詳しい解説はmeta:Data dumps（英語）を参照してください。 全プロジェクトのダンプ：du
Wikipediaのダンプファイルからタイトルと概要を抽出する
Wikipediaはデータベース・ダンプを提供している。 Abstractをまとめたjawiki-latest-abstract.xml.gzも配布しているが、このデータは使いものにならない…w そこでjawiki-latest-pages-articles.xml.bz2を使う。 このファイルをbunzip2コマンドで展開するとjawiki-latest-pages-articles.xmlを得る。 なお、展開したファイルのサイズは10GBを超えるため、ストレージの容量に注意する。 次のコードはjawiki-latest-pages-articles.xmlから有効なtitleとabstractを表示する。 #coding: UTF-8 import sys import re # 読み込むファイルの名前を指定する file_name = 'jawiki-latest-pages-art
Wikipediaのダウンロードできるデータファイル一覧 | mwSoft
概要 本記事はWikipediaのダウンロード可能なデータについてまとめたものです。 Wikipediaではクロール行為は禁止されています（ここを見る限りでは）が、代わりに全記事の情報を圧縮したファイルが公開されています。 日本のWikipedia情報ダウンロードページ http://download.wikimedia.org/jawiki/latest/ 本記事は2009年の10月下旬に取得した情報を元に書いています。時間が経つと結果が変わる可能性があるのでご注意ください。 事前情報 2009/10/25に確認した時点では、日本語Wikipediaのダウンロードページには55個のファイルが置いてありました（うち半分は更新を通知する為のRSS）。 ファイルの形式は「XML」、「MySQLのダンプ」、「テキスト」などがあります。 詳しいデータのインポート方法は、こちらのリンク集が参考になる
Index of /enwiki/latest/
../ enwiki-latest-abstract.xml.gz 02-Mar-2024 18:22 872550573 enwiki-latest-abstract.xml.gz-rss.xml 02-Mar-2024 18:22 760 enwiki-latest-abstract1.xml.gz 02-Mar-2024 13:05 125846857 enwiki-latest-abstract1.xml.gz-rss.xml 02-Mar-2024 18:21 763 enwiki-latest-abstract10.xml.gz 02-Mar-2024 15:37 29417836 enwiki-latest-abstract10.xml.gz-rss.xml 02-Mar-2024 18:22 766 enwiki-latest-abstract11.xml.gz 02-Ma
Wikipedia Data Download Page
../ jawiki-latest-abstract.xml.gz 03-Mar-2024 13:56 267322074 jawiki-latest-abstract.xml.gz-rss.xml 03-Mar-2024 13:56 760 jawiki-latest-abstract1.xml.gz 03-Mar-2024 13:55 68599342 jawiki-latest-abstract1.xml.gz-rss.xml 03-Mar-2024 13:56 763 jawiki-latest-abstract2.xml.gz 03-Mar-2024 13:46 44585882 jawiki-latest-abstract2.xml.gz-rss.xml 03-Mar-2024 13:56 763 jawiki-latest-abstract3.xml.gz 03-Mar-20
Index of /other/clickstream/
../ 2017-11/ 07-Dec-2017 22:47 - 2017-12/ 03-Jan-2018 23:19 - 2018-01/ 07-Feb-2018 19:11 - 2018-02/ 10-Mar-2018 11:21 - 2018-03/ 11-Apr-2018 02:53 - 2018-04/ 11-May-2018 03:36 - 2018-05/ 11-Jun-2018 02:52 - 2018-06/ 11-Jul-2018 02:50 - 2018-07/ 11-Aug-2018 03:17 - 2018-08/ 11-Sep-2018 03:19 - 2018-09/ 11-Oct-2018 03:01 - 2018-10/ 11-Nov-2018 03:26 - 2018-11/ 11-Dec-2018 21:08 - 2018-12/ 11-Jan-201
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wikipedia Clickstream
Wikipedia Clickstream - the Datahub