大容量のDBデータを準備する - zabbiたんAMIたん
そこそこ大きいDBデータが欲しいと言われたら あなたはどうしますか？ 今回はMySQLのWikipediaデータを使ってmysqlに突っ込んでみましょう。 xml2sqlのインストール wikipediaで提供しているXMLフォーマットのデータをmysqlやpostgresqlにインポートできるxml2sqlというツールが用意されているので、これを利用します。 http://meta.wikimedia.org/wiki/Xml2sql yum install expat-devel wget http://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.tar.gz tar zxvf xml2sql-0.5.tar.gz cd xml2sql-0.5 ./configure make cp xml2sql $HOME/bin/ wikipediaの全てのデ
Wikipediaデータをxml2sqlを利用しMySQLにぶっこむ - Miningoo
2014-10-30 Wikipediaデータをxml2sqlを利用しMySQLにぶっこむ Wikipedia NLP Wikipediaコーパスってどう入手するの？ Wikipediaのコンテンツデータは、 http://dumps.wikimedia.org/にて公開されています。 （詳しくは、Wikipedia:データベースダウンロード - Wikipediaを参照してください）上記サイトは、英語版のWikipediaデータで、日本語版はhttp://dumps.wikimedia.org/jawiki/においてあります。Wikipediaではクローラを禁止している代わりに、全データがXML形式で公開されています。Wikipediaサイトで入手できるデータはXML形式なため、扱いしやすくするためMySQLに突っ込もうとしたのですが、つまづいたためそのときの備忘録です。 Wikip
DBpedia Japanese
SPARQL Endpoint 東京都 SELECT DISTINCT * WHERE { <http://ja.dbpedia.org/resource/東京都> ?p ?o . } SPARQL結果 ロック音楽のリスト (もしあれば画像uriも) SELECT DISTINCT ?label ?depiction WHERE { ?s prop-ja:genre <http://ja.dbpedia.org/resource/ロック_(音楽)> ; rdfs:label ?label . OPTIONAL { ?s foaf:depiction ?depiction . } } LIMIT 100 SPARQL結果 誕生日が1月1日 SELECT DISTINCT ?label ?birthYear WHERE { ?s <http://ja.dbpedia.org/property/
SolrにWikipediaのデータを入れて遊ぶ
概要 全文検索エンジンのSolrを使って、Wikipedia（日本語版）の記事を検索する機能をさらっと作ってみる。面倒なことはすっ飛ばして、できるだけ少ない手数を選択。あと、ソースコードはJava。 注意事項として、Solrはけっこうメモリ食う。特にoptimize時とか、大掛かりなソート時とか。 メモリが少ないマシンでは使うと不自由するので避けた方が良いかもしれない。とりあえず手元の4G積んだマシンでは快適に動いている。 @CretedDate 2011/09/04 @Env Solr3.5.0 / lucene-gosen1.2.1 @UpdateDate 2012/02/21 Solr3.5.0に変更したりクエリの誤りを直したり Solrの導入 まずSolrをダウンロードして解凍する。 ここからダウンロード http://lucene.apache.org/solr/#getstar
Wikipedia-Lab
Wikipedia研究所は、Wikipediaのダイナミクスの解析やコンテンツ解析を行う研究グループです。 このWebサイトでは、Wikipediaマイニング研究のためのリソースを配信していく予定です。 これからWikipedia研究を始める方の情報共有の場になれば幸いです。 人工知能学会の近未来チャレンジにて，サバイバルが決定しました！詳しくは近未来チャレンジのページを御覧ください． Wikipedia APIがJavaに対応しました． 第一回Wikipediaワークショップを開催します！ Silverlight 2で開発したWikipediaシソーラスの可視化プログラムを公開しました． 新しいアプローチでのWikipediaシソーラスの構築方法に関する論文がCIKM 2008にて採録されました． Wikimania 2008にWikipediaマイニングに関する論文が採録されました．
【Java】WikipediaシソーラスAPIを使う【wikipedia】
Wikipediaシソーラスを使う。 企画しているAndroid道で作る練習アプリのネタで、Wikipediaシソーラスを使おうかなって考えました。 と言うのも、なんか AndroidやJavaの基本機能の練習はやりたい でも、作って面白いものにしたい 誰かに自慢できる感じのもの ちょっと、斜め上を目指した感じ のアプリを作ろうとおもったから。ランダムにWikipediaの項目を表示するアプリはあるけれど、シソーラス検索するアプリは無ってことで、オリジナリティもあるし。 早速、SIGWPからWikipediaAPIのソースをDLしてきました。 実は、WikipediaAPIへのチャレンジは２回目。卒研の時も、このライブラリを使おうと思ったけど、なぜか上手く行かず。 仕方なく、WEBにで提供されている検索結果のHTMLを解析する荒業に出ました。 まあ、理由は色々とあるのですが、そもそも公式で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
medale.github.io/_posts/spark/2014-11-19-Wikipedia-Processing-Using-Spark.md at master · medale/medale.github.io
Google Code Archive - Long-term storage for Google Code Project Hosting.
WikipediaからのSolr用類義語辞書の自動生成
Wikipedia Thesaurus Beta