Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出 - Qiita

みなさん DBPedia をご存知でしょうか．DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます． 「◯◯ の情報を Wikipedia からスクレイピングして取ってきて…」みたいな話をよく耳にし，そんなのスクレイピングしなくても DBPedia 使えば一瞬なのに… と感じることが最近多々あるので，DBPedia の普及もかねて簡単にまとめてみることにしました．DBPedia なんて初めて聞いたという方は，ぜひチェックしてみて下さい． Linked Data の基本 Linked Data では，エンティティ，プロパティ，リテラル の 3 つを使って情報を表現します．エンティティは上図の

[dkfj]

Wikipediaの全コンテンツは、ダウンロードできるよ。（したくないから、スクレイピングするのだと思うけど） http://blog.takuros.net/entry/20070902/1188730207

[otherworld]

そもそもクロール非推奨な上に、データダウンロードできるようにしてくれているんだからこのタイトルは…　https://ja.wikipedia.org/wiki/Wikipedia:%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89

[john_a_dreams]

DBPediaは更新遅いし、infoboxの情報をきちんと抜けていないので、真面目にやるならダンプいじるしかないよ。

[sqrt]

そもそもwikipediaは普通にREST APIあるのに、スクレイピングってどういうこと？

[nemissah]

“Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出”

[buzztaiki]

ダンプでかくて辛いから便利そうなんだけど更新頻度がイマイチっぽい。

[nilab]

「DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます」

[memoyashi]

“東証一部上場企業”

[notae]

DBPediaと本家との同期はどれくらい取れてるのか？

[shogo_okamoto]

でもWikipediaにある上場企業の情報は古くて間違ってるから注意する必要があるよ。

[kouba_c]

“select distinct ?name ?abstract where { ?company <http://dbpedia.org/ontology/wikiPageWikiLink> <http://ja.dbpedia.org/resource/Category:東証一部上場企業> . ?company rdfs:label ?name . ?company <http://dbpedia.org/ontology/abstract> ?abstract . }”

[igrep]

RDFお役立ち事例

[cyclocosm]

知らなかった。

[slash_01]

知らなかった。ただ使うことあるかな。

[surume000]

お、SQLライクやんけ

[Steiger31226]

“取得”

[o_hiroyuki]

スクレイピング

[h5y1m141]

DBPediaもだけど関連してLinked Data・SPARQLとかっていうのを知って色々参考になった。

[field_combat]

こんなのあるのね

[yasuharu519]

便利そう

[nakaearth]

何か試してみようかなぁ

[yife]

[[Linked Data]][api][wikipedia]

[ya--mada]

思い出した、Android 1.5の頃にオフラインでWikipediaみたくてdumpから興味あるページだけmicroSDに置いて参照させてたわ。

[kotesaki]

メモメモ

[takuti]

セマンティックWeb系の国際学会いったらみんなﾃﾞｨﾋﾞﾋﾟｰﾃﾞｨｱって言ってて、以来結構意識してる。

[tamuo]

知らなかった。ブコメ見てたら「更新が遅い」とか批判はあるけど、まずはウィキペディアの情報を手間をかけて構造化してくれている人々に敬服する。その上で、なにかの折には是非利用したい。

[KoshianX]

へえこんなものが。

[uva]

へえー

[K-Ono]

なんかこーゆーのマスコミ向けソリューションとかで売れんかな。

[fumi1]

ほぉ どうでもいいけどPはpなのでよろ

[bootJP]

みてる Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出 on @Qiita

[mactkg]

便利やん