「現代」を知るためにこれだけは読んどけっていうWikipediaの記事 - デマこい！
日本で最初の神前結婚式は、明治33年（1900年）に東京大神宮で行われた。神道は日本古来の伝統的なものだと考えられがちだが、組織宗教として体系化されたのは明治以降だ。現代の私たちにとって当たり前の常識や習慣は、ほんの少し昔まで常識でも習慣でもなかった。 「現代」を理解するためには、過去を知ることが欠かせない。 病気にならなければ健康の大切さが分からないように、過去と照らし合わさなければ現代がどのような時代か分からない。現代を理解するための過去の知識のことを、教養という。 教養を身につけるには、相応の本を読むのがいちばんだ。が、いまの私たちは膨大な文献を読めるほどヒマではない。そこで威力を発揮するのがWikipediaだ。たしかにWikipediaの情報は正しいとは限らないし、どんなに読み込んでも「つまみ食い」程度の知識しか身に付かない。しかし、聞きかじりの知識であっても、何も知らないよりは
なぜWikipediaの説明はわかりにくいのか（数学とか） - 大人になってからの再学習
調べ物をするときにWikipediaの存在は絶大だ。どんな些細なものに対しても詳しい説明が載っている。 だけど、数学、物理などの理工系の教科書に登場するキーワードについては、Wikipediaの説明はほとんど役に立たない。 具体例をいくつか。 ■ フーリエ変換 数学においてフーリエ変換（フーリエへんかん、英語: Fourier transform; FT）は実変数の複素または実数値函数を別の同種の函数に写す変換である。変換後の函数はもとの函数に含まれる周波数を記述し、しばしばもとの函数の周波数領域表現 (frequency domain representation) と呼ばれる。・・ http://ja.wikipedia.org/wiki/%E3%83%95%E3%83%BC%E3%83%AA%E3%82%A8%E5%A4%89%E6%8F%9B ■ NP困難 NP困難（-こんなん、N
ElasticSearchにプラグインで日本語Wikipediaデータを入れてみました
久々のブログはElasticSearchネタです。勉強会開催する予定だったりすので、もう少し触っておきたいなと。 お手軽に検索するデータとして、よくWikipediaのデータを使っています。 ElasticSearchにはelasticsearch-river-wikipediaという便利なプラグインがあり、Wikipediaのデータを簡単に検索可能な状態にできます。このRiverを利用して日本語のWikipediaのデータを入れたので、メモを取っておきます。 まずは、river-wikipediaで日本語のデータをインデクシングしてみるまでの説明です。 日本語特有の設定（Kuromojiを利用したインデクシング）などはまた後日。 プラグインのインストール 対象とするElasticSearchは現時点で最新版の0.90.3とします。 最新版でRiver動かないなぁとつぶやいた影響かどうかは
ウィキペディアタウンを作ろう NHKニュース
地域にある文化財や観光名所などの情報を、インターネット上の百科事典「ウィキペディア」に掲載することで、より多くの人に自由に利用してもらい、地域の活性化などにつなげていこうという取り組みが始まっています。 ウィキペディア・タウンにしよう 「ウィキペディア」とは、インターネット上で運営されている非営利の百科事典で、一定のルールを守れば誰もが記事を編集することができ、掲載された情報は自由に利用することができます。 ２２日、東京・世田谷区では、「二子玉川をウィキペディア・タウンにしよう」というイベントが開かれ、およそ３０人が参加しました。イベントでは、世田谷区の地域風景遺産に指定されている「駒沢給水塔」など地元の文化財をウィキペディアに掲載する取り組みが行われました。 まず、地元の保存会の人たちが文化財の由来や写真などを紹介したあと、参加者は実際に現地を訪ねて写真などを撮影しました。このあと、保存
Wikipediaの情報が怪しくないか見分ける3つのチェックポイント - Hagex-day info
以前「私が妄想したネット選挙解禁で出てきそうな8つの妨害工作」という日記で、選挙が近くなってくるとネットを使った工作がいろいろと行われるのでは？ と書きました。すると、いつも痺れるエントリーをアップしている「情報の海の漂流者」さんが、以下のように言及してくれました。 この記事で上がっていないものの中で注目すべきはwikipediaの編集合戦だと僕は思っている。 wikipediaはSEO力が高く、政治家の名前で検索すると大抵上位3位以内に出てくるサイトだ。ここに書かれた情報はかなり多くの人の目に入ることになる。そんな影響力の高いサイトが誰でも編集可能な状態なのだから、各人の思惑が色々とぶつかり合ってしまうのだ。 （略） 僕はwikipediaのページを読むときにはまず最初にノートを読んでみることにしているのだが、結構な確率ですごい残念な揉め事に遭遇する。 （後略） http://d.hat
Wikipedia の編集履歴のログマイニングによる前置詞誤り訂正 - 武蔵野日記
週明けはやはりメールが溜まっていて返事を書いているだけであっという間に3時間。休みの日や夜にはメールの返事をしないことにしているのだが、やはり家でも仕事ができるようにして早めに帰ってきたほうがいいのだろうか。松本先生も午前3時くらいまでメールの返事が届くし……。 お昼に共同研究の申請書の最終ミーティング。ちょっと関わる人が多く、どこを誰が書くのかよく分からないので、とりあえず自分のできることをしよう。 午後は言語教育勉強会。[twitter:@mitsuse_t] くんの進捗報告と lis-k さんの論文紹介。lis-k さんが紹介してくれたのは Aoife Cahill, Natin Madnani, Joel Tetreault and Diane Napolitano. Robust Systems for Preposition Error Correction Using Wik
ウィキペディアの編集をモニタリングしてニュース速報を発見する“Wikipedia Live Monitor”
ウィキペディアの編集件数や編集者の数をモニタリングすることによりニュース速報の候補（breaking news candidate）を発見するアプリ「Wikipedia Live Monitor」が公開されていました。これは、GoogleのエンジニアThomas Steiner氏らが、ニュース速報が出るとウィキペディアですぐにカバーされるとの観察に基づき作ったもので、部分的にはウィキペディアの更新状況をリアルタイムで伝える「Wikistream」をベースにしているとのことです。 このアプリを取り上げた2013年4月15日付けのUS Newsでは、Steiner氏は、なぜウィキペディアを使う理由について、Twitterよりも頼りになるかもしれないとし、また、ニュース速報に関連するほとんどすべてのことについてウィキペディアのページがあることを指摘しています。 In the media: Wik
Wikipedia Live Monitor
Breaking News Threshold An article cluster must have at least n edits before it is considered a breaking news candidate. Seconds Between Edits An article cluster may have at max n seconds in between edits in order to be regarded a breaking news candidate. Number of Concurrent Editors An article cluster must be edited by at least n concurrent editors before it is considered a breaking news candidat
Fundraising 2010/Banner testing - Meta
Since August, the Fundraising Committee has been running banner & landing page tests. These have evolved from weekly Thursday afternoon tests, which helped us get all of our systems in order and determined which messages would best motivate our donors before the launch of the fundraiser - to almost daily tests introducing new banners and landing pages as we continue to tweak our current campaign.
Mecab Pythonを使ったTF・IDFによるWikipediaの重要単語抽出 - Y's note
入門 自然言語処理 作者: Steven Bird,Ewan Klein,Edward Loper,萩原正人,中山敬広,水野貴明出版社/メーカー: オライリージャパン発売日: 2010/11/11メディア: 大型本購入: 20人 クリック: 639回この商品を含むブログ (44件) を見る TF・IDF計算 自然言語処理の勉強としてTF・IDFによる重要単語の抽出をwikipediaのデータに対して試してみます。TF・IDFを一言でまとめると、とある単語の重要度を出現頻度から計算する手法です。計算結果は重みを表します。TFは単語の出現数(Term Frequency)、IDFは総文書数 / 単語が出現する文書の総数の対数(Inverted Document Frequency)、TFIDFはその積になります。数式にすると以下のようになりますが、Webを検索してみると人によって計算の仕方が異
Wikimedia Conference 2009 presentation
1. The document discusses Wikipedia and analyzes data related to editor contributions and page views over time. 2. It finds that most edits on Wikipedia are made by a small group of elite editors, with 20% of editors contributing 80% of edits, following a Zipfian distribution. 3. The analysis also examines how reducing the number of editors impacts the amount of content on Wikipedia pages and dete
CA1676 – ウィキペディアにおける情報の質（IQ）向上の仕組み / 石澤文
ウィキペディアにおける情報の質（IQ）向上の仕組み はじめに 2008年3月、無料オンライン百科事典ウィキペディア（Wikipedia ；CA1510参照） (1)に登録されている記事の総数が、250言語あわせて1,000万件を超えた(2)。 ウィキペディアは、ウィキ（Wiki）と呼ばれる協同作業支援システムを利用している。通常のウェブブラウザと単純なマークアップ言語による、きわめて低コストの協同的コンテンツ作成を実現したこの技術は、誰もがいつでもウィキペディアの編集者となることを可能にした。しかし、参加への障壁の低さは、ウィキペディアを世界最大のオンライン百科事典へと成長させた一方で、記事内容の信頼性に対する疑いを招いている。つまり、専門家以外の人物や悪意を持った人物が誤った情報を書き込んでしまうのではないか、という懸念である。 レファレンス・ツールとしてのウィキペディア 各種オンラ
ウィキペディアの裏で働くボットClueBot-NG - huixingの日記
ウィキペディアはネット上で調べ物をするのになくてはならないものだけれども、誰でもが編集できることから悪意のある人間がわけもなく内容を改変できてしまう。しかしウィキペディアの背後ではClueBot-NGと呼ばれるボットが疲れを知ることもなく常に監視して破壊行為をたちどころに見つけてしまう。もしClueBot-NGがなければウィキペディアは混乱の極みと化していることだろう。ウィキペディアの英語版は現在400万を超える項目、25億字を数え、ブリタニカ百科事典の50倍を超える分量を持ち、万を数える編集する人間を抱えている。これらを人間の手で監視するのはほとんど不可能な話だ。しかしClueBot-NGにも多少のミスがある。ClueBot-NGの仕事にはデータセットの支持が欠かせない。データセットを完璧なものにすることでClueBot-NGの精確度も上がる。 ウィキペディアには悪意ある書き換え行為を根
Wikipediaのダンプをインポートする際のTips - kaisehのブログ
Wikimedia Downloads 上記ページで公開されているWikipediaのMySQLテーブルダンプですが、何しろサイズが巨大で、そのままインポートしようとすると色々大変です。特に英語版Wikipediaは巨大すぎます。なので、インポート前にダンプファイルをいじっておいた方が良いと思います。 まず、使い道がないと思われるインデックスを削除します。例えばUNIQUE KEYは本家Wikipediaでは必要でも、読み込み専用の場合は不要なので削除。ついでに、エンジンをInnoDBからMyISAMに変更しておきます。 こうすることで、インポート自体も高速化できるし、後でALTER TABLEするときにも楽だと思います。InnoDBはとにかくALTER TABLEが重いですからね〜。
wikipediaのダウンロード&データベースにインポート - プログラマでありたい
ダウンロード Wikipedia:データベースダウンロード ウィキペディア日本語版: jawiki-latest-pages-meta-current.xml.bz2 xml2sqlでmysqldump形式に変換 wikipediaのコンテンツは、600MB以上ある。それなりに時間が掛かるので、落としている間にデータベースへのインポートの準備。データの提供形態はxmlなので、データベースに入れるにはそれなりの工夫が必要である。幸いwikipedia自体が２種類の方法を提供してくれている。MediaWikiに付属しているimportDump.phpを使うか、xml2sqlというツールをインストールするかが選べる。 他でも使えそうなので、xml2sqlを使うことにした。 xml2sql $wget ftp://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.ta
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Help:Displaying a formula - Meta
Wikipedia マイニングによる信頼性情報を考慮した記事関係の抽出 | CiNii Research
Wikipedia の情報信頼性検証技術
Wikipedia の情報信頼性検証
http://www.db.soc.i.kyoto-u.ac.jp/~suzuki/?Wikipedia%20%E3%81%AE%E6%83%85%E5%A0%B1%E4%BF%A1%E9%A0%BC%E6%80%A7%E6%A4%9C%E8%A8%BC