Meta AIが機械学習を利用してWikipediaの出典をチェックするツールを構築
インターネット百科事典「Wikipedia」の記事にはどういった参考文献を用いたのか出典が求められます。しかし、誰でも編集できるというWikipediaの特性上、出典となった情報源が本文と全く無関係のものだったり、情報源が削除されて記事の品質が低下する可能性があります。これらの問題を解決する方法の1つとして、AIを用いて情報源の整合性を調べることをMetaの研究者が提案しました。 Improving Wikipedia Verifiability with AI | OpenReview https://openreview.net/forum?id=qfTqRtkDbWZ Meta wants to supercharge Wikipedia with an AI upgrade | Digital Trends https://www.digitaltrends.com/computi
Google トレンドのデータを使った情報に基づく意思決定 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 7 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 数週間前、Google は Google Cloud の一般公開データセット プログラムに新しいデータセットをリリースしました。Google トレンドです。Google のデータセット プログラムに慣れていないお客様もアクセスしてご自身の分析に統合できるよう、BigQuery および Cloud Storage 内にさまざまなデータセットをホストしています。Google はこうしたデータセットの保存費用を負担し、bigquery-public-data プロジェクトなどを経由してデータを一般提供しています。料金は、データに対するクエリにのみ発生します。さらに、毎月 1 TB までは無料です。加えて、まもなくすべての一般公開データセットが Analytics Hub を通
Democratization of knowledge - Wikipedia
The democratization of knowledge is the acquisition and spread of knowledge amongst a wider part of the population, not just privileged elites such as clergy and academics. Libraries, in particular public libraries, and modern information technology such as the Internet play a key role, as they provide the masses with open access to information. History[edit] Literate and illiterate world populati
小林 暁雄 (Akio Kobayashi) - Wikipediaと汎用シソーラスを用いた汎用オントロジー構築手法 - 論文 - researchmap
小林暁雄, 増山繁, 関根聡 巻 J93-D 号 12 開始ページ 2597 終了ページ 2609 記述言語 日本語 掲載種別 出版者・発行元 一般社団法人電子情報通信学会 日本語語彙大系や日本語WordNetといったシソーラスは,自然言語処理の分野における様々な研究に利用可能なように構築されている.これらのシソーラスはその精度を保持するために,人手により,よく吟味されて構築されている.このため,新たな語を追加する際にも,よく検討する必要があり,容易に更新することはできない.一方,Wikipediaはだれでも参加・閲覧できるオンラインの百科事典構築プロジェクトであり,日々更新が行われている.日本語版のWikipediaでは,現在100万本以上の項目が収録されており,非常に大規模な百科事典となっている.このWikipediaのもつ膨大な語彙を,既存のシソーラスの名詞意味体系に分類することがで
Wikipediaを用いた日本語の固有表現抽出データセットの公開
ML事業部の近江崇宏です。 ストックマークではプロダクトで様々な自然言語処理の技術を用いていますが、その中のコア技術の一つに固有表現抽出があります。固有表現抽出はテキストの中から固有表現（固有名詞）を抽出する技術で、例えば「Astrategy」というプロダクトでは、固有表現抽出を用いてニュース記事の中から企業名を抽出しています。（企業名抽出については過去のブログ記事を参考にしてください。） 一般に、固有表現抽出を行うためには、大量のテキストに固有表現をアノテーションした学習データをもとに機械学習モデルの学習を行います。今回、ストックマークは固有表現抽出のための日本語の学習データセットを公開いたします！ご自由にお使いいただければと思います！ レポジトリ：https://github.com/stockmarkteam/ner-wikipedia-dataset 固有表現をハイライトしたサンプ
Template:Doi - Wikipedia
このテンプレートは40,000以上のページで使われています。 余計な混乱やサーバーへの負荷を避けるために、どんな変更でも最初はテンプレートのサンドボックス・サブページ、テストケース・サブページもしくはあなた自身の利用者スペースのページで試すべきです。そうすれば、試した変更を1度の編集でこのテンプレートに加えることができます。しかし、最初にあなたの提案した変更を、この項目のノートで議論するようにお願いします。
WikipediaのデータからElasticsearch用類義語辞書をつくる - Qiita
Elasticsearchには類義語によるクエリ拡張機能があります。これを適用すると まどマギ と検索したときに まどかマギカ と書かれた文書もヒットするようになります。 (LuceneやSolrにもありますがここではElasticsearchの話だけします) この類義語辞書は、人手で作ること (e.g., FRILの商品検索をnGramから形態素解析にした話 - mosowave) もできますが、今回はなるべく手間をかけたくないのでWikipediaのリダイレクトデータから自動で類義語辞書を作る方法を紹介します。 (自動といってもノイズも含まれてるので実用的に使うにはある程度人手でフィルタリングする必要があります。それでも一から人手で作るよりは手間が少ないと思います) (ElasticsearchではWordNetでの類義語検索に対応しているようですが、これを書いてる2015年12月時点
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reputation Systems For Open Collaboration – Communications of the ACM
Semi-automatic construction of a domain ontology for wind energy using Wikipedia articles
フリーで使える日本語の主な大規模言語モデル（LLM）まとめ
Kensho Derived Wikimedia Dataset
GitHub - attardi/wikiextractor: A tool for extracting plain text from Wikipedia dumps
Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from Wikipedia
On Computing Entity Relatedness in Wikipedia, with Applications
Neo4j Online Meetup #7: Building the Wikipedia Knowledge Graph in Neo4j
Architecture for a multilingual Wikipedia
Wikidata: A Free Collaborative Knowledge Base
From Freebase to Wikidata: The Great Migration
http://www.umiacs.umd.edu/~jimmylin/publications/Lin_JCDL2015.pdf
bixolabs/wikipedia-ngrams · GitHub