LIBER、テキストマイニングを阻害しない著作権制度を求めるファクトシートを公開（欧州）
欧州研究図書館協会（LIBER）が、テキストマイニングやデータマイニングを阻害しない柔軟な著作権制度の必要性を伝えるファクトシート“Text and Data Mining: Its importance and the need for change in Europe”を公開しています。ファクトシートは、テキスト・データ・マイニング（Text and Data Mining: TDM）とは何か、何故重要か、何故図書館が例外規定を望むのか、といった質問に端的に答えるものとなっています。 なお、あわせて、この問題に関するLIBERの主なアドヴォカシー活動が紹介されています。 Text and Data Mining: Its importance and the need for change in Europe（LIBER, 2013/4/25付け） http://www.libereu
京都テキスト解析ツールキットを使ってみた - 射撃しつつ前転 改
KyTea(京都テキスト解析ツールキット)は京大のGraham Neubigさんが中心となって開発している単語分割&発音推定ツールである。 私はかな漢字変換用の学習データを作るのにこれまではmecabを使っていたのだが、mecab-ipadicのデータには、そもそも読み推定に力が入ってない、という問題があった。形態素解析は文章を単語に区切ることと品詞を推定する事が主目的な感じなのでそこを期待するのはそもそも筋違いなのだが。 かといって自分で作ろうにも、こういうものは学習用コーパスが必要なので、コードだけで簡単にどうにかできる問題ではない。コーパス作りはとても手間のかかる作業なので、気軽に週末に作れるようなものでもない。というわけで、根本的な解決は棚上げして、これまではmecabの解析結果を後付けで適当に確率的に揺らしてみたりとかしながら使ってきたのである。 そこに新しくKyTeaが現れた。
KyTea (京都テキスト解析ツールキット)
English 京都テキスト解析ツールキット(KyTea、「キューティー」)は、日本語など、単語(または形態素)分割を必要とする言語のための一般的なテキスト解析器です。 特徴 ダウンロード・インストール プログラム仕様 解析：手法の詳細, 入出力の形式, API 学習：モデル学習, 入手可能なモデル KyTeaを使った分野適応 開発情報 特徴 KyTeaには以下の機能が揃っています： 単語分割：分かち書きされていないテキストを適当な単語または形態素に分割する。 読み推定・品詞推定：かな漢字変換や音声認識、音声生成のために単語の発音を推定することができ、品詞を推定することもできます。 線形SVMやロジスティック回帰などを用いてそれぞれの分割点や読みを個別に推定するため、部分的にアノテーションされたデータを利用してモデルを学習することも可能です。 分類器の学習にはLIBLINEARを使用してい
ウィキペディアは政治的に偏向しているのか？ - himaginary’s diary
という点について調べた研究をconversable economistブログが紹介している（Economist's View経由）*1。 以下はconversable economistブログが引用したそのまとめ部分。 To summarize, the average old political article in Wikipedia leans Democratic. Gradually, Wikipedia’s articles have lost that disproportionate use of Democratic phrases, moving to nearly equivalent use of words from both parties, akin to an NPOV [neutral point of view] on average. The numb
Googleなどでのヒット数は言語研究の証拠となるか？｜Colorless Green Ideas
Google などのサーチエンジンでのヒット数は、言語研究の証拠とするには問題がある。これはヒット数の変動が大きいなど、再現可能姓に乏しいためである。 はじめに 最近の言語学の論文では、Google などのサーチエンジンでのヒット数を議論の証拠としていることが結構ある。例えば、ある表現を Google で検索したところ5万件ヒットし、同様に別の表現を検索したところ500件しかヒットしなかったので、前者の方がよく使われる表現である、と主張するのである。 結論を先に言うと、Google などのサーチエンジンでのヒット数を言語研究の証拠とすることには問題が多い。問題点の1つとして、ヒット数に再現可能性がないことが挙げられる。ヒット数は安定的な数値ではなく、急変しうる。言語研究も科学的研究である以上、このような再現可能でないものを証拠として使うのは問題がある。また、サーチエンジンが検索対象としてい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
/ WSJ日本版 - jp.WSJ.com - Wsj.com
https://jp.techcrunch.com/2012/06/20/20120619viralheat-sentiment-api/
http://www.tokugikon.jp/gikonshi/252tokusyu7.pdf