Text Processing in Python (a book)
A couple of you make donations each month (out of about a thousand of you reading the text each week). Tragedy of the commons and all that... but if some more of you would donate a few bucks, that would be great support of the author. In a community spirit (and with permission of my publisher), I am making my book available to the Python community. Minor corrections can be made to later printings,
デマをデマと見抜けない人はTwitterを使うのは難しい - kisa12012の日記
Twitterにおけるデマ検出手法を論じた研究が，ついにEMNLP2011に出てきたので紹介します． 論文：Rumor has it: Identifying Misinformation in Microblogs[Qazvinian et al., 2011] Twitter上のデマに関する興味深い統計情報も幾つか含まれているので，興味のある方は一読されると良いかと思います． 概要 噂と噂に関連するツイートを検出すると同時に，その噂の信頼度を推定 様々な特徴量を用いて実験 ツイートの文面を使って分類器を作るだけで，高い精度が実現可能！ ただし，アノテートされたツイートを教師データとして使用 背景 マイクロブログ上で噂は急速に広まる デマや誤情報は，企業にとって大きな障害となりうるので自動で特定したい この研究では，以下の手順でデマや誤情報を検出する 特定の噂に関して言及しているツイート
第3回さくさくテキストマイニング勉強会に参加しました #sakuTextMining - nokunoの日記
というわけで参加してきました。会場は数理システムさんです。第3回 さくさくテキストマイニング勉強会 : ATND 入門セッション（AntiBayesian）第三回さくさくテキストマイニング勉強会 入門セッション View more presentations from AntiBayesian 単語重要度入門 〜テキストをダイエットさせよう〜（ toilet_lunch ） TF*IDFの話 えっ私のテキストマイニング力低すぎ！？ 例：大量のアンケートの自由回答文から重要な単語を抜き出す 例：エビオス嬢についての文章 TF*IDFとは TF（単語の頻度） * IDF（単語が含まれる文書割合の逆数（の対数）） 直感的ば解釈：ある文書でよく使われていて、他の文書ではあまり使われていない単語は、その文書をよく表している なんで対数取るんだっけ・・・ IDFの影響が大きすぎるので小さくしたい→対数
第1回にこにこテキストマイニング勉強会に参加しました #nicotextmining - nokunoの日記
というわけで参加してきました。第1回 にこにこテキストマイニング勉強会 : ATND 目的テキストマイニングについての学習のスタートアップテキストマイニング技術に関して気軽に参加・議論することができる場の提供 概要テキストマイニングとは、例えば製品の評判をweb上のテキストから抽出したり、大量のアンケートテキストを分析するために用いられる技術であり、特にマーケティングの場で多くの利用例があります。この勉強会ではそうしたテキストマイニングを題材とし、用いられている要素技術とそれに関わる課題の議論、またテキストマイニングを実務に活かす方法について考えていきます。 会場のオラクルセミナールームでは隣でPythonハッカソンが行われており、そちらにも知り合いがいたり飲み物が無料だったりして居心地の良い場所が形成されていました（入るまでが大変でしたが‥）。Python Hack-a-thon 201
統計的機械翻訳のツールGIZA++を使ってみた - nokunoの日記
GIZA++を使ってWikipedia対訳コーパスをアライメントするまでやってみました。Wikipedia日英京都関連文書対訳コーパスWikipedia日英京都関連文書対訳コーパスGIZA++ giza-pp - Project Hosting on Google Codeなお、環境はMacbook Airでも動いたのですが、重かったのでサーバーのCentOSで動かしました。# 対訳コーパスをダウンロードして整形$ wget http://alaginrc.nict.go.jp/WikiCorpus/cgi-bin/dl1.cgi$ tar xfz wiki_corpus_2.0.tar.gz$ cd wiki_corpus_2.0$ mkdir parallel$ cat */*.xml | egrep '^' | sed -e "s///g" | sed -e "s///g" > pa
自然言語処理・データマイニング系のQuoraまとめ - nokunoの日記
最近、Q&AコミュニティのQuoraが流行っていますね。Quoraそこで、個人的に興味のある分野のQAについてまとめておきます。 自然言語処理・機械学習系 What is the best way to analyze a corpus of text to determine the most popular phrases? - QuoraWhat is the best open source C++ implementation of a trie? - QuoraMachine Learning: What papers have shown that for machine learning, data set size is more important than the model being trained? - QuoraNatural Language Process
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめての生成文法 《後編》
Amazon.co.jp: リストマニア
Google Groups
Loading...
WordPress.com
