Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
都立大 自然言語処理研究室 - 自然言語処理を独習したい人のために
東京都立大学自然言語処理研究室（小町研）に入学する人たちは、入学後に自然言語処理・機械学習・プログラミングの基礎勉強会を行なうため、特に事前に学習することはありませんが、入学前に勉強しておいたほうがよいことはあるか、と問い合わせがあるので、自然言語処理の独習用の情報を書いておきます。（主に情報系以外の学部生を対象にしています。） 近年の深層学習の発展に伴ってニューラル機械翻訳をはじめとした深層学習の研究をしたいという人がうちの受験希望者の大半ですが、深層学習の研究をしたい人はプログラミングと数学と英語のすべてがある程度できなければいけません。どれか1つでも足りないものがあれば、ほとんど研究できないと思ってください。これらは現在ほぼ未習の人が入学してから勉強して追いつけるものではないので、深層学習の研究がしたい、という場合はよくよく考えたほうがいいです。東大中山研の深層学習の研究がやりたい人
機械学習ライブラリ scikit-learn で簡単ツイート分類 | ぱろすけのメモ帳
皆様こんにちは。今日も元気に自分を見つめ直していますか？自分を見つめ直す手段として、過去の自分の発言を見返すことは有用だと考えられます。たとえば、Twitter を使っている方ならば、その過去ログを用いることが考えられるでしょう。Twitter の過去ログはライフログとして機能し、それを用いることにより、過去の出来事のみならず、考え方、感じ方、ふとした着想、などなどを読み取ることができます。しかしながら、過去のツイートを全部見返すのは非常に面倒ですね。たとえば僕のアカウントはトータルで4万ツイート以上あります。これは非常にめんどい。Twitter は情報量多くてだるいよね問題については、従来「再生核 Hilbert 空間を用い、脱ベイズ確率主義に立脚したあまりだるくないツイッター」などの試みが行われてきましたが、今なおその面倒さを軽減する手段については十分とはいえません。本記事では、過去の
CRFがよくわからなくてお腹が痛くなってしまう人のための30分でわかるCRFのはなし - EchizenBlog-Zwei
機械学習の3大有名手法といえばSVM、CRF、LDAではないだろうか(と勝手に思っている)。 SVM(Support Vector Machine)については以前記事を書いたので今回はCRF(Conditional Random Fields)について書いてみたい。 機械学習超入門IV 〜SVM(サポートベクターマシン)だって30分で作れちゃう☆〜 - EchizenBlog-Zwei といっても今回はさくっと読んでもらうのを目的にしているので手法の具体的な解説は行わない。具体的な部分は@uchumik氏の資料がとても詳しい｡ uchiumi log: 間違ってるかもしれないCRFの説明 また、実装方法については高村本(言語処理のための機械学習入門)がとても詳しい。 さて、具体的な解説をしないなら何をするの？ということだが、今回はそもそもCRFとは何かという話をする。過去の経験上この、そも
集合とかベクトルの類似度の計算のメモ - 唯物是真 @Scaled_Wurm
Pythonで実装する類似度計算 - Screaming Loud #1283. 共起性の計算法 ↑この辺りの記事を見て、集合とかベクトルの類似度の計算の記事を下書きのまま放置していたことを思い出したので書き上げた。 類似度の計算のコードを書いたのでそれを載せるだけにしようかと思ったのですが、知っている人にしか伝わりそうにないので自然言語処理でよく使う話の概要だけでも書いときます。 導入 自然言語処理の分野では単語の意味を比較するときに、ある単語の周り(文脈)に出てきた単語のベクトル(文脈ベクトル)の類似度を計算することがある。 これは「ある単語の意味はその周囲に出現する単語によって特徴づけられている」という仮説に基づいていて、文脈ベクトルが似ていれば似たような意味、似たような状況で使われる単語が多いということが言えるからである。 Distributional semantics - Wi
Latent Dirichlet Allocations(LDA) の実装について - 木曜不足
昨日の "Latent Dirichlet Allocations in Python" の続きで実験結果を載せようかと思ったけど、先にやっぱりもうちょっと LDA を説明しておこう。 LDA の初出は [Blei+ 2003] Latent Dirichlet Allocation 。 ただし [Blei+ 2003] で "LDA" としているのはトピック-単語分布がただの多項分布(事前分布無し)のもの。"LDA" としてよく目にするトピック-単語多項分布にディリクレ事前分布が入ったものは "Smoothed LDA" として記載されている(確かにβでスムージングしているのと等価)。 今回実装した LDA も後者の "Smoothed LDA"。 その LDA はこんな感じ。αとβはハイパーパラメータだから、チビ黒丸で書いて欲しいんだけどね。 (図は Wikipedia-en の LD
BLOG::broomie.net: 無料でよめる機械学習・自然言語処理の教科書
夏いですね．最近この手の記事ばかりで大変恐縮ですが，機械学習に関するウェブ上で手に入る無料のテキストが紹介されていたので，共有したいと思います．ほとんどは以前に僕が紹介している(時々更新しています)「機械学習・自然言語処理のリソースリンク集」に入っているのですが，改めて紹介いたします．おそらく，他ブログでも紹介しているようにも思えますが，このサイトの紹介がてら引用させていただこうと思います． MetaOptimize / 最近ちょっと話題になっている「MetaOptimize /」という機械学習のサイトのQ&Aで紹介されていました．まじめに見ていなかったのですが，このサイト非常に有用でおもしろいですね． 特に同サイトの「qa」はかなり有用かと思いました． フリーの機械学習テキスト 話を戻しますと，興味深いQuestionsがたくさんあるのですが，今回注目したのは「Good Freely A
第１回 自然言語処理勉強会＠東京 に参加してきた - hamadakoichi blog
「第１回 自然言語処理勉強会＠東京 (#tokyotextmining)」(id:nokuno さん主催) に参加してきた。 ATND: 第１回 自然言語処理勉強会＠東京 : ATND Google Group: Google グループ 素敵な会でした。主催者のid:nokuno さん、講師の id:sleepy_yoshi さん、id:n_shuyo さん、[Twitter:@PENGUINANA_] さん、 [Twitter:@suzuvie]さん、ありがとうございました。 また素敵な会場提供して下さった 株式会社ミクシィさんにも感謝。 以下、ツイートまとめ(Togetter)、各講師資料、メモ、の覚書き。 Togetter 第１回 自然言語処理勉強会＠東京 (#tokyotextmining) - Togetter FSNLPの第1章を読む (id:nokuno, [Twitter:
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
話題の新技術、簡潔データ構造の入門用資料をまとめてみた - EchizenBlog-Zwei
最近私の周辺で簡潔データ構造に興味を持つ人が増えてきた。簡潔データ構造といえばGoogle日本語入力でも使われている話題の新技術。自然言語処理界隈で機械学習の次にブームになるのはこれだ！と個人的に思っている。 というわけで入門用の資料をまとめてみた。 簡潔データ構造では、すべての基礎である簡潔ビットベクトルがあって、その上に応用として簡潔木(LOUDSなど。Google日本語入力で利用されている)、簡潔文字列(ウェーブレット木など。FM-Indexに利用されている)がある。最近ではこれらより複雑なデータ構造に対する簡潔構造も研究されている。 ということをふまえて以下の資料を読むと良い。 Efficient dictionary and language model compression for input method editors Taku Kudo et al. Google日本語
第16回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り− を開催しました - hamadakoichi blog
2011/11/27 "第16回 データマイニング+WEB 勉強会＠東京−リアルタイム分散 Web解析・自然言語処理 祭り−"を開催しました。 第16回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 16th)−リアルタイム分散 Web解析・自然言語処理 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(15分) 講師 ： id:hamadakoic
米スタンフォード大が機械学習と人工知能に続き，自然言語処理と確率モデルの講義を一般公開 - nokunoの日記
表題の通り，米スタンフォード大が自然言語処理と確率モデルの講義のオンライン公開を始めるようです．Natural Language ProcessingProbabilistic Graphical ModelsNLPを担当するManning先生は，この分野では知らぬものはいない教科書「Foundation of Statistical Natural Language Processing」の著者でもあります．これは必見ですね． なお，以前から公開されていて既に講義や課題が始まっている機械学習と人工知能の講義はこちら．Machine LearningIntro to AI - Introduction to Artificial Intelligence - Oct-Dec 2011 スタンフォード大学のオンライン講義 - nokunoの日記ツイートする
テキストマイニングで始める実践Hadoop活用
Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用（1） それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します
転職（失敗）しました - あんちべ！
テキストマイニング、自然言語処理をしたいという強い思いから転職活動をした…ら失敗しました。以下、転職（失敗）活動経緯をまとめます。また、今回作成した履歴書と職務経歴書を公開致します。私自身初めての転職活動であり、職務経歴書を書いた経験が無いため苦労しました。拙いものですが、何かご参考になるようでしたら幸いです。履歴書 職務経歴書 ・2009年入社前後経済学科でテキストマイニングや社会ネットワーク理論などを研究し、コミュニケーション活性化などに興味を持つ。それを活かしてSNS系のベンチャー行くか大企業行くか迷うが、ベンチャーは実力さえあれば今でなくても行ける、大企業は新卒のレールに乗らないとまず入れない。大企業特有の「大規模な資金・頭数を、牛のような腰の重さでマネジメント」する機会は新卒の今しかないと思い、最初は大企業で学ぼうと現職を選択。 ・2010年不自然言語処理コンテストに出たり、no
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scala による自然言語処理
自然言語処理研究会 - tsubosakaの日記
Charming Python: Functional programming in Python, Part 3
形態素解析の過去・現在・未来