Pythonで始める自然言語処理の基礎の基礎 | クリエイターのための総合情報サイト CREATIVE VILLAGE
PythonはAIや機械学習領域のライブラリを豊富に持っており、近年非常に高い人気を誇っています。今回はPythonを使用して自然言語（人間が読み書きする言語）を処理する方法ご紹介します。 近年、自然言語処理の領域は急速に発展しており、機械翻訳（英語から日本語の翻訳等）の精度も年々向上しています。今回はその自然言語処理の基礎の基礎の部分をお伝えし、Pythonで処理する方法をご紹介いたします。 合田 寛都（ごうだ・かんと） 株式会社メンバーズ メンバーズデータアドベンチャー データアナリスト メンバーズに新卒入社後大手企業のWEBサイト運用やアクセス解析等に従事。メンバーズデータアドベンチャーに異動し、クライアント企業にデータアナリストとして常駐。 自然言語とは？ 自然言語とは人間が日常的に読み書きする、所謂普通の言語のことを指します。これと対比されるのが機械語やプログラミング言語で、Py
言語処理100本ノック - 東北大学 乾研究室 / Inui Lab, Tohoku University
FrontPage / 言語処理100本ノック 3 秒後に NLP 100 Drill Exercises に移動します。 (移動しない場合は、上のリンクをクリックしてください。) © Inui Laboratory 2010-2018 All rights reserved. 研究室紹介/About Us 過去に在籍したメンバー Members 研究室環境 Lab Facilities ↑研究会/Research Meetings 概要 Overview 総合研究会 Research Seminar 意味研究会 SIG Semantics 談話研究会 SIG Discourse 知識獲得研究会 SIG Knowledge Acquisition Embedding研究会 SIG Embedding KIAI Knowledge-Intensive Artificial Intellige
Pythonによる日本語自然言語処理 #pyconjp
Pythonによる日本語自然言語処理 #pyconjp - Presentation Transcript Python @nokuno #pyconjp • Python 2.X • • • • • @nokuno / id:nokuno • #TokyoNLP • Social IME / StaKK • Web • Python 2.X Python 2.X / read write UTF-‐8 “ ” decode encode Unicode u” ” # encoding: utf-‐8 u” “ decode encode MeCab• MeCab• Python MeCab – mecab ipadic, mecab-
自然言語処理にはやっぱりPythonがいちばん - nokunoの日記
Quoraで「自然言語処理に適したプログラミング言語はどれか？」という質問をしたところ，やっぱりPythonが一番人気のようです．What programming language is suitable for natural language processing? - Quora理由として以下が挙げられていますNLTKがあるから正規表現ライブラリ（re）が強力だからnumpyとscipyがあるから スクレイピングにBeautifulSoupやScrape.pyが使えるから Django / Pylons / TornadoのようなWebフレームワークがあるから また，機械学習のライブラリを言語別にまとめた質問もありました．こちらもJava, Python, Rが多いですね．Which programming language has the best repository of ma
映画「The Social Network」の脚本をNLTKで解析して遊んでみた - ぬいぐるみライフ？
※この記事には映画「The Social Network」のネタバレがそれなりに含まれています．これから映画を観る予定の方は逃げた方が賢明です． 最近ブログで宣言した通り，入門 自然言語処理を読みつつPythonのNLTK(Natural Language ToolKit)を使った自然言語処理について勉強中．入門 自然言語処理はPythonをロクに触ったことがない私でもちゃんと理解しながら読み進められるようになっているのが嬉しい． ところで，少し前に映画「The Social Network (ソーシャル・ネットワーク)」を観て，登場人物の台詞や行動がなかなか面白くて気に入ったのだけど，この脚本が映画の公式サイトで公開されていることを最近知った．映画の脚本となると，特徴的な表現が多く文章数もそれなりにあるので，興味深いコーパスになり得るのではないかと思う． というわけで，NLTK習い立ての
ライトノベルのあらすじからトレンドを知ることができるか - たかべーの書庫
以前の日記でラノベのあらすじからキーワード抽出してみたことを書きましたが、2009年に刊行されたほとんどのラノベを対象にしてまたやってみました。使用したツールは同じです。 個人的な感想をいうと、やる前から思っていたほど面白い結果は出なかったのですが、せっかく調べたのでここに載せておきます。 参考にさせていただいたサイト（再掲） http://mecab.sourceforge.net/（形態素解析エンジン） http://tanashi.s240.xrea.com/mword/（キーワード抽出スクリプト） 形態素解析エンジン MeCab 0.98pre3 野良ビルド - 銀月の符号（mecab-python の Windows 用バイナリ） WindowsでMeCab Pythonを使う - 人工知能に関する断創録（↑の解説） 注意 私は自然言語処理に関して全くの素人なので、あくまでネタと
形態素解析器IgoのPython版作った
いろんなメモです。おもにプログラミング関係。 a memorandum. most of all contents are related to programming. Java(とCL)で書かれた形態素解析器であるIgoをPythonにほぼそのまま移植しました。 Java版で作った辞書がそのまま使えるようにしたので、辞書を作る部分は(まだ)移植してません。 mmapしてるのでGAEでは動きません。すぐ取りかかる予定です。 またGAE版の辞書はBigEndianなのでそこらへんも対応する予定です。 https://code.launchpad.net/~hideaki-t/+junk/igo-pyに置きました。 簡単なテストしかしてません。問題があったら教えてください！ 簡単なサンプル # coding: utf-8 import igo.Tagger t = igo.Tagger.Ta
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
パターン認識と機械学習（PRML）まとめ - 人工知能に関する断創録
2010年は、パターン認識と機械学習（PRML）を読破して、機械学習の基礎理論とさまざまなアルゴリズムを身につけるという目標（2010/1/1）をたてています。もうすでに2010年も半分以上過ぎてしまいましたが、ここらでまとめたページを作っておこうと思います。ただ漫然と読んでると理解できてるかいまいち不安なので、Python（2006/12/10）というプログラミング言語で例を実装しながら読み進めています。Pythonの数値計算ライブラリScipy、Numpyとグラフ描画ライブラリのmatplotlibを主に使ってコーディングしています。実用的なコードでないかもしれませんが、ご参考まで。 PRMLのPython実装 PRML読書中（2010/3/26） 多項式曲線フィッティング（2010/3/27） 最尤推定、MAP推定、ベイズ推定（2010/4/4） 分類における最小二乗（2010/4/
「言語処理のための機械学習入門」を参考に各種モデルに対するEMアルゴリズムを実装したよ - nokunoの日記
Amazonにもレビューを書いたのですが、高村さんの「言語処理のための機械学習入門」を読みました。実はこの本を読むのは2回目で、1回目はドラフト版のレビューをさせていただく機会があったのですが、そのときは「言語処理研究者のための機械学習入門」というタイトルで、ちょっと敷居が高いのではないかとコメントしたら「研究者」の部分が削られたという経緯があったりしました。 それはともかくとして、以前読んだときは時間もなくて実装までする暇はなかったのですが、今度はもうちょっとじっくり読みたいなということで、このブログに書いてみようと思います。EMアルゴリズムは教師なし学習を確率モデルと最尤推定でやろうとするときに必ず出てくる手法で、隠れ変数や欠損値を含む色々なモデルに適用できる汎用的なフレームワークになっています。一般的には混合ガウス分布の場合をまず説明して、それがk-means法の一般化した形になって
不自然言語処理コンテストのコーパスで乱数作文 - 木曜不足
Baidu さんの不自然言語処理コンテスト( http://www.baidu.jp/unlp/ )が始まったそうで。 5-gram までのコーパスも配布ということでとりあえず応募するしないはおいといてダウンロードダウンロード……。 2-gram でマルコフ連鎖で文章生成って誰でも考えるよなあ。サンプルスクリプトもあるし、早い者勝ちだよなあ。 というわけでさっくり書いてみた。サンプルスクリプトをちょこちょこっと削って、ちょこちょこっと足しただけ。numpy 使ってます。 import sys, codecs, numpy sys.stdout = codecs.getwriter('utf_8')(sys.stdout) if len(sys.argv) != 2: print >>sys.stderr, "Usage: randomtext.py <2gm file>" exit(1)
ほどよく不自然な言語をつぶやき続けるスクリプト - 木曜不足
Baidu さんちの不自然言語処理コンテスト用に何かネタを思いついたら作ってみようかな〜、とぼんやりしているうちに締め切りが過ぎていた。 と、残念がっていたらなんか締め切りが１日伸びたようなので、このまえ作っていた 不自然言語処理コンテストのコーパスを使って乱数作文するスクリプト を3-gram 以上に対応させつつ、出来るだけ長い文章をつぶやき続けるようにちょっと作り直してみた。 #! /usr/bin/env python # -*- coding: utf-8 -*- # endless_text.py : Endless Text Generator import sys, time, codecs, random # codec指定(DOS窓/リダイレクトの両方に対応) if not sys.stdout.encoding: sys.stdout = codecs.getwrite
PythonからYahoo!形態素解析APIを使う - 人工知能に関する断創録
集合知プログラミングのp.349を参考にYahoo!が提供する形態素解析のWebサービスをPythonから使ってみた。形態素解析をWebサービスでやるなんて遅くて使い物にならなくね？ChaSenかMeCab使うよ！って使う前は思ってたのだがやってみたら驚くほど快適。かなり高速に結果を返してくれる。しかも、Yahoo!が作った特別な辞書を使っているらしく、IPAの辞書に比べて固有名詞の抽出精度がかなり高い印象を受けた。使う上での壁は、 Yahoo!デベロッパーネットワークに登録してアプリケーションIDを登録しなくちゃいけない 1日で1つのIPアドレスにつき50000万リクエストまで 1回のリクエストは100KBまで くらいか？Yahoo!のIDを持っていれば、アプリケーションIDの登録はWeb上で簡単にでき、審査もない。 Pythonで使う場合は、HTMLを解析するBeautifulSoup
自然言語処理は Python がいちばん - 武蔵野日記
現在大学1年生の人で3年後には NAIST に (というか松本研に) 来たいという人から「どんなプログラミング言語やっておくといいですか」と質問されたりするのだが、なかなか答えるのは難しい。自分は Perl → Python がメインでときどき C++/C# を使ったりするのだが、どれが一番いいかはなんとも言えないので、自然言語処理以外に転向する可能性も考えると、C とか C++ とか Java とか(授業でそちらをやるのであれば)を最初の武器に選んだ方がいいのでは、と思ってはいる。 そんなこんなで最近 Hal Daume III (機械学習を用いた自然言語処理では非常に有名な人) のブログで Language of Choice というタイムリーなエントリーが出ていたので、紹介すると、「それなりに大きな自然言語処理のプロジェクトでどのプログラミング言語を使うのか」というアンケート結果が出
Programming Magic is under construction
Thank you for being patient. We are doing some work on the site and will be back shortly.
係り受けAPI - まきもと＠ねっとわーく
また、一月くらいぼんやりしてたけど、こちらには技術寄りの話を書いて行こうと思う。所謂日記はmakimoto.log に書く方針で。*1ということで、ヤフーが日本語係り受け解析Webサービスというのをリリースしたので、適当なコードを書いてみた。係り受けというのは構文解析の一種で、文節同士の依存関係を解析する技術のこと。自然言語処理に置いては形態素解析の次の段階の処理として扱われることが多い。ということで、早速コード。*2 #!/usr/bin/env python # vim:fileencoding=utf-8 from xml.etree.ElementTree import ElementTree from urllib import urlopen,quote from sys import stdin ns = '{urn:yahoo:jp:jlp:DAService}' for
Python から Yahoo! 日本語形態素解析Webサービスを使う + pydot (3) - 傀儡師の館.Python - 楽天ブログ（Blog）
2007.11.15 Python から Yahoo! 日本語形態素解析Webサービスを使う + pydot (3) テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python Python から Yahoo! 日本語形態素解析Webサービスを使う (1) と Python から Yahoo! 日本語形態素解析Webサービスを使う (2) で Yahoo! 日本語形態素解析Webサービス API を使って指定した文から指定した品詞の単語を取り出すことができるようになった。 ということで、ここから応用。せっかく pydot を使ってグラフが書けるようになったのだから、取り出した単語をグラフで表現してみましょうかと。 #!/usr/bin/env python #-*- coding: utf-8 -* from webma import * import pydot
Python から Yahoo! 日本語形態素解析Webサービスを使う (2) - 傀儡師の館.Python：楽天ブログ
2007.11.15 Python から Yahoo! 日本語形態素解析Webサービスを使う (2) テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python Python から Yahoo! 日本語形態素解析Webサービスを使う (1) では、ヒビノキロク: Yahoo! 形態素解析 API for Python の webma.py を使わせてもらうかなということで、そこで使われているライブラリを見ていたら、前置きが長くなってしまった。lxml と formencode がインストールされていないとこれは使えないよということでインストールを済ませたら早速使ってみる。 とりあえず ヒビノキロク: Yahoo! 形態素解析 API for Python コードを webma.py として保存して、lib/site-package に放り込む。コード中の、defau
Python から Yahoo! 日本語形態素解析Webサービスを使う (1) - 傀儡師の館.Python：楽天ブログ
2007.11.15 Python から Yahoo! 日本語形態素解析Webサービスを使う (1) テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python 日本語形態素解析Webサービス を使ってなんかするかな。とりあえず、だれか Python でいいもの作っていないかなぁと捜してみると、２つ見つかった。 ヒビノキロク: Yahoo! 形態素解析 API for Python Inforno: Python版 Yahooテキスト解析 APIライブラリ ヒビノキロク の方は、pyparsing を使った 検索式を構文解析するPythonモジュール とかも公開されている。pylonshqのWikiのソースを表示するGreasemonkey マニアだなぁ。Monoで.NET Compact Framework向けのアプリケーションをコンパイルする とかもある。 In
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...