言語処理100本ノックは,実践的な課題に取り組みながら,プログラミング,データ分析,研究のスキルを楽しく習得することを目指した問題集です 実用的でワクワクするような題材を厳選しました 言語処理に加えて,統計や機械学習などの周辺分野にも親しめます 研究やデータ分析の進め方,作法,スキルを修得できます 問題を解くのに必要なデータ・コーパスを配布しています 言語はPythonを想定していますが,他の言語にも対応しています
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
All slide content and descriptions are owned by their creators.
二宮 崇 1 HPSG文法開発(前半) 今日の講義の予定 文法開発(前半) 合理主義的文法 経験主義的文法 2 いわゆる“自然言語処理” 形態素解析 構文解析 意味解析 文脈解析 “太郎は花子が好きだ” 太郎/名詞 は/助詞 花子/名詞 が/助詞 好きだ/形容動詞 (文 (名詞句-主語太郎/名詞 は/助詞) (名詞句-目的語 花子/名詞 が/助詞) (動詞句 好きだ/形容動詞)) 太郎/名詞/主語/動作主/人物 花子/名詞/目的語/対象/人物 好きだ/動詞/動作主-太郎/対象-花子 … 3 “浅いところ”から“深いところ” へ 理想 形態素解析 構文解析 意味解析 文脈解析 4 “浅いところ”から“深いところ” へ 現実 思いの他 深い! 形態素解析 構文解析 意味解析 文脈解析 TAG, LFG, HPSGな どあまたの複雑精巧 な文法が提案・研究 されてきたにも関わ らず、
日本語の係り受け解析器といえば、KNPやCaboChaが有名ですが、J.DepPは線形分類器を用いて大規模な対象を非常に高速に、また高精度に解析できることが特長です。2009年末に公開されてから着実にバージョンアップされていますが、ビルドの方法が簡単になって、モデルの学習機能が追加されたことで大変使いやすくなっています。また、J.DepPは線形分類器のpeccoやopalを利用していますが、ベースの分類器が高速化されたことが、そのまま解析器の性能向上につながっているようです: ソフトウェアの更新も一人旅になってきた - ny23の日記 このJ.DepPをMacPortsとして登録しました。デフォルトの状態でjdeppをインストールすると、jumandicを参照するMeCabを組み込んだ解析器と、解析済みのブログコーパスであるKNBコーパスを対象とした学習モデルが利用できるようになります:
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く