タグ

自然言語処理 NLPに関するpipoのブックマーク (2)

  • Python による日本語自然言語処理

    はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日語を対象とする場合、いくつか気をつけなければいけない点があります。日語を扱う場合にも

  • ほどよく不自然な言語をつぶやき続けるスクリプト - 木曜不足

    Baidu さんちの不自然言語処理コンテスト用に何かネタを思いついたら作ってみようかな〜、とぼんやりしているうちに締め切りが過ぎていた。 と、残念がっていたらなんか締め切りが1日伸びたようなので、このまえ作っていた 不自然言語処理コンテストのコーパスを使って乱数作文するスクリプト を3-gram 以上に対応させつつ、出来るだけ長い文章をつぶやき続けるようにちょっと作り直してみた。 #! /usr/bin/env python # -*- coding: utf-8 -*- # endless_text.py : Endless Text Generator import sys, time, codecs, random # codec指定(DOS窓/リダイレクトの両方に対応) if not sys.stdout.encoding: sys.stdout = codecs.getwrite

    ほどよく不自然な言語をつぶやき続けるスクリプト - 木曜不足
  • 1