WindowsのPython用MeCabパッケージを作って、それに対応してみた。
プログラミングとか、見た番組とか、興味を持っていろいろ調べてみたこととか、そういうものを書き留めるためのもの 前回の日本語を音素に分解するスクリプトの公開で、Ctypesを利用してMeCabを操作していたのは、Python用MeCabモジュールのWindows版作れなかったから。せっかく公式モジュールがあるのだから今回はこれを使えるようにしてみた。普通に、MeCabサイトからPython用のバインドモジュールをダウンロードできるが、インストールしようとするとコンパイラとしてVC++2003を要求されてしまう。物持ちがよくて現役を退いたVC++2003を用意できたとしても、今度はコンパイルエラーが出てしまう。 理由を調べてみると、「MeCabのPythonバインディングをWindowsでビルド」に書いてあった。MeCab.hを次の差分のように書き換えなくてはいけない。上記のリンク先の変更とは
ナマズのブログ
これまで朝日ネットのアサブロを使ってきましたが、独自仕様で使いづらいので、Wordpress ベースのブログに切り換えていくことにしました。 Namazu に関する新しいブログです。 今後は、こちらの新しいブログの方をメインに使う予定です。 https://namazu.akaneiro.jp/ Namazu for Windows 2.0.22 を公開するにあたり、Namazu for Windows 2.0.22 pre6 (002)を公開します。 以前公開した Namazu for Windows 2.0.22 pre6 (001) は ActivePerl 5.18 用のものでしたが、現在では ActivePerl の 5.18 は Business Edition になり、入手が難しくなりました。 そこで、Strawberry Perl でも Namazu for Windows
英語形態論
この文書は、MacOS X上で、上山大輔氏の開発したテキストエディタmi 、および、浅海智晴氏の開発した文書処理システムSmartDoc を使用して作成しています。これらのソフトを開発し、無償で利用させて下さっている両氏に深く感謝致します。
形態素解析の基礎
形態素解析の基礎 大西 祥代，廣安 知之，三木 光範 ISDL Report No. 20070913009 2007年 8月 28日 Abstract 形態素解析とは文章を単語に区切る処理であり，自然言語処理の最も基本となる処理である．本報告では，形態素解析に必要な技術や形態素解析ツールについて述べる． 1 はじめに 近年, 自然言語で書かれた大量の文書が電子化され利用されている. 例えば, Web上では様々な情報をテキストや写真などで記述したページがある. また, 電子化されたアンケートなどは, データマイニングを行い経営などに活かされている. このように文書は電子化され今後もますます利用されると考えられるが, より効率良く利用するためにはコンピュータによる文書の解析が必要である. コンピュータが文書を解析するためには, 自然言語解析を行うが, 日本語においては, 文章を単語に分
形態素解析・構文解析入門
back 注意: このページの内容には、おそらく多くの間違いがあります。 リンクされているので残しておきますが、利用には注意してください。(2008年3月、新山) 目次 背景知識 形態素解析とは 構文解析とは 練習問題 言語処理関係の論文によく出てくる重要語 1. 背景知識 まず「形態素」、「構文」などといった用語は、ほとんどが 現在の科学的な「言語学」という分野に帰するものであることを 最初に知っておく必要がある。体系だった言語学は、おもに チョムスキー言語学の創始とともに始まった。 チョムスキーは 1960年代に、世界じゅうの数多くの言語には、 実はそのすべてに共通する「普遍文法 (universal grammer)」がある、と言った。 またチョムスキーはそのような文法を数学的な人工言語で 厳密に表現する方法をも開発した。彼によれば、言語にはその理想化された かたち (言語が言い間違
MeCab: Yet Another Part-of-Speech and Morphological Analyzer(形態素解析エンジン)
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった 一部のコンパイラで正しくコンパイルできなかった問題の修正 部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-
Text segmentation - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Text segmentation" – news · newspapers · books · scholar · JSTOR (October 2011) (Learn how and when to remove this message) Text segmentation is the process of dividing written text into meaningful units
形態素解析 エンジン 一覧
ChaSen 日本語形態素解析システム CaboCha Support Vector Machines に基づく日本語係り受け解析器 JSplitter 日本語の単語抽出ツール MeCab ChaSenを基に開発された高速な形態素解析器 Sen Java 形態素解析エンジン すもも NTT 物性科学基礎研究所で開発された日本語形態素解析システム 大量の日本語データを高速に形態素解析することを目的 JUMAN 日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツール Breakfast 富士通研究所が開発した日本語形態素解析システム KNP 日本語文の構文解析を行なうシステム SUFARY suffix arrayというデータ構造を用いて高速な文字列検索を行なう MACD Java RM用いた形態素解析システム Rosette Google、Amazon、Lycos 等名だたるサ
日本語形態素解析について - BLOGKID
たつおさんに指摘されたので訂正します。（ご指摘ありがとうございました。） SUFARYは日本語形態素解析とは関係ないよ SUFARY マニュアル 今まであまり気にしていませんでしたが、昨日書いた記事から何故か突然「日本語形態素解析」が気になったので手軽に扱えるツールをGoogleで検索しました。 ChaSen 日本語形態素解析システム CaboCha Support Vector Machines に基づく日本語係り受け解析器 JSplitter 日本語の単語抽出ツール MeCab ChaSenを基に開発された高速な形態素解析器 Sen Java 形態素解析エンジン すもも NTT 物性科学基礎研究所で開発された日本語形態素解析システム 大量の日本語データを高速に形態素解析することを目的 JUMAN 日本語の解析の研究を目指す多くの研究者に共通に使える形
形態素解析 - Wikipedia
形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。 自然言語処理の分野における主要なテーマのひとつであり、機械翻訳やかな漢字変換など応用も多い（もちろん、かな漢字変換の場合は入力が通常の文と異なり全てひらがなであり、その先に続く文章もその時点では存在しないなどの理由で、内容は機械翻訳の場合とは異なったものになる）。 もっぱら言語学的な観点を主として言語学で研究されている文法にもとづく解析もあれば、コンピュータ上の自然言語処理としてコンピュータでの扱いやすさに主眼を置いた解析もある。以下は後者のためのツールを
【コラム】Yet Another 仕事のツール (45) 日本語形態素解析ツール「ChaSen」 | エンタープライズ | マイコミジャーナル
ITの世界は理系の人間が幅をきかせていると思われがちだが、システムインテグレーションの現場では、意外と文系的な素養が求められることも多い…… などという無理なこじつけはさておき、今回は「日本語」を扱う上で欠かせないツールを紹介しよう。 以前、「MUSASHI」というオープンソースのツールを使って「データマイニング」の基本的な手法を紹介したことがあったが、データはなにもデータベースやXMLとして整理されたものばかりではない。むしろ日本語なら日本語という自然言語で記述されたデータの方が、量的には圧倒的に多いはずだ。例えば、顧客や同僚と毎日のようにやりとりしているメールなどは、データとしてみれば宝の山だし、実際昔のメールを消せずにずっと残しているという人も多いだろう。ただ、日々増え続けていくメールを溜まるがままにしておいても、せいぜいメールソフトの検索機能を使って備忘録にするぐらいしか有効な使い
ChaSen's Wiki
メニュー 茶筌の配布 Anonymous CVS による配布 ソースからのインストール 辞書の作り方 FAQ 新着情報 茶筌バージョンアップ履歴 MailingList 関係者一覧 LINK 最新の20件 2007-03-23 FrontPage 2006-09-20 ソースからのインストール 2005-10-24 Anonymous CVS による配布 2005-08-20 LINK 2005-07-22 質問箱 SideMenu 2005-03-09 WinChaのインストール 2004-11-10 茶筌の配布 2004-11-09 新着情報 茶筌サーバ 2004-03-26 MailingList 2004-01-26 制約つき解析 2003-12-26 辞書定義ファイルのフォーマット 2003-12-25 辞書の作り方 2003-11-27 バグ情報 2003-10-24 FAQ:
ツールの紹介
LinuxまたはWindows上で動く自然言語処理のツールや，Web上で実際にすぐに試せるツールを紹介しています．実際に触ってみてくださいね． 紹介するツールは随時増やしていきます． Web上ですぐに試せるツール ここで紹介するツールはどれも，インストール作業不要でWeb上ですぐに試せるツールばかりです．気軽に試してみてください． Ajax IME, Sumibi.org 海外でインターネットカフェに行ったとき，メールを読むことはできても，日本語を入力することができなくて困ったことはありませんか？こんなときは，どちらかのサイトを使ってみてください．Webの技術を利用することにより，仮名漢字変換のソフトが入っていなくても日本語を入力できます． 専門用語（キーワード）自動抽出サービス「言選Web」 専門的な文書から専門用語をピックアップしてくれます．東京大学の中川裕志先生の開発
Yahoo!形態素解析APIを使ってブログの記事にタグをつけてみる - F.Ko-Jiの「一秒後は未来」
ブログの各記事にタグをつけてタグページを作ろうと思い、Yahoo!の形態素解析Webサービスを利用して、各記事にタグ付けをしてみました。 » F.Ko-Jiがよく書いているキーワード一覧 – F.Ko-Jiの「一秒後は未来」 何かあったらマズいので、タグページは念のためサブドメインにしています。(最初は同じドメインにしていたけど途中で変更した。) MTのデータベースを読み書きしたくなかったので、ディレクトリに静的ファイルとして格納されている各記事のHTMLファイルをプログラムで読み込んで、ひとつずつAPIにリクエストして返ってきたデータを別のデータベースに格納しました。 以下、作業メモです。 タグの抽出 タグの抽出対象は各エントリーのタイトルと本文とする。 ApacheではリクエストできるURLが全体で8196バイトという制限があるので、本文が長い場合はその長さを超えないようにバッサリ切る
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RMeCab - Google Groups
形態素解析と分かち書き処理 
ChaSen legacy プロジェクト日本語トップページ - OSDN