日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
日本語形態素解析ライブラリ Kuromoji のコマンドライン用インターフェイスを書いた - ひだまりソケットは壊れない
Java で書かれた日本語形態素解析ライブラリ Kuromoji を Perl から使ってみたいなー、と思って、別の言語のプログラムから使いやすいようなインターフェイスを書きました。 Kuromoji について kuromoji - japanese morphological analyzer Java で書かれたオープンソースの日本語の形態素解析ライブラリです。 検索用のライブラリらしくて、Apache Lucene と Apache Solr に組み込まれているらしいです。 もちろん検索エンジンとは独立して利用することも可能です。 独立して使用する場合は、単に jar ファイルをダウンロードしてきて Java のライブラリパスに追加するだけ (あるいは公開されている Maven リポジトリを使用して依存関係を解決するだけ) で形態素解析できるようになります。 便利ですね。 Java
母親が自転車で痴漢されたんだが:ハムスター速報 ２ろぐ
母親が自転車で痴漢されたんだが カテゴリ☆☆☆☆☆ 1 ：以下、名無しにかわりましてVIPがお送りします：2009/08/07(金) 17:47:39.63 ID:spsuUm1m0 こういうのって名誉棄損で逮捕とかできんのかな 駅のホームの隣だったらしいけどさ 自転車で痴漢された母親が…なんか泣いて帰ってきてさ すごいつらい…駅のホームを憎む 2 ：以下、名無しにかわりましてVIPがお送りします：2009/08/07(金) 17:48:13.78 ID:AnMq1rL40 ＿＿＿_ ／ ＼ ／ ⌒ ⌒ ＼ 何言ってんだこいつ ／ （●） （●） ＼ | ､" ﾞ)（__人__）" ） _＿＿＿＿＿＿＿＿＿_ ＼ ｡｀ ⌒ﾟ:j´ ,／ jﾞ~~| | | | ＿＿／
PythonからYahoo日本語係り受け解析で形態素解析をする - すぎゃーんメモ
Yahoo!デベロッパーネットワークでアプリケーションIDを登録。 日本語係り受け解析については以下を参考に。 テキスト解析:日本語係り受け解析 - Yahoo!デベロッパーネットワーク http://python.blog-slime.com/2007/07/urllibpost.htmlを参考に書いてみた。 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib appid = '***************(登録したアプリケーションID)' sentence = u'全裸は良くない'.encode('utf-8') postdata = { 'appid' : appid, 'sentence' : sentence, } params = urllib.urlencode(postdata) url = 'http:
キーフレーズ抽出API の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、日本語処理技術部の阿久津剛之です。 Yahoo!デベロッパーネットワークにて、キーフレーズ抽出APIを公開しましたので紹介します。 キーフレーズ抽出APIとは、与えられた文章から、その文章を特徴づける重要な部分（キーフレーズ）を抽出し、独自の算出方法により点数付けを行って返すAPIです。 例えば、「東京ミッドタウンから青山一丁目駅まで歩いて15分かかります」という文章をキーフレーズ抽出APIに与えると、 「東京ミッドタウン」「青山一丁目駅」「15分」 という結果が返ってきます。 ここで、「青山一丁目駅」に注目してみましょう。 「青山一丁目駅」は、日本語形態素解析APIを用いて解析すると、 青山 / 一 / 丁目 / 駅
日本語係り受け解析APIとマッシュアップ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サービス統括部のS・Kと申します。 前回お送りしました「日本語形態素解析APIとマッシュアップ」に続きまして、Yahoo! JAPANが提供するWeb APIの中でも難解であろう「日本語係り受け解析API」を前回と同様、皆様のマッシュアップにお役立ていただけるようなじみの薄い自然言語処理用語の解説と共に分かりやすくお伝えできればと思います。 まずは、前回のおさらいです。 形態素解析は日本語の文を言語として意味を成す最小単位の「形態素」に分ける解析処理でした。そして、日本語形態素解析APIは「形態素」に分け、合わせて「品詞」情報が取得できましたね。 係り受け解析は、その形態素解析処理を元にさらに一歩踏み込んだ情報の解析をします。 そ
人工無脳は考える
人工無脳は気軽に「らしさ」を楽しむことができる、知能を持たない会話プログラムです。しかし人工無脳との会話はときとして、論理で固められた人工知能が持ち得なかった人間らしさ ― 即興、いたずら心、感情 ― を私たちに感じさせてくれます。その意味では知能の本質を追求するための別の切り口なのかもしれません。このようなロマンを追い求めて日頃とりとめもなく考える雑談的トピックをまとめてみました。 最近の記事より 厳選おすすめ＆人気書籍 2008/09/28■自我状態を考慮した人工無脳 - 追記 人工無脳は会話の中でユーザに不自然さを感じさせ、会話が続かなかったり、拒絶されるという点が課題となっている。この原因の一つに人工無脳の印象やムードがでたらめに変化し安定していないことが挙げられる。一方、人は通常意識することなく相手に不適切なメッセージが伝わることを避けてうまくコミュニケーションをはかっている。
マルコフ連鎖による文章の自動生成 - Kentaro Kuribayashi's blog
「PEAR::Net_SmartIRC を使って、一定間隔でニュースを配信する IRC BOT を作成する」で作成したごく簡単な BOT はしかし、外部のリソースをひっぱってきて、それを単にそのまま流すことしかできません（RSS をパースする処理はあるけど、本質的には垂れ流してるだけ）。通常 IRC BOT というと、チャンネルのメンバが喋った言葉を憶え、それらをアレンジしたデータを用いて、時には当意即妙に会話に介入することもあればまるで的はずれな発言で場を微妙な雰囲気に陥れることもあるといったものですし、また、なかには日記や Blog を書くすごい BOT さんもいます。 そうなると当然、次の目標は「おしゃべりをする、あるいは日記を書く BOT を作成する」というものになるわけですが、まぁ僕の頭ではいきなりそんなことを実現することは不可能ですし、また、そのような方向で BOT を作成する
MeCab: Yet Another Part-of-Speech and Morphological Analyzer(形態素解析エンジン)
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2008-02-03 MeCab 0.97 マルチスレッド環境で辞書を開くときの排他制御がうまくいっていなかったバグの修正 Windows版でインストール時に辞書の文字コードを指定できるようになった 一部のコンパイラで正しくコンパイルできなかった問題の修正 部分解析モードを変更するAPI の追加 (Tagger::set_partial()) ラティスの生成レベルを変更するAPI の追加 (Tagger::set_lattice_level()) 温度パラメータを変更するAPIの追加 (Tagger::set_theta()) 全候補出力モードを変更するAPIの追加 (Tagger::set_all_morphs()) 2007-
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
トップページ