日本語入力について - アスペ日記
私が日本語入力について思っていることを書いてみる。 自分としては、デフォルト以外の日本語入力システムとして、ATOK と Google 日本語入力ぐらい（まあ、Baidu IME とかもあるが）しかないのが心の底から残念でたまらない。 雑誌の特集などで、Google 日本語入力と ATOK に単語や文章を変換させて精度を比較しているものを見かける。まあ総合的には同じぐらいの結果になっている。だが、実際に長い間使っているとわかるのだが、Google 日本語入力の間違え方のほうが「理不尽」なのだ。どうしてこれがこうなる？ と思わず言いたくなるような。その点、ATOK は弱い部分が前もってわかる。アニメやゲームなど、マニアックな変換には弱い。しかし、ATOK である程度日本語の文章を打ち慣れた人にとっては、そういう「難しいだろうな」と思うようなところは、打つ前からそのことがわかるものだ。 ATO
形態素解析の過去・現在・未来
NLP コロキウム https://nlp-colloquium-jp.github.io/ で発表した際のスライドです。 論文: https://arxiv.org/abs/2205.01954 GitHub: https://github.com/joisino/wordtour 概要 単語埋め込みは現代の自然言語処理の中核技術のひとつで、文書分類や類似度測定をはじめとして、さまざまな場面で使用されていることは知っての通りです。しかし、ふつう埋め込み先は何百という高次元であり、使用する時には多くの時間やメモリを消費するうえに、高次元埋め込みを視覚的に表現できないため解釈が難しいことが問題です。そこで本研究では、【一次元】の単語埋め込みを教師なしで得る方法を提案します。とはいえ、単語のあらゆる側面を一次元で捉えるのは不可能であるので、本研究ではまず単語埋め込みが満たすべき性質を健全性と完
HTML5のアウトラインって何？xhtmlとHTML5のコードを比較してアウトラインを理解しよう！ | HTML5でサイトをつくろう
前回のエントリーではサンプルソースを基にHTML5の新要素について確認しました。前回のエントリーをご覧になっていない方はこちらからご覧になれます。 【前回のエントリー】 HTML5は難しくない? HTML5から追加された新要素を理解しよう！【初級編 第2回：HTML5のマークアップ】 HTML5は難しくない!? XHTML1.0とHTML5のコーディングの違いを確認してみよう！【初級編：HTML5のマークアップ】 今回はそのサンプルソースからアウトラインを確認していきます。アウトラインはHTML5でコーディングする場合にとても重要な部分になりますが、構造的な話になるのでわかりにくく感じしてしまうと思いますので、アウトラインを視覚化する『HTML 5 Outliner』を利用してxhtmlとHTML５の違いを比較しながら理解を深めていきたいと思います。 アウトラインとは まずはアウトラインに
単語と文字の話 - Preferred Networks Research & Development
4月からPFIで働いてます。海野です。 今日は単語の話をします。読み物的な話なので軽く読んでください。 テキストデータなどの自然文を機械処理するときには、まず最初に単語に分割するということをよく行います。一般的にはMeCabやChasenといった形態素解析エンジンに投げて行います。形態素と単語の区別という話もあるのですが、ここでは大雑把に「連続した文字列の単位」くらいの意味で話します。 検索という文脈ですと形態素インデックスという言葉がありますが、これは検索の最小単位を文字単位ではなくて形態素の単位にするということです。例えば「東京都」は「東京」「都」に分かれるため、「京都」というクエリに対して見つかるのを防ぐなど、精度を上げる効果があります。反面、深刻な検索漏れを引き起こす可能性があるため嫌われることが多いです。こうした漏れは検索に限らず、テキストマイニングなどの文脈でも問題となることが
自然言語処理の定番の教科書まとめ - 武蔵野日記
自然言語処理や機械学習でいくつか新しい教科書的なものが登場してきたので、まとめてみようと思う。 教科書について。Introduction to Information Retrieval Introduction to Information Retrieval 作者: Christopher D. Manning,Prabhakar Raghavan,Hinrich Schuetze出版社/メーカー: Cambridge University Press発売日: 2008/07/07メディア: ハードカバー購入: 7人 クリック: 115回この商品を含むブログ (37件) を見るの翻訳が進んでいる(あとこれを研究室の輪読に使っていたりする)という話を聞いたりするのだが、やっぱり知識として知っておくべき本というのと、そこから超えていく本というのは違うものであって、どれだけ研究が進んでも、分
思いどおりの日本語入力 - Google 日本語入力
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
ヤフーが『キーフレーズ抽出Web API』公開、日本語解析し特徴的な表現抽出 | ネット | マイコミジャーナル
ヤフーは4日、インターネット関連の開発者向けに同社が提供する一部のサービスやデータベースへのアクセスを無料で公開するサービス「Yahoo!デベロッパーネットワーク」において、『キーフレーズ抽出Web API』を公開したと発表した。 ヤフーでは、オープン化戦略の一環として、「Yahoo!デベロッパーネットワーク」において、一部のサービスやプラットフォームのAPI開放を進めているが、この中でも「日本語処理技術の公開についても注力している」(ヤフー)。 今回公開された『キーフレーズ抽出Web API』は、日本語のテキストを解析して特徴的な表現を抽出する機能を提供。これを利用すると、例えばブログの文章から話題となっているフレーズを抽出したり、キーフレーズの組み合わせで作成した検索式を使って、関連性の高いドキュメントを検索するアプリケーションを開発することができる。 用途としてはほかにも、ニュースな
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
404 Blog Not Found:perl - SayKanji + Yahoo API = itte.pl
2009年05月22日20:30 カテゴリLightweight Languages perl - SayKanji + Yahoo API = itte.pl というわけで、私も作ってみた。 SayKana - Mac用音声合成プログラム saykanjiコマンドを定義して漢字仮名混じり文を読み上げる - ザリガニが見ていた...。 % itte.pl '小飼弾ってちゃんと読んでくれるよ！' % itte.pl 'Englishが混じってもOKだよ！' 以下、ソース。 #!/usr/local/bin/perl # # $Id: itte.pl,v 0.1 2009/05/22 10:12:26 dankogai Exp dankogai $ # use strict; use warnings; use URI; use LWP::Simple; use XML::Simple; my
自然言語処理は Python がいちばん - 武蔵野日記
現在大学1年生の人で3年後には NAIST に (というか松本研に) 来たいという人から「どんなプログラミング言語やっておくといいですか」と質問されたりするのだが、なかなか答えるのは難しい。自分は Perl → Python がメインでときどき C++/C# を使ったりするのだが、どれが一番いいかはなんとも言えないので、自然言語処理以外に転向する可能性も考えると、C とか C++ とか Java とか(授業でそちらをやるのであれば)を最初の武器に選んだ方がいいのでは、と思ってはいる。 そんなこんなで最近 Hal Daume III (機械学習を用いた自然言語処理では非常に有名な人) のブログで Language of Choice というタイムリーなエントリーが出ていたので、紹介すると、「それなりに大きな自然言語処理のプロジェクトでどのプログラミング言語を使うのか」というアンケート結果が出
自然言語処理関連の学会・研究会 (国内編) - まきもと＠ねっとわーく
ものすごくご無沙汰のエントリになります*1。春ということで、これから自然言語処理を始めようという方もたくさんいると思います。そういった方々がどのような学会や研究会を調べれば良いのか紹介したいと思います。 自然言語処理は機械学習、人工知能、データベース、言語学、認知心理学、音声言語処理などの境界分野としての側面もあるので、一概にどこからどこまでが自然言語処理の範疇であると明言はできませんが、取り敢えず、メイントピックとして自然言語処理を掲げていて、NLPの研究者が関わるであろう団体を並べています。 言語処理学会 (NLP)その名の通り、自然言語処理をメイントピックとして扱う学会です。ジャーナル『自然言語処理』の刊行と年に一度の言語処理学会年次大会の開催を行なっています。年次大会には国内 (と一部国外) の自然言語処理研究者が集まる国内最大規模の自然言語処理を中心とした会議です。発表は査読なし
人工無能の作り方
書いた人 INA 人工無能とは？ 人間っぽく話すプログラムのこと。会話を理解しているというよりは、なんかそれっぽいことを話すだけのものが多い。 今回は「日本語のようなものを話す人工無能」を作ってみたので、その簡単な仕組みと工夫した点について少し書いてみることにする。 動機 うちのサークルのメンバーがよく集まってるチャット。とてもマニアックな どうしようもない 会話が繰り広げられているわけだが、ちょっと物足りない。 そうだ！ 萌キャラがいないじゃないか！ 「ないなら作ればいいじゃない？」 材料 MeCab 形態素解析エンジン 難しいことは知らなくても問題ない。 「私は変な人ではない」 ↓ 私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 変 名詞,形容動詞語幹,*,*,*,*,変,ヘン,ヘン な 助動詞,*,*,*,特殊・ダ,体言接続,だ,
ヤフー、かな漢字変換Webサービスを公開--MS-DOS時代に全盛の「VJE」をAPI化:ニュース - CNET Japan
ヤフーは5月27日、「Yahoo!デベロッパーネットワーク」で「かな漢字変換Webサービス」を公開した。 Yahoo!デベロッパーネットワークは、インターネット関連の開発者向けにYahoo! JAPANの技術仕様を公開し、一部のサービスやデータベースへ無料（1日当たり5万リクエストまで）でアクセスできるサービスだ。これを使うことによって、外部の開発者はYahoo! JAPANのデータベースを活用したサービスやソフトウェアを開発することができ、ウェブ検索をはじめ、現在10分野のWebサービスを公開している。 今回公開されたかな漢字変換Webサービスは、日本語入力プログラム「VJE」（VACS Japanese Entry）をAPI化した。VJEは、もともとバックスが開発したプログラムで、MS-DOS全盛の時代には強い支持を受けたプログラムだ。バックス社は2006年6月に休眠しているが、それ以
Web上の漢字を自動的にひらがな変換、児童用ブラウザ「ひらがな・なびぃ」 | ネット | マイコミジャーナル
富士通ラーニングメディアはこのほど、Webサイト上の漢字をひらがなに変換して表示する児童用ブラウザ「ひらがな・なびぃ」の提供を開始した。子供がひとりでもWebページの内容を理解できるよう、指定されたサイト内にある漢字を自動的にひらがなに変換して表示することができる。 マイコミジャーナルの記事を、学年レベルを「小学校3年生」、表示スタイルを「かっこ」と設定してひらがな変換した例 表示スタイルは、漢字をひらがなに置き換える「ひらがなのみ」のほか、漢字の上にかなを表示する「ふりがな」や、漢字の後ろにカッコ書きする「かっこ」、オンマウスで読みが表示される「ふきだし」などを設定できる。 また、学年別漢字配当表を元に変換を行うため、設定された学年に合わせたレベルでの表示が可能だ。さらに、URLと単語を単位とした「有害情報フィルタリング機能」を搭載しており、子供がひとりでインターネットを使う際にも、読み
勃興期にあるセマンティックウェブ、注目の10アプリケーションの現在:コラム - CNET Japan
2007年10月にサンフランシスコで開催されたイベントWeb 2.0 Summit。そこでのハイライトのひとつは「セマンティックアプリケーション」が一勢力として出現したことだ。ここでは、必ずしもその意味をTim Berners-LeeのW3Cが率いるRDFやOWL、その他のメタデータ標準などを掲げる技術への取り組みに限定していない。セマンティックアプリケーションはそれらの技術を使う場合もあるが、常にそうとは限らない。これは、後述するセマンティックアプリケーションFreebaseの開発者Danny Hillis氏が指摘した論点だ（同氏はBerners-Lee氏と同じくらいに技術界では知られた人である）。 この記事の目的は、10のセマンティックアプリケーションを紹介することだ。これを「トップ10」などと大げさに言うつもりはない。現時点ではこれらのアプリケーションに順位を付ける方法などない―多く
【インタビュー】Webはもっと人間に近くなる - 自然言語検索ベンチャーのQ-goの挑戦 (1) 検索エンジンはもっとヒトにやさしくあるべき | ネット | マイコミジャーナル
現在のインターネット検索は、キーワードをベースとしている。だが、長い検索結果リストにうんざりしたり、リストの中から探している情報を得られなかった経験も多いだろう。自然言語とセマンティックを用いた検索技術を開発するベンチャー企業Q-go(オランダ)は、Webが人間のようになる時代が来ると信じている。同社のCEO、Marcel Smit氏に話を聞いた。 Q-go CEOのMarcel Smit氏 --Q-goについて教えてください。 創業は1999年です。検索エンジン開発を目的として設立しましたが、2000年に方針を転換しました。大企業サイトで情報を探しにくいという問題があることに気がつき、この分野にとりくむべく戦略を変えました。そして、このころに獲得した新しい資金を利用して、さまざまな国のコンピュータ言語学者と協業し、言語学的なアルゴリズムをソフトウェアプラットフォームに組み込みました。 た
「圧縮新聞」を作った - phaの日記
僕は昔からロボットがロボットなりに変な文章を生成して喋ったりする人工無脳とかそういう仕組みが好きで、最近はそのへんの仕組みを勉強していました。それで大体仕組みの基本はわかったので簡単なスクリプトを書いてみたよ。 圧縮新聞 このスクリプトはウェブ上にある新聞社とかのニュースの文章を元にして、バラバラにして圧縮してまとめた文章を作るので、ざっと眺めるだけでその日起こった事件の全体が何となくわかるかもしれません。リロードするたび文章は変わります。 生成例 しょうゆ・みそ業界大手のＮＯＶＡ（大阪市）が入った郵便小包は、北朝鮮の鉄道網を連結する計画だったらしいことが２１日、わかった。タンクに灯油を補給した。検案の結果、財政難などをほとんど与えずに６者協議の外相会議の早期再開に期待を表明した国と製薬会社に賠償を求めた。その後、死亡した。 しくみ こういった人工無脳みたいな文章生成をするには形態素解析と
辞書を使わずに同義語を解析する言語解析エンジン，Sematicsが発表
Sematicsは6月15日，言語解析エンジンの最新版「Perceptron Engine」を発表した。語句の辞書データを使わずに解析するため高速という。同社の従来エンジン「Automaton Parser」で実現していた形態素解析と構文解析に加え，文脈解析と意味解析の機能を備えた。 同社の言語解析エンジンの特徴は，語句の辞書データを用いずに解析を行うこと。辞書が必要ないため，高速に処理できるほか，フット・プリントをコンパクトにできる。「（パソコンを使って）1センテンスを1000分の2秒で解析できる。500センテンスの解析は1秒で済む」（代表取締役の吹谷和雄氏）という。 同社が開発した第1号のエンジンであるAutomaton Parserは，統計的確率論によって，形態素解析と構文解析を実行するソフトである。語句を分割した最小単位である形態素ごとに分けて品詞を付与し，文節の係り受けを解析する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
自然言語処理
PC