Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
”専門用語（キーワード）自動抽出システム”のページ
1.専門用語（キーワード）自動抽出システムとは？ 当サイトでは、専門用語（キーワード）自動抽出システムの基本システムおよび応用システムを提供しています。 専門用語（キーワード）自動抽出システムとは、単なる文章の単語分割ではありません。一般に文章中では複数の単語の組み合わせで複雑な概念を表す場合が多く、文章の内容が専門的な事項に特化すればその傾向はさらに顕著なものとなるでしょう。したがって文章中からキーワードを抽出する場合、単語分割機能だけでは意味を成しません。そこで、このシステムでは、（１）形態素解析プログラムによる単語分割、（２）複合語の作成、（３）文章中における重要度の計算、という３つのステップを踏むことで、複合語により複雑な概念を表すことが多い専門用語をキーワードとして文章中から抽出することに成功しました。 自作の文章からキーワードを抽出したい！ メタデータ作成のためにウェッブサイト
chainerでニューラルネットを学んでみるよ(chainerでニューラルネット2) - 人工言語処理入門
前回の記事ではchainerのインストールからサンプルコードを使って画像識別問題を解くところまでやりました。 hi-king.hatenablog.com 今回の記事では回帰・分類問題用のシンプルなニューラルネットの作り方をやろうと思います。andとxorの論理式を学習させます。chainerでの実装の学習と、あとニューラルネットの教育目的に使いやすいなーと思ったので。2層のニューラルネットまで段階をふんで解説してるんですが、プログラム読むほうが得意、って方は一番最後のコードを先に読んだほうがわかりやすいかもしれません。 追記(7/13)型チェック chainer1.1.0から型チェックが入ったので(https://github.com/pfnet/chainer/pull/95)、識別にはfloat32を入力してint32を出力、回帰にはfloat32を入力してfloat32を出力、とい
日本語で読める自然言語処理の参考書まとめ - 武蔵野日記
第5回入力メソッドワークショップのために京都へ。元々はオープンソース界隈の入力メソッド開発者が中心になって年に1回集まる（同窓）会だったのだが、ここ数年は大学で入力メソッドのレイヤーの研究をしている人や実際に MS, Apple, Google 等入力メソッドの開発に関係している人が中心になってきている。入力メソッドを現在開発していなくても、過去に作っていた人もいらっしゃるので、いろいろとおもしろいお話が聞ける。 自分は去年までは奈良・京都からの参加なので近かったが、今年から東京に引っ越したので、朝起きて品川経由で京都まで。7時40分の便だったが、満席でびっくりした。そうか、世の中的には今日が帰省のピークなのか。 米原で雪のため少し遅れたが、10分遅れで京都に着いたら晴れていた。ワークショップ開催まで時間があったので、NAIST の [twitter:@tom_shibata] さんと近鉄
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
人工知能のクイズ王、APIが一般公開。あらゆるデベロッパーから利用可能に
人工知能のクイズ王、APIが一般公開。あらゆるデベロッパーから利用可能に2013.11.18 21:00 福田ミホ ショッピングサイトでお買い物を手伝ってもらったり、など。 IBMが開発した人工知能のワトソンは、米国のクイズ番組で人間のクイズ王に勝利しただけじゃなく、お医者さんのサポートしたりパティシエになったり、いろんな仕事をこなしてきました。そして今彼は、頼まれた仕事は誰からでも、どんな分野でも引き受けてしまおうとしています。IBMがワトソンをクラウドに載せて一般公開しようとしているんです。 IBMが、2014年にワトソンを一般のデベロッパーに公開することを発表しました。そこでは新しいオープンなAPIが使われ、デベロッパーがワトソンの自然言語処理能力を直接使うコードを書けるようになる予定です。デベロッパーからワトソン君に自然言語で質問の文字列を送ると、リアルタイムで回答を得られる仕組み
Twitterでの番組の評判を番組作りに活かすNHKのつぶやき解析技術
テレビを見ながらその番組についての感想や思ったことをツイートするのは今や当たり前の行為ですが、せっかくそういったツイートがあるのだったら番組制作に何か活かせるのではないか、ということでNHKがつぶやきを解析して分類する技術を開発・運用しています。 展示項目14 評判分析のためのTwitter解析技術 ｜ NHK技研公開2013 http://www.nhk.or.jp/strl/open2013/tenji/tenji14/index.html NHKでは、まずTwitter上で「NHK」というキーワードの入ったツイートを収集しました。すると、その大半はNHKのニュースをリツイートしたものだったり、NHK自体についてのツイートだったりで、正式な番組名が明記されたツイートというのは20～30％でした。そこで、たとえばNHKスペシャルであれば「Nスペ」、クローズアップ現代であれば「クロ現」のよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
goo ラボ - ベータサービス&トライアルサービスを体験