自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData
言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。 この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現しているかのような性質が認められている。今年9月、当社がスポンサー参加した自然言語処理系の研究発表会「NLP若手の会 第9回シンポジウム」でも、多くの研究がWord2Vecに関連したテーマについて取り上げていた。今後、意味解析、文書分類、機械翻訳など様々な分野でWord2Vecの応用が期待されている。 「意味ベクトル」の驚異的な性質 Word2Vecは、その名前の表す通り、単語をベクトル化して表現する
コンピュータがクイズチャンピオン破る
今日という日は自然言語処理業界はもとより，コンピュータの歴史の中で大変重要な日になったことでしょう．IBMのProject Watsonが，アメリカの人気クイズ番組Jeopardy!で，歴代のチャンピオンに勝利したのです． ＩＢＭスパコン、クイズ王者２人と対決し完勝 米番組 コンピュータWatson vs クイズ王の対戦 - Jeopardy! このプロジェクトは私が入社したころからすでに始まっていて，こういうチャレンジは本当にすごいなぁ，と思っていました．本当はこの日記も対戦日が決まったときに書こうと思って忘れていたのですが． では，何がそんなに画期的なのか．それは，クイズに答える，もう少し汎用的に言えば質問に答える，という作業はコンピュータにとってもっとも難しいタスクのひとつなのだということです．自然言語処理のタスクのひとつで，Question Answering (QA) と呼ばれま
楽天、技術研究所を米国ニューヨーク市に開設 - ニュースリリース - 【楽天株式会社】会社情報
楽天株式会社（本社：東京都品川区、代表取締役会長兼社長：三木谷 浩史、以下 楽天）は、インターネットの未来を予測し、新たなテクノロジーを創出するための研究機関「楽天技術研究所」の初の海外拠点として、「楽天技術研究所 New York」を米国ニューヨーク市に新設いたしましたので、お知らせします。 楽天技術研究所（所在地：東京都品川区、所長：森 正弥、設立：2005年12月）は、関係する研究者たちの専門性を生かした活動をサポートし、インターネット全般における先進的技術を革新的なサービスにつなげる研究機関です。そのほか、インターネット企業として産学連携にも積極的に取り組んでおり、教育機関と人材交流を図りつつ、アカデミックな知識を取り入れながら研究を進めています。 楽天は、グループのグローバル化を加速しており、最先端のテクノロジーを用いて、技術的側面から国際化を支えるため、その第一弾として、楽
Twitterの投稿内容から鬱度を測定する - Unchained Life
もうすぐ5月です。 Twitterの投稿内容から鬱度を測定するRubyスクリプトを書いてみました。 これには東京工業大学の高村さんが公開している単語感情極性対応表というものを使っています。 http://www.lr.pi.titech.ac.jp/~takamura/pndic_ja.html これはある単語がどの程度の感情を表すかを数値化した表で、-1 ~ +1 までの値が特定の単語に割り当てられています。 その単語がネガティブな感情表現だとマイナスの値、ポジティブな感情表現だとプラスの値になっています。 なので、鬱度を測定といってもポジティブな投稿内容が多いときにはプラスの値を返します。 また日本語文の形態素解析にはYahoo!の日本語形態素解析APIを使っています。 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html ア
川柳の自動生成アルゴリズムの紹介（どうしたら 機械で川柳 詠めるかな）
こんにちは。エイプリルフールに 1 日だけローンチした Google 川柳、お楽しみいただけましたか？エイプリルフールが終わってしまったのでサービスはもうありませんが、せっかくなのでその裏側をすこしご紹介します。 今回は、Google が人工知能 CADIE を開発し、その CADIE が世界中で面白いサービスを提供するという設定で Google 川柳を提供しました。人工知能 CADIE は架空のものですが、コンピューターによる川柳の自動生成を行ったのは、ウソではありません。 ここでは、その川柳をコンピューターに生成させた手順を簡単にご紹介します。 川柳とは何かを学習する まず、本物の川柳/俳句を Web 上から集めました。集めた作品を解析し、俳句/川柳にありがちな品詞の並びパターンを学習しました。「瞬間」を切り取る 川柳/俳句には、「話題」が必要になります。これは、Web ページからラン
Perlモジュール Lingua::LanguageGuesser のお試しページ
Perlモジュール Lingua::LanguageGuesser の お試しページです Webページもしくは指定したテキストが何の言語で書かれているかを判定します。なお、このWebアプリケーションは、自作のPerlモジュール Lingua::LanguageGuesser を 元にしています。 Usage 次のいずれかの方法で言語判定を行うテキストを指定してください。 WebページのURLを指定 テキスト欄にコピー＆ペーストなどでテキストを入力 パソコン上のファイルを指定 (フラットなテキストファイルとHTMLに対応しています) "判定"ボタンをクリックします しばらく待つと、もっとも統計的に可能性が高い言語と、類似度の高い順に並んだ各言語の一覧が表示されます。 ●URLを入力してください ●文章をコピー＆ペーストなどで入力してください ●パソコン上のファイル(フラットなテキストファイル
大規模データを基にした自然言語処理 - DO++
人工知能基本問題研究会 (SIG-FPAI)でタイトルの題目で一時間ほど話してきました。 発表資料 [pptx] [pdf] 話した内容は - 自然言語処理における特徴ベクトルの作り方と、性質 - オンライン学習, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾配降下法 (SGD) - L1正則化, FOLOS - 索引を用いた効率化, 全ての部分文字列を利用した文書分類 で、スライドで70枚ぐらい。今までの発表とかぶっていないのはPA CW SGD FOLOSあたりでしょうか オンライン学習、L1正則化の話がメインになっていて、その両方の最終形の 確率的勾配降下法 + FOLOSの組み合わせは任意の損失関数に対してL1/L2正則化をかけながらオンライン学習をとても簡単にできるという一昔前
日本語係り受け解析APIとマッシュアップ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サービス統括部のS・Kと申します。 前回お送りしました「日本語形態素解析APIとマッシュアップ」に続きまして、Yahoo! JAPANが提供するWeb APIの中でも難解であろう「日本語係り受け解析API」を前回と同様、皆様のマッシュアップにお役立ていただけるようなじみの薄い自然言語処理用語の解説と共に分かりやすくお伝えできればと思います。 まずは、前回のおさらいです。 形態素解析は日本語の文を言語として意味を成す最小単位の「形態素」に分ける解析処理でした。そして、日本語形態素解析APIは「形態素」に分け、合わせて「品詞」情報が取得できましたね。 係り受け解析は、その形態素解析処理を元にさらに一歩踏み込んだ情報の解析をします。 そ
サイバーエージェントとIBM、ブログのユーザー行動とテキストデータを複合的に分析する技術を共同開発
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生きあたりまったりブログ
クローリングしてる暇があるなら…論文かいたら? | EDGE Datasets(研究用データセット)