研究者らが無償のオープンソース版Siriを開発 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image Credit: Bhupinder Nayyar/Flickr AppleやMicrosoftのような大手テクノロジー企業は、モバイル機器に搭載されたパーソナルデジタルアシスタント機能を多くの人に提供してきた。そのおかげでユーザはデバイスに話しかけるだけでアラームをかけたり、質問の回答を得たりすることができるようになった。現在、他の企業も新しいオープンソースのソフトウェアを用いて、それぞれ独自のバージョンのアシスタント機能を作成することが可能になった。そのソフトウェアは、Sirius。もちろん、AppleのSiriをもじったものだ。 今日、トルコで開かれている「プログラム言語およびOS向けアーキテクチャサポートに関する国際会議」にて、ミシガン大学の研究者らがSiriusについてのプレゼンテーションを行った（編集部注：原文掲載3月14日）。時を同じくした今朝、SiriusはPro
Japanese Parallel Data
This is a list of data that can be used for creating machine translation systems to-from Japanese. It focuses on Japanese-English, but at the bottom there is info on data sets for Japanese aligned with other languages as well. If I am missing any data, please tell me! If you want a general purpose list of parallel texts, there are several others: 1 2 3. Japanese-English Parallel Corpora These corp
ニコニコ動画のデータセットが公開されたらしい - 唯物是真 @Scaled_Wurm
研究用にニコニコ動画のコメント約300GBを公開‐ニコニコインフォ 情報学研究データリポジトリ ニコニコ動画コメント等データ 国立情報学研究所のダウンロードサービスでニコ動のデータセットが公開されていたので、とりあえずダウンロードしてみました ダウンロードの手順 以下のページで、名前、メールアドレス、所属を入力すればよいみたいです。 情報学研究データリポジトリ ニコニコ動画コメント等データ 申請 データの形式 行ごとにそれぞれの動画のjsonが書かれたファイルがたくさんあります。 コメントのデータもありますが、ユーザーに関する情報はないみたいです 動画の説明などには<b></b>や<font></font>、<br />などのHTMLタグが含まれていましたので、それらの除去が必要になりそうです タグの頻度 なんか面白いことできないかなーと考えたんですが、何も思い浮かばなかったので、とりあえ
ニューラルネットの逆襲 - Preferred Networks Research & Development
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
博物館所蔵の芸術作品の画像：オープンアクセスの経験（4） / クリスティン・ケリー - 翻訳記事 - みんなの翻訳
2018年05月30日 平素よりみんなの翻訳サイトをご利用いただき誠にありがとうございます。 この度、2018年05月30日 10:00より、サーバ移行に伴いサービスを一時停止させていただきます。 ※作業完了予定は未定となります。 完了時期が分かり次第、サイト上で連絡させていただきます。ご迷惑をお掛けし、申し訳ございませんが、しばらくお待ちください。
大規模データで単語の数を数える - ny23の日記
大規模データから one-pass で item（n-gram など）の頻度を数える手法に関するメモ．ここ数年，毎年のように超大規模な n-gram の統計情報を空間／時間効率良く利用するための手法が提案されている．最近だと， Storing the Web in Memory: Space Efficient Language Models with Constant Time Retrieval (EMNLP 2010) とか．この論文では，最小完全ハッシュ関数や power-law を考慮した頻度表現の圧縮など，細かい技術を丁寧に組み上げており，これぐらい工夫が細かくなってくるとlog-frequency Bloom filter (ACL 2007) ぐらいからから始まった n-gram 頻度情報の圧縮の研究もそろそろ収束したかという印象（ちょうど論文を読む直前に，この論文の7節の
第33回 Twitterのつぶやきから年代や性別などが分かるプロフィール自動推定技術の開発に成功 | すすめ！ KDDI 研究所 | KDDI株式会社
インターネットの普及により、一般消費者が製品やテレビ番組などのコンテンツに対する意見や感想を、Twitter、ブログ、ウェブ掲示板などで発信する機会が増えています。こうした新しい動きを捉え、ウェブ上の書き込みをマーケティングに応用する“評判解析技術”への注目が高まっています。 ところが、Twitterなどでユーザーの年齢や性別などを記入するプロフィール欄は、ほとんどが空欄です。そのため、意見や感想を集めることはできても、どのような人たちが肯定的で、否定的なのはどういった人たちなのかといった詳細な分析を行うことはできません。 そこでKDDI研究所では、Twitterなどの書き込みを解析することで、投稿者のプロフィール（年代、性別、職業、居住地、趣味など）を自動推定する技術の研究に着手し、業界に先駆けて開発に成功しました。この技術を利用してTwitterでプロフィールが確認できた約1万ユーザー
言語処理学会第17回年次大会(NLP2011)ワークショップ 「自然言語処理における企業と大学と学生の関係」
本ワークショップは終了いたしました。ご協力いただいた皆様、どうもありがとうございました。 twitterのまとめ。 twitterのハッシュタグは #gengo2011ws です。 自然言語処理に関係した企業と大学と学生の関係が変化しています。 自然言語処理に関する大学での研究内容と企業での応用が非常に近くなって来ています。 企業がデータを大学等に提供し、その研究成果が社会に還元される仕組みができつつあります。 多くの学生は大学での研究活動の後に企業に入り、研究所や事業部での活躍が期待されています。 企業はより優秀な頭脳を集めるために、これまでの枠に捕われない採用姿勢をとる傾向が強まっています。 インターン制度により学生が企業の中身を事前に知ることができるようになっていますが、範囲は限定されています。 本ワークショップでは、企業、大学、学生の３者の間での相互理解を目的に、それぞれの 立場や
いまこそ言語処理を始めるチャンス - コーパスいぢり 〜langstatの研究日誌〜
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUD
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり基本的なことからそこそこ高度なことについて解説されてあり，自然言語処理について理解が深まり過ぎる ボリュームがあるのに書き方が平易でついつい読みふけってしまう 演習問題があり，自分の理解度を確かめられたりするのもケシカラン 原著は欧米語のための言語処理について書かれた書籍なのに，日本語の形態素解析などについても解説してあって我慢できない 必要ライブラリのインストールなど環境構築に時間が取られそうでヤバい 書籍の応用でBotとか人工無能とか作ったらどうかな−，と
Web AI
JavaScriptライブラリ「Web AI」 はじめに ※ 「Web AI」のネット上からの情報取得部分は、Google他のAPI終了に伴い、利用できなくなっています。しかし、その他の部分は、現在でも利用可能な内容ですので、そのまま公開を継続します。（2017-08-23） 「Web AI」は、ネット上の情報を利用して、人工無脳的なプログラムを書くためのJavaScriptのライブラリです。本ライブラリは、Webから取得した情報の処理を効率化して、インテリジェンスな何かを生み出すことを目的にしています。 「Web AI」が持っている機能は、以下の通りです。 検索処理およびRSSフィード取得のメソッド・チェーン化（Google Ajax APIを使用） 断片的な日本語文章からのキーワードと文章の抽出 日本語文章のマルコフ連鎖 URLクエリーの解析と構築 URLクエリーの圧縮と解凍 短縮UR
「Google検索に欠けている情報を」 Web上の評判や対立意見を抽出、NICT「WISDOM」
情報通信研究機構（NICT）は8月9日、キーワードやフレーズを入力すると、Web上での評価や、評価を発信している発信者の情報を抽出・分析できるシステム「WISDOM」（Web Information Sensibly and Discreetly Ordered and Marshaled）を公開した。NICTが独自に収集した5億件以上の日本語ページを対象に分析する。 入力したキーワードについて、Web上にある肯定・否定意見の割合や内容を表示したり、「企業」「政府」「Q＆Aサイト」など発信者ごとに絞って検索結果を確認できる。単語だけでなく、「うがいの効果」「バイオエタノールは環境に良い」などフレーズや短文でも調べられる。 （1）発信者を自動抽出し、専門性の高い順に順位づけする「情報発信者分析技術」、（2）意見や評価を抽出し、肯定・否定を判断する「評価情報抽出技術」、（3）関連するワードや対
【受賞作品発表】不自然言語処理コンテスト開催報告～ほんとにやったよスイカ割り～ | Baidu Japan Blog
こんにちは、プロダクト事業部の水野貴明＆マーケティング部の上之山奈津希です。 先日、こちらでも告知した不自然言語処理コンテストは、募集期間中に計26作品をご応募をいただき終了いたしました。 ここでは、4つの受賞作品（グランプリ、準グランプリ、審査員特別賞、LightningTalk*賞）の発表と、LTとスイカ割りで大盛り上がりを見せた表彰イベントの様子をレポートいたします。 *Lightning Talk(LT)=短いプレゼンテーション 受賞作品 審査会は、荒牧英治氏（東京大学 知の構造化センター 特任講師 @aramaki ） と 竹迫良範氏（サイボウズ・ラボ株式会社 @takesako ）を審査員としてお招きし、バイドゥのエンジニア水野貴明（@takaaki_mizuno）と 萩原正人（@mhagiwara）共に行ないました。また、LT賞の決定には、イベントに参加いただいた約50名の皆
日本語述語項構造解析器 YuCha 「夕茶」
目的 「述語項構造解析」とは文書中の各述語に対して，「項」となる名詞句等を当てることです． 私は今日，トマトカレーを(1)食べました． 明日は太郎とインドカレーを(2)食べにショッピングセンターに(3)行く予定です． 上の例では， 私が トマトカレーを 食べる 私が インドカレーを 食べる 私が ショッピングセンターに 行く ということを当てるのが目的です． このようなことが分かれば，表面的な記述に惑わされない自動翻訳や， 精度の高い情報検索などに役立ちます． 開発状況 TODO 述語の格フレーム判定等，まだまだ未実装の機能がたくさんあります． $ ./bin/default/yucha /tmp/ntc 私は今日，トマトカレーを食べました． 明日は太郎とインドカレーを食べに，ショッピングセンタへ行く予定です． EOT GA 0 私は 食べました． GA 1 私は 食べに， GA
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語処理100本ノック 2015
形態素解析の過去・現在・未来
自然言語処理
はてなブログ | 無料ブログを作成しよう
theta.ne.jp
Baidu Japan（バイドゥ株式会社）