【転職会議】クチコミをword2vecで自然言語処理して会社を分類してみる - Qiita
はじめに LivesenseAdventCalendar 2016 の20日目を担当する @naotaka1128 です。 現在、転職会議という転職クチコミサービスのデータアナリストを担当しております。 転職会議は会社のクチコミが数百万件集まっている日本最大級の転職クチコミサービスです。現状はクチコミや評点を表示しているだけなのですが、今後はクチコミを自然言語処理などで分析して今までは手に入らなかったような有益な情報を世の中に提供していきたいと思っております。 今回はその取っ掛かりとして word2vec および doc2vec という自然言語処理の技術を用いてクチコミを分析し、会社の分類などを行ってみようと思います。 使用する自然言語処理技術 昨今、word2vecという自然言語処理の技術が話題です。ご存じの方も多いかと思いますが、大量の文章をもちいて単語をベクトル表現で数値化し、以下の
yazztter(yet another buzztter)をつくりました - Unchained Life
Twitterにおいて、今ホットなキーワードをおしえてくれるボット、yazztterを作りました。 http://twitter.com/yazztter 背景 前からこんなのをちょっと作ってみたかったのというのと、ちょうどチームラボのアルゴリズムコンテストというものが開かれていたので、ちょうど良いタイミングだと思い、作ってみました。 http://www.team-lab.com/news/index.php?itemid=469 中身 同様のボットとしてbuzztter(http://twitter.com/buzztter)がありますが、ホットなキーワードを導出するための方法が異なっています。 yazztterでは、東京工業大学の藤木さんたちが提案した以下の手法の一部を用いています。 http://www.lr.pi.titech.ac.jp/blogwatcher/paper/NL
コンピュータが選ぶ「世界のトップ・ニュース」
「これが，どうしてトップ・ニュースになるのかな？」「また今日も同じニュースか・・・」「どこを見ても同じニュースだな」「こんな無意味なこと，公共の電波に乗せる価値があるのだろうか」「他にもっと大切なことあるんじゃないの？」―――テレビや新聞で報道されるニュースの選択基準に，日ごろから疑問を抱いている人は結構多いのではないかと思う。 当たり前の話だが，ニュースは報道機関の編集者が選ぶ。複数の人たちが頭を寄せ合って選ぶとはいえ，しょせんは人間の「主観」に依存している。つまり，ある人にとってはつまらないことが，別の人にとっては重要な意味を持つのだ。 また，ニュースの報道プロセスに，政界や企業スポンサーから暗黙の圧力がかかることもある。あれやこれやの理由から，「客観的・中立的に」ニュースを選んで報道するのは極めて難しいのだが，それでもできるだけ「客観的・中立的な」選択基準に則っているのが望ましい。
辞書不要の形態素解析エンジン「マリモ」とは − ＠IT
2007/08/15 検索サービスを提供するベンチャー企業のムーターは8月1日、辞書を必要としない形態素解析エンジン「マリモ」の提供を開始した。従来、形態素解析では品詞情報を含む日本語辞書を用意するのが常識だったが、マリモでは、そうした辞書を不要とした。新技術のアプローチと特性について、開発元のムーターに話を聞いた。 統計処理で単語部分を推定 形態素解析とは、与えられた文を、文法上意味のある最小の単位（形態素）に区切る処理。「今日は晴れています」なら、「今日（名詞）／は（助詞）／晴れ（動詞）／て（助詞）／い（助詞）／ます（助動詞）」と分ける。検索エンジンをはじめ、さまざまな自然言語処理の場面で必要となる基礎技術だ。 形態素解析を行うには、あらかじめ品詞情報が付加された数十万語からなる辞書を用意する必要がある。また、新語や造語、専門用語に対応するには、個別に人力で単語を登録する必要がある。
「Web2.0は大嫌い」とひろゆき氏 ニコ動有料版で「もっと面白くしたい」
Web2.0という言葉は大嫌いなんです。お金を稼ぎたい人たちが人をだますための用語として使われているような気がしていて。でもユーザーがコンテンツを作って「ほら面白いでしょ」「うん面白い」というところは好き。 （ユーザーがコンテンツを作り、それをユーザーが見る、という要素のある）Web2.0の流行は、テレビがつまんなくなったとかそういうのが大きいと思う。テレビが面白ければ、別に素人が作ったものを見なくても「テレビおもしれー」となるはずじゃないですか。 数千万円の予算をかけてプロが作ったものと、素人が適当に作ったものがあって、ぼくは素人が作ったもの見て暇つぶししてることが多いんですよ。テレビ見ても、最近はお笑いぐらいしかみない。おっさんが2人で頑張ってるくらいの。 ――「宣言」には「動画以外のあらゆるものにコメントを付ける」とも書かれていますが。 コメントを付けるということ自体が面白いから、動
2006-08-23
⊂( ⊂(´_ゝ`)ぐー 今年の特別演習は、はてブでコラボレイティブフィルタ*1をしようというのを提案してやることになったんだけど、それについての担当教官とのミーティングが29日にある。 というわけで、そろそろ、夏休みの成果を作らなくてはいけない。じゃないと、「何もやってましぇーん」って言うだけになってしまう。それは困る。 よーし。Let's 実装!! とりあえず、はてブの新着エントリのページから、一万エントリ分ほどクロールして*2、ユーザとページをキーとする2次元の疎行列を作る*3。 そして、コラボレィティブフィルタのアルゴリズムを実装。ネタはバラすと感動がなくなるので、バラさない。もしくは、また今度。 で、テストしてみると、それっぽい答えは一応返ってくる。ただ、アルゴリズムが正しく実装されているのか微妙なところがあるので*4、どうなのやら。 とりあえず、もうちょっと頑張ってみまする。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてブおせっかい
Kikker - 学習するユーザーカスタマイズドなニュースサイト-
