Word2VecとTF-IDFで社内文書を検索するサービスを作ってMattermostから使えるようにした - Qiita
初めまして。 株式会社ハイマックスの平田と申します。 記事とは無関係ですが、約1年を経て念願(！)のQiita Organizationの作成が叶ったことをこの場を借りて報告いたします。 さて先日、社内のMattermostから使える文書検索サービスをリリースしました。 単なる全文検索ではなく、Word2VecとTF-IDFで文書をベクトル化(≠Doc2Vec)し、検索ワードとの距離による検索を行っています。これにより、文書上と多少表現が異なる検索ワードでもヒットするようになります。 この記事では、サービスを作ってMattermostから使えるようにするまでの流れをソースコード(抜粋)付きで紹介します。 作ったもの Mattermostのチャンネルのいずれかで、例えば「/bot テスト」と入力すると… こんな感じで社内の文書管理システムから関連する文書のリンクを返してくれます。 作った動機
機械学習初心者向け、Word2VecとDoc2Vecでディープラーニングやってみた -
秋山です。 機械学習が人気ですが、「Word2Vec」「Doc2Vec」という、文章などを分析するニューラルネットワークモデルを知っていますか？ すごーく簡単に言うと、「Word2Vec」は単語の類似度のベクトル、「Doc2Vec」は文章の類似度のベクトルを表現します。 結構前に話題になったので既に知っている人も多いかもしれませんが、今回はpaizaのスキルチェック問題に提出された一部のコードを対象に、「Word2Vec」と「Doc2Vec」でどんなことができるかやってみたいと思います。（※スキルチェック問題や回答の内容は判別できないように処理しています） ■Word2Vecについて ざっくり言うと、ある単語の周辺に別の単語が出現する確率……みたいなものを見てくれます。ニューラルネットワークを使って、類似度を求めています。Word2Vecは隠れ層1、出力層1の、2層のニューラルネットワーク
Word2Vecの進化形Doc2Vecで文章と文章の類似度を算出する - Qiita
米googleの研究者が開発した「 Word2Vec 」という技術をベースに、「単語」だけではなく「文書」にも意味を持たせてベクトルとして捉えて利用できる技術「 Doc2Vec 」をいじってみました。 Word2Vecのおさらい 過去Qiitaに投稿したので、そのリンクを張っておきます。 http://qiita.com/okappy/items/e16639178ba85edfee72 Doc2Vecとは？ Word2VecはWord(単語)をベクトルとして捉えるが、Doc2Vec(Paragraph2Vec)はDocument(文書)をWordの集合として見てベクトルを割り当てることで、文書間の類似度やベクトル計算などを実現することができる。 例えば、ニュース記事同士の類似度、レジュメ同士の類似度、本同士の類似度、もちろん人のプロフィールと本の類似度なども算出することができ、テキストで
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
