はてなブックマーク

記事の良し悪しを判定するのは、文書分類の典型的なタスクです。イイネが記事の良し悪しを意味しないなら、アノテーション基準を制定する方法でモデルを構築すればそれなりのものができそうなので、試してみましょう。 TLDR いいね数を使うな。contribute数を使うな。リツイート数を使うな。サボるな、アノテーション作業をしろ。 パイプライン 良い記事と悪い記事の基準を考える。 その基準を元に、良い記事URLと悪い記事URLを手動で収集。 URLから本文テキストのみを抽出。 本文テキストだけを用いてモデリング。 モデルを他の記事へ適用。 注意: スクレイピングでQiitaに負荷をかけないように気をつけましょう。 モジュール化 上記パイプラインを誰でも簡単に実行できる形式にしたので、以下のgithubプロジェクトで公開しておきます。 https://github.com/sugiyamath/poe

Help us understand the problem. What is going on with this article?

コンテンツ抽出のdom-basedモデルとは、domの構造を特徴量として利用するコンテンツ抽出の手法です。今回は、web2textというツールで使われている特徴量を、RandomForestで実行します。 特徴量一覧 上記特徴量のうち、いくつかを利用します。 データの準備 記事urlの一覧から取得したhtmlファイルから、以下を取り出します。 テキスト要素を持つノードのテキスト テキスト要素を持つノードのxpath そのテキスト要素が抽出したいコンテンツか否か 以下がcsvの例です。（ただし、このcsvは以前の記事のPascal VOCデータから生成しているため、抽出したくないコンテンツも若干含まれています。) #text,label,xpath "We use cookies to ensure that we give you the best experience on our we

Help us understand the problem. What is going on with this article?

fnc-1の優勝モデルでは、TF-IDFやword2vecをはじめ、5種類の特徴量が結合されています（さらに、deep learningとのアンサンブルモデルを構築している)。これを参考に、TF-IDFとword2vecを結合したら文書分類の精度が上がるのかを検証します。(ただし、ここではword2vecというより、nnlm-ja-dim128を使います) 事前準備 データはスクレイピングによって取得しましたが、著作権などもあるので、ここでは公開しません。しかし、手順だけ示しておきます: 二値分類モデルとして定義し、カテゴリー1とカテゴリー2を定義する。 カテゴリー1を提供しているニュースサイト数種から記事数千に対するタイトルと本文を抽出。 カテゴリー2を提供しているニュースサイト数種から記事数千に対するタイトルと本文を抽出。 Jupyter notebookで実行 データのロード。 In

データが膨大にあるわけでもなく、自然言語処理のガチ勢でもない、という人が訓練済みWord Embedding(word2vecやglove)を用いるだけで文書分類ができるそうなので、試してみた。 ○○新聞データを取得 まず、スクレイピングしやすそうな新聞社のデータなど取ってきてください。取ってきたら、記事ごとにポジティブかネガティブかを500記事ほどアノテーションしてください。 このあたりは本題ではないので省略します。 Embeddingだけを使ってどうするのか Embeddingでドキュメントのベクトルを取得。 ポジティブとネガティブのカテゴリーを表す語を複数用意し、Embeddingでカテゴリーベクトルを取得。 ドキュメントと各カテゴリーベクトルのコサイン類似度を求める。 ポジティブ側のコサイン類似度が大きければTrue,そうでなければFalseを返すようにする。 アノテーションと比較

ElasticsearchやSolrで検索システムを構築する際に、ドキュメント-クエリペアの特徴量とクリックデータ等のラベルを用いて機械学習を適用し、Top-kに対して再ランクすることを「LTR」または「順序学習」と呼ばれています。ここでは、LTRについての全体像を説明します。 検索のフロー まず、ユーザがクエリを投げ、通常の情報検索を行います。「通常の」とは、例えば形態素解析やngramによる検索のことです。 次に、上位k件に対してLTRの機械学習モデルでスコアリングをします。特徴量は、「クエリ」と「ドキュメント」のペアから抽出できるものです。例えば、クエリとドキュメントのタイトルのベクトル表現のコサイン類似度とか、ページランク、TF, IDF, あるクエリで出てきた各々のドキュメントのクリック回数、など様々です。 最後に、re-rankされた結果が取得されます。 LTRの特徴量設計 M

ユーザベクトルとは、ユーザの最近の興味を表す数値からなるベクトルのことです。このベクトルを用いて検索できれば、検索結果にユーザの興味が反映されます。ここでは、ユーザベクトルによる検索をelasticsearchを用いて行う方法を書きます。 ユーザベクトルについて ドキュメントをベクトル化する方法があると仮定します。例えば、tensorflow-hubのnnlmエンベディングを用いれば、ドキュメントをベクトル化することが可能です。 ユーザが検索をして、検索結果のある特定のリンクをクリックします。すると、クリックされたリンクのドキュメントベクトルはユーザベクトルの一部として保存されます。例えば、保存できるベクトルの件数を最新100件などとしておきます。 そして、検索をする際に「ユーザベクトルの平均ベクトル」と「ドキュメントベクトル」の類似度を使うようにすれば、ユーザの興味に類似した記事が検索可

Help us understand the problem. What is going on with this article?

NLP2018のワークショップに行ってきたのですが、そこで聞いてきたことのうち、形態素解析ツールに関することを大雑把にまとめておきます。聞いたことをまとめることが目的なので、詳細は各ツールのWebサイトやgithubページへ行ってください。 間違っている部分、追加したい内容があればコメントでお願いします。 追記: 2018/04/02 nlp2018の発表資料が公開されました。 Juman++ (リンク) MeCab (リンク) KyTea (リンク) Unidic (リンク) https://sites.google.com/view/nlp2018ws/ NLP2018 形態素解析の今とこれから 趣旨: どういう手法・ツールをどのようなタスクに対して使うべきかを選べるように、各ツールの開発者の発表を基に比較してもらうこと。 さまざまな発表がありましたが、形態素解析ツールに焦点を当ててま

%matplotlib inline from sklearn.datasets import fetch_lfw_people import matplotlib.pyplot as plt people = fetch_lfw_people(min_faces_per_person=20, resize=0.7) image_shape = people.images[0].shape fix, axis = plt.subplots(2, 5, figsize=(15, 8), subplot_kw={'xticks':(), 'yticks':()}) for target, image, ax in zip(people.target, people.images, axis.ravel()): ax.imshow(image) ax.set_title(people.targe

ダイアログシステムとは、ユーザの質問に対して回答を行うようなシステムの総称です。ここでは、Dialogflow( https://dialogflow.com/ )という無料のサービスを用いて、リクエスト曲のYoutubeリンクをレスポンスとして返すものを作ります。 登録 まず、dialogflowにAgentを追加します。Agentとは機能の単位のことです。ここでは、歌や音楽のYoutubeリンクを返してくれる日本語Agentを作成します。 エンティティの作成 次にエンティティを作成します。エンティティとは、質問や回答に含まれる主に名詞句のことです。artistsエンティティを作成することにより、アーティスト名を利用して回答できるようにします。 当然、このようなエンティティ作成は手間がかかるため、csvをアップロードして登録することもできます。 intentsの作成 それでは、inten

Help us understand the problem. What is going on with this article?