[B! NLP][機械学習] skozawaのブックマーク

カメリオで使われている機械学習 | カメリオ開発者ブログ

はじめまして。白ヤギコーポレーションでエンジニアをしている谷田です。カメリオでは、テーマに合ったニュース記事を提供するために、機械学習を応用した新しいアプローチを最近こっそり導入しました。この記事では、カメリオがどのようにニュース記事がテーマに合っていると判断しているのか、そのアルゴリズムの概要を解説してみたいと思います。カメリオでは新しく入ってきたニュース記事を、何万もあるテーマの中から良く当てはまるものに自動的に振り分けています。これまでカメリオでは、記事があるテーマに振り分けられるためのさまざまな条件を半自動的に導出して、テーマと記事とのマッチングを行っていました。しかしこの従来の方法では、テーマ名の単語が記事中にたくさん出てきたりした場合に、実際にはあまりテーマに関係が無かったり、あるいはユーザの興味を引かないような記事が混ざってしまうことがありました。新しく導入した機械学習

skozawa 2016/07/20

リンク

Dango - Emoji & GIF Assistant App for Android

Techno logical developments have made communication much easier. Long distance communication has become very easy and varied nowadays. In the past, long-distance communication could only be done by letter and this could not be sent in a very fast time because it was also determined by the distance between the two existing places. After that, then […] The presence of various applications to send mes

skozawa 2016/06/13

リンク

自然言語処理における畳み込みニューラルネットワークを理解する · けんごのお屋敷

最近、畳み込みニューラルネットワークを使ったテキスト分類の実験をしていて、知見が溜まってきたのでそれについて何か記事を書こうと思っていた時に、こんな記事をみつけました。 http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp 畳み込みニューラルネットワークを自然言語処理に適用する話なのですが、この記事、個人的にわかりやすいなと思ったので、著者に許可をもらって日本語に翻訳しました。なお、この記事を読むにあたっては、ニューラルネットワークに関する基礎知識程度は必要かと思われます。 ※日本語としてよりわかりやすく自然になるように、原文を直訳していない箇所もいくつかありますのでご了承ください。翻訳の致命的なミスなどありましたら、Twitterなどで指摘いただければすみやかに修正します。以下

skozawa 2016/03/14

リンク

機械学習によるレシピの自動分類、その裏側 - クックパッド開発者ブログ

こんにちは。検索編成部＆研究開発チームの原島です。クックパッドのレシピには、内部で、様々な情報が付与されています。例えば、こちらの「母直伝♪うちの茹でない塩豚」というレシピには「肉料理」という情報が付与されています。これらの情報は、クックパッドの様々なプロダクトで利用されています。レシピに情報を付与する方法は沢山ありますが、その一つに機械学習があります。クックパッドでは、レシピが肉料理か否か、魚料理か否か、...という分類を行うことで、「肉料理」や「魚料理」などの情報をレシピに付与しています。今日は、分類をどのように実現しているか、その裏側を紹介します。 ■ 実装フェーズまず、分類器を実装する際に気をつけたことを紹介します。モデルを決定する分類を行うには、そのための機械学習のモデルを決定する必要があります。クックパッドでは、十分な精度が出るだけでなく、リファレンスが多いという点

skozawa 2015/10/01

リンク

http://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2014/zemi14-ml4nlp.html

2. 文書および単語の数学的表現 2.1 タイプ、トークン 2.2 n グラム 2.3 文書、文のベクトル表現

skozawa 2014/07/31

言語処理のための機械学習入門

リンク

教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ

※普通は「教師なしLDA」という言い方はしないですモチベーション元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す