何をするか？ こういうのやりたい。 すなわち、写真の中に検出したいものが写っていたら、その座標を特定する。 どうやってやるか？ openCVで、HOG特徴量(輝度の勾配で作る特徴量)やHaar-Like特徴量(画像の明度で作る特徴量)と正解ラベルを用いて、複数の弱学習器を作って、boostingして判別。 openCVは、pyenvでanacondaインストールからのconda install -c https://conda.binstar.org/jjhelmus opencvでサクッと入る。 pyenvとかanacondaはググれば沢山方法が出てきます。 レッツトライ 0 ディレクトリ構成 1 学習用の正解データ情報を作成 2 学習用の不正解データ情報を作成 3 positiveのベクトル作成 4 学習器作成 0 ディレクトリ構成 任意のディレクトリ/ ├data/ │　├pos/

6月になってからGIGAZINEの記事末尾部分に入っている「関連コンテンツ」がGoogle AdSenseを利用したものから、自前で開発した機械学習サーバーを使った仕組みに入れ替わりました。 ◆自前の関連記事自動生成システム＆機械学習サーバーを開発した理由 理由はシンプルで、以前に利用していたGoogle AdSenseによる関連記事自動生成「関連コンテンツ」の精度があまり高くなかったためです。精度が低い理由については、直接GoogleのAdSenseを担当するエンジニアにGoogleハングアウトで話をする機会を得た際に質問してある程度の原因を聞いており、結果的には「これは自前で作った方が後々のことを考えても十分、アリだろう」と判断できたから、ということになります。 また、Googleのサイトにも書いてあるように、関連記事を適切に表示することで「平均的なおすすめの関連コンテンツでページビュ

前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ

It’s that time of week again, folks. Welcome to Week in Review (WiR), TechCrunch’s regular digest of the past week in tech. New here? Not to worry — sign up here to get WiR in your i

データサイエンティストの中村です。 ファッションアイテムの画像から抽出した特徴量は検索以外にも利用することができます。 今回はレコメンドにおける画像特徴量の活用について、以下の3トピックを考えてみたいと思います。 画像特徴量を利用したコンテンツベースレコメンド モデルベース協調フィルタリングにおけるコールドスタート問題の軽減 画像特徴量を利用したモデルベース協調フィルタリングの高度化 画像特徴量を利用したコンテンツベースレコメンド あるアイテムを好きなユーザーはとよく似たアイテムも好きであると仮定します。このユーザーへの推薦は、と似ているアイテムを推薦すれば良いわけですが、このとき、アイテムの類似度を評価する尺度として画像特徴量が使えます。 アイテムの画像特徴量をとしたとき、アイテムとアイテムの類似度はとの間の距離を用いて表現できます。類似度（距離）にはコサイン類似度やユークリッド距離がよ

こんにちわ。白ヤギコーポレーションでエンジニアをしている谷田です。 自然言語処理では、テキストに含まれる単語をベクトルとして表現するというタスクが頻繁に発生します。最近ではそのために、日本語テキストが来たらMeCabに渡してword2vecに投入する、というのが定番パターンのひとつかと思います。word2vecは単語を分散表現と呼ばれる低次のベクトルに変換するモデルですが、単語をベクトルに変換するためには事前に学習を走らせておく必要があります。word2vecモデルの学習にはよくWikipedia日本語版をコーパスとして使ったりするのですが、全記事で学習を走らせると結構時間がかかります。 そこで、白ヤギが作った日本語word2vecモデルを公開します! http://public.shiroyagi.s3.amazonaws.com/latest-ja-word2vec-gensim-mo

Word2Vecとは Word2Vecで演算処理する Word2Vecとニューラルネットワーク Word2Vecの仕組み CBoW Skip-gram Word2Vecを応用することができる分野 レコメンド 機械翻訳 Q&A・チャットボット 感情分析 Word2Vecの弱点 Word2Vecの派生系や類似ツール GloVe WordNet Doc2Vec fastText まとめ 参考 世界中のWebサイトの数は2014年に10億件を超えたようだ。そして、Facebookのユーザー数だけでも16億人を超えている。 そして、そのいずれもコンテンツの中身の大部分はテキストから成り立っていることだろう。 ということは、莫大に増大し続けるネット上のデータのほとんどはどこかの国の言葉だってことだ。世界中の人が毎日テキストデータを生成し続けたことはこれまでの歴史上無かったんじゃないだろうか。 もしそん

BIチームのデータサイエンティスト @hikaru です。 以前 @hasebeが社内のKPIの分析に関する話を書きました。 mercan.mercari.com 今回は、また少し違う切り口で、社内で行っている研究的な分析のひとつをご紹介したいと思います。 メルカリのユーザをもっと理解しよう 日本の「メルカリ」ではユーザに簡単かつあんしん・あんぜんに使っていただくために、登録時に年齢や性別などのユーザ情報をいただいていません。 about.mercari.com よってメルカリのユーザを理解しようとするときに、そういったデモグラフィックなどの直接的な情報を使って分析することはできません。 しかし、メルカリの持っているデータベースにはユーザの行動や特徴を知る上でヒントとなる様々なデータが溜まっています。分析の発想と機械学習などの手法を活かせばそういった登録情報に頼らなくても、ユーザのことを深

背景 お手軽なクラスタリング手段としてk-meansが有名であるが、以下の様な困ったポイントがある k-means法の問題点の一つは、クラスタの個数kを指定しなければならないことだ。 クラスタリングは探索的 (exploratory) なデータ解析手法であって，分割は必ず何らかの主観や視点に基づいているということです．よって，クラスタリングした結果は，データの要約などの知見を得るために用い，客観的な証拠として用いてはなりません． 参照元 それは知っている。で、結局クラスター数は本当に分析者の決め打ちでいいのか？ 「このクラスター数はどうやって決めたの？」「これまでの分析結果からソーゴー的に考えて決定しました」とか言いたくない このページの目的 「最終的には分析官の判断でクラスターは決定しました」といいつつも、何かしら数値としての根拠を持ってクラスター数を決定したい 何か良い判断基準は無いの

概要 本ページは、代表的な機械学習の手法の特性について独自に簡単にまとめたページです。 （ご意見、ご指摘等あったらご連絡ください。） 世の中のスタンダードなものとして下記もあるので、それを踏まえてご参照いただければと思います。 - ScikitLearn Choosing the right estimator - Microsoft Azure Machine Learning Studio の機械学習アルゴリズム チート シート - 朱鷺の杜Wiki 機械学習 教師データあり 回帰 (一般化)線形回帰 ロジスティック回帰 サポートベクターマシーン(SVM) 木 決定木（CART) 回帰木 ランダムフォレスト 勾配ブースティング木 ニューラルネットワーク(NN) パーセプトロン 畳み込みニューラルネットワーク(CNN) 再起型ニューラルネットワーク(RNN) 残差ネットワーク(ResNe

機械学習は日々進化を遂げ、全てのエンジニアにとって無視できない存在となってきました。 現在では、検索エンジン、マーケティング、データマイニング、SNS等さまざまな分野で活用されています。 そんな中、2015年11月10日にGoogleが機械学習ライブラリ・TensorFlowをオープンソース化し、大きな注目を集めました。 そこで今回は、機械学習に興味があるけれど何から手を付けたらいいのかわからないエンジニア向けに、TensorFlowの入門資料（記事・スライド）をまとめました。 機械学習案件を提案してもらう 特にプログラマーでもデータサイエンティストでもないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 / Qiita http://qiita.com/tawago/items/c977c79b76c5979874e8 TensorflowがMNIST（手書き数字データ）の

2015.11.27 アルゴリズムから学ぶAzureMLモジュールの使いこなし方 クラスタリング k-means 機械学習 関連動画: 【データ分析のレシピ】k-meansのアルゴリズム - いくつかのデータを 指定した数のクラスタにグループ分けする https://www.youtube.com/watch?v=9wjuz604rjURead less

Elasticsearch と Mahout を組み合わせ、「関連する商品」や、「関連するユーザ」を表示する機能をつくりました。 アルゴリズムはMahoutをそのまま使い、ロジックをElasticsearch プラグインにすることで、サーバ&データストアがElasticsearchでまかなえます。 以下にプラグインを公開しました。 https://github.com/hadashiA/elasticsearch-flavor これを実際に運用中のサービスがあるんですが、商品数がせいぜい数十万件程度だったので　Hadoop等は使わず、リアルタイムで結果を計算して返す作りになっています。 おそらく1,000万件くらいになってくるとやり方を考え直さないといけなくなりそうだけど、そこまで大規模にならなければなかなか便利なものができた。 Mahoutとは Apache Mahout は、色々な機械

2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と

ディープラーニング実践入門 ～ Kerasライブラリで画像認識をはじめよう！ ディープラーニング（深層学習）に興味あるけど「なかなか時間がなくて」という方のために、コードを動かしながら、さくっと試して感触をつかんでもらえるように、解説します。 はじめまして。宮本優一と申します。 最近なにかと話題の多いディープラーニング（深層学習、deep learning）。エンジニアHubの読者の方でも、興味ある人は多いのではないでしょうか。 しかし、ディープラーニングについて周りのエンジニアに聞いてみると、 「なんか難しそう」 「なかなか時間がなくて、どこから始めれば良いかも分からない」 「一回試してみたんだけど、初心者向けチュートリアル（MNISTなど）を動かして挫折しちゃったんだよね」 という声が聞こえてきます。 そこで！ この記事では、そうした方を対象に、ディープラーニングをさくっと試して感触を