はてなブックマーク

ミクシィグループ Advent Calendar 2018 11日目の記事です はじめに 「機械学習が適用できる部分はないか」と、世の中のどんなプロダクトも検討したのではと思いますが、実際にプロダクトへ組み込むとき、モデル更新など運用の面倒くささや、機械学習コードのメンテナンスを嫌って、導入を見送ったケースがあるかもしれません 今回は、そうした残る「面倒くささ」を引き取ってくれ、データセットの準備やモデル更新まで面倒を見てくれる丸投げサービスと、それによって効果の出るケースを考えてみたいと思います 不適切投稿をみつける、という課題 ブログや画像投稿サイトなど CGM （Consumer Generated Media：ユーザーの投稿で成り立つメディアサービス） を運営する場合、誹謗中傷や違法行為など、不適切な投稿の検知／対処は必須要件です プロダクトの小さいうちは何人かのメンバーがときどき

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

新卒の @yaitaimo です。（お手柔らかに） 本項は リブセンスアドベントカレンダー2017 テーマ「自」 の17日目の記事です。 テーマは「自」ということでしたが、省メモリの「省」を眺めていると、「自」が入っているなと思いました。 業務で少し、データを触る機会があったので、そこで得られた知見をまとめてみます。 0. はじめに 分析をしていて、 あーもっとメモリがあったらな って思ったことはありませんか？ 大きなメモリさえあれば、今の（雑な）コードでも結果がわかるはずなのに！ と感じたことは？ 最近はクラウド環境でハイスペックな環境を手に入れることが出来るようになったので、札束で殴れば解決するシーンもあるかと思います。 一方で、継続的にやっていくためには、分厚い札束が必要に... 今回は、ちょっと意識するだけで、このメモリ問題を解決することのできる Tips を紹介します！ 1. P

プロダクトオーナー や ユーザからの要望によって 検索機能 の必要性に迫られたとき、 ありふれた方法 でかつ 速攻 で実装する方法です 要件 日本語文章 などのデータに対して、全文検索できる 検索リクエストに対して、十分高速にレスポンスを返す 検索インデックスはリアルタイム更新され、実データと相違がでない 検索対象のデータが追加／更新／削除されたら検索結果にも即反映される 希望 できるだけ速く実装／提供したい できるだけ運用コストも小さくしたい おすすめな方法 もしもプロダクトがMySQL互換のデータベースを使っていたら、要件を満たして 明日にも提供できる かもしれません（気持ちです、フロント周りの実装など事情によって当然コストが変わります :P） ごく平凡な知識で実現できるという点で、この方法の利点は大きいと思います MySQL ( 5.7 以上 ) の全文検索インデックスを作成し、全文

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

scikit-learnを勉強してみたので、そちらを使って株価を予想してみる話。 前回、前々回とネタが被っているのはTensorFlowと比較したいのと、入力に使うデータの入手や加工が面倒なためです。お許しください。 ちなみに既に同様のことをやられている方がいらっしゃいます。 なお、1週間くらいscikit-learn（およびその周りの理論等）を勉強しただけなので間違い等多分にあると思います。指摘等お待ちしています。 ##scikit-learnとは 「サイキット・ラーン」と読むっぽい。 機械学習のためのライブラリ。色々なアルゴリズムが搭載されていて割と簡単に使える。 TensorFlowでも同じようなことが出来るのかもしれないが、scikit-learnの方が書くのが楽。 ####メリット 様々なアルゴリズムが使える。 Windowsで動く。（コレ大事） ####デメリット ディープラー

ChainerでやってみるDeep Q Learning - 立ち上げ編で、見た目まさに人工知能っぽいことをやっていたので真似てやってみることに。 とはいえwxPythonとか使ったことないし、そのまんま真似ると難しそうなので、より簡単な感じにしました。まぁ遊びですし。 毎度おなじみ、あまり専門的なことは良く分からず雰囲気で書いているので、大幅に勘違いしている箇所があるかもしれません。気になった点は指摘いただけると幸いです。 ##目標 箱の中にリンゴ（に見立てた点）を多数配置。 そこに人工知能的虫を配置。 虫は上下左右および移動しないことを選択できる。 リンゴを食べる事が報酬。 ##設計概要 基本的には前回作ったものをベースに考える。 動きまわることで報酬を得て行く過程をディープラーニングで実装する。 ビジュアル的な表示が必要なので、wxPythonより簡単に使えそうなmatplotlib

ディープラーニングを使ってロト6の数字でも予想してみようかという遊びです。 もちろんロトは毎回ランダムな数字を出しているだけなので上手くいくはずないんですが、真剣に予想されている方もいるようだし、ササッとコードも書いてしまったので、HDDに埋めておくよりは公開しておきます。 あまり真剣にやってないので、解説も適当です。気になることがあればコメントください。 目標 ロト6の当選番号予測。 ※ロト6を選んだのは、私が唯一買ったことがある数字当て系宝くじだからです。 概要 入力はどーしようかと思ったのですが、過去5回分くらいの当選番号としました。 ロト6は、43個の数字の中から6つが選んで、6つ全部当たれば1等賞というような仕組み。ですので、出力としては43個のフラグで、例えば1,3,4,11,20,43が当選番号の場合、[1,0,1,1,0,0,.....0,0,1]みたいなフラグを予想するも

以前（1,2,3）からの続き物。 分類ばかりでは面白くないので、回帰問題を試したい。 というわけで、今回は機械学習のフレームワークTensorFlowやscikit-learnを使用して株価を直接予想するという遊び。前は翌日の株価が「上がる or 下がる」の2択の分類でしたが、今回は「何円か」を直接予想します。 なお、入力に使うデータは使い回しです。毎回スミマセン。 ##趣旨 TensorFlowやscikit-learnを使用して、株価の予想をしてみる。 精度や使用感を確認する。 ##やること 「数日分の世界中の株価指数（ダウ、日経平均、DAXなど）を使用して、次の日の日経平均株価を予想する」（回帰） ##環境 ###scikit-learn scikit-learn 0.17.1 Python 2.7 Windows 7 ###TensorFlow TensorFlow 0.7 Ubu

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

前回の続き。 ディープラーニングのフレームワークであるTensorFlowを使用して株価を予想するぞ～、というお話です。ちなみに前回は完全に失敗でした。 前回のコメントで、tawagoさんから「Googleが同じようなことしている」という情報をいただいたので、そちらをコピ・・・インスパイアしてみました。 ##前回との相違点 前回は、「数日分の日経平均を使用して、次の日の日経平均が上がるか、下がるか、変わらないか（3択）を予想する」ものでした。 Googleのデモでは、「数日分の世界中の株価指数（ダウ、日経平均、FTSE100、DAXなど）を使用して、次の日のS&Pが上がるか下がるか（2択）を予想する」という内容でした。 ということで、下記が前回からの主な変更点となります。 「上がるか」「下がるか」の2択 日経平均だけでなく、他国の株価指数も使用 隠れ層x2、ユニット数は50,25 予想する

なぜかあまりやっている人を見ない、ディープラーニングを使用した株価の予想をしてみます。 ディープラーニング、Pythonともに初心者です。ライブラリ、実装方法、理論等は殆ど分かっておりません。ツッコミ等お待ちしています。 ##目標 数日分の株価データを使用して、翌日の日経平均株価が「上がる」か「下がる」か「変わらず」かを予想します。（分類） ##概要 「上がった」か「下がった」か「変わらず」だったかの判断には翌日の終値をベースに判断。 入力データは数日前から前日までの「始値」「高値」「安値」「終値」を使用。 隠れ層は4つ。 入力として上記過去数日分の株価をぶっこんでトレーニングするだけです。 ##環境 TensorFlow 0.7 Ubuntu 14.04 Python 2.7 AWS EC2 micro instance ##内容 ###準備 可能な限りの日経平均のデータを用意します。今