Retty流『2200万ユーザを支える機械学習基盤』の作り方 - Qiita
みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
分散学習用TensorFlowコードの書き方 - めもめも
何の話かというと Google Cloud MLを利用して、TensorFlowの分散学習を行う方法です。取り急ぎ、自分用のメモとして公開しておきます。 分散学習にはいくつかのパターンがありますが、最もシンプルな「データ分散」の場合を説明します。各ノードは同じモデルに対して、個別に学習データを適用して、Variableを修正する勾配ベクトルを計算します。それぞれで計算した勾配ベクトルを用いて、共通のVariableを修正していきます。 前提知識 TensorFlowの分散学習処理を行う際は、3種類のノードを使用します。 ・Parameter Server：Workerが計算した勾配ベクトルを用いて、Variableのアップデートを行います。 ・Worker：教師データから勾配ベクトルを計算します。 ・Master：Workerと同様の処理に加えて、学習済みモデルの保存やテストセットに対する
深層強化学習：ピクセルから『ポン』 – 後編 | POSTD
前編はこちら： 深層強化学習：ピクセルから『ポン』 – 前編 起こっていないこと さて、方策勾配を使って生のピクセルから『ポン』をプレイする方法を学びましたが、ご理解いただけましたね。この手法は推測してチェックするという手間のかかるやり方で、”推測”は最新の方策からロールアウトをサンプリングすることを意味し、”チェック”は良い結果を導くアクションを促すこと意味します。大枠では、これは強化学習の問題への最先端のアプローチです。このような振る舞いを学習できるということは感動的です。しかしあなたが直感的にアルゴリズムを理解していて、どのように機能するか知っているとしたら、少しがっかりしてしまうのではないでしょうか。具体的に、機能しないのはどういうところでしょうか。 これと比較して、人間は『ポン』のプレイ方法をどのように学習するでしょうか。おそらくあなたはゲームを見せ、次のように言います。「パドル
機械学習 coursera - Google 検索
BigQuery ML のメリットを理解していただけます。その後、機械学習（ML）モデルを最適化する方法、一般化とサンプリングを活用してカスタム トレーニング向けの ML モデル ...
機械学習とオープンデータ | ギャップロ
はじめに 最近は機械学習という言葉、とくにDeepLearningなど耳にした方多いかと思います。 機械学習（Machine Learning）とは、沢山のデータから様々な手法、規則にを利用して解析を行い、ある特定の検知・分類・判定を行うような仕組みです。 機械学習は身近なところにも存在します。 あなたにおすすめの商品/こちらの商品を買った人はこちらの商品を買っています 画像認識 音声認識 スパムフィルタ 異常値検知 チェス・将棋のAI さらに、下記のような機械学習のクラウドサービスが出てきて個人でも容易に動かせるようになりました。 Azure Machine Learning Amazon Machine Learning これらのサービスのおかげで、物理的リソース（マシン）も実装リソース（機械学習部分の実装）も 昔では考えられないくらい簡単になり、手を出しやすい分野になりました。 ただ
機械学習に挑んだ一年間 – 機械学習について一から学び、仕事に活用するまでの道のり | POSTD
この記事は、去年私が書いた「Machine Learning in a Week（機械学習に挑んだ一週間）」という記事の続編です。その記事では、私が5日間集中的に機械学習を学び、のめり込んでいった経緯について説明しています。 機械学習に挑んだ一週間 一般の人にとって機械学習の分野に足を踏み入れるのは、無謀なことに思えるでしょう。medium.com 私は順調なスタートを切った後も、時間を見つけて勉強を続け、およそ一年後には、仕事で機械学習を活用した初プロジェクトを立ち上げることができました。そのプロジェクトでは、さまざまなタイプの機械学習や自然言語処理（NLP）の技術を駆使して、 Xeneta の 潜在顧客の特定 を行っています。 趣味でやっていたことが仕事になって、とても嬉しかったです。 同時に、仕事として機械学習を利用するのは博士号を持つ限られた人だけだ、という思い込みも払拭されました
機械学習によるレシピの自動分類、その裏側 - クックパッド開発者ブログ
こんにちは。検索編成部＆研究開発チームの原島です。 クックパッドのレシピには、内部で、様々な情報が付与されています。例えば、こちらの「母直伝♪うちの茹でない塩豚」というレシピには「肉料理」という情報が付与されています。これらの情報は、クックパッドの様々なプロダクトで利用されています。 レシピに情報を付与する方法は沢山ありますが、その一つに機械学習があります。クックパッドでは、レシピが肉料理か否か、魚料理か否か、...という分類を行うことで、「肉料理」や「魚料理」などの情報をレシピに付与しています。 今日は、分類をどのように実現しているか、その裏側を紹介します。 ■ 実装フェーズ まず、分類器を実装する際に気をつけたことを紹介します。 モデルを決定する 分類を行うには、そのための機械学習のモデルを決定する必要があります。クックパッドでは、十分な精度が出るだけでなく、リファレンスが多いという点
日本最大級のプライベート献立提案アプリ「Ohganic（オーガニック）」利用者の食の好みを学習して、献立を毎日提案する「今日のおすすめ献立プッシュ配信サービス」を提供開始|2014/08/20|東京エレクトロンデバイス
2014年8月20日 日本最大級のプライベート献立提案アプリ「Ohganic（オーガニック）」 利用者の食の好みを学習して、献立を毎日提案する 「今日のおすすめ献立プッシュ配信サービス」を提供開始 東京エレクトロン デバイス株式会社（横浜市神奈川区、代表取締役社長：栗木康幸 以下、TED）は、献立提案アプリケーションサービスOhganic（オーガニック）に新機能を追加した新たなサービス、「今日のおすすめ献立プッシュ配信サービス」の提供を8月20日より開始します。 Ohganicは、一人一人の健康、嗜好、目的に合わせて献立を提案するサービスです。2013年7月のサービス開始より6万人以上のユーザーに登録いただきご利用いただいています。 これまでのOhganicでは、献立提案を受けるには、ユーザー自らがアプリを操作する必要がありました。今回、ユーザーのアプリ利用状況から食の嗜好に関する感性を
機械学習 献立 - Google 検索
2024/04/11 · 今回は、そんな「献立・メニュー作成AI」の仕組みを詳しく解説するとともに、献立・メニュー作成してもらえるサービス（アプリ）も紹介していきますので、 ...
GitHub - evancchow/jazzml: A (very incomplete) project that combines machine learning with music.
Originally inspired by Gillick et al. (2010): "Machine Learning of Jazz Grammars" http://www.mitpressjournals.org/doi/pdf/10.1162/COMJ_a_00006 UPDATE: See branch "research" for the latest working demo of the project. When executed correctly (download all files, run "$ python pipe.py"), assuming all libraries are installed, it will generate guitar improvisation and play it against the prerecorded a
ジャズを自動作曲する人工知能「deepjazz」、AIが作ったジャズはこんな感じ
By Jimmy Baikovicius プログラマーのJi-Sung Kim氏が36時間のハッカソンで作り上げたという自動ジャズジェネレーターが「deepjazz」です。deepjazzはPython製のディープラーニングライブラリである「Keras」と「Theano」を使用して作り上げられた2層構造の「Long short-term memory(LSTM)」で、MIDIファイル(音源データ)を与えると音楽を学習してオリジナルのジャズを作曲してくれます。 deepjazz: deep learning for jazz http://deepjazz.io/ 「deepjazz」は、Googleの「AlphaGo(アルファ碁)」やIBMの「WATSON」などのような、人工知能(AI)の一種です。Googleのアルファ碁は囲碁を打つ能力に特化したAIですが、deepjazzはその名の通り
Courseraの機械学習コースを修了しました - 下町柚子黄昏記 by @yuzutas0
概要 Courseraというオンライン学習サイトで公開されているMachineLearningコースを修了しました。 もくじ どんな講座か 講座のアジェンダ なぜ受講したか 受講した感想 あると望ましい事前知識 はまりどころ 最後に どんな講座か 機械学習の主要なアルゴリズムを直感的に理解して、実際にプログラミングできるように教えてくれます。また、実装前にどのアルゴリズムを使うべきかの判断、テストとチューニングの方法、大量データの並列処理といった付帯トピックも言及されます。 講師はStanford UniversityのAndrew Ng(呉恩達)氏で、Googleの人工ニューロン研究プロジェクト発起人や百度の首席科学者として知られています。実際にこんな風にやっていますよ！という話を交えるので、画一的で教科書的な解説よりも聴きやすいと感じました。 ボリュームは結構重いです。「講義および4択
Courseraの機械学習コースのススメ 前編 - Qiita
大晦日・お正月2日と、Courseraの機械学習コースに取り組んで全11週のうち3週目まで終えたので、振り返りつつオススメしてみます。 経緯 こんな記事を投稿したら、 2015年振り返り 反省 機械学習周りを(再)学習 → オーディオブックで「人工知能は人間を超えるか」を聴いて良書っぷりに感動した程度 @koher さんからCourseraの機械学習コースを勧めていただき、ちょうどまとまった時間確保出来るタイミングだったので取り組んでみました。 @_mono おそらくご存知だとは思いますが、機械学習は Coursera の Machine Learning のコース（日本語字幕あり）がとても良かったですよ。もっと高度な内容を勉強されたいということかもですが。 https://t.co/1d3VM9hbwg — koher (@koher) December 30, 2015 今期の開講期間
機械学習・深層学習の勉強したこと・したいこと、このブログの方針 - 日記マン
ちょっと予告とは違う更新だけど。。 深層学習(Deep Learning)というものを知り、いろいろ調べて勉強したりした一年 紆余曲折がありつつも、Pythonを初めて扱い深層学習以外の機械学習全般に興味を持った 今取り組んでいることは、「機械学習を基礎から身につけ、pythonで実装していく力を身につける。」 ある程度参考書やサイトを漁った結果、自分なりのベストプラクティスが固まりつつある(前もこんなこと言った) このブログは息抜き程度の備忘録の位置づけにしたいので、技術ブログではないことをあやふやな記述の免罪符にしたい わりとまじで。切実に。 機械学習のベストプラクティス(今現在) 数学の事前準備 さすがに微分積分と行列、確率はある程度必要になる。 個人的に行列の微分が苦手。現役の学生なので覚えてるが、 一切を忘れてしまったという方は数学の参考書で数式慣れしたほうがいいかも 超初心者
pythonの開発環境の切り替え用に anyenv, pyenv, pyenv-virtualenv, anacondaを入れる流れ | takemikami's note
pythonで開発をしていると、機械学習など試してみたいライブラリによく遭遇します。 ライブラリの評価は、普段利用している環境とは別の一時的な環境で行いたいことが多いので、 独立した環境を作成・管理出来ると便利です。 が、pythonのバージョンや環境を管理するツールがいくつかあり、 環境構築の際に混乱してしまったので、私が現状行っている方法のセットアップ手順をメモに残しておきます。 具体的には、以下の記事の「3. pyenv-virtualenvを入れる」の対応ができる環境を作ります。 pyenvとanacondaを共存させる時のactivate衝突問題の回避策3種類 | qiita http://qiita.com/y__sama/items/f732bb7bec2bff355b69 ここで作成した環境では、それぞれの操作に以下のコマンドを使います。 pythonのバージョンのインスト
Elasticsearch 分類予測 More Like This編
これまで、機械学習を使った分類予測とPercolatorを使った分類予測を紹介してきました。今回は Elasticsearch の More Like This Query を使ってもっと簡単に分類予測する方法について紹介したいと思います。 More Like This Queryとは？More Like This Query とは、Elasticsearchが提供するいわゆる類似文書検索です。基本的な考え方は、単語の順序は気にせず、同じ語を多く含む文書は類似文書であるというものです。Bag of words によるベクトル空間モデルを基本的な考え方としているそうです。 ElasticsearchのMore Like This Queryは以下の３つの方法で類似する文書を検索することができます。 任意のテキストに対する類似文書検索任意のドキュメントに対する類似文書検索インデックス済みの任意
機械学習（ロジスティック回帰）でFXシステムトレード - Ryoの開発日記 Neo!
https://www.facebook.com/shen.l.liang/posts/10205315188466125
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LSTMとは〜概要と応用について〜
オープンソース 自動作曲 - Google 検索