ニュースパスを支える関連記事推薦と近似近傍探索 - Gunosyデータ分析ブログ
こんにちは。メディアロジック分析部の米田 (@mathetake) です。 今日はGunosy社とKDDI社が共同で運営するニュースパスというニュースアプリケーションで使われている関連記事推薦のアルゴリズムについて書きたいと思います。 特に、約半年前に私が導入しKPIの改善に成功した新しいアルゴリズムと、そこでコアとなる近似近傍探索(Approximate Nearest Neighbor search)の技術について述べます。 関連記事推薦とは この記事で紹介する関連記事推薦とは、「特定のニュースに関連したニュースを推薦すること」です。 より具体的には、特定の記事をクリックした後に記事閲覧画面を下にスクロールすると登場する「おすすめ記事」の枠に対して、関連したニュースを検索して表示することを指します: このような枠が設置されている事は一般的なアプリケーションにおいてごく自然ですが、推薦シ
動的なDeepLearningによる時系列データの予測 | Amazon Web Services
Amazon Web Services ブログ 動的なDeepLearningによる時系列データの予測 時間の経過とともに展開していくイベントを予測することは、オプション価格決定や、病気の進行、音声認識、サプライチェーン管理などを扱う多くのアプリケーションにとって不可欠な機能です。と同時に、こうした予測は難しいことでも知られています。 全体的な結果を予測するのではなく、特定の時刻に発生するイベントの一連の動き ( シーケンス ) を正確に予測することを目指します。物理学のノーベル賞受賞者である Niels Bohr 氏は、「予測は非常に難しいもので、未来については特にそうです。」と述べています。 このブログ記事では、AWS での深層学習アプローチを使用した時系列予測の高度なテクニックについて見ていきます。この投稿では、任意の時系列値予測に注目します。ですので、時系列を研究している読者にとっ
Big Sky :: golang で tensorflow のススメ
« Software Design 2018年7月号「Vim 絶対主義」の執筆に参加しました。 | Main | ボタンを押したら golang の if err... を自動入力 » tensorflow といえば Python と思っておられる方も多いのではないでしょうか。間違いではないのですが、これは初期に作られた Python 向けのバインディングに研究者達が多く食いついた結果に過ぎないと思っています。実際 tensorflow は現在 C言語、C++、Python、Java、Go から利用する事ができ、最近では JavaScript にも移植されています。筆者自身も Go で tensorflow を使ったシステムを構築し、運用保守しています。問題も発生せず機嫌良く動いています。学習の利用部分は GPU のパフォーマンスに依存しますが、それ以外の部分については各言語の実装に依存し
Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる - BASEプロダクトチームブログ
はじめまして、BASEビール部部長の氏原です。BASEのData Strategy Groupで機械学習エンジニアをしています。 今回初登場ということで、暑いときにいいサワーエールのお話でも......といきたいところですが、ここは開発ブログということなので仕方ありません。開発のお話をしましょう。 現在私は商品の画像に基づいて、その商品に似た商品を類似商品として提示するAPIの開発を行なっています。今回はこのAPIをYahoo!さんのNGT（Neighborhood Graph and Tree for Indexing）を使って作成したことについて書いてみようと思います。 背景 BASE株式会社はネットショップ作成サービス「BASE」を運営しています。ここで作成されたショップはそれぞれ別のWEBサイトとして公開されていますが、ショッピングアプリ「BASE」では作成されたショップを横断して
Kaggleを取り掛かるまでにやったこととと、モチベーションの維持のために必要だったこと - にほんごのれんしゅう
Kaggleを取り掛かるまでにやったこととと、モチベーションの維持のために必要だったこと わたしの経験した、最初のKaggleの一歩と、実際にKaggleに対するモチベーションがそれなりに加熱するまでにやったことと、息切れしない心の持ち方です。 KaggleがDataScienceに携わるものの価値の可視化の基軸の一つになっていますが、まだ取り掛かれない or 心が折れそう人のために、私に必要だったきっかけと、私が行ったモチベーションコントロールを含めて記します。 まだまだkaggleは弱いですが、継続的に、日々の生活の中に組み入れるまでが大変でした。 目次 既存の機械学習関連の技術者にとってのKaggleの認識のあり方 すでに機械学習アルゴリズムを知っているがやるべきか 競技プログラミングは業務コーディングで役に立たないロジックが、Kaggleの業務のデータ分析との関係にも成り立つか 挑
PythonとKerasを使ってAlphaZero AIを自作する | POSTD
自己対戦と深層学習でマシンにコネクトフォー（Connect4：四目並べ）の戦略を学習させましょう。 この記事では次の3つの話をします。 AlphaZeroが人工知能（AI）への大きなステップである2つの理由 AlphaZeroの方法論のレプリカを 作って コネクト4のゲームをプレイさせる方法 そのレプリカを改良して他のゲームをプラグインする方法 AlphaGo→AlphaGo Zero→AlphaZero 2016年3月、DeepmindのAlphaGo（アルファ碁）が、囲碁の18回の世界王者、李世乭（イー・セドル）との五番勝負で、2億人の見守る中、4-1で勝利しました。機械が超人的な囲碁の技を学習したのです。不可能だとか、少なくとも10年間は達成できないと思われていた偉業です。 AlphaGo 対 李世乭の第3局 このことだけでも驚くべき功績ですが、DeepMindは、2017年10月、
ディープラーニングに入門するためのリソース集と学習法（2018年版） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近Bitcoinの方が流行っている印象を受けますが，ディープラーニングの勢いは依然強く，Google Trendを見ても未だに検索数は上昇傾向にあるように見えます． 実際体験してみるとわかりますが，ディープラーニングはとんでもなく強力な機械学習の手法で，うまく使いこなせれば強力な武器になります．しかし，「ディープラーニングにはPhDが必要だ」「ディープラーニングは素人には学べない」といった幻想もちらほらあり，興味はあってもなかなかこの世界に飛び込めない人も多いのではないでしょうか？ この記事の目的 この記事では筆者がディープラーニング
If文から機械学習への道
機械学習とif文が地続きであることを解説しました。 ver.2 質問への回答を追加し、顧客価値の小問に図を追加してわかりやすくかみ砕きました。Read less
トランプ氏のツイートを機械学習し、為替の予測をしてみた。〜GCP ML系使い倒し〜 - Qiita
GCPのML系機能を使いまくりたい・・という時にちょうど良い題材があったのでやってみました。GCPは機械学習を行う上で必要なデータ取得、preprocessing、学習と予測まで、フルマネージドな環境が揃っています。今回はその中で以下を使用しました。 ML Engine Dataflow BigQuery Natural Language API Datalab コードは全てDatalabで実行しました。開発環境を整える必要もなく、インタラクティブに結果を見られるのでGCPのML系を触るときは特におすすめです。 概要 色々発言が注目されるトランプ氏ですが、市場への影響はどれ位でしょうか？ツイートの後と通常(ランダムに時間帯を選択)でUSDJPYの価格変動がどう違うか比較します。 ランダムな日時 ツイート後 横軸は分、縦軸は変動(円)です。きちんと分散をみていませんが、ツイート後10分は荒れ
初心者がchainerで線画着色してみた。わりとできた。
ﾃﾞｰﾌﾟﾗｰﾆﾝｸﾞはコモディティ化していてハンダ付けの方が付加価値高いといわれるﾋﾟ-FNで主に工作担当のtai2anです。 NHKで全国放送されたAmazon Picking Challengeでガムテべったべたのハンドやロボコン感満載の滑り台とかを工作してました。 とはいえ、やっぱりちょっとディープラーニングしてみたいので1,2か月前からchainerを勉強し始めました。 せっかくなので線画の着色をしたいなーと思って色々試してみました。 線画の着色は教師あり学習なので線画と着色済みの画像のデータセットが(できれば大量に)必要です。 今回はOpenCVでカラーの画像から線画を適当に抽出しています。 抽出例 → カラーの画像を集めて線画を作ればデータセットの完成です。（今回は６０万枚くらい使っています） ネットワークの形ですが、U-netという最初の方でコンボリューションする時の層の出
はてな社内で行なっている機械学習勉強会について紹介します - Hatena Developer Blog
このエントリは、はてなエンジニアアドベントカレンダー2016の21日目の記事です。昨日は id:hakobe932さんによる次に何を勉強するかを決めるための作戦でした。 こんにちは、アプリケーションエンジニアのid:syou6162です。このエントリでは、今年の9月から社内で行なっている機械学習勉強会についての概要と、この数ヶ月でやってきた内容について紹介したいと思います。 最新の論文読み会、だけでいいのか? 他社から学ぶ 機械学習の学習データをどうやって効率的に作るか サービスへの事例や技術選定の基準をキーワードにまとめていく ときには最近の機械学習技術の話題にもキャッチアップ まとめ 最新の論文読み会、だけでいいのか? 私は今年の3月まで自然言語処理/機械学習の企業研究者として働いていて、転職して4月からはてなでエンジニアとして働いています。「転職してからあまり論文読めていないなぁー」
アイドル顔識別のLINE BOTを作りました - すぎゃーんメモ
記事要約 機械学習によるアイドル顔識別のLINE BOTを作りました。アイドル分かる人は是非 友だち追加して アイドル画像を送りつけて遊んだりしてみてください。 むしろ識別対象のアイドルさん御本人にも使ってもらえたら最高 BOT概要 TensorFlowによるアイドル顔識別器の話 - 2016.9.28 TensorFlow勉強会 - Qiita にまとめている、自作のアイドル顔識別器の 「入力した画像に対し、写っているのが『どのアイドル(人物)か』を機械学習により自動判定する」 という機能を実際に試すためのインタフェース。 トーク(1:1、Room, Group、いずれでも可)で画像を投稿されると、その画像に写っている人物の顔を識別してCarouselメッセージで結果を返す。 11月末現在の時点で、識別対象のアイドルは851人となっています。 顔識別API 元々 実際に学習結果を試すため
WEB屋の自分が機械学習株価予想プログラムを開発した結果
2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と
Treasure Dataインターンにみる機械学習のリアル #td_intern
8月1日から9月30日まで、大学院の同期で小学生時代は落ち着きがなかった @ganmacs と、小学校の給食ではソフト麺が出なかった @amaya382 と一緒に Treasure Data (TD) Summer Internship に参加した。 Treasure Data インターンで最高の夏過ごしてきた #td_intern - memo-mode トレジャーデータでインターンしてた話 #td_intern - 水底 インターンの途中で1週間アメリカへ行ってしまうという事情を酌んだ上で採用していただき、限られた期間で物凄く適切な課題設定とメンタリングを行なってくださった@myuiさんには頭が上がらない。本当にありがとうございました。 TDインターン全体としての見どころは、 全方位ウルトラエンジニアで気を抜くと死ぬ環境 丸の内の一食1000円オーバーの飲食店事情 ラウンジの炭酸強めで
機械学習を始めたい方に見て欲しいTensorflow入門資料まとめ
機械学習は日々進化を遂げ、全てのエンジニアにとって無視できない存在となってきました。 現在では、検索エンジン、マーケティング、データマイニング、SNS等さまざまな分野で活用されています。 そんな中、2015年11月10日にGoogleが機械学習ライブラリ・TensorFlowをオープンソース化し、大きな注目を集めました。 そこで今回は、機械学習に興味があるけれど何から手を付けたらいいのかわからないエンジニア向けに、TensorFlowの入門資料（記事・スライド）をまとめました。 機械学習案件を提案してもらう 特にプログラマーでもデータサイエンティストでもないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 / Qiita http://qiita.com/tawago/items/c977c79b76c5979874e8 TensorflowがMNIST（手書き数字データ）の
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本本機械学習数学データ分析データサイエンス Update版2023年版データ分析の100冊を書きましたよ！ 必読10冊を更新。データサイエンス、データ分析、機械学習周りでおすすめ図書10選のような記事は良く見ますが、網羅的な紹介記事はあまり見かけないので自分が欲しいと思い書きました。私よりたくさん読んでいる方は多々いらっしゃると思いますが、記事を書いてくださいな。 別の観点でデータ分析プロジェクトのフェーズ毎の参考書籍紹介という記事を新たに書きました。 データ分析の各フェーズ（データ分析プロジェクト全体-ビジネス状況の理解-データの理解-データの準備-モデルの作成-評価-展開）毎に参考書籍を紹介しています。 本記事の対象と想定 Qiitaはプログラマやコンピューター系技術者のための記事と思っ
【プログラミング不要】ディープラーニング（h2o.ai）で株価予測をやってみた - ニートの言葉
2017/07/20 追記 本記事の内容に関してTwitter・メールで問い合わせをいただきますが、全員に対して返信を差し上げることが出来ないため、VALU保有者優先で相談を受けます。 valu.is 対象読者 自前のデータでディープラーニングを体験したい人 tensorflowなどのチュートリアルまでやったが、その次の道が見えない人 株価の予測に興味がある人 はじめに こんにちは。あんどう（@t_andou）です。 最近、人工知能の技術の一種「ディープラーニング」に注目しています。 ディープラーニングとは、簡単に言うと「これまでは人間が教えていた『特徴』を機械が勝手に見つけてくれる」ものらしいです。 最初は画像処理系のプログラムで遊んでみました。 ディープラーニングという言葉はよく耳にするようになってきましたが、何ができるかわからなかったので、まずは体験するためにまずはディープラーニング
3行のソースコードを入れるだけで機械学習できると噂のindicoをNode.jsで使って機械学習入門してみる - Qiita
こんばんわ。 機械学習というワードはすごく盛り上がっているけど少し離れたところで見ている感じでした。 づや会というイベントで機械学習ネタをやることになり、何かやらねばと思っていたところ、この記事(機械学習について調べてみたら、3行のソースコードを入れるだけで機械学習できるサービスがあった（前編）)を読んで機械学習の入門はこういうところからでもありかなと思った次第です笑 ちなみに発表資料はこちらです。 indico 3行のソースコードを入れるだけで機械学習できるサービスです。 主にテキスト解析と画像解析の機能を使えます。 使い方(主に管理画面) まずはユーザー登録をしてログインしてください。 ログインするとダッシュボードを見ることができます。 API Keyを確認しつつQuickstartを選択しましょう。 このようにSentiment Analysis(感情分析)が選択されています。 下部
SensorBeeの紹介
2. ⾃自⼰己紹介 l 柏原秀蔵 / Preferred Networks, Inc. (PFN) – 2011年年秋にPFI⼊入社 → 2014年年PFNへ – 製品開発とか最近は主にパッケージング、CI担当 l SIProp勉強会との関わり – 2009年年頃（B3）にScalaでpub/subしたものを発表させてもらった（⿊黒歴史） – 第何回かのPaxosの回に参加させてもらったり – ⼤大学での研究室は分散システム・OS系の出⾝身 l 活動・趣味 – システム系論論⽂文輪輪読会 主催 – 輪輪読と付いてるけど輪輪読してない、通常の論論⽂文読み会です – 趣味はお菓⼦子作り（焼き菓⼦子）と⼆二輪輪⾞車車でツーリング 2 3. それまで何やってたの？ l ⼊入社以前・⼤大学時代のアルバイト – セキュリティ製品の開発（インストーラ、エンジン開発、テ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KSKアナリティクス TensorFlow 情報提供サイト