レコメンデーションシステムのオフライン評価、どうやるんですか - froglog
カエルなので分かりません、誰か教えてください。 レコメンデーションシステムのオフライン評価について調べてました。 そのメモ的なエントリです。 ここでいうレコメンデーションシステムについてはよくある EC サイトの商品推薦のようなものをイメージしていただければと。 また、オフライン評価とは "一般的な A/B テストのように実運用に影響のある方法" ではなく、過去ログ等を用いてローカル環境でバッチ的に行える評価のことです。 尺度 尺度については以下によくまとまってます。 Evaluation Metrics – Part 1 | A Practical Guide to Building Recommender Systems ここに挙げられている中で個人的に有用そうだと思ったものを列挙。 順序を考慮した精度的な尺度 MAP (mean average precision) nDCG (no
シリコンバレーのIT企業が利用しているA/Bテスト手法まとめ - ij_spitz's Blog
いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ
ビッグデータの成熟期に改めて見直したいETL - About connecting the dots.
Hadoopが出てきてから10年，ビッグデータという言葉が流行り始めてからでも5年以上が経ち，2016年現在では，Hadoopエコシステムを使ったデータ活用が当たり前のものとしてあります．とはいえ巷に出回っているビッグデータ活用事例というのは，綺麗な上澄みだけをすくい取っていたり，リリースしたてのピカピカのときに発表されていたり，というのが大半で，それが結構個人的に気に食わなかったりします． ビッグデータが当たり前のものになっている現在においては，単に作っただけで価値があるというフェーズは過ぎ去っていて，継続的に運用しながら価値を生み出し続けることが，非常に重要な問題だと思います．特にビッグデータ界隈はミドルウェアやツールの陳腐化が激しく，またビジネス自体の変化速度も過去と比べてどんどん速くなっているわけで，そういった変化に対応していくためには，また別のスキルが必要とされるのではないでしょ
凧揚げ | 一生あとで読んでろ
# npm install cylon cylon-keyboard cylon-leapmotion cylon-rolling-spider node-slack Cylon.js Cylon.jsはロボティクス向けに開発されているJavaScriptのラッパーライブラリ． マイコンボードやドローン，スマートウォッチなど，さまざまなガジェットのSDKを統一されたインターフェイスで利用できる．反面，バグを踏み抜くと少ししんどい． たとえばキーボードに接続するには，次のように書く．
Deep Learningのハイパパラメータの調整 - もちもちしている
この記事はDeep Learning Advent Calendar 2015 23日目の記事です． はじめに コンピュータセキュリティシンポジウム2015 キャンドルスターセッションで（急遽）発表したものをまとめたものです． また，私の体力が底を尽きてるので，後日に大幅な加筆・修正します． Deep Learning Advent Calendar 21日目の記事はすいません，しばらくお待ちください... Deep Leaningの光と闇 Deep Learningが様々なタスクにおいて大きな成果を上げています．また，各種フレームワークの登場によって，Deep Learningの導入や実践する敷居が大幅に下がりました．このことから，Deep Learningを活用していこうと考えてる，あるいはすでに活用している企業や研究者が増えてきています． Deep Learningによって従来の手法
Faster R-CNNの紹介 - kivantium活動日記
はじめに 今までいろんな画像処理のプログラムを書いてきましたが、その多くで物体検出のアルゴリズムを使っています。 ご注文は機械学習ですか？・結城友奈はサンタであるなどの記事ではOpenCVでアニメ顔検出をやってみたで紹介したlbpcascade_animefaceを使いました。これは2001年のViolaとJonesの論文で提案された方法に1994年（くらい）に提案されたLBP特徴量を組み合わせた、2008年の論文の方法を応用したもの（多分）です。 友利奈緒判定botではdlibによるHOG特徴を用いた物体検出がすごいで紹介したHOG特徴量とSVMを組み合わせた方法を使っています。これは2005年の人検出に関する論文の方法を使ったものです。 どのプログラムでも物体検出した後の判定精度はそれなりに高いのに、物体検出の精度の低さが全体の完成度を下げている感じになってしまっていました。2005年
RCOアドテク部論文輪読会：「A Multi-level Trend-Renewal Process for Modeling Systems with Recurrence Data」を紹介しました | RCO Ad-Tech Lab Blog
RCOアドテク部論文輪読会：「A Multi-level Trend-Renewal Process for Modeling Systems with Recurrence Data」を紹介しました 2016/04/14hayakawa エンジニアの早川です。 データ分析チームの論文輪読会にて、A Multi-level Trend-Renewal Process for Modeling Systems with Recurrence Dataの紹介をしました。 この論文では、生存時間解析において利用されるモデルを一般的に表現したものを提案し、 実際のデータに対して推定した結果になります。 そのデータは論文中のFigure 1で可視化されています。 「サブシステム」と「コンポーネント」を持つシステムを仮定し、(a)のようにそれぞれがイベントを起こします。 また、(b)のように観測期間中
Twitterスケールでの弾力的な広告配信
今回はTwitterの技術面のお話です。Twitterの広告サービスの裏にあるシステムをご紹介します。 人気のイベントやニュース速報、そのほか世界のどこかで事件が起こると、何億もの人々が Twitter を訪れ、大量のトラッフィクが発生します。ほとんどの場合これは予測不可能です。広告主の方々は、それぞれがターゲットとする利用者の方々にリーチするために、このような機会に迅速に反応します。その結果として、Twitter の広告の需要が急増します。このように変動する環境の中で収益を生む Twitter の広告配信システムは、広告のマッチング、スコア付け、そして配信を、巨大な規模で実現しています。私たちの広告配信システムの目標は、負荷が急上昇した時にも Twitter スケールのクエリをスムーズに処理し、すべてのクエリに対して最適な広告を見つけ出し、コンピューティングリソース使用量を常に最適なレベ
データ分析用ライブラリ MADlib を使って PostgreSQL で機械学習する
MADlibは、現代的なデータ分析には欠かせない回帰分析やデータマイニングのアルゴリズムが実装されているオープンソースのライブラリです。 MADlibを導入することによって、これらのアルゴリズムをPostgreSQLのユーザ定義関数の形で使うことのでき、データベースサーバの内部でデータ分析の処理できるようになります。 今回は、このMADlibの導入方法から動作確認、ロジスティック回帰分析における簡単な使い方までをご紹介します。 ■MADlibとは何か MADlibは、もともとはGreenplumというPostgreSQLをベースにしたMPP製品（DWH用RDBMS）を開発していた企業が開発していたライブラリで、Greenplumで利用できるように開発されていたものでした。 2015年9月に、Greenplum（を買収したEMC）がMADlib（や他のソフトウェア類）をApache Foun
LogZoom, a fast and lightweight substitute for Logstash
Today, we at PacketZoom are proud to release our open source tool LogZoom, a fast, lightweight, and reliable log data indexer written in Go. If you've ever considered using Logstash, Fluentd, or some other tool for log aggregation, you may want to consider using LogZoom instead. Here are a number of resources for getting up and running with LogZoom: Home page Binary release for Ubuntu 14.04 Exampl
TOTO88 | Bocoran Slot Gacor Hari Ini
Mencari slot gacor hari ini? Anda berada di tempat yang tepat! Dalam dunia perjudian online, istilah "gacor" sering digunakan untuk menggambarkan slot yang sedang "panas" atau memiliki peluang tinggi untuk memberikan kemenangan besar kepada pemain. Dalam artikel panjang ini, kita akan membahas segala sesuatu tentang slot gacor: cara menemukannya, strategi untuk bermain, dan tentu saja, rekomendasi
Golangでつくる検索エンジン(Webクローラ、MongoDB、Kagome、gin) - c-bata web
最近、Golangを書き始めたので勉強として、1年半ほど前にPythonで作っていたWebクローラと検索エンジンをGolangで実装してみた。WebフレームワークはFlaskの代わりにgin、Mecabの代わりにKagomeを使用、Datastoreは前回と同じくMognoDBを使ってます。 GitHub - c-bata/gosearch: Web crawler and Search engine in Golang. 今回のコード Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web 以前書いたPython版検索エンジンのブログ記事 基本的に実装はこれと大きく変わりません 今回はHTML書くの面倒だったので、フロントはginでJSON返すだけにしました。 以下使ったライブラリやGoに関するメモ 可変長引数の挙動 ス
Gentallela - プログラマでも美しく管理画面を作成できるBootstrapテーマ | ソフトアンテナ
「Gentellela」はBootstrap 3を使った無料の管理画面用テンプレートです。デフォルトスタイルのBootstrap 3をベースとして多数のパワフルなjQueryプラグインやツールを組み込んだもので、美しい管理用パネルやダッシュボードを簡単に作成することができます。 テーマにはチャートや、カレンダー、フォーム検証ライブラリ、ウィザードスタイルのインターフェイス、ナビゲーションメニュー、テキストフォーム、スライダー、プログレスバー、通知メニューなどたくさんの有用なライブラリが組み込まれています。 今回はオンライン上で確認できるデモサイトを元に、どのような画面が実現できるのかスクリーンショットとともに紹介したいと思います。 ダッシュボード ▲ダッシュボードのデモでは多様なチャートが表示できることが確認できます。テーマはレスポンシブ対応で画面サイズに応じて適切に描画されます。 フォー
MySQLでバルクアップデートを実現するには その1 - Qiita
更新のお知らせ 「その2」ができました。 「その1」を読んでいただいたあとに、こちらもご覧ください。 https://zenn.dev/maxima/articles/a23a9eda0cd3ae はじめに Hamee Advent Calendar 1日目ということで、実用的なSQL、バルクアップデートをご紹介したいと思います！ バルクアップデートとは、1文のSQLで複数のレコードを一気に更新してしまうUPDATE文のことです。 バルクインサートはよく聞くけど、バルクアップデートは出来ないのかと疑問に思ったことはないですか？ (バルクインサートについてそもそもご存じない方はこちらの記事がシンプルで分かりやすいかと思います) 結論から言いますと、バルクアップデートは可能です。しかし、バルクインサートほど気の利いた構文があるわけではありません。 これから何種類かご紹介しますが、ここに書かれて
ベイズ最適化入門 - Qiita
最近ちらほらベイズ最適化について聞くのでまとめてみました。 特に専門でもないので間違ったことが書いてあったりするかもしれませんがもし発見したら指摘して頂けると助かります。 ベイズ最適化のモチベーション 世の中、実際に実験することが面倒くさいものはかなり多いです。なので計画的に実験をデザインしたくなります。 そこで実験するたびに今までの実験結果に基づいて"ベイズ的に"次の実験をデザインするのがベイズ最適化です。 実際使われている分野としては例えば 広告(どのようにA/B testするかとか) 生物学(良さそうなDNAを決定してそれに基づいて実験したいときとか?) 物理or化学（マテリアルデザイン） 機械学習(Deep Learningなど)におけるハイパーパラメータサーチ 強化学習 みたいなものがあるそうです。 最も基本的な例である機械学習のハイパーパラメーターサーチにおいてはマニュアルであ
stochastic average gradientな話 - Stimulator
//---はじめに--- こんにちは。Machine Learning Advent Calendar 2013の11日目を担当することになりました@vaaaaanquishです。今回は大学で研究している進捗としてstochastic average gradient(SAG)についてまとめていきたいと思います。「前年度も誰かがやってたような･･･」と思った方はきっと記憶違いです。よろしくお願いします。 //---SAG--- SAGはNIPS2012で発表*1されたオンラインアルゴリズム最適化手法の一つです。その名の通り更新時に確率的勾配の「Average」を取るアルゴリズムです。このような平均化されたアルゴリズムは、averaged stochastic gradient descent*2やSample Average Approximation*3のように昔から数多くの研究が行われ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Decode the Facebook Auction
DMLC-Core Documentation — dmlc-core 0.5.0 documentation
Real time prediction on MySQL and batch model construction on Hivemall
リクルートライフスタイルのデータを支える技術
