Hidden Technical Debt in Machine Learning Systems
Authors D. Sculley, Gary Holt, Daniel Golovin, Eugene Davydov, Todd Phillips, Dietmar Ebner, Vinay Chaudhary, Michael Young, Jean-François Crespo, Dan Dennison Abstract Machine learning offers a fantastically powerful toolkit for building useful complexprediction systems quickly. This paper argues it is dangerous to think ofthese quick wins as coming for free. Using the software engineering framew
「機械学習：技術的負債の高利子クレジットカード」のまとめ | Recruit Tech Blog
アドバンスドテクノロジーラボの石川有です． 株式会社リクルートテクノロジーズ Advent Calendar 2014 – Qiita の 12/16 分でエントリーを書きます． 大規模データを扱った機械学習用ライブラリがオープンソースで利用できる便利な時代ですが，まだまだ真の意味でエンジニアリングと機械学習研究の融合は果たせていないと思います． 従来のソフトウェアエンジニアリングではソースコードに対する知見が提案され実用されていますが，いざ機械学習システムの開発・運用に適応してみると「それだけ」では足りないということを実感します． その開発と運用のしづらさは何によるものなのか，それを回避するためのアンチパターンはなんなのかなどのヒントを，Google の D. Sculley らが Machine Learning: The High Interest Credit Card of Te
t-SNE
t-Distributed Stochastic Neighbor Embedding (t-SNE) is a technique for dimensionality reduction that is particularly well suited for the visualization of high-dimensional datasets. The technique can be implemented via Barnes-Hut approximations, allowing it to be applied on large real-world datasets. We applied it on data sets with up to 30 million examples. The technique and its variants are intro
ぼくの実装した最弱のディープラーニング - きしだのHatena
8月の頭からディープラーニングを実装していたのを、先日、プレゼンしてきました。 プログラマのための数学勉強会@福岡 - connpass ぼくの実装した最弱のディープラーニング from なおき きしだ ※追記 2023/4/12 SpeakerDeckにも置いてます https://speakerdeck.com/kishida/weakest-deep-learning-i-implemented GPU対応したり、ドロップアウトとかミニバッチとかいろいろ実装して、結構つよくなってます。 ちゃんと学習してくれないこと以外は。 ソースはこんな感じになってきています。 https://github.com/kishida/neuralnet/tree/CorrectOperationAsCCN GPU対応にはaparapiを使っています。JavaでGPUコードが書けるスグレモノです。 ap
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje’s weekly recap of everything you can’t miss from the world of startups. Anna will be covering for him this week. Sign up here to…
OR学会誌に寄稿しました
オペレーションズ・リサーチ学会機関誌の 2015 年 4 月号に 7 ページの記事を書きました． オペレーションズ・リサーチ 4月号 2015年 Vol.60 No.4 (PDF) 最適化から見たディープラーニングの考え方 上の記事は「ニューロサイエンスと数理モデリング」という特集のうち，深層学習を紹介する 3 つの記事の一つとして書きました． OR 学会誌のバックナンバーを読みながら，最適化の観点で深層学習の話を整理したいと思い上のような記事を書きました． なので，どちらかというと自分の頭を整理するのが主目的みたいになっています． 入門・概要的な内容もお願いされていたので，導入は機械学習自体の説明から入っています（限りなく必要最低限という感じにしてしまいましたが）． この原稿を書いたのは昨年末です． 深層学習界隈はスピードが速く，それから進んだ部分もありますので，いくつか記事の内容を補
Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin!
Decrease quantity for Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin! Increase quantity for Gabung Sekarang di Slot88: Situs Judi Slot Online Terpercaya & Gacor, Dapat Maxwin! Kamu penggemar permainan slot online yang seru dan menguntungkan? Kami di Slotkuni punya semua yang kamu butuhkan! Dengan berbagai pilihan permainan slot gacor yang gampang dimainkan, Kamu
RCOアドテク部論文輪読会：「Stochastic Gradient Boosting」を紹介しました | RCO Ad-Tech Lab Blog
RCOアドテク部論文輪読会：「Stochastic Gradient Boosting」を紹介しました 2016/01/28stakaya どうも、機械学習・茶帯の高柳です。 （前の記事にタイポが見つかったため茶帯になりました） Kaggleなどの機械学習コンペでほぼ無双状態の機械学習手法「Stochastic Gradient Boosting」をちゃんと知っておこうと、RCO内の論文輪読会でFriedmanの原著を紹介しました。その際のスライドを公開します。 私の理解している印象ですと、スライド内でも言及していますが、 最適化問題を2段階に分けて解く 第一段階：損失関数の勾配方向と平行になるような弱学習機（決定木）を最適化で決定 第二段階：第一段階で作成した勾配方向を向いている弱学習機を”どの程度の割合で組み込むか”を最適化計算 データをランダムサンプリングして学習させることにより弱学
対戦型データマイニング予測 その２ 人気との比較 : データマイニング予測中心 だいたい競馬日和
2014年09月07日 対戦型データマイニング予測 その２ 人気との比較 前回とはまた違った角度から、対戦型データマイニング予測を見ていきたいと思います。 予測１位が、「どのようなスコアだと」「どのような人気になるか？」という表です。 スコアが高ければ人気も高くなりやすいようです。 相関係数も-0.377...となっており、弱い相関があるといえます。 （スコアが高いほど人気が低くなる→負の相関） 人が予想するのとあまり変わらず、パッと見てよさそうな馬は高いスコアが出やすいのかもしれません。 しかし、予測１位でも１０番人気だった～ということはあります。 予測が１位だけれども人気薄だった場合どのような成績になるのかを見てみたいと思います。 人気が良い方が着順が良くなるようです。 人気になっている＆スコアも高い→誰が見ても強い馬と考えられます。 逆にスコアが高くても人気になっていない馬は、やはり
競馬の予測をガチでやってみた - stockedge.jpの技術メモ
基本的に競馬なんてやるべきではないと私は思っている。胴元の取り分が多いからだ。宝くじに比べればまだましだが、それでも賭け金の20～30%は胴元に取られることになる。*1 しかし今回は、ちょっと思い立って競馬の予測をやってみることにした。 理由は馬券の安さだ。私は現在、資金量が少ない人間でも不利にならない投資先を探しているのだが、馬券の一枚100円という安さは魅力的に映る。株の場合にはどんな安い株であれ最低購入額は数万円以上*2なので、ある程度まとまった資金が必要になる。 また、競馬には技術介入の余地（努力次第で勝利できる可能性）がある。 例えばこんな例がある。 １６０億円ボロ儲け！英投資会社が日本の競馬で荒稼ぎした驚きの手法 - NAVER まとめ 彼らは統計解析によって競馬で勝っており、その所得を隠していたらしい。こういうニュースが出るということは、解析者の腕次第では競馬で勝てる可能性が
Dummiesパッケージ
※ブラウザでうまく表示されませんのでDLして御覧ください※ ※以下のリンクからもご覧いただけます※ https://speakerdeck.com/tam07pb915/nagoyar15 ロジスティック回帰や多項ロジスティック回帰などの一般化線形モデルを用いた分析の結果を図示するためのeffectsパッケージの紹介をします。
Conditional inference treesとそのランダムフォレストを{party}パッケージで試してみた - 渋谷駅前で働くデータサイエンティストのブログ
今まで気付かなかったんですが、@dichikaさんがこんな記事を書かれていたんですね。 ランダムフォレスト雑感 - BOD 実は僕はほとんどconditional inference treesのことを知らなかったのと、ここで紹介されている{party}パッケージが面白そうだったので、その背景も交えてちょっと簡単に紹介してみようと思います。 そもそもconditional inference treesとは？ Party on! - A New, Conditional Variable-Importance Measure for Random Forests Available in the party Package - 全てのポイントを説明していくと大変なので、簡潔にまとめておきましょう。Vignette (PDF)とかCross Validatedにおける議論の内容を大ざっぱにま
メソ研 in 秋田 (4ページ目)
Yutaka Ishii / 石井雄隆 @yishii_0207 学習者の発達が非線形であるという話は、 Verspoor, M., Lowie, W., & van Dijk, M. (2008). The Modern Language Journal, 92(2), 214-231. とかに書いてあった気が。 #methoken 2013-10-26 12:02:13 langstat @langstat U-shape learningの話。基本的にoutputのみを分析する学習者コーパス研究の視点から言えば、少なくとも頻度のU-shapeと正用率のU-shapeの2種類があって、そのパターンが一致する項目と一致しない項目がある。 #methoken 2013-10-26 12:02:47
交差検証の k の値はどれくらいにすればいいのか - ほくそ笑む
分類器(識別器)のモデルを評価する手法に交差検証(クロスバリデーション)があります。 交差検証を行うには、データをいくつに分割するかを表す k の値を決めてあげなければなりません。 SVM のチューニングのしかた（１） において、交差検証の k の値を決めるとき、僕は個人的に k = 1 + log(n)/log(2) という式を用いていると書きました。 この式は、知っている人ならわかると思いますが、スタージェスの公式です。 スタージェスの公式は、ヒストグラムを描く際にサンプル数から階級数を決めるのに便利な公式です。 しかし、この公式を交差検証の k を決める際に使用するのは、はっきりいって根拠がありません。 そこで、今日は交差検証の k の値をどのくらいにすれば良いのかについて考えてみたいと思います。 準備（予備知識） k の値は大きければ大きいほど、正確にモデルを評価できます。 k の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Predictive modeling based on RFM scoring indicators
https://sigfin.org/?plugin=attach&refer=SIG-FIN-016-11&openfile=SIG-FIN-016-11.pdf
Recurrent Neural Network Hand writing demo
Black box optimization for automatic speech recognition - IEEE Conference Publication