A Method to Anonymize Business Metrics to Publishing Implicit Feedback Datasets (Recsys 2020) 読んだ - 糞糞糞ネット弁慶
論文 Gunosy と理研AIPの論文． 企業が持つ implicit feedback のデータを公開するためには アクティブユーザ数や収益や平均クリック数といった business metric を隠したい 公平性を担保したい Population Bias を減らしたい という三つの気持ちがある． 今回はログ中のユーザをサンプリングして公開用データを構築するわけですが，ユーザごとにサンプリング時の重み w を推定する問題として定式化する． この時 business metric を隠すために，サンプリング後のクリック数の分布と特定の分布 (zipf など) との Wasserstein distance を取る 公平性のためにサンプリング後のユーザの属性の分布と uniform distribution との KL divergence Population Bias 対策でサンプリ
「施策デザインのための機械学習入門 データ分析技術のビジネス活用における正しい考え方」 読んだ - 糞糞糞ネット弁慶
施策デザインのための機械学習入門〜データ分析技術のビジネス活用における正しい考え方 作者:齋藤 優太,安井 翔太技術評論社Amazon 著者よりご恵贈いただきました．いくつか読むべき本があったのですが，社内で読書会をするために優先して読みました．感想を書きます． 著者は当時学部生とは思えないスピードでトップカンファレンスに論文を通している齋藤優太氏とサイバーエージェントにて機械学習と経済学 (特に因果推論) の研究を行っている，「効果検証入門」の著者でも知られる安井翔太氏．監修はホクソエム社． 第一線で活躍する若手研究者が日本語で本を書くことがどんなに貴重か (一部の研究者が「日本語の原稿や国内学会は業績ではないので意味がない．運営負荷も高いために縮小・廃止すべきだ」「日本語の専門書は不要であり，原著を読める人間だけが読めばいい．」と主張している背景があります) という話をしても一部の人に
握手会が延期になったので「効果検証入門」を読んで Python で (ほぼ) 実装した - 糞糞糞ネット弁慶
効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 作者:安井 翔太発売日: 2019/12/27メディア: Kindle版 ゴールデンウィークの握手会が延期になり気力が完全に尽きてしまい(そもそも2020年のほとんどのイベントが延期または中止になっているわけですが)，同じく握手会が延期になった友人と「アイドルとシロクマのことを考えないでください状態になっていてつらい」「何か没頭できる事は無いの」という話になった結果，「効果検証入門」を読んだ． 「どうせ読むのならば短期集中で」ということで，一日目午後に1章と2章，二日目午前に3章，午後に4章，三日目午前に5章のペースで Zoom で交互に節単位を音読しながら進めた．2020年，30歳を過ぎて音読． 感想 数学力が低い自分でわかった気分になれる，非常に参考になった．明日からでも試したい．随所に「実際のビジネスの現場ではこんな滅茶苦茶
機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン) 読んだ - 糞糞糞ネット弁慶
www.amazon.co.jp 訳者よりご恵贈いただきました．8年前に kaggle のアカウントを作ったきりの人間であるため，この文章にさほど価値があるとは思えませんが感想を書きたいと思います． ロジスティック回帰や決定木，ランダムフォレストやニューラルネットワークなどの機械学習アルゴリズムにどのようにデータを入力するか，ただのデータをよりアルゴリズムのパフォーマンスが改善するように加工する作業を「特徴量エンジニアリング」と呼びます． 本書はその特徴量エンジニアリングの基礎である 変数の値をそのまま使うのか，二値化するのか，区分に分けて離散化するのか，対数を取るのか，値を一定の区間に揃えるのか テキストをどのように特徴量にするのか，どう処理すべきか，どう重み付けるのか カテゴリ変数をどのように扱うのか，カテゴリの数が増えた時にどう対処するか 変数の数が多い時にどう減らせば良いのか k-
300 万ノード 1 億エッジからなる日本語版 Wikipedia のリンク構造から学習した見出し語の node2vec (分散表現) を公開しました - 糞糞糞ネット弁慶
タイトルの通りです．Wikipedia 本文を用いた埋め込みは 東北大乾研による日本語 Wikipedia エンティティベクトル BIZREACH によるHR領域向け単語ベクトル｜株式会社ビズリーチ 朝日新聞による朝日新聞単語ベクトル BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳 Out-of-the-box - 日本語Wikipediaで学習したdoc2vevモデル がありますが，リンク情報を用いた埋め込みは見かけなかったので公開します．このデータが誰かの何かの役に立てば幸いです． ダウンロードリンク 2 種類のファイルを用意しました． jawiki_n2v.txt.tar.gz : jawiki_n2v.txt.tar.gz は namespace ，ノード
Customized Regression Model for Airbnb Dynamic Pricing (KDD 2018) 読んだ - 糞糞糞ネット弁慶
KDD 2018 | Customized Regression Model for Airbnb Dynamic Pricing 民泊サービス Airbnb において， host (部屋を提供する人，ホスト) に対して「この値段で部屋を貸すと良い」と価格を提案する機能を実装するための技術． 予約 (booking) が入るかどうかの予測を行う その上で最適な価格を提示する という二つの方法を取る． この論文の貢献は以下の二つ． 価格の決定方法を評価する指標を提案していること その指標にもとづき価格を提示するモデルを学習する方法を考えたこと なぜ需要の推定が難しいか 「価格を決定する」というのは非常に古典的な問題．一般的には需要関数を求めて面積が最大となるような価格 を提案する．このとき，需要関数は価格のみの関数 である． しかし， Airbnb では需要は価格だけではなく，時刻 およびそ
Traveling the Silk Road: A Measurement Analysis of a Large Anonymous Online Marketplace (WWW 2013) 読んだ - 糞糞糞ネット弁慶
Traveling the Silk Road: A Measurement Analysis of a Large Anonymous Online Marketplace 概要 売上なんと1170億円。FBIがドラッグのアマゾン｢Silk Road｣閉鎖、運営者逮捕 | ギズモード・ジャパン 先日FBIの取り締まりによって閉鎖したオンラインマーケットプレイスである silk road の調査論文．タイトルがかっこいい． WWWはこのような，面白データの分析論文が定期的に出てくる． クロールしたデータセットも公開されている (Traveling the Silk Road: Datasets)． silk roadの概要 Torでしか接続できないonionドメインを持ち，支払いはbitcoinで行われる完全匿名サイト． データ収集 クロールしている事が気付かれないように(これはBANされ
2つの GMM(Gaussian Mixture Model) の類似度を KL Divergence で測る - 糞糞糞ネット弁慶
結論から言うと，結構面倒なのでサンプリングで近似すれば良い．死ぬほど精度が必要とかで無い限り， 後述する Variational Approximation を使えば良さそう． 目的 GMMは正規分布の重み付き和で表現される確率分布．二つのGMMの類似度を測る必要が生じたので調べていたら案外と面倒だったのでメモしておく． KL Divergence 確率分布の類似度と言えばKLダイバージェンス．最近では正規分布間のKLダイバージェンスの導出 - 唯物是真 @Scaled_Wurmや多変量(多次元)正規分布のKLダイバージェンスの求め方 - EchizenBlog-Zweiでも触れられている． 誰か実装できる形にまで書き下しているかと思ったら閉じた形では書けないとのこと．そしてこれをどうにか近似するというのは最近でも取り組まれている研究テーマであるらしい． Approximating the
データマイニングコンペティションサイト Kaggle にも Deep Learning ブームがきてるかと思ったのでまとめる - 糞糞糞ネット弁慶
概要 最近話題の Deep Learning，NIPS や ICML，CVPR といった世界の話だろうと思っていたら Kaggle で Deep learning が去年一件，今年に入って更に一件優勝していたのでまとめる． Kaggle Kaggle: Your Home for Data Science おなじみのデータマイニングコンペティションサイト．データと目的関数が与えられた上で最も高いスコアを出したチームに賞金が出る． 最近では KDD Cup や http://www.kaggle.com/c/challenges-in-representation-learning-the-black-box-learning-challenge:title=ICML2013 workshop competition]，や RecSys2013 Competition，レストランレビューサイ
CrowdSolvingの「コンテンツ販売サービスの会員離脱予測」に参加して6/43位だった - 糞糞糞ネット弁慶
概要 コンテンツ販売サービスの会員離脱予測 | CrowdSolving CrowdSolving第1回コンペに参加しました 5/43位 - 唯物是真 @Scaled_Wurm 日本版Kaggle: Your Home for Data ScienceのようなCrowdSolving | クラソル | データ分析・予測モデル作成のコンペサイトに参加して微妙な結果で終わった． 問題 あるサービスにユーザが登録してから1週間の間に取ったアクション(タイムスタンプ付きの離散値)を入力として，一ヶ月後にサイトから離脱しているかどうかを学習する． アプローチ 特徴量を作って予測． More Is Always Better: The Power Of Simple Ensembles « Overkill Analytics Rを使ってGLM，Lasso，NN，RandomForest，Gradie
冬のコミックマーケット(C83)一日目で「声優統計 第一号」を出します - 糞糞糞ネット弁慶
29日土曜日，東テ15-b，声優島の真っ只中にてサークル「日本声優統計学会」名義で「声優統計 第一号」を出します．DTPができる人間がいないのでコピー本です． 内容は次のようなものです． 声優統計入門 (@R_Linux) 声優統計とはそもそも何なのか，何が目的なのかを例題を用いて紹介 Wikipediaの声優PVデータ特性とブレイク判定手法 (@kkobayashi) WikipediaのPVデータを用いて新人声優のブレイクの定量評価を試みる キャスティング情報のbag-of-声優モデルを用いた音響監督推定問題 (@MagnesiumRibbon) キャスティングは音響監督によってのみ決定されるのかという話 ブログを用いた女性声優の結婚時期予測問題 (@y_benjo) ある女性声優が何ヶ月後に結婚するか?をブログ記事を用いて予測 アニメの内容及びキャスティングを用いないDVD売上予測問
節操の無いクソイナゴ野郎なのでdeep learningで使われるautoencoder実装した - 糞糞糞ネット弁慶
身内でdeep learningの勉強会をやったらできそうだったので実装した． 読んだのは大体ここらへん． NEURAL NETS FOR VISION(CVPR2012 tutorial) CS294A Lecture notes Sparse autoencoder ImageNet Classification with Deep Convolutional Neural Networks autoencoder autoencoderはunsupervised feature learningの一種．Convolutional Neural Netとは違って，最後の判別器の予測誤差をback propagationさせる，という事はせずある種特徴抽出で完結させている． autoencoderを一言でまとめると，「次元削減を繰り返すNeural Netを多段に繋げて特徴抽出を行う手法
東日本大震災ビッグデータワークショップ Project 311に「野良分析チーム」として参加した - 糞糞糞ネット弁慶
概要 当時をデータで振り返った時に、本当に必要なサービスは何だったのか、次の災害に備えるために、今我々はどんな準備をすればよいのでしょうか？ 「東日本大震災ビッグデータワークショップ - Project 311 -」 では震災発生から１週間の間に実際に発生したデータを参加者に提供いたします。参加者はそのデータを改めて分析することによって、今後起こりうる災害に備えて、どのようなことができるかを議論し、サービスを開発することができます。 東日本大震災ビッグデータワークショップ - Project 311 - Googleが主催し，様々な会社から提供されたデータを用いて分析/サービス開発を行うワークショップに@haraponさんと「野良分析チーム」を組んで参加した．ちなみに@haraponさんとはTwitterやはてなブックマークでやり取りする程度の間柄であり，これまで一度も会ったことはなく，最
Ameblo/Livedoor/excite/yaplog のブログクローラ書いた - 糞糞糞ネット弁慶
ブログ記事を収集する必要が生じてクローラ書いた． 最初は wget -a ./wget.log -w 30 -r -np -m -k -erobots=off -np blog_url とかやってたけど月別一覧やカテゴリ一覧，モバイル版URLを開こうとしてかなり重複してしまい一向に終わらないので，主要なブログサービスに合わせて書いた． どこから辿るのが記事を網羅できるか考えたところ Livedoor: base_url/archives/year-month.html?p=pos 続きがあるかどうかの判定，ブログによってまちまちなのでキーワードマッチにした Ameblo: base_url/archive#{pos}-#{year}#{month}.html excite: base_url/page/#{pos} yaplog: base_url/#{pos} base_url/mont
Geographical Topic Discovery and Comparison(WWW 2011) 読んだ - 糞糞糞ネット弁慶
Geographical Topic Discovery and Comparison(pdf) 概要 入力がみたいな感じで文書と位置情報の対の集合の時に空間的なトピックを抽出する．もっと言うと単語分布及び場所におけるトピックの分布が欲しい． 東日本大震災ビッグデータワークショップで位置情報付きのtweetリスト作成プロジェクトに関わってデータを集めまくっていたので，何か良い感じにこのデータをモデリングできないかと探していて見つけた． 本当は@syou6162に先に教わったA Latent Variable Model for Geographic Lexical Variation(EMNLP 2010)を読むべきなんだが． 手法 3つ提案している．が，そのうち2つについては「Sec 6の結果見てもらえればわかるけどこれ〜〜〜の理由で上手く行かないから」っていちいち先取りして書いてて面白
バラバシの「バースト！」に出てくるeメール/手紙の優先順位モデルを試す - 糞糞糞ネット弁慶
バースト! 人間行動を支配するパターン 作者: アルバート=ラズロ・バラバシ,青木薫,青木薫(監訳),塩原通緒出版社/メーカー: NHK出版発売日: 2012/07/25メディア: 単行本購入: 7人 クリック: 253回この商品を含むブログ (18件) を見る奇数章だけ読み始めた．その中に出てくるメールと手紙の送信モデルが面白かったので試した． メールの場合 次のルールに従う． 人は優先順位付きのリストを持っている 優先順位が高い順に処理していく． リストには「返信しなければならないメール」が溜まっているとする メールが1通届く．この時の優先順位はランダムに振られる(どんなメールが届くかわからない) 人はメールを優先順位が一番高いメールに返信する このルールに従ってシミュレーションし，メールが返信されるまでの時間とその件数を図にしたものが以下のものである． べき分布になってるのだろうかこ
Tracking Dynamics of Topic Trends Using a Finite Mixture Model(KDD 2004) 読んだ - 糞糞糞ネット弁慶
Tracking dynamics of topic trends using a finite mixture model 概要 タイムスタンプ付きの文書がジャンジャン来る時に文書集合のトレンドを把握する． 課題 リアルタイムなデータに対してトレンドなどを把握したい．その際，次の三つを1つのフレームワークで満たしたい． どのようなトピックがあってどれぐらい重要なのかを知りたい 新しいトピックが現れ，成長する様子を知りたい トピックの特徴を知りたい というわけで正規分布の有限混合モデルで対応するが，提案手法では 過去のデータをガンガン捨てて最近のデータを重視する 時間間隔を考慮する 次元数(=単語数)は時間が経つにつれ増えるので正規化する 提案手法 t におけるパラメータを t - 1 のパラメータを使って更新する t - 1 のみしかパラメータ更新に用いない 時間間隔が更新式に入っている
Mining Contrastive Opinions on Political Texts using Cross-Perspective Topic Model(WSDM 2012) 読んだ & 実装して試した - 糞糞糞ネット弁慶
Mining contrastive opinions on political texts using cross-perspective topic model 概要 複数の立場(perspective)から書かれた文章があった時，論点(topic)ごとに立場の主張をまとめ，それらの主張の違いを定量的に出力する． 例えば，自民党と民主党のマニフェストが与えられた時，「年金に対する自民/民主の主張」「安全保障に関する自民/民主の主張」をそれぞれまとめ，かつ，あるクエリに対する意見の違いを数値で出力する． モデル documentが名詞などのtopic word(LDAなどのword)と形容詞や動詞，副詞などのopinion wordで構成されるとする．生成モデルは次のような過程を辿るとする． まずトピックを選ぶ トピックに従って単語(topic word)を選ぶ 次に，意見(opinio
Machine Learning that Matters(ICML 2012) 読んだ - 糞糞糞ネット弁慶
機械学習やってる人は皆読むべきだと思う． Machine Learning that Matters (pdf) 概要 機械学習のトップカンファレンスICMLに数式/アルゴリズム/定理を1つも書かずに通った論文． 機械学習は何のために重要なのか，現実世界との繋がりを失っていないか，あなたは「機械学習って何の役に立つの?」と聞かれた時にちゃんと答えられるのか，まだ取り組まれてない重要な問題は何か，について触れた長文ブログのような論文． contributionsは 機械学習の研究と人類と科学全体におけるもっと大きな研究との間にある欠落に対する明確な特定と解説 そのギャップに取り組むための第一歩 (どう訳していいかわからなかった) 機械学習において重要な問題の提示 機械学習のための機械学習(要約: マッシュルームやアヤメの分類器を死ぬほど作って何の役に立ったの？) ベンチマークデータの問題 こ
コピペ面白post転載ユーザを特定した - 糞糞糞ネット弁慶
折角のゴールデンウィークなので，twitterで他の人の発言をそのままコピペしているユーザを少しずつ特定し始めている．
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
