Webサービスでよく使うA/Bテストの評価方法5種をコード付きで解説 - paiza times
こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、いくつかの機能やページのデザイン・文面・などから、どれを選ぶか迷うことがありますよね。 これがいいんじゃないか、いやあれがいいんじゃないか…などとみんなで考えたり議論したりしても結論が出ないとき、使われる手法の1つがA/Bテストです。 A/Bテストは、A案・B案の機能やデザインをユーザーによって出し分けて、クリック率などの反応を見ることで、どちらの案がよかったかを確認します。 ただ、単純にクリック数やクリック率で比べるだけでは、たまたまその時クリックされただけなのか、有意差があるのかどうかがわかりません。たとえば、A案が10回表示して1クリック、B案が10回表示して2クリック、という場合、B案の方が2倍クリックされているわけですが、1回しか差がないので、偶然多くなっただけな可能性が
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
A/Bテストに用いられる統計的検定手法（ロジック）のまとめ＆比較 | RCO Ad-Tech Lab Blog
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら 汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばしば用いられるA/Bテスト（A/B testing)について、できる限り背後にある仮定を明記した上で、まとめたものである。 A/Bテストとは、主にインターネットマーケティングにおける施策の良否を判断するために、2つの施策（通常、A・Bと記載）を比較す
Amazonの不正レビューを見抜くサービス「サクラチェッカー」。商品の本当の評価が明らかに｜FINDERS
文：岩見旦 Amazonで、ユーザーは商品に対する評価を「星1つ」から「星5つ」でランク付けし、コメントを添えて投稿することが出来る。商品選びの参考になる、ユーザーにとって頼りになる機能だ。 しかしその一方、この機能を逆手に取り、自社商品に対し身内やアルバイトに高評価をつけさせる悪質な業者がいることもまた事実。Amazon側も対策を取っているが、まだまだ多くの不正レビューが残っており、個人が一つ一つ判断するのは至難の業だ。 ところが、そんなAmazonの不正レビューをワンクリックで見抜くサービスが公開されたと話題を集めている。 AmazonのURLをコピペしてクリックするだけ そのサービスとは「サクラチェッカー」。使い方は簡単。検索欄にAmazonの商品のURLをコピペし、「Go」をクリックするだけだ。すると、「レビュー分布」「レビュー日付」「ショップレビュー」など6つの項目から、不正レビ
R言語による時系列予測とクロスバリデーション法による評価 | Logics of Blue
時系列データへのクロスバリデーション法を用いて、予測精度の評価を行う方法を説明します。 R言語のforecastパッケージのtsCV関数を用いると、効率的な短いコードで実装が可能です。 この記事では、時系列データの前処理～モデル化～予測～予測の評価、といった一連の流れをすべて通して解説します。 今回は標準的な時系列モデルであるSARIMAモデルを用いますが、このモデル以外でもおおよその手順は変わらないと思います。 予測の評価における基本的な事項は『予測の評価方法：誤差の指標とナイーブな予測』も合わせて参照してください。 コードはGitHubから参照することができます。 スポンサードリンク 目次 分析の準備と前処理 SARIMAモデルの構築 SARIMAによる予測 テストデータを使った予測の評価 クロスバリデーション法による予測の評価 スライド型のクロスバリデーション法の実行 後記 1．分析
ランキング設計はどうあるべきか？ その2｜深津 貴之 (fladdict)｜note
前エントリで論じられた、正しいランキング設計の考察の続き。第2回は、ランキングの収奪性、格差の固定性を軽減する手段を、具体的に論じてみる。 前回の記事へのTwitter上のフィードバックは、Togetterにまとめてある。こちらもご興味があれば、一読の価値がある。いくつか被ってしまったものもあるけれど、諸々の後半記事。 「ランキング」以外の名称を用いるこれはほぼ確定。ランキングという名前は、「noteとして競争原理を推奨する」という強いメッセージを発する。noteの全てのユーザーが、競争原理で動いているわけではないので、これは望ましくない。 おそらく最終的には「注目」「人気」などの名称を使うことになるかと思われる（「オススメ」はパーソナライズ用にとっておく）。また、「ランキング」という名称やスタンスをやめることで、後述するようないくつかの公平性のための施策を行う余地が生まれる。 時間による
深層学習による自然言語処理 - RNN, LSTM, ニューラル機械翻訳の理論
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
Rによる機械学習：caretパッケージの使い方 | Logics of Blue
ニューロンの個数を2パタン。 データへの依存度を3パタン用意すると、2×3＝6パタンも試さなければなりません。 大変に面倒ですが、このハイパーパラメタを雑に設定すると予測精度が落ちてしまうこともよくあります。 めんどくさいですが、なるべくやったほうがいいです。 4．モデルを使って予測する これは簡単。単に予測をするだけです。 パッケージを使っていれば、たいていは予測用の関数が用意されています。 5．予測の評価をする 最後は評価です。 評価をすることによって、 ・どの手法の ・どのパッケージの ・どのパラメタを 採用すべきかを判断します。 で、一番予測精度がいいやつを使って予測することになります。 たくさんの手法、たくさんのパッケージ、たくさんのパラメタの組み合わせをしらみつぶしに評価する。 普通にこれをやろうと思うと、気が遠くなってしまいますね。 そこで登場するのがパッケージ「caret」
非負値行列因子分解（NMF）によるレコメンドのちょっとした例 - About connecting the dots.
最近線形代数についていろいろ読みなおしたりしてるのですが（線形代数チートシートを前の記事でまとめてあります），その一環でレコメンドアルゴリズムについていくつか試してみたので，それを解説します．順序としては，基本の協調フィルタリング（ユーザベースド，アイテムベースド）→特異値分解（SVD）→非負値行列因子分解（NMF）になります． 基本的な考え方 ここで取り扱うのは，すべて以下のようなユーザ×商品のマトリックスをベースとしたレコメンドになります*1．ここでは映画レンタルサービスを例にして考えます．6人のユーザが，4つの映画*2のうちレンタル視聴したものについては，1-5点の5段階評価を行いました．0になっているものは「みていない」ということになります． まずはざっと評価の状況をみると，「千と千尋の神隠し」が最もよく視聴されていて，6人中4人がみています．次にみられているのは「となりのトトロ」
キジトラBLOG | 地味に役立つ知恵袋と街の話題など
障害を持つ人々にとって、新しい出会いを見つけることは多くの困難を伴うことがあります。しかし、最近では障害者のために特化した出会いアプリが登場し、恋愛や友情、...
3000人取材して学んだ､ほとんどしゃべらずして､話上手になれる20の方法 - 暮らしのブログ
2016/09/14にSmartNews（スマートニュース、スマニュー）で紹介されました。ありがとうございます。 はじめに。 会話が弾むと、仕事も暮らしもぐーんぐんと快適になる。 わたしは、これまでインタビュアーとして、3000人以上のビジネスパーソン（うち1000人近くの経営者）のインタビューに携わってきました。*1 といっても、実はもともと会話が得意な方ではありませんでした。むしろ苦手でした。でも、今日ご紹介するテクニックを積み上げていくうちに、会話が上手な人だと思われるようになっていき、回を重ねるごとに大物のインタビューを任されるようにまでなりました。 今日は、そんなわたしが仕事を通して得た「ほとんどしゃべらずして､話上手になった20のテクニック」をご紹介しようと思います。 このテクニックを実行すれば、どんなに会話が苦手な人でも、会話上手になれます（しゃべりすぎの人を含む）。 会話上
機械学習を用いた予測モデル構築・評価
質的変数（順序尺度）に有用なポリコリック相関係数を紹介しています。 また、ポリコリック相関係数を使った因子分析の方法も説明しています。
いまさら聞けない機械学習の評価関数 - Gunosyデータ分析ブログ
アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表資料 いまさら聞けない機械学習の評価指標 from 圭輔 大曽根 www.slideshare.net 機械学習における評価 現在は機械学習ライブラリが充実しており、また、Webサービスの普及により学習に必要なデータの獲得も以前と比較して容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle*1などのコンペティションではあらか
５つのキュレーションサービスから学ぶ記事配信アルゴリズム
アプリエンジニア。株式会社マイナースタジオ所属。主に扱っているプログラミング言語はSwift、Ruby、PHP、Python。イカが好き。 みなさんは情報収集をする際にはどのようなものを利用していますか？ 最近では様々なキュレーションサービスがリリースされており、そのWebサイトやアプリを使用している方も多いのではないかと思います。 今回はキュレーションサービスの中でも記事配信アルゴリズムが興味深いものをまとめてみました。各々のキュレーションサービスの特徴的なアルゴリズムとともに紹介していきます。 キュレーションのアルゴリズム サービスの紹介の前にキュレーションサービスにある主な機能について紹介します。 - 記事収集機能 ユーザーに配信するための記事を収集する機能です。RSSやSNSなどから抽出したURLが情報源として利用されることが多いです。 - 記事評価機能 記事が正しいものであるか、
ムダ会議が激変！一目置かれる人の｢スゴ技｣
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
iOS上で動作する革命的ものづくり環境「Pythonista 3」の魅力をとくと語る
iOS用のアプリは通常、開発アカウントを取得し、Macを使って開発します。 開発アカウントを取得するほどではないが、iOSデバイス上で何かやりたい処理がある、という人はいるでしょう。 あるいは、プログラム好きな人なら率先してiOSデバイス上でプログラミングをしたいと思うのではないでしょうか。 そうしたニーズに存分にこたえることができる、iOSデバイス上で動作する統合開発環境がPythonista 3です。 2016年9月21日に開催されたPyCon JP 2016で @equal_001 さんがPythonistaについて発表されていたのでご紹介。 Python支持者のことをPythonistaといいますが、アプリ名はそこから取ったんでしょうね。 正真正銘のPythonが内蔵されていて、ローカルで動きます。 [参考] Kazuhiro AbeさんはTwitterを使っています: 「インタプ
機械学習.vs.乱数 - 小人さんの妄想
新年おめでとうございます。久しぶりにブログを更新します。どっこい生きてます。 昨年は、たった１回しか更新しませんでした。 今年はブログを書けるくらいのゆとりを持ちたいものです。 さて、昨年までを振り返ると、一部で「サザエさんじゃんけん予想」が話題になったことがありました。 なんでも８割以上の的中率を叩き出した方もおられるとか。 そこまでするには相当の入れ込みが必要でしょうが、ちょっとパソコンで試すだけなら、わりと手軽にできます。 予想の方法はいろいろありますが、私は以下のブログを参考に、scikit-learnという機械学習を試してみました。 * サザエさんのジャンケンの次の手を決定木で予測+可視化してみた >> http://sucrose.hatenablog.com/entry/2014/11/23/230622 やったことは、上のブログにある通りです。 ・パソコン上に Python
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
