「効果測定」をやめよう｜データ分析とインテリジェンス
「効果測定」だけが一人歩きしてませんかデータの仕事をしていると、知らないところでいつのまにかに行われた施策について「効果測定をしてほしい」と言われることがたびたびある。 とりあえず施策を行い後で振り返えればいいや、と考えている人が多いようだがこれでは正しい検証はできない。検証ができないから次の施策を決める時もまたとりあえず施策をする、が繰り返される。 これではいくら「効果測定」を行うために動いても施策の向上につながらない。そうなれば「データ」の役割の意味も無い。 そこでよくみかける「効果測定」の何がいけないのかと、どうしたらいいのかを考える。 「効果測定」を後で行ってはいけない理由施策が終わってから「効果測定」を行おうとするといろいろな問題が発生する。 基準がないので判断できない施策を行った後になって効果測定を始めるということは、施策を始める前にどれぐらいの効果が見込めるかを調べていないと
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜Shota Tajima
従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
データ分析をする前に、まず生データを見てみよう - 渋谷駅前で働くデータサイエンティストのブログ
先日ですが、旧知の*1Grahamianさんのこんなツイートが話題になっていました。 データ分析をするときシンプルに重要なことは「生のデータを眺める」と「データの分布をグラフにする」ことなんじゃないかと思うんですよね。すぐにクロスとかファネルとかコホートとかやりたくなるんですけど、まずは目の前のデータがどんなものか頭にマッピングさせることが長期的に効いてくる感じ。— Grahamian📊データ分析と機械学習 (@grahamian2317) 2021年1月12日 何を当たり前のことを言っているんだと眉を顰める向きもあるかもしれませんが、これだけデータサイエンスやら機械学習（人工知能）やらが喧伝されている昨今においては、少なからぬ現場で「データはどこかのAPIからバルクでダウンロードしてくるor本番DBから転送してくるだけ」「やってきたデータは中身を見もせずにそのまま統計分析や機械学習など
日本経済新聞社が語る、データを見える化して企業マインドを変えるDX戦略とは｜モバイルマーケティング研究所｜ModuleApps 2.0
データ活用までの道のり 日経電子版は2010年にサービスを開始、今年でちょうど10周年にあたる。この10年間はスマートフォンの普及時期と重なり、また社内でも新聞紙面からデジタルシフトへという流れもあって、会員数は順調に増加した。2020年7月現在、有料会員数は80万人、無料会員を含めると約500万人に利用されている。 この10年を振り返るといろいろなステップがあったという。最初の段階は、新聞メディアがWebメディアに参入する段階で、新聞紙面をビュアアプリできちんと届けるということ。それが進んでいくと、世の中はスマホ中心のデジタル環境が整備されてきたこともあって、テック企業を意識してエンジニアを採用し、アプリの内製化に取り組んだ。 そして専門的知識を持ったメンバーも増えてきたところで、デジタル中心にDXへ進出していく。いろいろな取り組みを最適化するため、プロダクトアウトからマーケットインに顧
分析用SQLを書くときの思考回路について｜だみ〜
本稿では、分析用のSQLを書くときに則っている思考回路について述べて行こうと思います。 この言語化はあまりきちんとされている印象が無いので、自分がそこそこ初めての言語化だと思って頑張ってやってみようと思います。 言い換えれば、私はこういう思考回路でSQLを書きますが、みなさんどうですか、という話でもあります。 あとは、前提として、現代的な分析用の分散エンジンにSQLを投げるときを考えています。それ以外の場合はむしろ非効率になることも多いかもしれません。 0.問題設定今回の題材は、待てばチケットが復活する無料単話があり、有料で無料単話も買える、そして単行本購買もできる、というマンガサービスとしましょう。 このサービスの企画者から、チケットで無料単話だけ読むユーザが、もし有料で単話を買うようになったらどれくらい売上が伸びるのか教えてほしい、という依頼が来たとします。 これを仮説形式に直すと、
データ分析を元にFAQサイトを継続的に改善する - yasuhisa's blog
FAQサイト、サポート問い合わせをせずとも自分で疑問を解決できて便利ですよね。でも、検索した単語が一件もヒットしないと、ちょっとガッカリしてしまします。そういったガッカリを減らすために、簡単なデータ分析を使ってFAQサイトを継続的に改善する話を書いてみます。 ...というのも、自分が仕事で関わっているMackerelでは最近FAQをリニューアルしたからなのでした。 MackerelのFAQではZendesk Guideを利用していますが、Zendesk Guideは便利なAPIが用意されているので、それと既存のデータ基盤を組み合わせて改善していく形です。 FAQサイト内の検索語を列挙する まず、FAQサイト内でどういった単語が検索されているのかを列挙します。Google Tag Manager経由でFirebase Analyticsにデータを飛ばすと閲覧状況が分かりますが、そのログをBi
テューキーの教え：データ分析する時に心に刻む10のこと
「The Future of Data Analysis」の中でテューキーが言わんとしているのは、データ分析とはより良い質問を作り出していくことだ、ということでした。 この「The Future of Data Analysis」というエッセイが出版されたのは1961年、今からおよそ60年前のことですが、彼がこのエッセイの中で伝えようとしていたことは今日になっても色あせることがありません。 むしろ、現在データサイエンスの世界で起きている多くの議論というのはすでにこのエッセイの中に見つけることができます。 例えば、統計的に有意かどうかの判断が5％なのか1％なのかといったことに時間を掛けるのが無駄だとか、そもそもそういった仮説検定の手法やその正しさを議論するのに時間をかけるよりも、データから仮説そのものを構築くしていくことにもっと時間をかけるべきだとか、「最適化（モデルの予測精度を上げる）」に
なぜデータ基盤を作ったのか？「ゼクシィ縁結び・恋結び」で必要になった理由
システム、プロセス、カルチャーをいかにエンジニアリングするか 本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』では「データ基盤」の構築事例を紹介します。具体的には、オンライン婚活サービス「ゼクシィ縁結び」ならびにその姉妹サービス「ゼクシィ恋結び」の開発現場において、筆者が実際に行ったことを題材としています。 データ基盤を実際に構築するのは容易ではありません。構築したデータ基盤を実際に利用し続けてもらうのはさらに難しいことです。 多くの関係者がデータを加工すると、似ている意味を持っていても微妙に異なるデータが生成されてしまい、どのデータが正しいのか誰も分からなくなってしまいます。きちんと全員に使われるためにはデータの持つ意味や加工ロジックを誰かが整理しなければいけません。 また、モダンなツールを使って派手なダッシュボードを構築しても、それだけでは1週間後には誰も見なくなって
年間約12億円の価値を創出するデータサイエンティストチームのBIツール活用法とは：データ活用は組織課題 - ＠IT
アイティメディアは、2018年9月26日に秋葉原UDXにおいて「AI／ディープラーニングビジネス活用セミナー ビジネス価値は、データに宿る」を開催した。本稿では、リクルートライフスタイルによるセッションは、「Tableau活用6年の軌跡～組織定着と活用事例～」の模様をお届けする。 リクルートライフスタイル ネットビジネス本部 データエンジニアリンググループのデータサイエンティスト 徳永竣亮氏（左）、データプロダクトストラテジスト 前田周輝氏（中央）、データサイエンティスト 加藤広大氏（右） 年間約12億円の価値を創出する「データプロダクト」をどのように開発しているのか 同社では、顧客接点を紙媒体からWebメディアへと移行していく中、意思決定のスピードを速めることを目的として、2012年からBIツール「Tableau」の導入に取り組んでいる（参考記事：脱Excelで生産性15倍、リクルートが
AI/データサイエンスのプロジェクトが失敗する10の危険なサイン - Qiita
5. 社内にアナリティクスのトランスレーターがいない アナリティクスのトランスレーター（翻訳者）とは、ビジネスリーダーが大きなインパクトのあるアナリティクスのユースケースを見つけ出すのを助け、ビジネス要件をデータサイエンティスト、データエンジニア、他のテクノロジーの専門家にしっかりと説明することで、彼らが実行可能なアナリティクスのソリューションを作っていくことを可能にするような人です。さらに彼らは社内でアナリティクスのソリューションが広く採用されるためのサポートを行い、多くのビジネスユーザーの賛同を得られることを可能にします。彼らに必要なスキルとは、業務知識、一般的なテクノロジーへの理解、プロジェクト・マネジメントが混ざったものとなります。 解決案： 一刻も早くトランスレーターを用意するべきです。外から雇うのもいいのですが、その場合は最も重要なあなたのビジネスに関する業務知識というものがあ
企画分析の4象限とPMに必要な分析力 - PM memorandum
これはなにか 企画にまつわる分析、およびその中でPMに必要な分析の種類についての、私見をまとめたものである。 前回、『「価値の検証」を構成する4つのステップ』で、企画のリリース後の分析についてまとめた。 上記の記事では、事後の分析のみにフォーカスしていたが、この記事にも書いたように、企画の前半のフェーズでも、分析を行うことが多いため、今回は企画のフェーズを横断して、「PMが担う分析」について書く。 kyosu-ke.hatenadiary.jp また実際に、分析はどこまでやればよいか？どこまでの能力が必要なのか？どの程度のスキルがないといけないのか？といった質問を受けることも多く、その際によく話すことをまとめている。 なお、本記事で想定しているのは、分析担当のメンバーがいるチームを想定している。 よって、分析専任官などいないスタートアップであれば、CEOでもPMでもエンジニアでも強い人を中
最悪のデータ分析組織とは | データ分析とインテリジェンス
データ分析組織について考察する ここ数年、データ分析が組織化され初めているようだ。しかし、いままで現場レベルですらほとんど存在しなかったデータ分析をいきなり組織化しようとしても外注丸投げ体質が加わって組織が機能せず人も育たず2・3年で崩壊するといった事態も散見される。 これから先、いくら日本企業がデータ分析に疎いと言ってもその拡大と共に組織化していく企業は増えてくるだろう。その時に役立つかもしれないので、同じ組織は2つと無いとしても、うまくいかない理由はそれなりに共通しているのでは、と思い当たったのでまとめることにした。 もしその企業にとって最悪なデータ分析組織を作るとしたらどうするだろう。 マネージャーにはデータ分析の実務経験がない メンバーは実務能力に乏しいので社員だけでは仕事が回らない 実務は外部のエンジニアに丸投げ データ分析に取り組む企業にとってこれ以上に悪い組織というのはなかな
いまさら聞けない機械学習の評価関数 - Gunosyデータ分析ブログ
アライアンス事業開発部の大曽根(@dr_paradi)です。 ニュースパスというアプリの分析と開発を行っております。 今回は機械学習の評価関数のお話をします。 内容は、【FiNC×プレイド】Machine Learning Meetup #1 - connpassで発表したものになります。 発表資料 いまさら聞けない機械学習の評価指標 from 圭輔 大曽根 www.slideshare.net 機械学習における評価 現在は機械学習ライブラリが充実しており、また、Webサービスの普及により学習に必要なデータの獲得も以前と比較して容易になっています。 そのため、機械学習のビジネス利用への敷居が下がっています。 予測や分類といった問題を解く際には、設定した課題に対してどのモデルが最も適しているかを評価するための指標(評価関数)が必要になります。 Kaggle*1などのコンペティションではあらか
PR記事：データ分析の複雑化/大規模化に伴う環境の変遷と途中にある壁 - 元データ分析の会社で働いていた人の四方山話
仕事柄、色んなパターンのデータ分析してる人の環境を見る機会があるのですが、よくあるのは下記のような7つかな、と思います。段々とやりたいことが複雑/高度化する、もしくはデータの規模が大きくなると下の方に進んでいく気がします。 （私見ですが）よくある7つのパターン 1. WindowsのGUIアプリやWebサービスの管理画面 いわゆるエンジニアじゃない方がデータ分析を行う時はまずここからではないでしょうか。Excelなども何気に高機能ですし、Tableauなどでも色々できます。Web上でもGoogle DocsのSpreadSheetはExcel並に色々できてしまいます。 2. Windows上でのプログラミング 少し高度な事や複雑な事をしたいなぁ、と思ったらこの領域になるのではないでしょうか？ Excel上のVBAから始まり、Rを使ったり、それでも足りない部分はPythonを利用したり、とい
トレジャーデータ流 データ分析の始め方〜データサイエンティストがもたらす新しい価値〜 - トレジャーデータ（Treasure Data）ブログ
はじめに クラウド関連技術の進化とその普及により、データ分析に必要なコストは大きく低減しました。以前であれば数千万〜数億円かけて構築した分析インフラも、今では月額数十万程度で簡単に立ち上げることが出来ます。本資料では、スモールスタートで「データファースト」を推進する分析プロジェクトの始め方について、詳細をご紹介していきます。現在データ分析に携わっているものの様々な事情でなかなか本格始動出来ない方にとって、少しでも助力になれば幸いです。 一般的なデータ分析プロセス 一般的に「データ分析」をプロジェクトとして始めるにあたっては、会社や上司から「目標」や「仮説」を求められることが多いかと思います。それが明確であるがゆえにデータ分析が活き、その「確証」（または否定）を元にビジネスプロセスが回っていくと考えられるからです。 データ分析を始めるには相応のコストと時間がかかりますので、きちんとビジネスプ
データサイエンティストに必要な3つのスキル | quipped
久しぶりにタイトルで釣りにいっているが、ブラウザの「戻る」ボタンを押さないでくれw ... ... ... （よし、まだ「戻る」ボタンを押してない！） ぼく自身、データサイエンティストだったことはないが、一応大学では数学を勉強していたし、金融でクオンツトレーダーもやっていたし、人生3回分（と言ったら言い過ぎか）くらいのSQLクエリは書いている。なので、これから書くことは、本屋に立ち並ぶ歯の浮く様なビッグデータ談義よりは、普遍的な価値があると自負できる。 もう一つ本題に移る前に、「データサイエンティスト」という呼称について感じる両価的な感情について軽く説明したい。 ぼくは幸いにも優秀な同僚や友人に恵まれていて、彼らの中には、データ分析屋さんでありながら、データを集めてきて（広義の）データウェアハウスに突っ込むという非常に面倒くさい一連の作業もちゃっちゃか出来る奴が2、3人いる。そういうマルチ
Monthly Interview：新井紀子 国立情報学研究所教授 ビッグデータに必須！“数学脳”の鍛え方：HH News & Reports：ハミングヘッズ
ビッグデータを分析する「データサイエンティスト」という職種が注目を集めている。データを分析するスキルや、どのようなデータを集めてくるか、というセンスが必要になる。だが、こうした社会の流れと逆行するような「データ」が出てしまったのが、2011年に日本数学会が実施した「大学生数学基本調査」（以下、基本調査）だ。 ビッグデータの使い方が企業の死活問題となりうる現代では、文系・理系を問わず「数学抜きで語れない」と話すのは、国立情報学研究所の新井紀子教授。ビッグデータを活用でき、なおかつ世界に通用するビジネスマンになるために必要な“数学脳”とは？ 基本調査を踏まえ、入試や教育のあり方から、数学な苦手という文系人間への「処方せん」まで、解説していただいた。 如実に表れた「数学力」の低下 ―2013年3月に、基本調査の後に行われた「フォローアップ調査」の結果が公表されました。 新井氏：これまで日本人は「
データサイエンティストではない人に知っておいて欲しい事 - hotokuとは
統計を専門にしている訳ではない人と話していて感じた違和感があったので、書き留めておきたい。 疑うべき順番は モデル → 推定法 データ分析をしていれば、当然、期待を掛けたモデルのデータへの当てはまりそうが悪いという事が度々ある。こういう時、統計屋さんとして自然に浮かぶのは「モデルが間違っている」という発想である。と思うのだが、非統計屋さんと話していると、このような時に「別の推定法を試してみたらどうだろう」と言われる事がある。多分、目の前のモデルに対する過度の期待から来るのだろうと思うが、このような態度では統計的に見ると妥当性を欠いた分析をしてしまう危険を孕んでいる。 ひとつの事例 とある線型状態空間モデルのパラメータを推定した所、どうしてもデータに合わない部分があった。実は、それが合わない理由は簡単で、ある潜在変数は常に正であるはずなのだ。線型状態空間モデルでは、潜在変数の分布は正規分布で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析の初心者はExcelを使い、中級者はR, Python, SAS, SPSSなどを使い、上級者は「Excel」に戻っていく「Excelに始まりExcelに終わる」