「効果測定」をやめよう｜データ分析とインテリジェンス
「効果測定」だけが一人歩きしてませんかデータの仕事をしていると、知らないところでいつのまにかに行われた施策について「効果測定をしてほしい」と言われることがたびたびある。 とりあえず施策を行い後で振り返えればいいや、と考えている人が多いようだがこれでは正しい検証はできない。検証ができないから次の施策を決める時もまたとりあえず施策をする、が繰り返される。 これではいくら「効果測定」を行うために動いても施策の向上につながらない。そうなれば「データ」の役割の意味も無い。 そこでよくみかける「効果測定」の何がいけないのかと、どうしたらいいのかを考える。 「効果測定」を後で行ってはいけない理由施策が終わってから「効果測定」を行おうとするといろいろな問題が発生する。 基準がないので判断できない施策を行った後になって効果測定を始めるということは、施策を始める前にどれぐらいの効果が見込めるかを調べていないと
モデリングはキラキラ技術より地味だが役に立つ / modeling-over-shiny-tech
# Event データモデリングとデータ基盤の構築・運用 （第14回ちゅらコラボ）CARTA HOLDINGS x ちゅらデータ 合同イベント https://churadata.connpass.com/event/254417/ ぼくのかんがえる最高のレポーティング基盤 https://speakerdeck.com/pei0804/hokufalsekankaeruzui-gao-falserehoteinkuji-pan-at-awsdeshi-jian-analytics-modernization ディメンションモデリングモデリング https://zenn.dev/pei0804/articles/dimensional-modeling スタースキーマ https://zenn.dev/pei0804/articles/star-schema-design コンフォ
『仮説が先、データが後』がなぜ重要なのか？ データがあるから規則性や現象が見つかるのではなく、まず仮説をもつことが重要という話
松本健太郎 @matsuken0716 「仮説が先、データが後」は僕が敬愛する鈴木敏文さんの言葉です。「今あるデータから何かできないか」と問われても、何もできない最大の理由です。問題を解決する仮説が先です。しかし、大半の分析は仮説をすっ飛ばしていきなり検証から入り、かつそれを分析と言います。それはおかしい。（1/n） pic.twitter.com/5GaXebGfCM 2022-05-31 22:32:33 松本健太郎 @matsuken0716 データ分析には、仮説構築向きと仮説検証向きの2種類に分かれます。そして"仮説構築"の真意は「筋の良い可能性の選択肢を増やすこと」にあります。すなわち正解は1つでは無い、と私は考えています。分けて考えないと「正解を絞れていない」「確からしく無い」とひっちゃかめっちゃかです。（2/n） pic.twitter.com/ZifqK8q3PE 2022
[データ整備／整理] BIではデータを加工しないでデータマートを作る | データ分析とインテリジェンス
BIはデータマートと組み合わせて使うのがおすすめ BIを使う時にツールの中でクエリを書かないほうがいい。その処理はDBで行ってデータマートに入れ、BIでは読み込ませるだけにする。 すると動作が軽くなって待たされる時間が減る。redashで数分かかっていたクエリが2・3秒で返るようになったこともある。tableauはそこまでではないけれども相当に早くなる印象。 BIを使うところから入った人にはあまり広まっていないようなのでまとめておく。最後に、「データマート」が何かわからない人向けにも指針を書いておく。 なお、筆者は全てのツールを使っているわけではなく、自分が今まで利用してきた範囲内で話をしていることはお断りしておく。 BIでクエリを書かない方がいいと思う理由 BIで加工すると以下のデメリットがある。 表示までの時間が長くなる 加工のための関数が貧弱 修正が必要になったら個別に対応する必要が
Good Data Analysis | Machine Learning | Google for Developers
Good Data Analysis Stay organized with collections Save and categorize content based on your preferences. Author: Patrick Riley Special thanks to: Diane Tang, Rehan Khan, Elizabeth Tucker, Amir Najmi, Hilary Hutchinson, Joel Darnauer, Dale Neal, Aner Ben-Artzi, Sanders Kleinfeld, David Westbrook, and Barry Rosenberg. History Last Major Update: Jun. 2019 An earlier version of some of this material
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
データ分析基盤における個人情報の扱いについて - NRIネットコムBlog
こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い - NRIネットコムBlog 個人情報＆パーソナルデータと匿名加工について まず最初に個人情報＆パーソナルデータの定義と匿名加工について、サラッと確認しておきましょう。 個人情報＆パーソナルデータ 個人情報とは、任意の一個人に関する情報であり、かつその情報をもとに個人を特定できるものを指します。代表的な個人情報としては、名前・住所・電話番号・E-ma
「昔はこんなに暑くなかった」は本当か｜データサイエンスによる感覚の言語化｜天一｜note
連日の猛暑日、熱中症、今年も日本の夏が猛威を振るっています。そういえば毎年、夏になるとお決まりの文句を耳にしませんか。 「昔はこんなに暑くなかった」 これ、本当でしょうか。確かに子どもの頃は、外出を控えるほど暑さを危険視していなかったように思います。とはいえ、明確に「子どもの頃より気温が上がっている」と断言できるほどの根拠は持ち合わせておりません。 そこで、その感覚をデータにて検証してみましょう。気象庁の統計から過去100年間の最高気温を抽出し、夏日（25℃以上）、真夏日（30℃以上）、猛暑日（35℃以上）をそれぞれカレンダーにプロットしてみました。なお、地点は僕の住んでいる大阪市のデータを用いています。データ分析には Tableau を使用しました。 四半世紀の傾向｜夏日、真夏日、猛暑日の出現頻度まず、2018年、2013年、2008年のデータをみてみましょう。グレーが夏日、オレンジが真
データ分析者のバリューの出し方を考える｜だみ〜
本稿は、自身がデータ分析者だと思っている人に対して、こういうのが事業会社におけるデータ分析者に求められている価値の出し方なんじゃないだろうか、というのを提案してみるために書きます。 そのため、一切の自身の所属団体、所属していた団体とは関係なく、あくまで一個人のプライベートな意見であることを記しておきます。 私はビジネスマンとしてまだまだ経験が浅く、至らないところが多いため、以下の点で間違っていたり、至らないことが考えられます。 ・そもそもプロセスの全体像を勘違いしている ・プロセス自体への理解が浅い ・そこでバリューは出ないだろうという点に重点を置いている ・webでの分析に寄りすぎている 最後の問題はできるだけ一般的に書こうとはしますが、それでもそれはwebの話じゃんというのがちょいちょい出てくる気がします。 上記の問題点はあるのですが、自身がどう思っているかを記しておくことは非常に有意
データ分析の「7つの進化のステップ」を今一度おさらいしてみる - 渋谷駅前で働くデータサイエンティストのブログ
2016年最初の記事ということで、もはや1月下旬に差し掛かりつつありますがこちらでは改めて、あけましておめでとうございます＆本年もよろしくお願いいたします。 で、新年一発目のお題は。。。実は似たようなお題で過去にも記事を書いていますが（笑）、年も改まったことなので今一度備忘録的におさらいしてみたいと思います。観点としては、どちらかというと「これからデータ分析のカルチャーを職場に導入していくとしたらどうやってステップアップさせていくか」みたいなところです。なお過去記事はこちら。 この辺の話題を踏まえながら、過去記事リンクのオンパレードで恐縮ですがちょっと一席やってみます。なお以下に挙げる「ステージ」はあくまでも一例であり、業界によってはもっと高度な方向に展開させられる（orもっとプリミティブなレベルに留まる）こともあるので、参考程度に見てもらえればと。 特にここでは「まだデータ分析を始めてい
テューキーの教え：データ分析する時に心に刻む10のこと
「The Future of Data Analysis」の中でテューキーが言わんとしているのは、データ分析とはより良い質問を作り出していくことだ、ということでした。 この「The Future of Data Analysis」というエッセイが出版されたのは1961年、今からおよそ60年前のことですが、彼がこのエッセイの中で伝えようとしていたことは今日になっても色あせることがありません。 むしろ、現在データサイエンスの世界で起きている多くの議論というのはすでにこのエッセイの中に見つけることができます。 例えば、統計的に有意かどうかの判断が5％なのか1％なのかといったことに時間を掛けるのが無駄だとか、そもそもそういった仮説検定の手法やその正しさを議論するのに時間をかけるよりも、データから仮説そのものを構築くしていくことにもっと時間をかけるべきだとか、「最適化（モデルの予測精度を上げる）」に
現実はバッドデータが9割 - 武蔵野日記
午前中は大学に来てメール処理。忘年会の予定をfixしたり（しかしその後さらに追加の連絡が……）。 お昼から渋谷に移動し、研究の打ち合わせ。どうしても大学での授業や研究室のことが頭から離れないのだけど、いいのか悪いのか分からない。こういうときってよかれと思っていろいろ動いても空回りしがちなので、適当な感じで力を抜きたいものである。自分の経験上、1年目は試行錯誤して失敗して、2年目に強弱つけるところが分かってきて、3年目で一つの完成を見て、4年目以降は前年の繰り返しでOK、というパターンなので、とりあえず今年は新しいことにチャレンジしてみる時期である。 そういえば、NAISTや松本研のことはこの10年で片手で数えるくらいしか夢に見ていない（というか、そもそもほとんど夢を見なかった）のだが、首都大やうちの研究室のことはこの夏から週に1-2回夢に見ている。思い詰めるということではないのだが、移動中
Kaggleのtitanic問題で上位10%に入るまでの環境構築とデータ分析 - mirandora.com
本記事のコード/ご参照 ・本記事の全体のコードのnotebookを以下にアップしております。あわせてご参照くださいませ。 “Kaggle titanic_tutorial_code” ・本記事含むKaggleやデータ分析初学者向けのチュートリアル解説本を執筆しました。あわせてご参照くださいませ。 ※本記事のコードや環境構築の詳細手順を記載した書籍となります。 『Pythonで動かして学ぶ！Kaggleデータ分析入門』 ※はじめに 本記事は2020年の上記書籍発売に合わせて内容を加筆・修正しました。そのため執筆当初と内容が異なる箇所がございます。またKaggleあるいはデータ分析における最初のチュートリアルとしてtitanicは長らく親しまれておりましたが、下記3点の現状があることをご認識いただいた上で取り組まれるのが良いかと思います。 ・データ数が少なくOverfit（過学習）しやすい ・
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データエンジニアと作るデータ文化
データ分析とインテリジェンス
データ整備の基礎
事業の進展とデータマネジメント体制の進歩（＋プレトタイプの話）
データ分析って何したらいいの？ マーケターに必要な「データ活用７つの視点」 | 【レポート】デジタルマーケターズサミット2021 Summer
データ分析で大事なのは「とにかくシンプルに」！ メルカリ流Data Analytics実践のススメ | 【レポート】Web担当者Forumミーティング 2018 Autumn
データファースト開発
