データ分析の敵“汚いデータ” やらかす人への対策、どうすればいい？
データ分析の敵“汚いデータ” やらかす人への対策、どうすればいい？：CEDEC 2023（1/2 ページ） BIツールの価格が劇的に低下し、事業の担当者でもツールに触れられるような時代になってきた。「Tableau」や「Microsoft Power BI」のようなBIツールを使えば、データを直感的な操作で可視化できる。ただし、その前提となるデータの記述や加工の段階で、データ処理初心者がやってしまいがちな“落とし穴”がある。 パシフィコ横浜で8月23日から25日にかけて開催されたゲーム開発に携わるITエンジニアやデータサイエンティストが集まるカンファレンス「CEDEC 2023」では、データ分析に携わることになった初心者向けに、データ記述やデータ加工の悪例と、その対策を解説する講演が開かれた。 登壇したのは、コンサルタント会社truestar（東京都渋谷区）の戸崎茂雄さん。戸崎さんは、デー
「効果測定」をやめよう｜データ分析とインテリジェンス
「効果測定」だけが一人歩きしてませんかデータの仕事をしていると、知らないところでいつのまにかに行われた施策について「効果測定をしてほしい」と言われることがたびたびある。 とりあえず施策を行い後で振り返えればいいや、と考えている人が多いようだがこれでは正しい検証はできない。検証ができないから次の施策を決める時もまたとりあえず施策をする、が繰り返される。 これではいくら「効果測定」を行うために動いても施策の向上につながらない。そうなれば「データ」の役割の意味も無い。 そこでよくみかける「効果測定」の何がいけないのかと、どうしたらいいのかを考える。 「効果測定」を後で行ってはいけない理由施策が終わってから「効果測定」を行おうとするといろいろな問題が発生する。 基準がないので判断できない施策を行った後になって効果測定を始めるということは、施策を始める前にどれぐらいの効果が見込めるかを調べていないと
データサイエンスを無料で勉強できる教材6選 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
データエンジニア道の俺のバイブル
先人の知恵に学ぶ データエンジニア道で、本当に良かった！読み物を、不定期に追記していく。 A Beginner’s Guide to Data Engineering — Part I データエンジニアをこれから始める人に、必ず薦める記事。データエンジニアの基本を学べるかつ、どういう世界に広がっていくのかまで、一気に学べるのでとても良い。 Functional Data Engineering — a modern paradigm for batch data processing 関数型パラダイムを使ったデータパイプラインの構築方法。これを初めて読んだ時の衝撃は今でも忘れないし、フルスクラッチからdbtを使ったデータパイプラインになっても健在な設計手法。 Engineers Shouldn’t Write ETL: A Guide to Building a High Function
キャリアアッププログラム「Google Career Certificates」日本版を開始
日本には、少子高齢化による労働人口の減少、地方と都市部、大企業と中小企業におけるデジタル格差といった課題があります。その課題をチャンスに変え、可能性を最大限開花させるための鍵が、デジタルトランスフォーメーションです。実際に、デジタルを最大限活用することで 2030 年までに日本で生まれる経済価値は年間で最大 67 兆 7000 億円にものぼり、そのうち約 43% にあたる年間最大約 30 兆円を中小企業が生み出すと試算されています（ *1 ）。 また、デジタルトランスフォーメーションを推進するうえで欠かせないのが、デジタル人材の育成です。 Google は本日、キャリアアッププログラム「Google Career Certificates」を日本で開始しました。 本プログラムは、IT 分野でより専門性が高く需要のある職につくための、オンラインキャリアアッププログラムとして Google が
モデリングはキラキラ技術より地味だが役に立つ / modeling-over-shiny-tech
# Event データモデリングとデータ基盤の構築・運用 （第14回ちゅらコラボ）CARTA HOLDINGS x ちゅらデータ 合同イベント https://churadata.connpass.com/event/254417/ ぼくのかんがえる最高のレポーティング基盤 https://speakerdeck.com/pei0804/hokufalsekankaeruzui-gao-falserehoteinkuji-pan-at-awsdeshi-jian-analytics-modernization ディメンションモデリングモデリング https://zenn.dev/pei0804/articles/dimensional-modeling スタースキーマ https://zenn.dev/pei0804/articles/star-schema-design コンフォ
N予備校のデータ分析基盤構築に向けた取り組み - ドワンゴ教育サービス開発者ブログ
はじめに 昨今Webに限らずあらゆる事業領域において、蓄積されたデータの活用は必要不可欠、やっていて当たり前なものになってきているかと思います。これまでこのブログではあまりそういう話題に触れてこなかったこともあり、本稿では改めてドワンゴ教育サービスにおけるデータの活用に関する取り組みについて、概要レベルにはなりますがご紹介したいと思います。 はじめに N予備校における従来のデータの取り扱い 現在の取り組み 本番環境のデータのBigQueryへの蓄積 データ活用のプロトタイピング そのほかのデータ活用に関連する取り組みや展望 N予備校のアーキテクチャ・パイプラインの検討 分析対象のデータ拡充 データの管理体制 機械学習技術等の活用 おわりに We are hiring! N予備校における従来のデータの取り扱い まず従来から行われているN予備校におけるデータ活用の取り組みについて紹介します。現
データ分析入門
前書き このページは徳島大学デザイン型AI教育研究センターが 開催する、小中高生を対象にした「とくぽんAI塾 2023」のコースの一つである「データ分析入門」 の資料置き場です。 コースは基礎編と発展編の2つに分けられます。基礎編では、データ分析に必要な知識・背景の理解のための 素養を身につけることを目指します。発展編ではデータ分析の問題への挑戦として、回帰と分類問題について 取り組みます。 このコースでは、基礎から発展まで通して R言語を使ったデータ分析を行います。 まずデータ分析についての大まかな内容とデータ分析で扱われる課題について第1章で学びます。 次に第2章では、データの種類と扱い方、表現方法を身につけます。 第3章ではデータを要約ようやくし、伝えやすくするための方法を紹介します。 ここでは特に１つの変数へんすうについて扱います。 第4章は２つの変数の関係を調べるための相関につい
【無料】データサイエンス入門:機械学習編全35回まとめと目次
こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． (追記)動画版も公開しました！全38時間の3部作という超大作です 【日本一の高評価】機械学習超入門講座(前編&後編)を公開しました!! 【ついに3部完結】機械学習超入門講座の本番編を公開しました!! いやーついに長かったデータサイエンス入門機械学習編35回分の記事を書き終えました！！ 本記事はそのまとめです．目次として使ってください． 目次 線形回帰 第1回: 機械学習とは？なにをしているのか？ 第2回: 線形回帰の損失関数をわかりやすく解説 第3回: 最急降下法を図と数式で理解する(超重要) 第4回: 正規方程式を完全解説(導出あり) 第5回: scikit-learnを使って線形回帰モデルを構築する 第6回: 線形回帰の係数の解釈の仕方(p値) 評価 第7回: (超重要)過学習と汎化性能を理解する(
『仮説が先、データが後』がなぜ重要なのか？ データがあるから規則性や現象が見つかるのではなく、まず仮説をもつことが重要という話
松本健太郎 @matsuken0716 「仮説が先、データが後」は僕が敬愛する鈴木敏文さんの言葉です。「今あるデータから何かできないか」と問われても、何もできない最大の理由です。問題を解決する仮説が先です。しかし、大半の分析は仮説をすっ飛ばしていきなり検証から入り、かつそれを分析と言います。それはおかしい。（1/n） pic.twitter.com/5GaXebGfCM 2022-05-31 22:32:33 松本健太郎 @matsuken0716 データ分析には、仮説構築向きと仮説検証向きの2種類に分かれます。そして"仮説構築"の真意は「筋の良い可能性の選択肢を増やすこと」にあります。すなわち正解は1つでは無い、と私は考えています。分けて考えないと「正解を絞れていない」「確からしく無い」とひっちゃかめっちゃかです。（2/n） pic.twitter.com/ZifqK8q3PE 2022
[データ整備／整理] BIではデータを加工しないでデータマートを作る | データ分析とインテリジェンス
BIはデータマートと組み合わせて使うのがおすすめ BIを使う時にツールの中でクエリを書かないほうがいい。その処理はDBで行ってデータマートに入れ、BIでは読み込ませるだけにする。 すると動作が軽くなって待たされる時間が減る。redashで数分かかっていたクエリが2・3秒で返るようになったこともある。tableauはそこまでではないけれども相当に早くなる印象。 BIを使うところから入った人にはあまり広まっていないようなのでまとめておく。最後に、「データマート」が何かわからない人向けにも指針を書いておく。 なお、筆者は全てのツールを使っているわけではなく、自分が今まで利用してきた範囲内で話をしていることはお断りしておく。 BIでクエリを書かない方がいいと思う理由 BIで加工すると以下のデメリットがある。 表示までの時間が長くなる 加工のための関数が貧弱 修正が必要になったら個別に対応する必要が
Good Data Analysis | Machine Learning | Google for Developers
Good Data Analysis Stay organized with collections Save and categorize content based on your preferences. Author: Patrick Riley Special thanks to: Diane Tang, Rehan Khan, Elizabeth Tucker, Amir Najmi, Hilary Hutchinson, Joel Darnauer, Dale Neal, Aner Ben-Artzi, Sanders Kleinfeld, David Westbrook, and Barry Rosenberg. History Last Major Update: Jun. 2019 An earlier version of some of this material
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析入門 / tokupon-ds2022
GitHub - uribo/tokupon_ds: 中高生向け「データ分析入門」資料
「R」言語を用いたデータ分析の基本を学べる「データ分析入門」の資料が公開／徳島大学のマスコット「とくぽん」が中高生向けにわかりやすく解説【やじうまの杜】
データマイニング入門
データエンジニアと作るデータ文化
データ分析とインテリジェンス
データ整備の基礎
