データ分析者のバリューの出し方を考える 2021年版｜だみ〜
はじめに本稿は、自身がデータ分析者だと思っている人に対して、以下のことを自分の経験・学習した範囲から提案するものです。 ・こういうプロセスでデータ分析・データサイエンスを活用するのがいいよね ・このプロセスではこういうことに気をつけたり、こういうことができるといいよね 世の人が、これを以下のように役立ててくださり、世の中に資することを期待します。 ・これのどこまでが君のスコープなんだい？ということを、この文章を元に期待値調整（私は期待値を文脈に合わせて二つの意味で使うタイプの人です）できるようになる ・なるほど今俺は、こういうところで困っているのか？ということに気づける また、こちらで書いたことが共通認識になればなるほど、自分の得意な働き方が世の中のデフォルトになるので、自分にとっても得だなという側面があります。 なので別に世のため人のためだけではないです。（古典的ツンデレ）（俺こういう感
2020年こそ理解したい「因果推論」の勉強はじめました｜松本健太郎
あけましておめでとうございます。2020年もよろしくお願いします。 2019年は「データサイエンティストなのにデータ万能主義を否定している」的スタンスでのメディア露出が増えました。 発言に矛盾はないと思います。データ触っている人ほど、データに慎重ですよね？ 加熱するデータへの過度な期待を、少しでも冷ませられたら幸いです。しかしデータ自体への火は消していない。火を絶やすでないぞぉ。ただ、データ分析の全てを否定したわけではありません。 実は取材を受ける度に「これからは因果関係を発見する因果推論が重要」と主張してきました。2020年代はますます重要性が増すと考えています。 新年１発目のnoteは、その論拠をまとめてみました。 2020年代は因果推論がアツいと思う理由私がデータ分析を始める際、いきなり数字は触りません。まずは「目的」と「アプローチ」を定義するところから始めます。 目的（WHATとW
「効果検証入門」をPythonで書いた - Qiita
TL;DR 書籍「効果検証入門 正しい比較のための因果推論／計量経済学の基礎」のRソースコードを、Pythonで（ほぼ）再現しました https://github.com/nekoumei/cibook-python 本記事では、主にRではライブラリどーん！で済むけどPythonではそうはいかない部分の解説をします 書籍の紹介 https://www.amazon.co.jp/dp/B0834JN23Y 上記Amazonに目次が載っているのでそれを見るのが早い気がしますが。。 とても良い本です。正確な意思決定を行うためにどうやってバイアスを取り除くか？に焦点を当てて種々の因果推論の手法（傾向スコア/DiD/RDDなど）をRソースコードによる実装とともに紹介されています。 全体を通して、現実問題の効果検証に因果推論を活用するにはどうすればいいか？という観点で書かれており、非常に実用的だなーと
正規分布の公式と特徴まとめ ｜AVILEN
正規分布（ガウス分布）に関するあらゆる特徴を、分かりやすくまとめました。目次から気になるトピックをご覧ください。 また正規分布の関連記事はこちらからご確認ください。 正規分布（ガウス分布）とは正規分布とは、統計学を理解する上で最も大切な確率分布の一つです。 正規分布はガウス分布と呼ばれることもしばしばあります。これは18世紀から19世紀に渡って活躍した数学者C.F.ガウスに由来します。ガウスは天文学の観測データの研究から測定誤差がある法則に従うことを導き出し、誤差理論を確立しました。これが正規分布の基礎となったと言われています。 正規分布の基本的な性質正規分布には以下のような基本的な性質があります。 平均値と最頻値と中央値が一致する。平均値を中心にして左右対称である。（直線x=μに関して対称）x軸が漸近線である。分散（標準偏差）が大きくなると、曲線の山は低くなり、左右に広がって平らになる。
Open Sourcing Amundsen: A Data Discovery And Metadata Platform
By Tao Feng, Jin Hyuk Chang, Tamika Tannis, Daniel Won In a modern data-driven company like Lyft, every interaction on the platform is powered by data. The challenges that arise from complex data generation, ETL processes, and analytics make metadata significantly important. Moreover, the types of data resources are constantly increasing. At Lyft, these resources include SQL tables and views in Re
事業のグロースを支えるDataOpsの現場 #DataOps #DevSumi #デブサミ / 20180727 - Speaker Deck
Developers Summit 2018 Summer 【C-1】の発表資料です。 https://event.shoeisha.jp/devsumi/20180727/session/1764/ データの民主化、データ基盤の構築、分析チームの立ち上げ、機械学習プロジェクト。世を見渡せばキラキラした事例に溢れています。 しかし、いざ自分たちでやろうとしてもなかなか上手くいきません。理想に辿り着くためには、泥臭い過程が存在します。 本セッションでは「登り方や道のりを知りたいんだ！」という方に向けて、DataOpsの観点から案件・システム・プロセス・文化・組織をエンジニアリングしてきた現場のリアルをご紹介します。 データ活用に携わる全てのエンジニアが今すぐ行動するためのヒントを持ち帰っていただければ幸いです。 以下のブログで補足・裏話を掲載しています。 - http://yuzutas0.
Rettyの意思決定を最大化！データ分析チームの取り組みをご紹介 - Retty Tech Blog
この記事は Retty Advent Calendar 18日目の記事です。 昨日は@isaoekaさんの会社の行動規範浸透を図るため、メニューバーからいつでも確認できるアプリを作ったの話でした。 はじめまして、Rettyのデータ分析チームでマネージャーをやっている平野です。 Rettyのデータ分析チームは今年4月に立ち上げ現在9ヶ月目です。 この記事では立ち上げから9ヶ月でやってきた組織的取り組みについて中心に書きました。 今アドベントカレンダーではデータ分析の技術的取り組みついてを、一緒にデータ分析チームを立ち上げた@takegueが書いてますので、そちらも合わせて読んでいただけますと幸いです。 ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog Webサービスを支えるユーザログ基盤開発＠Retty - Retty Tech Blog 目次
【参加記録】データとML周辺エンジニアリングを考える会 #2 - 茶番と世間体
【参加記録】データとML周辺エンジニアリングを考える会 #2 【参加記録】データとML周辺エンジニアリングを考える会 #2 簡単に 各発表 GCPでStreamなデータパイプライン運用しはじめた リアルタイムデータ処理基盤の構築 Google Cloud ML Engineに浸かってみる PoC案件が多すぎてつらいので、パイプラインを使い回すツールを入れた。 Cloud Composer & Cloud Dataflow によるバッチETLの再構築 DigdagでETL処理をする Comet.mlでAutoMLライブラリ開発 データ活用の際にハマってしまったログ・データスキーマ設計 まとめ 簡単に データとML周辺エンジニアリングを考える会 #2に参加してきたので簡単なまとめと若干のコメント 実サービスでのログ管理、どうやってDWHにデータ突っ込んでるのか、という話題が中心でした 普段は機
【Day-12】時系列分析の良リソースまとめ&基礎チュートリアル - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができますが、時系列データはそういうわけにはいきません。なので、なかなか難しいのです。 今日は時系列のさわりをまとめて、また、時系列予測のチュートリアルをしていきます。 参考にできるサイト メタ的な記事 pythonの実装も含めて ディープラーニング系 本 読みたい論文(積読) Toeplitz Inverse Covariance-Based Clustering of Multivariate Time Series Data WAVENET: A GENERATIVE MODEL FOR RAW AUDIO 基礎チュートリアル データの用意 定常性のチ
pythonによる日本語前処理備忘録 | ブログ一覧 | DATUM STUDIO株式会社
はじめにこんにちは。DATUM STUDIOの安達です。 最近社内で日本語のテキストを用いた自然言語処理でよく質問を受けるのですが、前処理についてはそこそこ同じような内容になるため、本記事では社内共有の意味も込めて前処理に関して用いてきた＆用いれそうな手法を列挙します。 比較的同じ内容を扱った既存の記事としては以下のようなものもあり、読者の方はこれらも参考にされて要件に合わせて取捨選択してください。 自然言語処理における前処理の種類とその威力 – Hironsan自然言語処理の前処理・素性いろいろ 本記事における使用言語、環境は以下の通りです。 ・osx 10.13.6・anaconda 5.2.0・python 3.5.2Table of contents ・形態素解析段階での前処理 ・文字表現の正規化 ・URLテキストの除外 ・Mecab + neologd 辞書による形態素解析 ・形
それでもまだ円グラフを使いますか？ - データ可視化のアイデア帳
今日のテーマは円グラフ (パイ チャート) です。みんな大好き円グラフ。 レポートや白書、報告書、そういったものには必ず 1 つ以上円グラフが入っています。どこの企業、どの職種であっても可視化と言えばまず円グラフを選んでしまう人もいます。以前から円グラフはわかりやすい/わかりにくいという論争がありますが今回はその論争に終止符を打ちたいと思います。 円グラフはわかりにくい 理由1: 人間の能力 理由2: 円グラフは割合 (だけ) 表す 円グラフの良くある勘違い表現とその代替案 割合を示している (はず) 割合とランキングを示している 割合と絶対量を示している ドリルダウンするためのボタンとしての円グラフ 円グラフが有効な時 円グラフはわかりにくい いきなり結論ですみません。円グラフはわかりにくいです。*1 理由1: 人間の能力 まずひとつ目の理由は、人間の目は角度を測れないから。大きな差があ
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
データ分析のプロセスにおけるEDA、データ前処理、特徴エンジニアリング、特徴量重要度抽出に関するまとめ - Qiita
データ分析のプロセスにおけるEDA、データ前処理、特徴エンジニアリング、特徴量重要度抽出に関するまとめPythonデータ分析データサイエンスKaggle前処理 はじめに データ分析のプロセスとして、CRISP-DM(CRoss Industry Standard Process for Data Mining)というものがあります。 ビジネスの理解 データの理解 データの準備 モデリング 評価 デプロイ 機械学習を扱うとなると、モデリングに注目しがちですが実際の作業量としては、それよりも前のステップである、ビジネスの理解、データの理解、データの準備のステップが大半を占めます。これらの作業のうち、「データの理解」は、データの中身を可視化や集計の結果から何らかの仮説を生み出していく作業（EDA (Exploratory Data Analysis) ）、「データの準備」は、生データを加工して不
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DevOpsとドキュメントデザインパターン // Speaker Deck
事業成長をBoostさせるデータ基盤 #devsumi #devboost / 20181215
機械学習プロジェクトの アイデア出しと事前影響評価 / evaluate machine learning projects
ゆるやかにBigQuery（データ基盤）を安定活用するプラクティス集 #bq_sushi / 20180424
Two years have passed since I got into data analysis
データ集計業務を半年で300案件捌いて見えてきた勘所 #データ解析 #willgate / 20180425
【入門】 機械学習を行うための Python導入講座
