Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
データサイエンティストの終わりなき戦い - Qiita
はじめに 筆者はかつてデータサイエンティストだった者です。 統計や機械学習をバリバリ使いこなしてデータを分析し、将来の売り上げ予測や要因分析、施策の効果検証などをすることに憧れてこの世界に入りましたが、そうした時間は全体の1割ほどに過ぎず、残り9割の時間の戦いに疲れて戦場を後にしました。 なぜデータサイエンティストは戦わなければならないのだろう。 おそらく一因としてあるのが、データサイエンティストという言葉がバズワード化しすぎてしまったせいで、その定義の輪郭が失われてしまったことだと思います。 整理された定義は、言わずと知れた尾崎隆さんのデータサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版）に記載されています。 しかし、専門家でも意見が別れる定義を素人がはっきりと分かるはずもなく、過度な期待が寄せられることで討死してしまうデータサイエンティストが少
データサイエンティスト生活でお世話になった本｜武田邦敬｜Kunihiro TAKEDA
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
質は量に勝る：履歴書に書ける完璧なデータサイエンスプロジェクトの作り方 | AI専門ニュースメディア AINOW
著者のJeremie Harris氏はデータサイエンティスト志望者が職に就くまでの助言を行うメンターシップ・サービスを提供するスタートアップSharpestMindsの共同設立者であり、以前に紹介したAINOW翻訳記事「なぜデータサイエンスのゼネラリストになるべきではないのか」も執筆しています。今回紹介する「質は量に勝る：履歴書に書ける完璧なデータサイエンスプロジェクトの作り方」では、求職活動においてアピールできるデータサイエンスプロジェクトの特徴をまとめています。 数多くのデータサイエンティストの履歴書をチェックしてきた同氏は、多くのデータサイエンスプロジェクトが記載された履歴書がよい、と思い込んでいるデータサイエンティスト志望者があまりに多いことを指摘します。しかし、企業がデータサイエンティストを雇用する際に注目するのは、取り組んだプロジェクト数ではなく良質なプロジェクトを経験している
データサイエンティストがやらかしがちな過ちトップ10（海外記事紹介） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) "Top 10 Statistics Mistakes Made by Data Scientists"という刺激的なタイトルの記事が出ているのをKDnuggets経由で知りました。「データサイエンティストがやらかしがちな統計学的な誤りトップ10」ということで、いかにもなあるある事例が色々載っていて面白いです。 ということで、今回はこの記事を全訳にならない範囲で抄訳して、その内容を吟味してみようと思います（直訳しても意味が取りづらい箇所が多かったためかなりの部分を抄訳ながら意訳しています：こういう訳の方が良いなどのコメントあれば是非お寄せください）。言わずもがなですが、こういう海外記事紹介をやる時はネタ切れということです、悪しからず。。。 元記事の内容 1. Not fully understand objective function（目的関数が何か
データエンジニアの必須スキルとそれをサポートするGCPを一望する『スケーラブルデータサイエンス』
分業化が進むことで個別分野のエキスパートは増え、各問題に対する即応度は高まった感はあるものの、膨大なデータを背景にした意思決定のさらなる高速化が求められる現代においては、独立性の高い分業形態では追いつかないケースが増えています。翔泳社から6月5日に発売した『スケーラブルデータサイエンス』は、そのようなニーズに応えられるデータエンジニアとして、GCPを援用することで自身をスケールアップする方法を解説しています。 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』は、理論的な側面だけではなく、実際に利用できるサービス構築をも視野に入れられる“エンジニア”を目指す方のためのガイドです。 もちろん、全エンジニアが本書に描かれているような、意思決定のためのデータ収集からクレンジング、ビジネスサイドからの要求に対応した分析向け各種アルゴリズムの選定
データ分析人材の長期的キャリアという迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 先日出たこんな記事が注目を集めていたようです。 私はデータサイエンス的エンジニアになりたいのか？データサイエンス的コンサルタントになりたいのか？なんもわからん タイトルにもなっていて、記事中で提起されている「データ分析者のキャリアなんもわからん問題」は僕にとっても全くもって他人事ではありません。一方で僕自身この仕事をするようになって7年ほどが経ち、データ分析人材がどのようなキャリアをたどっていくかについてある程度見聞や知見が貯まってきているということもあります。 ということで、あくまでも僕自身が見聞した範囲での話にはなりますが、データ分析人材即ちデータサイエンティスト＆機械学習（人工知能）エンジニアの長期的なキャリアがどのようなものになっていくかについて、ちょっと考察してみようと思います。勿論異論・反論色々あり得るかと思いますので、コメント欄なりブコメ
データエンジニアとデータの民主化 〜脱・神 Excel 〜 - 一休.com Developers Blog
この記事は 一休.com アドベントカレンダー 2017 の 13 日目です。 一休データサイエンス部の id:kitsuyui です。データエンジニア兼データサイエンティストをやっています。 この記事はもともとアドベントカレンダー上では「脱・神 Excel (仮)」という名前で枠で取っていたのですが、 少し主語が大きすぎたかな？と反省しています。 書いているうちに全く主旨が変わってきましたので、副題とさせていただきました。 今回は一休社内でのデータエンジニアリングにまつわる負担、それらを解決する Redash, Embulk, DatabaseMEMO の導入の流れを書こうと思います。 また、その過程で副次的に発生した FLOSS へのコントリビューションなどなどについては、 14 日目のエントリで説明したいと思います。 一休とデータ活用 一休は今日まで上質な宿・レストランの予約サービス
データ民主化の負の側面 - wyukawa's diary
データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）
データサイエンス関係のpodcastをまとめてみた | 10001 ideas