データ分析の敵“汚いデータ” やらかす人への対策、どうすればいい？
データ分析の敵“汚いデータ” やらかす人への対策、どうすればいい？：CEDEC 2023（1/2 ページ） BIツールの価格が劇的に低下し、事業の担当者でもツールに触れられるような時代になってきた。「Tableau」や「Microsoft Power BI」のようなBIツールを使えば、データを直感的な操作で可視化できる。ただし、その前提となるデータの記述や加工の段階で、データ処理初心者がやってしまいがちな“落とし穴”がある。 パシフィコ横浜で8月23日から25日にかけて開催されたゲーム開発に携わるITエンジニアやデータサイエンティストが集まるカンファレンス「CEDEC 2023」では、データ分析に携わることになった初心者向けに、データ記述やデータ加工の悪例と、その対策を解説する講演が開かれた。 登壇したのは、コンサルタント会社truestar（東京都渋谷区）の戸崎茂雄さん。戸崎さんは、デー
[動画公開] データ分析を支える技術 データ分析基盤 再入門 #devio2021 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。先週より開催しているクラスメソッド主催のオンラインカンファレンス、Developers.IO 2021 DECADEにて「データ分析を支える技術 データ分析基盤 再入門」というテーマにてセッション動画と資料を公開いたしました。 セッション概要 本セッションでは、データ分析基盤を理解するのに必要となる基礎的な要素技術とDX(Digital Transformation)推進において必要とされるデータ管理について解説します。データ分析基盤をこれから導入したい、すでに導入しているデータ分析基盤を改善したいという方には最適なセッションです。 アジェンダ データ分析基盤入門 データ分析基盤の構成要素 データ分析基盤のデータ処理 データ分析基盤のデータ管理 データ分析基盤の今後 まとめ セッション動画（約18分） セッション資料 まとめ
![[動画公開] データ分析を支える技術 データ分析基盤 再入門 #devio2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6e078ee505ae2051e370484f798ee8bcfe86f247/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F10%2F20211015_devio2020-decade-data-analysis-platform-1200x630-1.jpg)
データ分析基盤における個人情報の扱いについて - NRIネットコムBlog
こんにちは佐々木です。 誰に望まれた訳でもないですが、データ分析基盤の設計シリーズの第三弾です。今回のテーマは、データ分析基盤における個人情報＆パーソナルデータの扱いについてです。ここを最初に考えておかないと、データ分析基盤は毒入りとなって、扱いづらいものになります。 データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog データレイクはRAWデータレイク・中間データレイク・構造化データレイクの３層構造にすると良い - NRIネットコムBlog 個人情報＆パーソナルデータと匿名加工について まず最初に個人情報＆パーソナルデータの定義と匿名加工について、サラッと確認しておきましょう。 個人情報＆パーソナルデータ 個人情報とは、任意の一個人に関する情報であり、かつその情報をもとに個人を特定できるものを指します。代表的な個人情報としては、名前・住所・電話番号・E-ma
BigQueryとAirflowを活用したDataPlatform運用の10のケース・スタディ
この記事は Eureka Advent Calendar 2019 11日目の記事です。 10日目は スーパーCompSREエンジニア恩田による「AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話」でした。 こんにちは。BIチームのデータアナリストの栗村(@t-kurimura)です。主にPairsの機能に関する分析を行っていますが、最近は分析を行うまでのデータを整えるデータアーキテクト的お仕事の比率も増えてきています。 さて、この記事では弊社のDataPlatform運用において、試行錯誤してきた中での運用の学びをケース・スタディ的にご紹介します。 エウレカのDataPlatformの現状前提として、弊社では3つの層にわけて、アプリケーションログやマーケティングに関連するデータをより分析しやすいデータへと加工しています。 Dataをほぼそのまま保存しているDataLa
民間のデータサイエンティストが見た「驚きの内幕」、厚労省のコロナ分析（Forbes JAPAN） - Yahoo!ニュース
新型コロナウイルスの感染拡大を受けて4月7日に発令された緊急事態宣言が5月25日、約1カ月半ぶりに全域で解除された。発令の際に呼びかけられたのが「接触の8割減」。今回の解除基準には含まれていないが、自粛による人々の行動の変化と新規感染者の減少の関係性を把握し、第2波に備えるためにも、接触の分析は重要だ。 8割の根拠は、厚生労働省クラスター対策班のメンバーで北海道大学の西浦博教授の計算に基づくもの。通信業者の位置情報などを活用して、一人当たりの接触頻度を調べることで、感染拡大の状況を推定できるという。「新規感染者数」は感染してから陽性の診断を受けるまでおよそ2週間の時間差があるが、「接触」はリアルタイムに監視することができる数少ない指標でもある。 この接触の評価に4月から関わっているのが民間のデータ分析会社ALBERT（アルベルト）の社員の有志だ。チームを率いるのは32歳のデータサイエンティ
データえっせい
本日，大腸内視鏡検査を受けてきました。そのいきさつの記録です。 私は毎年，横須賀市の成人特定健康診断を受けています。会社員なら強制的に健診は受けさせられますが，私のような在野人は，自分で手配しないといけません。まあ市から送られてくる受診券を持って，近くのかかりつけ医に行くだけですが。 有料のオプションとして，胸部検査や大腸がん検診もついています。後者については躊躇する人も多いでしょうが，私は毎年受けることにしています。お肉をバクバク食べますのでね。 昨年の11月半ば，渡された検査キットを使って，自宅にて便を採取しました。正確さを期すため2回行うのですが，2回目は，お尻を拭いたトイレットペーパーに血がついていました。排便の時に，肛門が切れるような感覚があり，おそらく痔だなと思いました。しかし便に血が混ざってしまった可能性が高く，これは陽性と出るな，と覚悟を決めました。 1か月経った12月半ば
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データファースト開発
公立中学の制服代を1人で分析。北海道の図書館司書の執念が胸を打つ... #制服高いよね