データ民主化の負の側面 - wyukawa's diary

データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように

[shiumachi]

データ民主化という強力なシステムの実現のためにインフラを強化する必要があるのであって、それによってインフラ側の負荷が増えて待遇が変わらないのはマネジメントの問題。データ民主化が悪いわけではない

[nida3001]

そんなあなたのためのBigQueryやAthenaなわけだ。コンピューティング資源の奪い合い駄目絶対。

[overlast]

いい “データくれっていう人に対して感じ悪く塩対応するエンジニアとか、糞クエリを容赦なくkillするhive/presto警察とか、クエリ実行中だろうがメンテナンスして強引にアップグレードするとか、そういったものが必要”

[june29]

言わんとしていることはわかりつつ、終盤で喧嘩腰なのが気になった。「俺たち」と「あいつら」的な構図を感じる。いやなことでもあったのかな、お疲れの出ませんように…。

[tmatsuu]

問題が発生する度に人が対応するのは疲弊するので、何らかのquotaをかけるか、全体に影響しないレプリカのようなものを作るか。まぁそういう仕組みが存在しないシステムもあったりして難しい場合もあるけどね。

[takaesu]

モチベーションがわかないというの分かる...

[gom68]

つらみがある

[khtno73]

『データの民主化が成立するのって、ユースケースとして重いクエリを投げる必要がないというのと、クエリ投げる人が少数でモラルがある、例えばクエリを投げっぱなしで帰らないとか(略)そういう前提が必要』

[i43s]

ありそう

[okbm]

https://qiita.com/uraura/items/8020989e79a6985b0c29 とか便利

[ikeikeikeike]

アカデミックなコードは共通の話なんだね、堪んないね

[s-wool]

オンプレだとすぐ用意できないしまとまった金いるし、クラウドでも気づいたらすごいお金使ってたとかあるし、平たくいうと札束で殴れる力が必要。データは重要だけどそんなにお金は、というのが実情だよね。

[modal_soul]

データをコードに変えても成立する話しだよね/コードの民主化が成立するのって、ユースケースとして複雑な処理が必要がないというのと、コードをコミットする人が少数でモラルがある

[onigra]

わかりだ

[rx7]

"データの民主化が成立するのって、ユースケースとして重いクエリを投げる必要がないというのと、クエリ投げる人が少数でモラルがある"

[sonots]

わかる

[tkys0628]

非エンジニアだけど、最近SQL書きまくってるので身にしみる...

[kimutansk]

最近ずっと感じていることですね・・　あとはデータの集約結果たるDWHも管理すると、その内容や仕様に対する質問や、システム側の機能追加にともなうアクセスモデルの変化とかでも毎回死にます。

[name-25137412]

「セキュリティ周りとかその辺の基盤がちゃんと整う前になし崩し的にデータの民主化が進むと、クラスタの荒廃化は進みがち」うむ

[y-teraoka]

あるあるだ

[katsyoshi]

ふむふむ

[kamei_rio]

負が増していくと給料は上がるんだろうか下がるんだろうか

[fumisan]

利用者が増える＝技術レベルが下がるだもの

[taketyan]

あー、ありがち... “管理者が去り古いインフラを使い続けるユーザだけが残りましたとさ”

[ana_ake]

“データの民主化が成立するのって、ユースケースとして重いクエリを投げる必要がないというのと、クエリ投”

[rti7743]

よくわかんないんだけど、本番と切り離してデータだけをひっぱてくる分析用の砂場を作ってあげて、そこの中で勝手に遊べじゃダメなの？ 分析者というのは一人で砂場で遊べないほどダメな子なのかな。

[baronhorse]

googleではいつでもプロセス殺されるみたいな話なかたっけ

[girled]

利活用が進んでるならうれしい悲鳴かもね。結局レポーティングまでデータインフラ部門に丸投げなんてあるあるかも。データレイクなんて綺麗なものじゃ無く「データ沼」になる結末とか

[kent-where-the-light-is]

自分が目指すエンジニア像がここにある