データ民主化の負の側面 - wyukawa's diary
データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニアの疲弊なんじゃないかと最近思っております。なおHadoopに限らずElasticsearchでも言えたりします。 これって要はユーザと管理者のバランスの問題で、Hadoopエンジニアを採用するのが難しいというのが背景にあります。 SQL書ける人はそれなりにいるけど、インフラ側の人材不足ですね。この状態でデータの民主化が進むとどうなるかというと、 クエリの数が増える -> なかにも重いクエリも結構ある -> 管理者がそれをチェックするのに疲れて放置するようになる -> クラスタの負荷が増えて障害も出るようになる -> クエリ実行にも時間かかるように
モダンな Java の開発環境の構築方法 - wyukawa's diary
http://d.hatena.ne.jp/tokuhirom/20100716/perlenv モダンなPHPの開発環境の構築方法 - 肉とビールとパンケーキ by @sotarok モダンなPythonの開発環境の構築方法 | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記 まだJava版を書いてる人がいないみたいなので、一応書いてみるよ。--); 前提はWindows環境です。Linuxでもそうは変わらないと思うけど、Macだと違うかも。 Macの場合はMac OS X にJavaの開発環境を設定する - やさしいデスマーチを見ると良いかも。 インストール OracleからJDKをダウンロードしてインストール。Macは最初から入ってますね。 ダウンロード先はここね。 Oracle Technology Network for Java Developers |
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
