ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について

ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状 システム管理は惨劇に見舞われている。現状は悲惨だ。 筆者は昔気質のシステム管理者に不満はない。システムの稼働を維持し、アップデートし、アップグレードする方法を知っている者達だ。 この憤りは、コンテナーと構築済みVMと、それらがもたらす、「信頼」や「アップグレード」の欠如による悲惨な惨劇に対するものだ。 例えば、Hadoopを見てみろ。誰もHadoopをスクラッチからビルドする方法を知っているようには見えないぞ。依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。 この手のイケてるツールの中で、古典的なmake

[mizchi]

「NSAとマルウェア作成者」が同じように扱われてるのうけるな

[rryu]

公式リポジトリに最新バージョンがない場合に謎のリポジトリからインストールする記事が結構あるのだが、ああいうのも大丈夫なのか気になる。

[meech]

ねぇ…Gentoo…しよ…?

[Haaaa_N]

Gentoo最高と言いたい所だが、Gentooですら、Java製のソフトウェアはバイナリであることが多いのだ。 これはJavaの問題なのか?

[todesking]

アッアッ、仰るとおりです……

[caq]

結局のところ、AmazonやGoogle等の"ホンモノのシステム管理者"を抱えて完全に理解しているところを"間借り"して利用するユーザーだけになるんじゃないかなあ。たぶんそれで十分だし。個人だとGPUの連結に夢があると思う。

[hylom]

本当に同意。最近はrpmとかdebとかのパッケージングシステムが軽んじられすぎ。記事で紹介するときもパッケージングシステムを使ってないものは紹介しにくい。

[deep_one]

時々クリティカルなタイポがあって読みにくい…／最後の文章にあるとおり、ビッグデータのプロジェクトは失敗しないだろう。なぜなら、利用者はシステムを「使い捨てる」ので保守の必要がないに違いないのだ。

[tmurakam]

Rubygem あたりも結構やばい気がしている

[TokyoIncidents]

docker はコミュニティ自体が問題だと認識していますよね

[peppers_white]

この世の地獄

[rgfx]

「多くのプロジェクトでは、システム管理者も務めるLinux開発者というものがもはやいなくなり、かわりに、Apple信者が占めている。」から始まるくだりが最高にクールだ。いやー分散システムすげー。

[nobusue]

確かにHadoopエコシステムのビルドシステムはカオスだ

[raitu]

「依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。」

[moutend]

あわせて読みたい / http://deeeet.com/writing/2015/02/17/docker-bad-points/

[mnnn]

“本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について”

[anrkny]

Check out "ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について"

[you21979]

個人がやってるリポジトリとかもそうだよなぁ.

[shiumachi]

“たとえば、連中がサポートしているのはUbuntu 12.04だけである” ここでCDHのサポートOS一覧をご覧ください http://bit.ly/1EndxFJ

[MagnesiumRibbon]

話は聞かせてもらった、この世に実用的なプログラムを作るプログラマは存在しない！

[k12u]

Docker大好きっ子として同意せざるを得ない感じがする

[decoy2004]

Maven 組織内リポジトリに検査済み jar だけ登録していれば防げるのかね。 / “本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件につい

[mkusunok]

MozillaとかOpenOfficeのビルドに苦労した学生時代が懐かしい。Hadoopってそんな状況だったのか / “本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビ…”

[labunix]

“本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について”

[key_amb]

これちょっと前に英語の記事が話題になったやつで、ビッグデータに限った話じゃない。/ 本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知ら

[progrhyme]

これちょっと前に英語の記事が話題になったやつで、ビッグデータに限った話じゃない。/ 本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知ら

[baronhorse]

hadoopディストリビュータが丸投げみたいな主張について嘘だとは言えないけどlinuxディストリビュータやそれを利用するユーザがパッケージの詳細を理解してるかと言えばそれはそれで疑問

[t-murachi]

あれだけ個人情報が個人情報がって言われまくってて存在自体がヒジョーにデリケートな業界なのにその中で大体みんなが共通で使ってるツールがこの惨状て… ていうか NTT DATA 仕事しろよ!!(ぉ

[minamijoyo]

いろんなものが複雑になり過ぎててツライ

[jinjor]

お、おう。

[cohalz]

“本の虫: ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について”

[qtamaki]

ヤバいね。その上、この流れは加速しそうだ

[raimon49]

＞Dockerとは新しい'curl | sudo bash'である / 読んでてドキッとする。

[penult]

Mavenの場合、Artifactory等の組織内リポジトリ使用・外部から直接ダウンロード禁止は前提として、全てソースからビルドして登録するのが最善、Centralは信用してhttpsでダウンロードしたものだけ使用が次善…かな？

[eller]

面白かった

[umai_bow]

読み応え抜群

[tengo1985]

DockerとかVMイメージとかはとくにやばいけど、Hadoopは0.20の時点でビルドが結構つらかった気がする。YARNあたりから特にひどくなったような。Java moduleでなにか変わるんだろうか。

[n-channel]

分散処理が簡単かつ身近になったのはまやかしで、ビルドの仕方がわからないような非常に複雑なものを使わなければ何も出来ない。

[sasashin]

q「Debianですら2010年にHadoopのソースからビルドしてパッケージ化をあきらめているとは悲惨だ。」おう…。