tuki0918のブックマーク - はてなブックマーク

6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
tuki0918 2020/06/02
リンク
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
tuki0918 2019/10/25
リンク
フリーランスのエンジニアやるなら45歳までに貯金5000万円作れないと死ぬ説 - データエンジニアの酩酊日記
フリーランスになることを煽ることで自身のポジションを築いてる人がネット上には一定数いて、それに触発されてかフリーランスに憧れる駆け出しエンジニアを結構見かけることがある。フリーランスのリスク面について言及してるブログとかもあるけど、最大のリスクについてはあまり言及されているのを見たことが無い。よく見かけるのが、「自分で営業しないといけない」とか「不況時に仕事がなくなる」とかあるけど、そういうのはあまり本筋では無いと思う。営業については、すでにフリーランスでエンジニアやってる人なら分かると思うけど、その辺のフリーランスエージェントに登録すれば向こうから勝手にガンガン仕事を売り込んでくるのが昨今の市況。年収1000万ぐらいなら自分で営業なんかせずにエージェントに丸投げするだけでも十分達成できるし、むしろ自分で営業かけて仕事取ってるフリーランスのエンジニアの方が少数派じゃないかな。不況
tuki0918 2019/04/08
リンク
今データサイエンティストを目指してる人の7割が5年後に年収350万にしかなれない - データエンジニアの酩酊日記
昨今のデータサイエンティスト求人の高給に釣られてこれからデータサイエンティストになろうとしてる人の多くは、望むような収入にありつけないと思う。理由は簡単で、日本にはびこるITベンダとは名ばかりの人売りベンダが、こぞって「データサイエンティスト募集！未経験応募可！」求人を出しまくってるから。こいつらこそが日本のプログラマの地位と待遇を貶めてきた悪の親玉、ITに巣食う病理、悪性リンパ腫、諸悪の根源。多くのデータサイエンティストの卵たちが、3〜5年後には「こんなはずじゃなかった」と唇噛み締めてる姿が手に取るように浮かぶ。今後どういうことが起こるかというと、まずはこういう人売りITベンダがかき集めたド素人を適当にラッピングして”でーたさいえんてぃすと”に仕立て上げ、IT音痴のバカなユーザー企業に高価な値札を付けて大量に売りさばく。そうするとどうなるか。「データサイエンティストって役立た
tuki0918 2018/08/26
“データサイエンティスト”
リンク
1