タグ

運用とエンジニアに関するkutakutatriangleのブックマーク (2)

  • 近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記

    久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って

    近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
  • チャットを業務で運用する際の心がけ

    エンジニアの職場でチャット(IRC, HipChat, Slack etc.)はごく自然な連絡ツールになっているだろうと想像しますが、僕のように非エンジニア社会で業務にチャットを取り入れようとするとそれなりの抵抗を受けます。 抵抗を示す人がチャットに慣れていない、あまり経験がないという場合もあれば、「どうせこんな感じでしょ」という少ない経験がそのすべてであると思い込んでしまうという人類全般に見られるあるある現象による場合もあるでしょうが、たしかにチャットを使えばすべて上手くいくなどということもなく、その意味でそうした思い込みも一概に間違っているとは言えず、他のさまざまなツールと同様にチャットもまた副作用的な問題を少なからず抱えているとは言えるわけですが、そのような事々もいくつかの点に注意を払っておけば大した問題ではなくなる、というのが僕の考えです。 もしエンジニアの職場でチャットが上手く使

  • 1