2023年 crowdworks.jp の SRE チームでやったこと - クラウドワークス エンジニアブログ
この記事は クラウドワークス Advent Calendar 2023 シリーズ1 6日目の記事です。 こんにちは。crowdworks.jp SRE チームの田中（@kangaechu）です。 この記事では crowdworks.jp の SRE チームが2023年にやったことを記載していきます。 やっていることは色々で、まとまりはありませんが、そこら辺はご容赦ください。 2022年の振り返り 2023年にやったこと CircleCI インシデント対応 RundeckのECS化 Railsで使用しているMemcachedをRedisに寄せる 課題 1. Memcachedでは停止時にデータが揮発する 2. Memcached単体ではマルチAZ構成でデータのレプリケーションができない 3. Memcached/Redisともにバージョンアップをしていない 4. MemcachedとRedi
Amazon EMR のバージョンアップ 1/3：メジャーバージョンアップの前にやったこと - Repro Tech Blog
Development Division/Platform Team/Sys-Infra Unit で実施した Amazon EMR 1 のバージョンアップについてどのようなことをやったのか紹介します。 Repro では Presto や Hive などのセットアップに EMR を使用しており、以下の用途で活用しています。 プッシュ通知の配信対象を抽出する 管理画面で参照するデータを抽出する S3 などに貯まっているイベントデータを集計する EMR のアプリケーションとしては以下を使用していました。 Presto Tez Hadoop Hive Hue 経緯 Repro では多くのミドルウェアを運用しており、日々バージョンアップしているのですが、最近まで2019年2月18日にリリースされた EMR 5.21.0 というバージョンを使用していました。もちろん Log4Shell のような脆弱
これは Livesense Advent Calendar 2023 DAY 24 の記事です。 リブセンス インフラエンジニアのsheep_san_whiteです。お酒とロードバイクが大好きなおじさんです。 現在、リブセンスではオンプレミス環境からAWS環境への移行を進めています。移行が必要な対象は沢山ありますが、今回は非エンジニアがクエリを実行する基盤の移行について書きます。 非エンジニアがクエリを実行する基盤が作られたきっかけ 毎月4時間のCSV取得作業 管理画面で取得できないクエリを実行したい場合のフローが煩雑 広いデータ参照のリスク 移行前のクエリ実行基盤について 移行前のクエリ実行基盤の構成 移行前のクエリ実行基盤が抱えていた課題 原因がよくわからない状態で半年に1回完全に壊れてしまう 1回の復旧に半日持っていかれる 移行後のクエリ実行基盤について 移行後のクエリ実行基盤の構成
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
非エンジニアがクエリを実行するための基盤を移行した話 - LIVESENSE ENGINEER BLOG