最近のlitestreamと安DB界隈
趣味開発でマネージドデータベースに課金したくない勢に安DBソリューションとして好評だったlitestreamについての近況をまとめてみました。安DBという謎の用語は「運用コストが安いデータベース」の意味で今作りました。 軽くおさらいするとlitestreamはSQLiteのレプリケーションを実現するミドルウェアで[1]、LiteFSはそれを分散環境に拡張してスケールをしようとしたもの[2]。 LiteFS Cloudはサ終した litestreamの技術をマネージドサービスにしようとたくらんだLiteFS Cloudは[3]、有料版が始まったかと思ったらいきなり提供終了した。 全然利用されなかったことが理由のようだ。確かにLiteFS自体が実験的な段階のソフトウェアな上にConsulサーバーと連携したり使いこなすのは難しい印象があった。 LiteFS は開発停止してる LiteFS自体は放
株式会社DegicaのDatadog導入事例
Datadog Agentを各サーバーにインストールしたり、アプリケーションからStatsDを送ってDatadogにメトリクスを送る以外にも、独自のツールを使ってアプリケーションのDBに保存されているようなアプリケーションの内部情報をDatadogに送信している。 これによりアプリケーションの内部状態に対するアラートの実装も可能になっている。 このアーキテクチャでは、RedashがアプリケーションのDBに接続されており、Redash上でDatadogに流し込みたい情報をSQLで記述する。そこに対してRedash PullerというRubyで書かれたマイクロサービスが情報を取得しにいき、OpenMetricsのフォーマットに変形してHTTPのAPIとしてデータを公開している。DD Agentの薄いラッパーであるKumongaというサービスがそのOpenMetricsを読み取りDatadogに
背景・目的 以前、下記の記事で、AWS Batchの基本的な情報とコンピューティング環境について整理しました。 今回は、ジョブキューについて整理します。 まとめ 下記に特徴を整理します。 ジョブは、ジョブキューに送信され、コンピューティング環境で実行するようスケジュールされるまで保存される ジョブは、ジョブキューに送信され、コンピューティング環境で実行するようスケジュールされるまで保存される ジョブキューには優先度がある。スケジューラーはこれを使用して、どのキューのどのジョブを最初に実行すべきか判断する 特徴 説明 概要 下記を基に整理します。 ジョブはジョブキューに送信され、コンピューティング環境で実行するようにスケジュールされるまでそこに保存されます。AWS アカウントには複数のジョブキューを設定できます。たとえば、優先度の高いジョブに Amazon EC2 オンデマンドインスタンスを
はじめに こちらの素晴らしいブログに、PythonSensorを使っての非同期実行の方法が載っていました。 今回はそれをAWS Batchで試してみます。 ちなみにZombie Taskとは、AirflowのタスクがRunning状態だが生存が確認できない（Heartbeatが確認できない）状態でです。まさに生きたまま死んでいるゾンビ状態。 公式ドキュメントでは以下に説明が載っています。Zombie Taskと判定するコードまで載っていて、わかりやすいです。 前提条件 Airflowのバージョンはv2.8.1 2024年10月5日現在の最新バージョンはv2.10.1 既にMWAAのインスタンスは作成済み 実行ロールにはAdministratorAccessポリシーを付与している 実運用の際は最小権限を付与する必要があるが、今回は実験のため やってみる LLMに聞きながら、以下のコードを作成
Rails: Mission Control Jobs gem README（翻訳）｜TechRacho by BPS株式会社
概要 MITライセンスに基づいて翻訳・公開いたします。 英語記事: mission_control-jobs/README.md at main · rails/mission_control-jobs 原文更新: 2024/09/13（24060cd ） ライセンス: MIT 本文のライブラリ名はmission_control-jobsで統一しました。 参考: 週刊Railsウォッチ20240402: solid_queueとmission_control-jobsがRailsのリポジトリに追加された mission_control-jobs gemは、Active JobアダプタにRailsベースのフロントエンドを提供します。現在はResqueとSolid Queueをサポートしています。mission_control-jobsの機能は、アダプタ自体が提供する機能にもよりますが、少なく
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Batchのジョブキューとジョブスケジューリングを整理した - Qiita
MWAAでAWS Batchを非同期実行し、完了をSensorで監視する - Qiita