タグ

ブックマーク / qiita.com/hakobera (2)

  • Workflow Engine をつくろう! Part 2 (Workflow の冪等性) - Qiita

    Part 1 Task の依存関係の解決 Part 2 Workflow の冪等性 Part 3 Task 間でのデータのやり取り Part 4 Task の並列実行 まえおき この連載記事で作成する Workflow Engine は、Luigi の設計思想に大きく影響を受けています。なので、 @k24d さんの Luigi によるワークフロー管理 を先に読んでおくと、理解が深まると思います。 前回は Task の依存関係の解決方法を実装しましたが、Part 2の今回は Workflow の冪等性について実装していきます。 Workflow を実行、制御する上で、冪等性(何回実行しても結果が同じであること)は大変重要です。なぜ重要かというと、現実問題として Workflow は途中で失敗する可能性があり、いかに確実に簡単にリトライ処理ができるかが、業務システムを運用の手間に直結するからで

    Workflow Engine をつくろう! Part 2 (Workflow の冪等性) - Qiita
  • curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita

    2015/3/15 curator v3.0 から、コマンドオプションが変わったので改定しました。 正確には v2.0 から変わってましたけど。 Kibana でダッシュボード作っていると、基的に日時でインデックスファイルができて、ある程度溜まってくると、 elasticsearch が悲鳴をあげます(CPU的にも、メモリ的にも) ディスク容量が枯渇します ということで無限にサーバリソースが確保できない場合、Kibana の運用では定期的にインデックスファイルを削除する必要がでてきます。 この Index の削除を便利にしてくれるツールが curator です。 事前準備 Python と pip が必要なので、入れておきましょう。 $ sudo apt-get install python $ cd /tmp $ wget https://raw.github.com/pypa/pip

    curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita
  • 1