データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション（以下、バッチ）を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない（ノウハウを必要としない、フレームワークに頼る必要のない）、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに
pythonでバッチスクリプトを書くときの雛形 - Qiita
仕事上Pythonでスクリプトをよく書くので、雛形コードを備忘録も兼ねて載せておきます。 python3系の雛形 python 3.3以降を対象としています。 概要 この雛形では以下のことをしています。 コマンドライン引数のパース(clickの利用) 設定クラスの読み込み ログ出力(loggingの利用) ライブラリ読み込み ライブラリの単体テスト ファイルの配置 app_home/ ├ bin/ │ └ my_batch.py #←実行するスクリプト ├ conf/ │ └ my_batch_conf.py #←設定クラス ├ lib/ │ └ my_lib.py #←ライブラリ ├ tests/ │ └ test_my_lib.py #←単体テストコード ├ log/ #←ログ出力先 └ Pipfile #←使うライブラリを列挙 import logging import os imp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
