Airflowのユニットテストモード実施を嵌りなく進めるための設定をまとめてみた | DevelopersIO
Airflowのユニットテストモードを実施しようと設定していたところ、なかなか意図した挙動にならず、ソースコードを辿った結果分かったことをベースに書いてみました。 はじめに Airflowの機能を一部使ったロジックのテストを検討しました。問題は既にあるユニットテストに載せられるのかどうか。 テストを実行するまで必要な手続きをまとめてみました。 Airflowが読み込む設定ファイル Airflowの設定は、以下の順で優先されます。 AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_CONFIGに設定されたファイルの内容 airflow.cfg では、テスト用の構成はどうなるか、というと AIRFLOW__<SECRION>__<KEY>に設定された値 AIRFLOW_TEST_CONFIGに設定されたファイル unittests.cfg の順になります。 Ai
AWS再入門 Amazon Simple Workflow Service編 ｜ Developers.IO
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の23日目のエントリです。昨日22日目のエントリは石川の『AWS IAM』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日23日目のテーマは『Amazon Simple Workflow Service』です。AWSの中でもかなりマニアックなサービスですが、使いどころによってはとても役立つサービスです。 目次 サービスの基本的な説明 Amazon SWFの特徴 ユースケース 前提知識 はじめてみよう ポイント まとめ さいごに サ
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
【小ネタ】CircleCIのManual Approvalを利用したシンプルなブランチ/タグ運用 | DevelopersIO
はじめに こんにちは、中山です。 私が現在関わっている案件ではCircleCIを利用してAWS SAMで管理されたサーバーレスアプリケーションのCI/CDを整えています。ご存じの方も多いかと思いますが、CircleCIは去年2.0を発表しその機能を大きくアップデートしてくれました。Dockerを全面的に取り入れたアーキテクチャに変わっていたり、ローカルでの実行などもサポートされ日々便利に使っています。 今回は、そんなアップデートの内Manual Approvalについてご紹介したいと思います。この機能はワークフローに静止点を作ってくれるものなのですが、これを応用して複雑になっていたブランチ/タグ運用をシンプルにできた事例についてご紹介します。 今までの課題 私が関わっている案件ではGitのブランチ運用をGitHubフローにしています。つまり、フィーチャーブランチを master ブランチか
【レポート】Workflow Engines Night #workflowenginesnight | DevelopersIO
DI部の川崎です。Digdag使ってます。 今日はDMM.comラボさんが開催された、ワークフローエンジンをテーマにした勉強会「Workflow Engines Night」に参加する機会がありましたので、Digdagの開発者古橋さんのセッションを中心に、参加レポートをお届けします。 勉強会のハッシュタグはこちら #workflowenginesnight はじめに 会場は、六本木一丁目のDMM.comラボさんのオフィスでした。勉強会の概要を引用します。 概要 今回はワークフローエンジンをテーマに勉強会を開催致します。 DMM.comラボからはビッグデータ部で『Digdag』を実際に導入・運用した話、 またインフラ本部からは『StackStorm』による運用コスト・リスク低減の取り組みについてお話しをさせていただきます。 なお、今回は『DigDag』の開発者である 古橋 貞之氏が帰国のタイ
Jenkinsの使い勝手をよくするための見直し6点 ｜ Developers.IO
今回の課題 こんにちは植木和樹です。7月にserverspecを使ったChefの自動テストのエントリを書きました。 【AWS】JenkinsとserverspecでChefのテストを自動化する このエントリは初めてJenkinsを触った時に書いたので、いろいろと流儀がわかっていませんでした。その後弊社にJenkinsマイスターの渡辺修司さんが入社したということで、Jenkinsの設定について見てもらいました。その時に次の6点を見直すよう指摘がありました。 ジョブは意味ある単位で1つにまとめるべし ジョブで実行するシェルスクリプトもgitから取得すべし EC2の起動に失敗したら後続処理を停止させるべし serverspecの実行結果はJUnit（XML）形式で出力すべし 実行結果のXMLをJenkinsで読み込んで統計グラフを出力すべし 定時実行でなくgit push hookを入れるべし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
