一休のETL処理をAirflowで再構築しました - 一休.com Developers Blog
一休のデータサイエンス部に所属しています小島です。 以前データ分析基盤の構築で記事を上げていましたが、今回はETL*1周りの話をしようと思います。 user-first.ikyu.co.jp 今回ETLのツールとして導入したのはAirflowというツールです。 2017年のアドベントカレンダーでも紹介させていただきました。 一休のデータフローをAirflowを使って実行してみる 一休のETLの現状について 一休のETL周りは以下の画像のようになっていました。 課題 ETLの処理時間が伸びた（出社後も処理が続いていた） エラーのリカバリ作業に時間がかかる（ログが確認しにくい, サーバーに入って作業しなければいけない） 複雑な依存関係の定義がしにくい（どれとどれが依存しているかわからない） リソース負荷（全て並列で実行していた） 処理毎のボトルネックが把握できない ツールの問題というよりは正し
インフラエンジニアのためのCodeBuild,CodePipelineで覚えるユニットテスト | DevelopersIO
先日インフラエンジニアのためのCodeCommitで覚えるユニットテストを公開し、ローカルでユニットテストをして、CodeCommitにプルリクエストするまでの流れをご紹介しました。 今回はCodeBuildとCodePipelineを使って、ユニットテストを自動実行する流れを紹介します。 devブランチへのpushを検知して、ユニットテストを実行します。 手動でユニットテストを実行 自動で実行する前に、手動でユニットテストを実行できるようにします。 足し算、引き算が出来るcalc.pyとテストファイル（test_calc.py）を配置し、CodeCommitにPushします。 詳しくはブログをご覧ください。 $ tree ./ ./ ├── calc.py └── tests └── test_calc.py calc.py 足し算関数(plus)と、引き算関数(minus)を持ちます。
将来発生するトランザクション数を予測する方法 - ZOZO TECH BLOG
データサイエンティストの中村です。 webで発生するトランザクション（購買など）の中には、確率分布を仮定することで抽象化できる物があります。 今回は、トランザクションが発生する現象をモデリングする手法のひとつであるBG/NBDモデルと、この手法にもとづいて将来発生するトランザクションの回数を予測するためのライブラリであるlifetimesを紹介します。 トランザクションのモデリングについて 1987年にSchmittlein等によってPareto/NBDというモデルが提案されました。これは顧客の継続的に発生する購買行動に確率分布を当てはめ抽象化する手法で、結果として将来発生する購買を予測することに成功しました。顧客が離脱したか否かの判断や顧客生涯価値の見積もりが可能になるという点で、Pareto/NBDモデルは顧客分析における非常に強力なツールのひとつです。 Pareto/NBDをベースと
テキストでネットワーク図を作ろう！nwdiag | DevelopersIO
nwdiagって何？ ブロック図生成ツール blockdiagシリーズの1つです。きれいな論理ネットワーク図を作成することができます！ 公式サイト(http://blockdiag.com/ja/nwdiag/introduction.html) 特徴 テキストベース 自動レイアウト SVG出力可能 インストール方法 Pythonで動き、Win・Mac・Linuxすべて対応しています。今回はMacでのインストール方法を紹介します。 Windowsの場合は事前にPythonのインストールを行ってください。2系、3系はお好みでどうぞ！ インストール 一行で簡単にインストール完了です。 pip install nwdiag サンプルコードを使って動作を確認します。 まず以下のファイルを作成してください。 sample001.nwdiag nwdiag { network dmz { addres
Python基礎講座(はじめに) - Qiita
この記事を書いた動機 僕の住む静岡県では、2010年から「静岡Developers勉強会」という ITエンジニアを対象とした勉強会が開催されています。 2010年：「Programming in Haskell」 2011年：「JavaScript: The Good Parts」 2012年：「HTML5＆CSS3実践入門」 2013年：「入門 機械学習」 2014年：「実践 コンピュータビジョン」 昨年の「実践 コンピュータビジョン」ではPythonを使用したため、 多くの人に勉強会に参加してもらうために、Pythonの基本を学べる スライドを作成しました。 その後、勉強会に参加したメンバーから、「自分もそのスライドの発表を聞きたい」と 要望があり、せっかく初心者用の資料を作成したのならば、Webで公開したほうが 多くの人が見ることが出来て良いのではないかと考え、今回Qiitaを利用し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
