AirflowとDockerで俺々データ分析基盤をつくってみた&Imageを公開してみた #kwskrb - Lean Baseball
ライフワーク（＆将来の仕事）としている野球データ分析の基盤をAirflow + Docker他で作りました. このハナシはkawasaki.rb #051 5年目突入LT大会で披露したLTの続きであり, PyConJP 2017のトークネタ「野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築」のメインテーマ「分析基盤構築」の主軸となるハナシでもあります. 要約すると データ集め→前処理→データベース化の流れはAirflowを使うといい感じに実現できる. Airflowは高機能だが導入と運用に一手間かかる→困った→そうだ！Docker Imageにしちゃえ！→楽になったぞ！ そんなAirflowのDocker Imageとコードを公開したので気になる方はぜひ使ってほしい&PRとかいただけるとうれしいです. このエントリーの対象読者 データを集めて分析するお仕事・趣味をし
あらすじ 詳細は主催者の @chezou さんのまとめから。 Kawasaki.rb #010 - Kawasaki.rb ｜ Doorkeeper kawawaki.rb #010 を開催しました #kwskrb ｜ once upon a time, kawasaka.rb というコミュニティを知り、参加。 はじめて LT した！ 流れ 今回予定されていた LT の 1 本が @chezou さんの「はじめて翻訳記事を書いたら300ブクマ超えた話」 ブログ記事とソフトウェアのドキュメントの違いこそあれ、方向は大分近いかも 流れで 次枠の LT に入れてもらった スライドなど用意していなかったため、 自分のエントリ をもとにやったことと、困っていることを発表した 初めての LT だったので緊張したが、得るものがたくさんあった。 以下あまりまとまってない内容 当該記事の中で、自分が困ってい
7/22(水)に神奈川Ruby会議と同じミューザ川崎のNTT-ATさんプレゼンルームにてKawasaki.rb #026 「ほぼ2周年記念LT大会」を開催しました。 togetterのまとめはこちら LT大会 ところで俺のruby力はこの1年でどのくらい向上したの？ from @etmnkさん CodeIQの課題への解き方を説明しつつ、自分のRuby力がどれくらい向上したのかをプレゼンされました。 LT from @kenzan100さん NYのrecurse centerで取り組んだ”retreat”が良かったという話を中心に、日本語でLispを書ける Japalispの紹介や、主催されている独学道場の紹介をしていただきました。 Docker 基本のおさらい2 / Compose Swarm Machine をためした話 from @nk_ngzmさん
野球Hack!~Pythonを用いたデータ分析と可視化 #kwskrb #28 2015/9/30
Kawasaki.rb #28 (2015/9/30)発表資料. Pythonを用いた野球プログラミングについてRead less
ScrapyとAirflow,Jupyter(holoviews)で野球データ分析基盤を作りましたというLT. kawasaki.rb #51 5年目突入LT大会 https://kawasakirb.connpass.com/event/64466/
2015/2/25に開催されたkawasaki.rb #21に参加してきました。kawasaki.rbへの参加は先月から続けてまだ2回目です。 Doorkeeper Kawasaki.rb #021 - Kawasaki.rb | Doorkeeper パーフェクトRuby読書会 今日は「3-5-9 擬似キーワード引数」、「3-5-10 キーワード引数」、「3-5-11 仮引数の順序」まで行いました。 キーワード引数の項で、物議を醸し出していたのは下記のようなコード。 def keywords(nil:) nil end puts keywords(nil: false) # => nil と、キーワードにnilやtrueなどの予約語を使用することができる一方で、普通に参照しようとしても参照できないという現象が発生するということでした。このRubyの突き抜けた仕様は賛否両論ありそうですが、
8/27(水)にミューザ川崎音楽工房にてkawasaki.rb #015を開催しました。 togetter パーフェクトRuby読書会 “3-3-2 例外を制御する”まで終えました。 ハイライトは以下のとおり。 #kwskrb Q「SQL例外ってどういう扱いになるの？」 A「DBのバインディングしてるライブラリによる」 オブジェクト指向の方式だと、例外クラスを継承して各々が作ってるやつをthrowすることが多い ※表現を意訳してます(実際の会話忘れた)— Shinichi Nakagawa (@shinyorke) 2014, 8月 27 #kwskrb rubyにかぎらず、ファイルやDBを扱う際はrescue(ruby)やfinally(Java)的なやつで必ず閉じるようにしましょう。 その際rescueやfinallyの中で例外起こさないよう気をつけてね 言語云々より、コーディングパタ
kawasaki.rb #043を開催しました #kwskrb
パーフェクトRuby読書会は、参加者が少なかったかつ、お互いの近況報告に花が咲いたのでお休みしました。 セッション「オブジェクト指向設計実践ガイド」を読んだので誰かに意見聞きたい from 「オブジェクト指向設計実践ガイド」の中で出てきたいくつかのテクニックに感銘を受けたものの、これは実際に他のプログラマに受け入れられるのか?という疑問から、書籍の紹介をかねて参加者に投げかけてみました。なお聴講者はPythonistaが2人、C#perが1人、Javaが1人という布陣でした。 「データではなく、振る舞いに依存する」というテクニックでは、 DBなどの取得に重い処理ではキャッシュの機構を入れたりするので有用C#ではプロパティ経由での取得と言う形で用いるRubyやJavaでは有用そうだが、Pythonではスコープが比較的緩いという部分もありあまり積極的には使わないという意見をいただきました。 次
kawasaki.rb #077 を開催しました #kwskrb
パーフェクトRuby読書会今回は「9–2 MethodクラスとUnboundMethodクラス」からでした。前回学んだMethodオブジェクトにはレシーバの情報も含まれていましたが、レシーバ情報を含まないUnboundMethodクラスの作成方法と、オブジェクトにbindする方法とその制限について学びました。 今回のiruby notebookはこちらです。
主催者の@chezouさんにブログを書くまでが勉強会ですよ、参加レポよろしく！と言われたので！ 今月は結婚記念日のためYokohama.rb行けなくて、Shibuya.rbも社用のため行け無さそうだったためKawasaki.rbにエントリしてみました。（ちなみにそのあとShibuya.rbには行けました） 場所とか 川崎駅から激近のミューザ川崎になります。 ミューザというとコンサートホールぐらいしか知らなかったんですが、オフィスビルもあるんですね。 神奈川Ruby会議が行われた場所と同じ、NTT-ATさんのオフィスになります。 出し物とか 以前から@chezouさんに聞いていたとおり、パーフェクトRubyの読書会をして、そのあと発表したい人は発表という形でした。Yokohama.rbと似てる感じですね。 今回はキーワード引数の話で、自分も業務でバリバリ使ってるやつだったので着いて行けました
kawasaki.rbもとうとう今年で5年目に突入し、それを記念してLT大会を開催しました。今回もkawasaki.rbの名に恥じない様々な技術的知見が集まりました。
6/25(水)にNTT-ATさんの会議室にてkawasaki.rb #013を開催しました。 今度こそ、一周年です。 kawasaki.rb 1周年おめでとうございました🎂 #kwskrb— ごしゅじん (@kk_Ataka) 2014, 6月 25 togetter パーフェクトRuby読書会 “3-2-1 条件分岐”のcase whenの前までやりました。 1節終わらなかった…。 レシピブックと違って長さがまちまちなのが読む時気をつけないといけないですね。 @kk_Ataka さん「SIerでもSphinxを使いたい！ 前編」 ハイパフォーマンス ブラウザネットワーキングの翻訳レビューもされた金城さんのWebRTCのトーク。 WebRTCはウェブブラウザでボイスチャット、ビデオチャット、ファイル共有ができるAPIとのことです。 フル版の資料はこちら。 デモで見せていただいた、VCMa
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kawasaki.rb #010 で発表してきました #kwskrb - kk_Atakaの日記
kawasaki.rb #026 LT大会を開催しました #kwskrb
(ほぼ)Pythonだけで分析基盤を作った #kwskrb #51
kawasaki.rb #21に参加してきました #kwskrb - norizabuton
kawasaki.rb #015を開催しました #kwskrb
Kawasaki.rb 参加してきました #kwskrb - 月曜日までに考えておきます
kawasaki.rb #051 「5年目突入LT大会」を開催しました #kwskrb
kawasaki.rb #013を開催しました #kwskrb