こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツールAirflowについて、分散処理の概要や最近の更新についてご紹介します。 Airflowについて Airflowとは github.com Airflowはデータ処理フローを管理するツールです。元々はAirbnb社が開発して公開したソフトウェアです。その後Apacheソフトウェア財団のサポートを受けて現在はApache Airflowという正式名称になっています（本ブログでは以下Airflowと記述します）。ライセンスはApache License2.0です。本体コードはpythonで作られています。 2018年2月現在、正式リ

ここまで読んでくださった皆さんに、ちょっとしたクリスマスプレゼント。マンガでわかる GoF デザインパターン 23 種チートシートです。これでもうデザインパターンは完全にマスターしましたよ。やったね! (注: ここからはあとがきポエムです) ところでみなさん、せっかくデザインパターンを学んだので、これを使ってプログラムを書こう、チートシートがあるからなんでも書けそうだぞ、なんて思っていませんか。ダメですよ。そんなことしたら 2000 年前後に起きた失敗を繰り返してしまいます。 実は GoF のデザインパターンは、ビジネス的には成功したけど、教育には失敗しました。最初に出版された本に「オブジェクト指向における再利用のための」という肩書が付いていましたが、これが本当に良くなかった。 あの頃 (ポール・グレアムが LISP と Ruby を褒めるまで) は、「オブジェクト指向様こそが良い設計のす

プログラマが知るべき97のこと大人気の書籍『プログラマが知るべき97のこと』のエッセイを無料で公開中！すべてのプログラマにおすすめの本がウェブで読めるようになりました。 エッセイ一覧分別のある行動関数型プログラミングを学ぶことの重要性ユーザが何をするかを観察する（あなたはユーザではない）コーディング規約を自動化する美はシンプルさに宿るリファクタリングの際に注意すべきこと共有は慎重にボーイスカウト・ルール他人よりまず自分を疑うツールの選択は慎重にドメインの言葉を使ったコードコードは設計であるコードレイアウトの重要性コードレビューコードの論理的検証コメントについてのコメントコードに書けないことのみをコメントにする学び続ける姿勢誰にとっての「利便性」かすばやくデプロイ、こまめにデプロイ技術的例外とビジネス例外を明確に区別する1万時間の訓練ドメイン特化言語変更を恐れない見られて恥ず

どんなにステーキが大好きな人でも、 毎日、朝昼晩、ステーキだけを強制的に食べさせられ続けたら、 だんだん苦痛になってくる。 本当にステーキが好きな人なら、最初の１ヶ月くらいは毎食ステーキだけでも天国かも知れないが、 それが半年もつづけば、もはやステーキを見るだけでウンザリするだろう。 プログラミングが好きでプログラマーになってしまった人は、 これと同じ種類の拷問にかけられる。 どんなにプログラミングが好きな人でも、毎日休まずプログラムを書き続けないと 生活できないとなると、それはだんだん苦痛になってくる。 好きなことを仕事にして生きていく、というのは、本質的にそういうことなのだ。 そもそも、人は、その瞬間、瞬間で、いろんなことに興味をもち、 いろんなことをやりたくなる、自由で軽やかに発散していく欲望を持っている。 どんなにプログラミングが好きな人でも、 朝起きて、今日は空が青くて気持ちいい

ここ数年、会社を辞めて自分のペースで仕事を請け負うフリーランスという形態で仕事をする人が増えています。フリーランスには様々な職業があり、代表的なものでは翻訳業やイラストレーター、YouTuberもフリーランスに分類されます。そして代表的なフリーランスの職業がもう一つあります。それはプログラマー/エンジニアです。そのプログラミングの大部分を占める工程がコーディングであり、知識と技術を身につければ、憧れのフリーランスに鞍替えすることも夢ではありません。 それではコーディングの知識と技術を取得するにはどのようなルートがあるのでしょうか？現実として学校に通うか、プログラミングを請け負う会社に入社するか、あるいは独学で取得するかのいずれかを選択することになります。そこで今回は最も費用の少ない独学でコーディングを学ぶ方法を紹介したいと思います。 独学でコーディングの知識と技術を身につけるには まずはプ

ゴールデンウィークなので使っているプラグインをまとめてみました。 とかいって夏休みの宿題を最終日に片付けるような形になってしまっていますが… 都合よく108個あったわけだけど.vimrcでNeoBundleしている順なので 数が大きくなるほど人が遠くに吹っ飛ぶわけではありません。 【プラグイン管理】 1. neobundle.vim これが無いと始まりません。 これだけプラグインを使ってると自動アップデートは必須なのと 起動時にプラグインを読み込まないNeoExternalBundleがかなり便利。 2. vim-pathogen 前はメインで使っていましたが今はvim-ipi用です。 3. vim-ipi NeoExternalBundleで読み込まなかったプラグインを 後から読み込むために使ってます。 Vimの起動時間短縮のためには欠かせません。 【ドキュメント】 4. vimdoc-

注: これの更新版である2012年版があります。 他の人がEmacsを使っているのを見ていると、「もっと便利に使えるのに」と、もやっとしたり、「え、その便利な機能ってなに？」と、発見があったりします。だれかに「この設定をすると便利ですよ」と話しやすくするために、今のEmacsのおすすめ設定をここに記しておきます。 ディレクトリ構成 長年漬け込んできたEmacsの設定がそこそこの量になっているので、以下のようなディレクトリ構成にして分類しています。 .emacs.d |-- init.el ;; 基本的な設定を記述 |-- config ;; 特定のモードや非標準のElispの設定をこの下に置く | |-- builtins.el ;; 標準Elispの設定 | |-- packages.el ;; 非標準Elispの設定 | `-- packages ;; 非標準Elispのうち、設定が多