こんにちは。テクノロジカルマーケティング部 データプラットフォームチームの村上です。 弊社各サービスのデータ分析基盤であるLivesense Analytics(以降LA)の開発、運用を行っています。 本日は弊社データプラットフォームでも活用しているフロー管理ツールAirflowについて、分散処理の概要や最近の更新についてご紹介します。 Airflowについて Airflowとは github.com Airflowはデータ処理フローを管理するツールです。元々はAirbnb社が開発して公開したソフトウェアです。その後Apacheソフトウェア財団のサポートを受けて現在はApache Airflowという正式名称になっています(本ブログでは以下Airflowと記述します)。ライセンスはApache License2.0です。本体コードはpythonで作られています。 2018年2月現在、正式リ
ここまで読んでくださった皆さんに、ちょっとしたクリスマスプレゼント。マンガでわかる GoF デザインパターン 23 種チートシートです。これでもうデザインパターンは完全にマスターしましたよ。やったね! (注: ここからはあとがきポエムです) ところでみなさん、せっかくデザインパターンを学んだので、これを使ってプログラムを書こう、チートシートがあるからなんでも書けそうだぞ、なんて思っていませんか。ダメですよ。そんなことしたら 2000 年前後に起きた失敗を繰り返してしまいます。 実は GoF のデザインパターンは、ビジネス的には成功したけど、教育には失敗しました。最初に出版された本に「オブジェクト指向における再利用のための」という肩書が付いていましたが、これが本当に良くなかった。 あの頃 (ポール・グレアムが LISP と Ruby を褒めるまで) は、「オブジェクト指向様こそが良い設計のす
プログラマが知るべき97のこと大人気の書籍『プログラマが知るべき97のこと』のエッセイを無料で公開中!すべてのプログラマにおすすめの本がウェブで読めるようになりました。 エッセイ一覧分別のある行動関数型プログラミングを学ぶことの重要性ユーザが何をするかを観察する(あなたはユーザではない)コーディング規約を自動化する美はシンプルさに宿るリファクタリングの際に注意すべきこと共有は慎重にボーイスカウト・ルール他人よりまず自分を疑うツールの選択は慎重にドメインの言葉を使ったコードコードは設計であるコードレイアウトの重要性コードレビューコードの論理的検証コメントについてのコメントコードに書けないことのみをコメントにする学び続ける姿勢誰にとっての「利便性」かすばやくデプロイ、こまめにデプロイ技術的例外とビジネス例外を明確に区別する1万時間の訓練ドメイン特化言語変更を恐れない見られて恥ず
どんなにステーキが大好きな人でも、 毎日、朝昼晩、ステーキだけを強制的に食べさせられ続けたら、 だんだん苦痛になってくる。 本当にステーキが好きな人なら、最初の1ヶ月くらいは毎食ステーキだけでも天国かも知れないが、 それが半年もつづけば、もはやステーキを見るだけでウンザリするだろう。 プログラミングが好きでプログラマーになってしまった人は、 これと同じ種類の拷問にかけられる。 どんなにプログラミングが好きな人でも、毎日休まずプログラムを書き続けないと 生活できないとなると、それはだんだん苦痛になってくる。 好きなことを仕事にして生きていく、というのは、本質的にそういうことなのだ。 そもそも、人は、その瞬間、瞬間で、いろんなことに興味をもち、 いろんなことをやりたくなる、自由で軽やかに発散していく欲望を持っている。 どんなにプログラミングが好きな人でも、 朝起きて、今日は空が青くて気持ちいい
ここ数年、会社を辞めて自分のペースで仕事を請け負うフリーランスという形態で仕事をする人が増えています。フリーランスには様々な職業があり、代表的なものでは翻訳業やイラストレーター、YouTuberもフリーランスに分類されます。そして代表的なフリーランスの職業がもう一つあります。それはプログラマー/エンジニアです。そのプログラミングの大部分を占める工程がコーディングであり、知識と技術を身につければ、憧れのフリーランスに鞍替えすることも夢ではありません。 それではコーディングの知識と技術を取得するにはどのようなルートがあるのでしょうか?現実として学校に通うか、プログラミングを請け負う会社に入社するか、あるいは独学で取得するかのいずれかを選択することになります。そこで今回は最も費用の少ない独学でコーディングを学ぶ方法を紹介したいと思います。 独学でコーディングの知識と技術を身につけるには まずはプ
ゴールデンウィークなので使っているプラグインをまとめてみました。 とかいって夏休みの宿題を最終日に片付けるような形になってしまっていますが… 都合よく108個あったわけだけど.vimrcでNeoBundleしている順なので 数が大きくなるほど人が遠くに吹っ飛ぶわけではありません。 【プラグイン管理】 1. neobundle.vim これが無いと始まりません。 これだけプラグインを使ってると自動アップデートは必須なのと 起動時にプラグインを読み込まないNeoExternalBundleがかなり便利。 2. vim-pathogen 前はメインで使っていましたが今はvim-ipi用です。 3. vim-ipi NeoExternalBundleで読み込まなかったプラグインを 後から読み込むために使ってます。 Vimの起動時間短縮のためには欠かせません。 【ドキュメント】 4. vimdoc-
注: これの更新版である2012年版があります。 他の人がEmacsを使っているのを見ていると、「もっと便利に使えるのに」と、もやっとしたり、「え、その便利な機能ってなに?」と、発見があったりします。だれかに「この設定をすると便利ですよ」と話しやすくするために、今のEmacsのおすすめ設定をここに記しておきます。 ディレクトリ構成 長年漬け込んできたEmacsの設定がそこそこの量になっているので、以下のようなディレクトリ構成にして分類しています。 .emacs.d |-- init.el ;; 基本的な設定を記述 |-- config ;; 特定のモードや非標準のElispの設定をこの下に置く | |-- builtins.el ;; 標準Elispの設定 | |-- packages.el ;; 非標準Elispの設定 | `-- packages ;; 非標準Elispのうち、設定が多
コンピュータゲーム論 目次 現在の文化様式としてのゲーム 現代社会におけるゲームの隆盛とその原因 潜在的であったゲームの需要 ハードウエアの高度化 社会心理的な能動性に対する不満 コンピューターゲームの定義 コンピュータゲームの定義 プレーヤーの対応:能動的/受動的ゲーム プレーヤーの認識:獲得系/改善系/確認系ゲーム ゲーム上の環境要素:目標、障害、支援、世界 能動的感情の対象物として認識されるもの ゲーム機種別の社会的位置 ゲーム機の分類 家庭用ゲーム機 アーケードゲーム(ビデオゲーム)機 大型テーマパーク ゲームに関わる者毎の視点 ゲーム制作者個人 ゲーム業界 プレーヤー 相互規約としての文化におけるゲーム プレーヤー別分類 ゲーマー:ゲームプレイそのものを楽しむ者 ゲームマニア:ゲーム情報の交換を主な社会的行動としている者 ゲームオタク:ゲームのイメージを楽しむもの 一般人:ゲーム
やればできる 卒業論文の書き方 中田 亨 2003年10月15日初版。2009年4月27日改訂 工学部の標準的な卒論の書き方について説明します。修士論文でも博士論文でも書き方は同じです。 第1部 卒論クイックスタート 卒論とは? 他人の真似ではないアイデアが、 それが理論的に可能である理由、 やってみた証拠、 どんなふうに役に立つか、 とともに記述されている、組織立った文書。 卒論は習作であり、基準は甘い。対外発表論文では第1条が「他人のアイデアより明らかに優れたアイデア」と厳しくなる。 「新しい意味を伝えることが、命題の本質である。」(ウィトゲンシュタイン) 標準的な卒論の構成 題目: 説明的なタイトルを付ける。例えば「人体計測装置の研究」では舌足らずであり、「赤外線平行投影法を用いた人体計測装置」とか、「海中でも使用可能な人体計測装置」などがよい。(私の上司の金出武雄氏の方式)。 要約
プログラマの方、もしくはプログラミングに興味のある方に質問です。web上の文章でこれは読んでおいた方がよい、あるいはこの文章は面白いという文章を教えてください。文学、エッセイ、哲学、宗教、経済、科学、コンピュータ等、分野は問いません。 例:http://cruel.org/freeware/hacker.html
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く