WindowsでワークフローマネージャのAzkabanを動かす - Qiita
Hadoop向けのワークフローマネージャのAzkaban（https://azkaban.github.io）をWindowsで動くようにパッチをあててビルドする。 Azkabanは、Hadoop向けといいつつも、コマンドをスケジュールに合わせて動かすことや複数の依存関係のあるジョブを動かすことができるので、Hadoopと関係なく、定期的に動かしたいタスク、特に複数の依存関係のあるタスクを何でも動かすのに利用できる。 ジョブは、簡単なプロパティ形式の記述をするだけでよいし、Web UIは、シンプルで使いやすく処理時間のグラフなども表示される、Web APIもあるのでAzkaban自身を自動処理させることもできることが良い点。逆に、いまひとつな点は、Web UIから、ジョブの追加を行うことができないので、予めテキストエディタで編集して .zip形式でアーカイブしてアップロードする必要がある。
吹奏楽コンクールを捨て、甲子園の応援に 秀岳館高校・吹奏楽部員の思い
なにが問題になっているのか事の発端は、西日本新聞が16日に報じた『秀岳館吹奏楽部「野球部と日本一に」 大会断念し甲子園へ』という記事だ。コンクールより甲子園を優先する決断を下した経緯について、こう書かれている。 コンテストか、甲子園か。７月下旬の職員会議は２日間にわたった。多くの教員が「コンテストに出るべきだ」と主張した。吹奏楽部の３年生６人も話し合いを重ねた。「コンテストに出たい」と涙を流す部員もいた。 多くの教員も、一部の部員も「コンテストに出たい」と主張していたが、結果的に、甲子園に行くことになった。「誰が甲子園行きを決断したのか」。同記事では、明確な記述はない。 そしてこの記事は、『（吹奏楽部は）頂点を目指すナインとともに「熱い夏」を過ごすつもりだ』と結び、甲子園行きの決断を好意的に伝えている。 美談なのか？ ネットで疑問の声この記事に、ネットユーザーの批判が集まった。 「美談ぽく
Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast
アメッシュより便利な降雨情報サイトの紹介 ～梅雨・台風への備え～ - 暇のもてあましかた
台風6号の接近に伴って「東京アメッシュ」がトレンド入りしていたので、アメッシュより便利なサイトの紹介をしたいと思います。 東京アメッシュのここがダメ 東京アメッシュは降雨状況を提供するサービスで、東京都下水道局が運営しています。おそらく首都圏では最も知名度の高い雨雲レーダかと思います。でなきゃトレンド入りしませんよね。ただしこのサイトのダメな所を挙げると 更新が5分に1回 時間分解能が低いので、現在よりは少し前の情報が表示されています。結局窓を開けて確かめることになる。 過去の降雨状況しか見れない 知りたいのは今後、雨雲がどう動くかですよね？ 対象は”東京”のみ 東京都下水道局が運営しているので当たり前ですが、旅行・帰省の際に東京を離れると使えません。 紹介1：XRAIN(国土交通省) 1つ目に紹介するのはXRAINです。こちらの良い点は 更新が1分に1回 一部を除いてほぼ全国が対象 従来
鳥貴族の件の本質的問題点反社会学講座ブログ
こんにちは、パオロ・マッツァリーノです。 焼き鳥居酒屋チェーンの鳥貴族の一店舗で、酎ハイのドリンクサーバーにまちがえて消毒用アルコールを接続して客に出していた問題について、キビシい指摘をしておきます。ちなみに私は鳥貴族には一度も行ったことはありませんし、なんの利害関係もありません。 消毒用アルコールは健康上は無害だから問題はない、飲んでしまった客には返金する、などと、なんかさらっと済ましてしまおうとしてますけど、この件、そんな単純な問題ではないですよ。 コンサルタントだか弁護士だかで、正直に公表した点に誠実さを感じるなどと評価してる人もいましたけど、なに寝言いってるの。ワシントンの道徳ばなしじゃないんだから。 たしかに健康上の問題はないでしょう。わざとやったのではなく、単なるミスだったという点にも同意します。 でも、それは問題の本質ではありません。問題は、ミスの対処のしかたがずさんなことな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ghc-typelits-knownnat
GitHub - Lysxia/generic-random: Generic random generators