僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP

IVS CTO Night & Day Spring 2015 のLTで発表した内容です /VASILY @kyuns

The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent layoffs tracker Layoffs.fyi. Companies like Tesla, Amazon, Google, TikTok, Snap and Microsoft have conducted sizable layoffs in the…

今更ながらブロック引数の受け取りにキーワード引数が使える事に気付いた。 よくよく考えるとブロック引数の受け取りはメソッドの引数受け取りと同じ処理してるんだから、メソッドの定義で使えるものは基本的に使えるはずで、至極当たり前の事といえばその通りなのだが……。 (自分は今日意識するまで気付いてなかった……) だからこんな感じで書ける。 [23] pry(main)> [{hoge: "fuga", foo: "bar"}].each do |hoge:, foo:| [23] pry(main)* puts hoge [23] pry(main)* puts foo [23] pry(main)* end fuga bar

RDBの専門家として日々活動している中で気づいたことのひとつに、「RDBはデータへのアクセスの実装をインデックスに頼っているが、インデックスは全ての問題を解決できるほど万能ではない」ということがある。インデックスというのはとても強力な部品であり、その点には全く異論はない。だが、世の中の全ての問題（クエリ）を解決できるほど、柔軟性に富んだものではないということだ。RDBは、どのインデックスを使ってデータへアクセスするかということを、オプティマイザを用いて判断する。大抵のRDB製品では、オプティマイザはよい仕事をするので、インデックスとオプティマイザの組み合わせによって、ほとんどの問題に対応できる。だが、100%ではないのであり、そのようなケースがシステムの性能問題を引き起こしたり、プログラマ（アプリケーションの設計者）に、NoSQLへ完全に移行したり、クエリ高速化のために非正規化をすると言っ

選挙権年齢を「２０歳以上」から「１８歳以上」に引き下げる改正公職選挙法が１７日午前、参院本会議で全会一致で可決、成立した。国政選挙では来年夏の参院選（２０１６年７月２５日任期満了）から、１８、１９歳も投票できるようになる見通しだ。１９４５年に「２５歳以上」から「２０歳以上」に引き下げられて以来、７０年ぶりの改定となる。若者の政治参加の拡大につなげるためには、学校現場などを通じた「主権者教育」の充実が鍵を握りそうだ。【前田洋平、樋口淳也】 【１８歳で実名？】少年法の対象年齢引き下げ議論 　改正法により、約２４０万人の１８、１９歳が新たに有権者となり、全有権者の２％強を占める見通しだ。施行後初の国政選挙が最初の適用対象となり、その後に地方の首長・議員選挙にも順次適用される。最高裁裁判官の国民審査投票資格も付与される。 また、改正法で１８歳以上の選挙運動も解禁される。選挙違反については、買収な

認知症の高齢者に中古不動産を高値で売り付ける手口とは　相次ぐ詐欺事件、離れて暮らす家族に「気を付けて」

BUNDLED WITH って何？ bundler 1.10.0 以降で作成された Gemfile.lock では、BUNDLED WITH というセクションがあって、使用された bundler のバージョンがトラックされるようになっている [3485] 。 例えば bundler 1.9.0 で作成された Gemfile.lock のあるプロジェクト上で、 最新の bundler 1.10.3 を使用して bundle install --path vendor/bundle すると、 Gemfile.lock には以下の差分ができる。 これをもう一度 1.9.0 で bundle install すると、上の文字はきれいさっぱり消える。 BUNDLED WITH の何が困るか 多人数で開発するときには、この変更は微妙に邪魔で、意図しない Gemfile.lock 変更が出てしまうことで

プレゼンテーションのためのプレゼンテーション！ Acroquest社内で行った若手向け勉強会での発表資料です！ Read less

<meta name="viewport" content="width=device-width,initial-scale=1"> と呪文のように書いてきたが、いい加減ちゃんと整理して理解しよう。 いろいろ調査した結果、以下の考え方で理解できると思う。 まず、実際の液晶の解像度は一旦忘れろ。 <meta name="viewport" content="width=480">と指定したとする。 するとそこに幅480pxの仮想的なウインドウが作られる。幅480pxの液晶モニターがあることをイメージして欲しい。これをviewportと呼ぶ。 ブラウザはviewportにレンダリングする。viewportの中では、あたかも本当に480pxのモニターを使っているかのような環境になっている。なので、JSのdocument.documentElement.clientWidthなんかも480を返す