Shoryukenでつくるバッチ処理基盤 - トレタ開発者ブログ
トレタのAPI開発を担当している芹沢です。 トレタでは、長時間かかるバッチ処理を複数台のサーバ上で処理させて短時間で処理できるバッチ処理基盤をAWS上で構築しました。この仕組みについて説明します。 目的 短期的には以下の課題を解決するため、長期的には似たような要件が再度発生した時に、同じ手法で解決できることを目的に作りました。 非同期でDBをデータソースとしたデータを加工してCSVファイルとして出力してS3にputしたい データソースはDBに入っているリアルタイムのデータであることが求められる CSVファイルの作成は決められた時間内に完了する必要がある 対象となるデータソースの量は日々増加し続けるが、常に決められた時間内にCSV作成が完了している必要がある 難点 今回の要件で技術的に難しい点は以下の２点です。 DBを直接参照しながら大量のデータを処理する 例えば、データソースとしてDBから
私、普通のVimmerに戻ります - Humanity
頭のおかしいいつも通りのヨタ話です。半分ネタです。 もう限界です。 プラグインを入れたり作ったりしてプラグインが増えていき、気が付くと Core i3 4130 3.4 GHz, メモリ 16G の PC にもかかわらず Vim が起動するまで3秒ぐらい掛かるようになってしまいました。 それも Kaoriya GVim の場合。最近は MSYS2 の vim をメインで使っていますが、それだと5秒位かかります。 そして気付くとふとした時思いついた事を書き留めようと思ったらサクラエディタを立ち上げる自分がいたのです *1。 私は忘れっぽい上に集中力散漫な性質なので、5秒掛かったら絶対忘れると思い自然とそうなっていました。 瞬時の判断というのは割と自分の経験とか性格を反映しますね… ただ本音を言えばそういう時でも Vim を使いたいです。 結局途中で Vim を起動したりします。 実際メイン
不正視聴プログラム公開事案についてまとめてみた - piyolog
2016年6月6日、テレビの有料放送などを不正に視聴できるプログラムを公開したとして17歳少年が逮捕されました。ここでは関連情報をまとめます。 事案タイムライン 日時 出来事 2014年頃 少年が不正視聴プログラムを完成させていた可能性。 2014年12月 B-CASが警視庁へ不正視聴プログラムに関する相談。 2015年6月23日 少年が不正視聴プログラムを公開し、不特定多数が入手できるようにした疑い。 2016年6月6日 少年を不正競争防止法違反の容疑で逮捕。 2016年6月8日 警視庁、佐賀県警が同事案についての発表。 2016年6月27日 東京地検が処分保留で少年を釈放。 事案に関する情報 事案名 不正視聴プログラム頒布による不正競争防止法違反被疑事件 容疑者 佐賀県佐賀市 17歳 無職少年 少年は逮捕後は「事件について語りたくない」として認否は留保している。*1 捜査担当 警視庁サ
Ruby on Rails 脆弱性解説 - CVE-2016-2098
はじめに 先日、HASHコンサルティング株式会社の徳丸浩氏のブログにて CVE-2016-2098 の解説記事が公開されました。 Ruby on Railsの潜在的なリモートスクリプトインジェクション脆弱性CVE-2016-2098 記事の元になったのは GitHub で公開された CVE-2016-2098 の PoC です。 GitHub - hderms/dh-CVE_2016_2098: Proof of concept showing how CVE-2016-2098 leads to remote code execution この PoC（dh-CVE_2016_2098） には不可解な点が見受けられました。（現在質問中、未回答） dh-CVE_2016_2098 と CVE-2016-2098 に関して調査を行い、以下の結論に至りました。 dh-CVE_2016_2098
CakePHPで開発しているけれどもMigrationsは捨ててRidgepoleを使っているはなし - Copy/Cut/Paste/Hatena
タイトルは若干釣りです。 CakePHPにはマイグレーションツールとして、CakeDC/Migrations(CakePHP2)や、Phinxベースのcakephp/migrations(CakePHP3)があります。 とても有用ですし、CakePHP Bakerはみんな知っているツールです。自分もずっとお世話になっていました。 ただ、ちょいちょい困ることもあったので、最近はRidgepoleを使い始めています。 Ridgepole github.com Ridgepoleはクックパッド社で利用されているというマイグレーションツールです。 techlife.cookpad.com Ridgepoleは最大の利点が、1つのSchemafileを管理するだけでスキーマのべき等性を担保してくれるということです。 RidgepoleはDSL自体がRailsのActiveRecordと同じだというこ
FireタブレットをFire OS 5.1.4に手動でアップデートする | penchi.jp
AmazonのFireタブレットのOSがアップデートされ、最新のFire OS 5.1.4では、Kindle本のデータをSDカードにダウンロードできるようになりました。 Fire OSのアップデートは自動的に配信されるようになっていますが、段階的に配信されるようで、ウチのFireタブレットでは、いくらチェックしても「アップデートはありません」のまま。 そこで、Fire OS 5.1.4に手動でアップデートしてみました。 Fire OS 5.1.4を手動でアップデートする FireタブレットのOSを手動でアップデートする手順は下記のようになります。 パソコンでOSのデータをダウンロード Fireタブレットをパソコンに接続しOSデータをコピー Fireタブレットでアップデートを実施 パソコンはWindowsでもMacでもOK。 詳しい手順はAmazonのヘルプにあります。 Amazon.co.
ユーザファーストの嘘
ユーザファーストと聞いて、何を思い浮かべるだろうか？よく、ユーザの声をしっかり聞いていないからユーザファーストではないとか、顧客第一ではない、なんて話を聞くけど、それは全くのナンセンスだ。 ユーザは自分のほしいモノはわかっていないし、無責任まず大前提として、ユーザは自分がほしいものは分かっていない。いくらグループインタビューを重ねても、そこからipodは生まれなかっただろうし、Appleもユーザヒアリングはしないことで有名だ。それから、ユーザに「このボタンの位置についてどう思いますか？」と問われれば、「そうですね、もっと右にあったほうがいいと思います」と、意見を言わないと！いう善意から、責任も伴わない思いつきの意見をどんどんいう。だから、ユーザに「どう思うか」と聞くのは愚の骨頂だ。 長期的視点と短期的視点それから、ユーザファーストという時に、それはユーザにとって短期的にいいものか、長期的に
論文紹介: The Evolution of C Programming Practices: A Study of the Unix Operating System 1973–2015 - みずぴー日記
ICSE 2016勉強会に参加するために論文リストを確認していたら、40年間のC言語のプラクティスの変遷を追った論文がおもしろかったので紹介する。 対象の論文 論文: The Evolution of C Programming Practices: A Study of the Unix Operating System 1973–2015 論文中で使われれたデータ: https://github.com/dspinellis/unix-history-repo 要約 過去40年間のUnixのソースコードを分析し、コーディングスタイルの変化を調査した。その結果、以下のことが分かった。 新しい言語機能は価値のあるものならば採用される レジスタ割り当てをコンパイラに任せるようになる スペースをどこにいれるかなどのコードの書き方が統一されていく 分析対象 1972年以降にリリースされた計66個
OpenCV + Google Cloud Vision API + Intel Edison で笑った瞬間を撮るカメラを作る - from scratch
やりたいこと 最近娘が生まれて二ヶ月経過し、そろそろ笑ったりするようになりました。今回のテーマは娘が笑った瞬間を逃さずにカメラで撮影する事です。ちなみにこういう子どもをネタにして行うハック、僕はこれを『親バカハック』と呼んでます。 TL; DR Intel Edison でカメラをセット、一定のタイミングで撮影しつつ OpenCV で粗く笑顔認識させてから Google Cloud Vision API で表情解析 笑顔だと判定された画像を Slack で飛ばして画像をいつでも見れるようにする。 かわいい笑顔が撮れたので最高でした。 ハードウェアセットアップ Intel Edisonを手に入れたのでそれを使って作ります。Edison は Arduino 拡張ボードなら普通のUSB web camera 対応しているので、それをただぶっさして使います。 Intel Edison はSDカード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのCI環境をCircleCIからWerckerにした話
GitHub で Merge 前の Pull Request をベースに次の Pull Request を作成してみたメモ - Qiita