Apache Mesos はすごいプロダクトだと思うのですが、単にジョブスケジューラを冗長化するという用途に対しては、やや牛刀な感があるツールだと言えるでしょう。 一方で、バッチサーバの冗長化というのは、割と見過ごされがちなポイントではあると思います。 そこで、もっとライトな方法でこれを実現できないかと少し調べていました。 そこから派生して、cron の冗長化についていくつか情報を得たので、以下にまとめてみます。 (1) 実は cron 自体にクラスタリングの機能がある http://man7.org/linux/man-pages/man8/cron.8.html#CLUSTERING_SUPPORT 上の Man ページに記載の通りです。 ただし、実は cron 自体の実装には Linux Distribution やバージョンによって差異があります。上は fedora の croni

ECS完全に理解した勉強会に登壇しました！ ECSで作る爆速TrailRendererという話をしました マニアックな話だけど大丈夫かなーと思ってましたが、 意外とみんなついてきてくれた上、よりマニアックなアセンブラやC#の話もあって安心しました！ 以下公演資料です GitHubリポジトリはこちら github.com

こんにちは、機械学習エンジニアの辻です。 先日、SageMakerの活用事例で登壇させて頂きました。 machinelearningnighttokyo20181.splashthat.com 機械学習で一番時間の掛かる作業といえば、やはり前処理ですよね。データレイクからデータを取得して、必要に応じて様々なデータストアからデータをかき集めて、加工して、また別のデータストアに入れてと。。。 大量のデータをあっちにやったりこっちにやったりして、もう一体最初は何がしたかったのかさっぱりわからなくなってしまうことがあります。 それに加えて、機械学習では、学習したモデルに対して推論しなければなりませんが、またこの推論結果が必ずしも決定的ではないという課題も含んでいます。 この、決定的ではないとはどういうことでしょうか？ 動作が予測可能なもの、つまり、入力したものに対して、常に同じ経路で計算を行い、同

シリコンバレーのスタートアップを数多く取材する中で気付いた「シリコンバレーにおけるディシプリン（規律）の存在」や「General Electric（GE）やIBM、SAPといった老舗企業が必死になってシリコンバレーのスタートアップを真似している理由」、そして「日本企業がイノベーションを実現するための処方箋」について解説します 詳しく知りたい場合は「GE 巨人の復活」をご覧下さい。 http://www.nikkeibp.co.jp/atclpubmkt/book/17/P55110/ 今後の記事は「シリコンバレーNext」をご覧下さい。 http://itpro.nikkeibp.co.jp/siliconvalley/