Kafka Inside Keystone Pipeline
In summary, the Keystone pipeline is a unified event publishing, collection, and routing infrastructure for both batch and stream processing. We have two sets of Kafka clusters in Keystone pipeline: Fronting Kafka and Consumer Kafka. Fronting Kafka clusters are responsible for getting the messages from the producers which are virtually every application instance in Netflix. Their roles are data co
CoreOS、コンテナに最適化した分散ストレージ「Torus」を発表
米EMCとCoreOSが相次いで、コンテナに適したストレージ機能を実現するためのソフトウェアをオープンソースで公開しました。両社はそれぞれ異なるアプローチでコンテナに適したストレージを実現しようとしています。 この記事ではCoreOSが発表した「Torus」を紹介します。EMCがオープンソースで公開した「libstorage」は、1つ前の記事で紹介しています。 ノードを集めてストレージプールを作るTorus Torusは、etcdを用いてシンプルで信頼性の高い分散ストレージを実現するソフトウェアです。KubernetesのPodから、ブロックストレージとしてマウントできます。 CoreOSは、既存のストレージは小規模なクラスタや大規模なサーバのために開発されたもので、モダンなコンテナのクラスタで利用するのは困難かつコストも高くつくと指摘。 コンテナ向けのストレージは次のようでなければならな
【超入門】Hivemallで機械学習 〜Treasure Dataでロジスティック回帰編〜 | DACエンジニアブログ：アドテクゑびす界
こんにちは。俺やで。 ビッグデータとかデータサイエンティストとかいう言葉が未だブームですね。 （「データサイエンティスト」は下火か。） ビッグデータ扱えるエンジニアも、 統計解析ができるアナリストも、 どっちもできるスーパーマンも世の中にはたくさんいますが、 ビッグデータも統計解析も扱えるインフラは多くはない現状です。 そこで！ この記事では、 ビッグデータに対応したHiveで使える機械学習ライブラリ、 「Hivemall」の使い方を学ぼうじゃないか！ という志をたくさん表現するべく書いています。 そして統計やるんだったら、 初歩的だけどおもしろいロジスティック回帰がいいだろうなと、 これを取り上げました！ ちなみにですが、 あくまで「Hivemallの使い方」に重きを置くので、 統計云々みたいな深い話は最低限しかしません。 あとTreasureDataで試させていただきました。 いつもお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
