Amazon.co.jp: プログラムは技術だけでは動かない ～プログラミングで食べていくために知っておくべきこと: 小俣光之: Digital Ebook Purchas
Fluentdで各種ログをS3とElasticsearchにまとめる - BitArts Blog
各々のサーバの様々な場所に分散しているWebサーバやその他各種ログファイルをFluentdでまとめてAmazon S3にガシガシ保存。かつ、分析用にコピーを自前のElasticsearchにも保存します。保存したログはKibanaで手軽にビジュアライズ。 Fluentdはとてもシンプルな仕組みで理解しやすい。「ログを集積したい！」と感じたらサクッと導入できる超便利ツールです。 今回は集積用サーバを経由してElasticsearchとS3に保存する構成にします。 Elasticsearchのインストール Fluentdで集積したログは保存するだけならS3で良いのですが、手軽にビジュアライズしたいので、今回はKibanaを使えるようにElasticsearchにも保存するようにします。今回はCentOSに導入するので、公式のyumリポジトリからインストールします。 $ sudo rpm --i
Private Presentation
Private content!This content has been marked as private by the uploader.
MOOCで「データサイエンティスト」育成へ--11月から「統計学」開講
NTTデータ、NTTドコモ、NTTナレッジ・スクウェア、日本統計学会は6月9日、大規模公開オンライン講座「MOOC（Massive Open Online Course、ムーク）」のプラットフォーム「gacco（ガッコ）」を活用した、データサイエンティストの育成プロジェクトを開始したと発表した。 gaccoは、ドコモとナレッジ・スクウェアが共同で推進しており、サービスはナレッジ・スクウェアが提供している。今回のプロジェクトでは産官学が連携し、統計学の基礎的な概念からビジネスに役立つ実践的な応用までを学べる機会を提供。社会的ニーズが高まりつつあるデータサイエンティストの育成と輩出を目指す。 ドコモとナレッジ・スクウェアは、統計学講座を11月に開講予定。講座内容は、統計学会が統計検定を通じて体系化している統計教育質保証に沿うものであり、統計学会が推薦する複数の大学教授陣が講師を務めるという。ま
リトライと冪等性のデザインパターン - Blog by Sadayuki Furuhashi
リトライを肴に一晩酒が飲める古橋です。 大規模なデータに触れることが日常茶飯事になっている今日この頃。この分野のおもしろいところは、いつまで経っても終わらないプログラムを簡単に作れてしまうことかもしれません。エラー処理、リトライそして冪等性*1の３つを抑えていないプログラムは、小規模なデータなら問題ないが、データ量が多くなると使い物にならなくなる可能性が大です。 大規模データをバッチ処理するケース以外でも、リトライは一般にプログラムの信頼性に関わる重要な問題です。 そんなわけで、リトライに関わるいくつかのデザインパターンを、連載でまとめておこうと思います*2。 では、第1回は背景から： なぜリトライが必要なのか プログラムは色々な理由で失敗する。例えば、 A) 通信先のプログラムが高負荷すぎて応答できなかった B) メモリを消費しすぎてメモリ確保に失敗した。またはOOM KIllerに殺さ
DMP勉強会
6. 買いたい枠を事前に選ぶ時代 これまでの広告取引 いい枠を買いたい 魅力的な枠にしたい • ある枠を事前にロックして買い切る（純広・期間保証・imp保証 • その枠、そのサイトにいい人が来ていることを信じて買う • アドネットワークはすぐに止められるが、結局は統計的な話 なるべく効果高く配信したい なるべく儲けたい 広告主 媒体 媒体者はいかに自分たちのサイトが統計的に 良い人がいるのかを伝える 7. 買いたい時に、買いたい枠を買う時代 現在のRTB取引 買いたいときに いいユーザーを買いたい 魅力的な人は高く売 りたい なるべく効果高く配信したい なるべく儲けたい 広告主 媒体 • 買いたい時に、買いたい値段で、リアルタイムで買う • 媒体はリアルタイムでその人に値段をつけてマーケットに放出する • 統計的にいいユーザーがいそうなところに出すのではなく、欲しい ユーザーが来た時だけ、
ストリーム系のリアルタイム処理系の調査 - Qiita
Amazon Kinesis 公式サイト 英語 http://aws.amazon.com/kinesis/ 日本語 http://aws.amazon.com/jp/kinesis/ 概要 Amazon Kinesis は、大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービスです 利用可能なリージョンと利用料金（2014/06/08 現在） リージョン ** 米国東部（バージニア北部）のみ 利用料金 ** 時間単位のシャード速度（取得速度は 1 MB/秒、送信速度は 2 MB/秒）: 0.015 USD ** PUT 取引 1,000,000 個あたり: 0.028 USD 簡単な使い方 レコードを登録する (PutRecord http://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecord
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
