はてなブックマーク

はじめに リクルートライフスタイル Advent Calendar 2016の2日目の記事ではELB経由のfluentd Aggregatorを安定化するためにやった3つの対策について書きました。 前記事で書いたようにAggregatorクラスタの数が増えて手動で行っていたデプロイが大変になってきました。また開発メンバーが増えたときに、デプロイ方法を共有してミスなく行えるようにするのも大変です。 そこでfluentd Aggregatorのローリングアップデートを自動化したくなり、CloudWatchEvents + Lambda + SQSで仕組みを作りました。 fluentdのデプロイ時に気をつけること fluentdはローカル上にバッファを持っているため、それを出力し終える前にインスタンスを落としてしまうと、ログのロストが発生します。 それを防ぐためにはバッファがなくなるまで待って、

この記事はリクルートライフスタイル Advent Calendar 2016の2日目の記事です。 はじめに 弊社ではログ収集にfluentd v0.12を主に使っており、システム自体はAWS上に構築しています。 fluentdのAggregatorには、ノードの追加がしやすいように負荷分散にELBを使う構成にしています。 ここ最近までは、複数のサービスからのログを1つのELBで受け、各Aggregatorノードで処理するという構成をとっていました。 ただログが増えてくると安定性に問題が出てきたため、その際に対策として行ったことについてまとめます。 やったこと 1. コネクション数とログ量のアンバランスを解消する fluentdのsecure-forward output pluginは、コネクションを切らずにログを送り続けます。 またELBは最もコネクション数が少ないノードへ接続を行う負荷

リクルートライフスタイル Advent Calendar 2015の21日目の記事です。 仕事では全サービス横断のリアルタイムログ収集・可視化・分析基盤のシステムの開発運用をしています。 1. 何をやる？ 最近話題のApache Spark MLlibを使って機械学習し、Spark Streamingでその学習したモデルを使って判定します。 全体図 体に取り付けた加速度センサーの値から、つけている人が「立っている」か「座っている」かを機械学習します。 さらに、その加速度センサーの値をリアルタイムに流し、学習したモデルから「立ち」「座り」状態を予測しようというシステムです。 データの送信には小型でLinuxが動くボードのIntel Edsionを使います。 1.1. なぜ加速度センサーの値で判定できるのか？ 加速度センサーには地面の方向に向かって重力加速度がかかります。 重力加速度は、水平に

# -*- coding: utf-8 -*- import collections import unittest import dice from scipy import stats class TestDice(unittest.TestCase): def setUp(self): self.__target = dice.Dice() def test_throw(self): # 6000回実行する result = [self.__target.throw() for n in range(0, 6000)] # 実行結果の集計 counted = collections.Counter(result) # イレギュラーな目が出ていないか確認 self.assertItemsEqual([1, 2, 3, 4, 5, 6], counted.keys()) # カイ二乗検定