Facebookの予測ライブラリProphetを用いたトレンド抽出と変化点検知 - Gunosyデータ分析ブログ
Gunosyデータ分析部アルバイトの五十嵐です。 Gunosyには大規模なKPIの時系列データがあります。 今回はKPIの時系列分析を行なった際に得た知見についてまとめたいと思います。 具体的にはFacebookが開発した時系列予測ツール Prophetを用いて、KPIのトレンド分析を行いました。 時系列予測について Prophetについて 実装例 モデルの適用 将来のアクセス数予測 トレンド性と周期性の抽出 変化点抽出 Slackを利用した自動化 まとめ 時系列予測について 以前、 KPIのトレンド抽出について以下のブログで紹介しました。 data.gunosy.io ここでは時系列データをトレンド成分と季節成分に分解し、トレンドの把握を容易にする分析を行なっていました。 KPIのトレンドを知ることでサービスの状態を把握することが目的でした。 今回はこの分析をさらに進め、トレンドの変化点
Facebookのデータ保存用サーバーラック、HDDを積み過ぎてキャスターが壊れる | スラド IT
Facebookが、同社が構築しているコールドストレージ（バックアップ専用のストレージ）システムについてブログで詳細を明らかにした（The Bridge）。 このコールドストレージはFacebookユーザーが投稿した画像などを保存する目的で構築されているとのこと。ユーザーが投稿する写真の数は増え続けているため、効率的かつ安全にデータを保存しておかなければならない。そのためFacebookはデータセンターの設計といったインフラ面までも含めて独自のシステムを開発して利用しているという。 Facebookはデータセンター向けにオープンなサーバーやストレージなどを開発するOpen Compute Projectを立ち上げており、ラックやストレージサーバーはここで公開されているものをベースにしているという。ストレージサーバーは2Uに15台のHDDを搭載できるようになっており、合計41Uの1つのラック
HBase Applications - Atlanta HUG - May 2014
HBase is good a various workloads, ranging from sequential range scans to purely random access. These access patterns can be translated into application types, usually falling into two major groups: entities and events. This presentation discussed the underlying implications and how to approach those use-cases. Examples taken from Facebook show how this has been tackled in real life.Read less
Saving capacity with HDFS RAID | Engineering Blog | Facebook Code | Facebook
As we continue to evolve our data infrastructure, we’re constantly looking for ways to maximize the utility and efficiency of our systems. One technology we’ve deployed is HDFS RAID, an implementation of Erasure Codes in HDFS to reduce the replication factor of data in HDFS. We finished putting this into production last year and wanted to share the lessons we learned along the way and how we incre
Facebook: 永続的key-value型高速データストアRocksDBをオープンソースで提供 - ワザノバ | wazanova.jp
http://rocksdb.org/ RocksDBは、FlashSSDメモリ/RAMに高速でアクセスできる組込み型の永続的key-valueデータストアです。LevelDBのうえに構築されていてCPUコアがたくさんあるサーバでスケーラブルに実行され、高速のストレージを効率的に利用し、IO-bound / in-memory / write-once な作業をサポートします。 （GoogleのLevelDBは「Hood.ie: “noBackend & Off-line first” という考え方」でもちょっと話題にでてました。） 利用用途としては遅延を避けたいケース、例えば、 ユーザの閲覧履歴やステータスを保持するアプリ 大きなデータにすぐにアクセスしなくてはいけないスパム検知アプリ リアルタイムでデータにアクセスするソーシャルグラフ検索のクエリ Hadoopデータのキャッシュに利用し
Facebook、PHPコードをC++コードに変換して高速に実行する「HipHop for PHP」発表
米Facebookは米国時間の2月2日、PHPの性能と拡張性を改善するプロジェクト「HipHop for PHP」を発表した。PHPコードをC++に変換するプログラムで、すでにFacebook内で利用されているという。今後、オープンソースプロジェクトとして公開し、開発を進める計画だ。 FacebookはPHPを利用した大規模なソーシャルネットワーキングサイトだが、拡張性という問題に直面していた。HipHop for PHPはこの問題を解決するために数年前にスタートしたプロジェクトで、現在すでにFacebook内で利用されているとのこと。これによりWebサーバのCPU利用率が改善し、性能の改善に役立ったという。開発者によると、CPUの利用率を平均して50％削減可能としている。 HipHop for PHPにはソースコード変換機構とC++向けに再実装したPHPランタイムシステム、高速化のために
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
One Trillion Edges: Graph Processing at Facebook-Scale
Publications - Meta Research
Loading...