Twitterの新ストリーム処理基盤、Heronのアーキテクチャは？（詳細 - 夢とガラクタの集積場
こんにちは。 前回論文の前半部、Stormの問題点を読みましたが、 今回は中盤部、Twitter Heronのアーキテクチャについてです。 あと、後半部のStormとHeronの性能比較については下記のページでまとめているのの 事例が増えただけでしたので、とりあえず省略する方向で＾＾；kimutansk.hatenablog.com では、前回の続きです。 5. Heron 5.1 Data Model and API Heronの主要な設計目標はStormのAPI互換性を維持すること。 そのため、HeronのデータモデルはStormと同様のものとなる。 StormのようにHeronはTopologyを実行し、SpoutとBoltの有向非循環グラフとなる。 同様に、SpoutはTopology内に入力Tupleを生成or外部から取得し、Boltは実際の計算処理を行う。 Heron Topo
dockerはOS上のディスク領域をどう使っているのかまとめた - Qiita
dockerのディスクの使用方法 dataとmetadata dockerはディスクの管理方法として、dm-thinというDeviceMapperの機能を使います。 詳細は以下を参考にして下さい。 dm-thinの概要 Docker専用のLinux - RHEL Atomic Hostが登場！ dm-thinではデータ領域とメタデータ領域が必要なため、dockerは/var/lib/docker/devicemapper/devicemapperにdataというデバイスファイルイメージと、metadataというデータを作成します。 fileコマンドで確認するとdataはext4 filesystemです [root@master mnt]# ls -lh /var/lib/docker/devicemapper/devicemapper 合計 8.5G -rw-------. 1 root
cachectld〜無駄なページキャッシュの削除を自動化〜 | メルカリエンジニアリング
原稿の執筆が一段落して心に余裕が出てきた@cubicdaiyaです。 今回はサーバを運用しているとありがちなページキャッシュに関する問題とメルカリのアプローチについて解説します。 Fluentdによるログ転送 話は変わりますが、メルカリの各サーバ上ではプログラムが吐いたログデータをKibanaやNorikraといった各種コンポーネントに転送するためにFluentdが稼働しています。各ログデータは原則単一のファイルに追記されてFluentdのtailプラグインによって各所に転送されていきます。 ログデータのサイズはまちまちで、1日で数GB程度のログデータもあれば数十GB以上のログデータもあります。 ページキャッシュと巨大なログファイル 各サーバに吐かれるログデータのサイズはサーバに搭載されているメモリのサイズと比べると1日分だけでもかなりの量になります。そして、このように絶えず書き込まれる巨
Amazon API Gateway をクロスオリジンで呼び出す (CORS) | DevelopersIO
はじめに 2017/10/27 追記 本記事はAmazon API Gatewayがリリースされて間もない時期に執筆されたものです。現在、Amazon API GatewayではCORSを有効にする設定が追加されています。CORSを有効にするには、対象のリソースの「Actions」ドロップダウンメニューから「Enable CORS」を選び、設定を行う必要があります。CORSを設定する際には公式の手順と照らし合わせながらお読みいただけますようお願いいたします。 http://docs.aws.amazon.com/ja_jp/apigateway/latest/developerguide/how-to-cors.html CORS (Cross-Origin Resource Sharing)とは、ブラウザがオリジン(HTMLを読み込んだサーバのこと)以外のサーバからデータを取得することで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
