HTTPリクエスト単位でコンテナを再配置する仮想化基盤の高速なスケジューリング手法 FastContainerアーキテクチャによる仮想化基盤の更なる信頼性向上に向けて 松本亮介,田中諒介,栗林 健太郎 / Pepabo R&D Institute, GMO Pepabo, Inc. 2018.05.17 第41回 インターネットと運用技術研究会
![HTTPリクエスト単位でコンテナを再配置する仮想化基盤の高速なスケジューリング手法](https://cdn-ak-scissors.b.st-hatena.com/image/square/45d6694aaaf9cec01ea3ad1ebca729ba100aa05c/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F47b86405295443a6ab3f6e4c8320a6dc%2Fslide_0.jpg%3F10044573)
ゲーム向けのファイルシステム抽象化は近年超クッソ激烈に複雑化しており、大分手を付けられない問題になってきた。 ゲーム配布/ストレージ様式の変化 ...とにかく歴史的に様々な方式が使用されている。例えば、ゲームを発売後パッチするにはHDDやSSDのようなFSを持った大容量ストレージが必要になるが、それが可能になったのは2001年以降(PS B.B. Unitやoriginal Xboxなどの登場以後)と言える。(サテラビュー('95)やDreamcast('98)のようなプラットフォームでもDLCの類は存在したがゲームの不具合修正をpost releaseで行う目的には使えなかった。) PS4ではプログレッシブダウンロード(ゲームを複数セグメントに分割し、一部のダウンロードが完了した段階で起動許可)をサポートしているが、導入自体はPS3版The Last of Usの方が早い( https:
The year was 2012 and operating a critical service at Netflix was laborious. Deployments felt like walking through wet sand. Canarying was devolving into verifying endurance (“nothing broke after one week of canarying, let’s push it”) rather than correct functionality. Researching issues felt like bouncing a rubber ball between teams, hard to catch the root cause and harder yet to stop from bounci
Lambda処理内容 SNSのメッセージから、処理対象となるS3のバケット、キーを取得します。 ログの時刻情報として期待するカラムのデータが日付フォーマットに一致しない場合や、カラム数が異常なレコードはエラーレコードとして除外します。 「request」カラムに含まれるURLを「urlparse」モジュールを利用してパースし、解析時に利用頻度の高い「HOST」や「PATH」を事前に抽出します。 「json」モジュールを利用してJSONエンコードを行い、Firehoseに対しバッチ転送を行います。 4: Firehose 今回、出力先はS3のみとしましたが、Amazon Elasticserach Service、Redshiftと連係も可能です。 Firehoseのバッファ時間はELB(ALB)のログ出力間隔にあわせ、300秒としました。 Firehoseの後処理をLambda関数で実装す
この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド
Amazon Web Services ブログ [AWS Black Belt Online Seminar] 発注者のための AWS ネットワーク入門 資料及び QA 公開 こんにちは、マーケティングの鬼形です。 先日 (2018/5/15) 開催しました AWS Black Belt Online Seminar「発注者のための AWS ネットワーク入門」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20180515 AWS Black Belt Online Seminar 発注者のためのネットワーク入門 PDF Q1. 最近サポートされたセカンダリ CIDR ブロックによる VPC 拡張の注意点について教えてください。 A. VPC 拡張をすると、拡張をしたアドレスブロックが BGP で VPN や Direct connect でア
俺の愛用ワンライナー、Web企業のエンジニア16人に聞きました エンジニアの皆さんが愛用する自作のワンライナーってどんなもの?Web企業で働くエンジニアの方々に、秘蔵のワンライナーを聞きました。 ワンライナーとは、何か特定の処理を「たった1行のプログラム」だけで実現するものです。サービス運用に携わるエンジニアの皆さんも、愛用している独自のワンライナーを持っているのではないでしょうか。「独自のワンライナー」とは、エンジニア各人のナレッジやノウハウが詰まっているとも考えられます。 本企画ではさまざまジャンルで活躍するエンジニア16人に、業務を支えてくれるワンライナーを紹介してもらいました。参考に使ってみるも良し。眺めて楽しむも良し。個性あふれる貴重な「オレオレ・ワンライナー」の数々をご覧ください! ※各カテゴリー内では所属企業名の50音順に掲載。回答者は敬称略とする。 リソース管理 プロセスを
Let’s look at the unnecessary headers and see why we don’t need them, and what we can do about it. Vanity (server, x-powered-by, via) You may be very proud of your choice of server software, but most people couldn’t care less. At worst, these headers might be divulging sensitive data that makes your site easier to attack. Server: apache X-Powered-By: PHP/5.1.1 Via: 1.1 varnish, 1.1 squid RFC7231 a
Microsoftは2018年5月15日(現地日時)、開発者向けカンファレンス「Build 2018」で発表したWSL(Windows Subsystem for Linux)に関する新機能を公式ブログでアピールした。主な特徴は以下のとおり。 ・Ubuntu 18.04をMicrosoft Storeで公開 ・Armデバイス上のWSLでUbuntu 18.04を実行 ・メモ帳がLinuxの改行コードをサポート ・エクスプローラーからLinuxシェルを起動 ・コマンドラインによるWSLディストリビューションのインストール ・ChocolateyとBoxstarterを使ったDev Box Setupスクリプト まず、Ubuntu 18.04は既にMicrosoft Storeで公開しており、Windows 10 バージョン1803でも利用可能だ。以前のUbuntu 16.04も引き続き「Ub
Java アプリケーションを Docker コンテナ上で実行しようとしたときに、ベースイメージとしてどの Docker イメージを選ぶのがよいかを考えてみます。 はじめに Java で Web アプリケーションを開発して運用、というと、昔は Tomcat をインストールしたサーバに JAR ファイルや WAR ファイルを配布してデプロイしていたような記憶が微かに残っているのですが、数年前からは Spring Boot のように組み込み Tomcat などを採用し、Maven や Gradle のビルドオートメーションツールの力を借りて Java アプリケーションの実行に必要な JAR ファイルをひとまとめにした fat JAR (uber JAR) を構築し、単体の JAR ファイルだけを Java がインストールされているサーバに配布してデプロイ… とすることが圧倒的に多くなった気がして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く