【Developers Summit 2017 フォローアップ】グランブルーファンタジーを支えるインフラの技術
みなさん、こんにちは。インフラエンジニアマネージャーの佐藤太志です。 Developers Summit 2017 にて「グランブルーファンタジーを支えるインフラの技術」と題して講演させていただきました。 Developers Summit 2017の運営のみなさま、また講演にご参加いただいたみなさま、ありがとうございました。この場をお借りして御礼申し上げます。 会場が満席で立ち見の方も数人おられ、多くの方に関心を持っていただけたことを嬉しく思っております。 発表資料は下記になります。 発表した内容について ログデータの取り組み 5TB/日のログデータの保存とデータ活用方法 リアルタイム通信の高速化 Nginx と Luaスクリプトを用いたL7 ロードバランサシステム タグシステムと運用 サーバ情報のインベントリシステムと運用事例 上記のとおり、グランブルーファンタジーで利用している事例を
秒間100万クエリ・8万リクエストの「グラブル」安定稼働を支える、Cygames「3つの取り組み」【デブサミ2017】
リアルタイム通信の高速化とタグシステムによる運用効率化 続いて佐藤氏はリアルタイム通信高速化の取り組みを紹介。チャットやマルチバトルのパラメータ反映などで利用されるのが双方向リアルタイム通信だ。CygamesではWebSocketプロトコルを使って双方向リアルタイム通信を実装。サーバはNode.jsで、WebSocket通信とデータ送受信を実装している。 リアルタイム通信の基本的な仕組みとして、クライアントはRoomという単位でグループ化され、同じRoomIDを持ったクライアント同士でメッセージを共有する。大規模環境の場合はサーバを分散する必要があり、一般的によく使われているのがPub/Subメッセージングモデルだ。グラブルでも当初はRedisのPub/Sub機能を使って、このモデルを採用していたという。しかし、アクセス数の増加とともにRedis Pub/Sub（メッセージキュー）がボトル
『PiggPARTYでのリアルタイム通信の仕組み』
ピグ事業部でサーバーサイドエンジニアをしている有馬です。 先日、弊社よりスマートフォン向けネイティブアプリとして、 「PiggPARTY」がリリースされました。 ピグパーティ iOSアプリ ピグパーティ Androidアプリ PiggPARTYは、スマートフォンのアプリ上で、 顔や洋服などの様々パーツを組み合わせて、自分好みのピグ（アバター）を作成することができ、 渋谷エリアや、原宿エリアといった現実を模したエリアや、 好みの家具で模様替えした自分のお部屋でパーティ（イベント）を開催したり、 他のユーザーと、テキストチャットやスタンプなどで、 リアルタイムにコミュニケーションを楽しむことができるサービスです。 PCアメーバピグをご存じの方には、そのスマートフォン版というと伝わりやすいかもしれません。 PiggPARTYでは、同期的なリアルタイムコミュニケーションを実現するために、 新たにリ
共同編集できる仕組みが作れるGoogle Drive Realtime APIを使ってみる | SONICMOOV LAB
二度目の登場となります。 新規事業推進部のネコ好きセイカイです。 最近社内でもちょくちょく子供が生まれるor生まれた方等がいらっしゃいますが、 子供等作らずにみんなネコを飼った方が色々幸せになれるかと思います。 さて今回は「Google Drive Realtime API」を弄ってみようかと思います。 https://developers.google.com/drive/realtime/ 何が出来るのか Google Drive で実現されているような、リアルタイムに1つのドキュメントを共同編集する仕組みが提供されています。 とりあえず、Quickstartを参考にテキストの読み書きをしてみます。 準備 まず準備としてAPIを有効化する必要があります。 API ConsoleにアクセスしてServiceタブから「DriveAPI」を有効化 API AccessタブからOAuthCli
WebRTCを仕組みから実装までやってみる - blog::wnotes.net
このエントリはFrontrend Advent Calendar 2013 23日目の記事です。 2014/03/16追記 WebRTC-DataChannelについてもエントリ書きました。↓からどうぞ。 WebRTC-DataChannel使ってみたよ WebRTCを仕組みの理解から実装まで Advent Calendarを書くということでなんか新しいことやったほうがいいかなーって思ってたので、今回はWebRTCを調べてみました。 調べながらだったので間違っている箇所もあるかもですが、専門家の方のツッコミあれば歓迎です。 先に作ったサンプルデモを触りたい方は以下のアドレスからどうぞ。 WebRTC Video Chat Sample ※接続名は同時にアクセスしている方全員から見えますのでご注意ください！接続依頼が来た際にはダイアログが出るようにしてますが、安易に応答すると知らない人とつな
Ginza.rb 第3回 ActionController::Liveで始めるリアルタイムWeb
ginzarb @ginzarb2 9/17(火)、予定通り行えますー。サンプルアプリも準備できそうですので、楽しみにしていてくださいませーm(__)m Ginza.rb 第3回 ActionController::Liveで始めるリアルタイムWeb #ginzarb http://t.co/HjcjMcSD81
Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
「Meteor」は、JavaScript/HTMLで開発するリアルタイムWebアプリケーション基盤。何が起きているのかすぐに分からないほどすごい
「Meteor」は、JavaScript/HTMLで開発するリアルタイムWebアプリケーション基盤。何が起きているのかすぐに分からないほどすごい 「Meteor」は、Webアプリケーションを開発するためのフレームワークと実行環境を提供しています。アプリケーションはすべてJavaScript、HTML、CSSで記述できるため、サーバ側でRubyやPerlやJavaなどのプログラミングをする必要はありません。 TechCrunchの記事では、JavaScript/HTML/CSSだけでWebアプリケーションが開発できる点にフォーカスが当たり話題になりましたが、公開されたデモンストレーションのスクリーンキャストを見たところ、Meteorにはそれ以上に新しい仕掛けが盛り込まれていました（スクリーンキャストはこの記事の末尾に埋め込んであります）。 それは「リアルタイムなWebアプリケーションを構築す
Apache Hadoop Goes Realtime at Facebook
Apache Hadoop Goes Realtime at Facebook Dhruba Borthakur Kannan Muthukkaruppan Karthik Ranganathan Samuel Rash Joydeep Sen Sarma Nicolas Spiegelberg Dmytro Molkov Rodrigo Schmidt Facebook {dhruba,jssarma,jgray,kannan, nicolas,hairong,kranganathan,dms, aravind.menon,rash,rodrigo, amitanand.s}@fb.com Jonathan Gray Hairong Kuang Aravind Menon Amitanand Aiyer ABSTRACT Facebook recently deployed Facebo
FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
Facebookの新しいリアルタイム解析システムとは？ - nokunoの日記
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
Pusher | HTML5 WebSocket Powered Realtime Messaging Service
Powering realtime experiences for mobile and webBi-directional hosted APIs that are flexible, scalable and easy to use. We create and maintain complex messaging infrastructure so you can build the realtime features your users need, fast. Bi-directional hosted APIs that are flexible, scalable and easy to use. Get started today and find out what you can build with Pusher
リアルタイムなHadoop？ 「Real-Time MapReduce」を実現するS4、オープンソースとしてYahoo!が公開 － Publickey
米Yahoo!は、大規模データの分散処理を実現するMapReduceをリアルタイムに行うソフトウェア「S4」を、オープンソースとして公開しました。 MapReduceを実行するソフトウェアとして、オープンソースの「Hadoop」がありますが、Hadoopはあらかじめジョブを定義して投入するバッチ処理を前提としていました。 S4は、データをキーとバリューのペアで構成されるストリームデータとして非同期に受け取ることができ、処理結果もキーバリューのペアで構成されたストリームデータとして出力するようになっているとのこと。 この非同期なストリームデータによる入出力が、リアルタイムなMapReduceを実現するフレームワークとしてのS4の特徴といえます。 リアルタイムなMapReduceで何ができる？ リアルタイムなMapReduceにはどのような用途が考えられるのでしょうか？ S4の公開を表明したY
Big Sky :: javascriptで動くtwitter streamクライアントを作るならばmultipart/mixedを使うべき
twitter stream APIとは、twitterのステータス更新に対してキーワードでtrackしたり、あるグループ内に属するステータス更新をフィルタしたり出来るAPIなのだけど、実際にはchunkedなストリームが流れて来ているのであって、これを使ったWebアプリを作る際にはlong pollを使うのが良い。ただしクライアントサイドでjavascriptを処理する際に サーバサイドでステータス更新をFIFOに溜め込む クライアントからリクエストをブロック(long poll)しFIFOからステータスを送出する クライアントサイドでlong pollを行い画面を更新する 再度サーバへリクエストを投げる を繰り返すのであれば、せっかくストリームなのにアプリサーバとの接続を切ってしまう事になる。出来ればクライアントからWebアプリもストリーミングとしたい。しかしながらサーバからのステータ
FriendFeedで使われているリアルタイムウェブ用Webアプリケーションサーバ·Tornado MOONGIFT
TornadoはPython製のオープンソース・ソフトウェア。ここ半年くらいで盛り上がりを見せているワードが「リアルタイムウェブ」だ。Twitterのようなリアルタイム検索やFriendFeedのようなソーシャルアグリゲートサービスをはじめ、多数のサービスがこのリアルタイムウェブに向かって突き進んでいる。 サンプルアプリケーションのブログ そこで使われているWebサーバにはこれまでとは違うニーズが発生する。Tornadoはまさにリアルタイムウェブのために作られた、Webアプリケーションサーバだ。 TornadoはFriendFeedが自社のサービスを支えるために開発したWebアプリケーションサーバだ。ノンブロッキング通信をサポートし、epoll（I/Oイベント通知）を使って同時に1,000ものコネクションをさばくことができる。さらにロングポーリング（Long Polling）やHTTPスト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://assets.en.oreilly.com/1/event/55/Realtime%20Analytics%20at%20Twitter%20Presentation.pdf
TechCrunch | Startup and Technology News