Conflict-free replicated data type - Wikipedia
"CRDT" redirects here. For Centenary Rural Development Trust, see Centenary Bank. In distributed computing, a conflict-free replicated data type (CRDT) is a data structure that is replicated across multiple computers in a network, with the following features:[1][2][3][4][5][6][7][8] The application can update any replica independently, concurrently and without coordinating with other replicas. An
PayPayエンジニアが明かす「100億円キャンペーン」のシステムの舞台裏 数々の問題を解決するためにやったこと
PayPayエンジニアが明かす「100億円キャンペーン」のシステムの舞台裏 数々の問題を解決するためにやったこと PayPay 100億円キャンペーンのシステム構築 #1/2 2019年6月12〜14日、幕張メッセにて「AWS Summit Tokyo 2019」が開催されました。アマゾンウェブサービス （AWS） に関する情報交換や、コラボレーションを目的として行われるこのカンファレンスでは、140社以上の利用企業による先進事例セッションをはじめ、数々のイベントを実施しました。プレゼンテーション「PayPay 100億円キャンペーンのシステム構築 」に登壇したのは、PayPay株式会社プロダクト本部の山本啓介氏とShilei Long氏。スマホ決済アプリとして新規参入した同社が展開し、日本中の話題をさらった「100億円キャンペーン」の技術的背景について語ります。前半パートとなる今回は、山
Kubernetesで学ぶ分散システムデザインパターン - Qiita
コンテナを使ったシステムのアーキテクチャパターンが掲載されている、分散システムデザインパターンという良書に出会ったので、Kubernetesの勉強を兼ねて各デザインパターンを実装してみましたので、ご紹介です。 この本は執筆者の論文が元になっており、そちらの翻訳記事もあるので、一読することをおすすめします。 Qiita | コンテナ・デザイン・パターンの論文要約 本記事で扱うデザインパターンとその例 分散システムデザインパターン中では、大別して2種のデザインパターンが紹介されています。 1台のノード上で複数のコンテナが動作するシングルノードパターン 複数のノード上で実現されるマルチノードパターン 本記事では、シングルノードパターンから以下のデザインパターンとその例を、Kubernetesでの実装例とともに解説します。 サイドカーパターン ex1. git-sync ex2. topz アンバ
手を動かして学ぶ Redis 入門
会社でRedisを使っているサービスがあり、そのメンテナーになった。RedisがIn-Memory Databaseということは知っていたのだが、その他の特徴や操作方法などまったくわからないので、チュートリアルを中心に手を動かしながら学んだことをまとめていく。またNode.jsからRedisにアクセスする方法もあわせて紹介する。 Redis の特徴 Redisはメモリー上にデータを保存するKey-Value型のNoSQLデータベースのひとつ。用途はデータベースだけにとどまらず、キャッシュやメッセージブローカーとしても利用される。 In-Memory Database RedisはIn-Memory Databaseなので、On-Disk Databaseと比べ非常に高速に動作する。ちなみにIn-Memory DatabaseとOn-Disk Databaseの違いは以下のとおり。 インメモ
「あけおめLINE」の負荷に耐えるインフラを作った話。LINEのインフラ設計を中の人に聞いた｜ハイクラス転職・求人情報サイト AMBI（アンビ）
「あけおめLINE」の負荷に耐えるインフラを作った話。LINEのインフラ設計を中の人に聞いた 国内外で展開する膨大なメッセージを処理する、LINEアプリのインフラってどうなっているの？ こんな素朴な質問をサーバー、ネットワークなど、中の人に聞いてみました。 2011年6月のリリース以来、右肩上がりの成長を続けるコミュニケーションアプリ「LINE」。主要4カ国（日本・タイ・台湾・インドネシア）の月間アクティブユーザー数は1億6,400万人を超えており、多くの人々にとって必要不可欠な社会的インフラにも等しいアプリになっています。 そして、多数のユーザーを抱えるアプリでは、膨大な量のトラフィックやデータを前提としてインフラアーキテクチャを設計する必要があり、インフラエンジニアの技術力がアプリの使い勝手に大きな影響を与えます。 本稿では、LINE株式会社のサーバーサイドエンジニア 中村俊介さん、サ
Redis Labs changes its open-source license -- again | TechCrunch
Redis Labs, fresh off its latest funding round, today announced a change to how it licenses its Redis Modules. This may not sound like a big deal, but in the world of open-source projects, licensing is currently a big issue. That’s because organizations like Redis, MongoDB, Confluent and others have recently introduced new licenses that make it harder for their competitors to take their products a
DAT319:AirbnbはどうやってセルフマネージRedisをElastiCacheに移行したのか? #reinvent | DevelopersIO
はじめに 本記事はAWS re:Invent 2018のセッション「DAT319 - Airbnb's Journey from Self-Managed Redis to ElastiCache for Redis」のレポートです。 3行まとめ EC2 上の Redis を ElastiCache Redis にダウンタイム無しに移行 多段レプリケーション方式を採用 ElastiCache Redis はレプリカにはなれないので、特別に許可してもらった スピーカー Julie Trias(Site Reliability Engineer , Airbnb) セッション概要 At Airbnb, we use Redis extensively as an in-memory data store to reduce latency and provide sub-millisecond
歴史とともに紐解く、AbemaTVのアーキテクチャの変遷 開発開始〜現在までの軌跡
2018年10月13日、株式会社AbemaTVが主催するイベント「AbemaTV Developer Conference 2018」が開催されました。3度目の開催となる今回のテーマは「PAST→FUTURE」。開局から2年半の実績を元に、快適な視聴体験を届けるための取り組みや、大規模な同時接続に対するシステム開発・運用に寄って得られた技術的知見を共有します。プレゼンテーション「AbemaTVのアーキテクチャの変遷 」に登壇したのは、株式会社AbemaTVの山中勇成氏。日本初のインターネットテレビ局、AbemaTVの開局から今日までのアーキテクチャーの変遷について、サービスの歴史とともに振り返ります。講演資料はこちら AbemaTVのアーキテクチャの変遷 山中勇成氏（以下、山中）：こんにちは。このセッションでは「AbemaTVのアーキテクチャの変遷」というタイトルで、AbemaTVが開局前
週刊Railsウォッチ20181029: 特集『肥大化したActiveRecordリファクタリング7つの方法』今ならどうなる？Redis 5のストリーム機能他
2018.10.29 週刊Railsウォッチ（20181029） 特集『肥大化したActiveRecordリファクタリング7つの方法』今ならどうなる？Redis 5のストリーム機能他 こんにちは、hachi8833です。遅ればせながら先週はGitHubの中の皆さまお疲れさまです。 昨日から発生していたGitHub の障害は復旧ました。多大なるご迷惑をおかけしましたこと深くお詫び申し上げます。 — GitHub Japan (@GitHubJapan) October 23, 2018 つっつきボイス:「自分はあの日たまたまGitHubには触ってなかったんでそんなに影響なかったかな」「チームではハマった人もいたみたい」「私はGitHubでリポジトリを追加した後プッシュしたら半日何も出てこなくて、夜リロードしたらやっと出てきました🌙」 各記事冒頭には⚓でパーマリンクを置いてあります: 社内や
Amazon ElastiCache Redis の各パラメータについてまとめてみた ｜ DevelopersIO
おはようございます､加藤です｡Amazon ElastiCacheのRedisを利用する際に､どのように設計・設定すれば良いのかをまとめてみました｡ Redisとは RedisはOSSのインメモリ型キーバリューストアです｡ ちなみに名称はREmote DIctionary Server の略語です｡ Redisを扱うのが初めての方はまず下記のリンク先を読むことをおすすめします｡ Redis とは? - Amazon ElastiCache（キャッシュ管理・操作）| AWS ElastiCache for Redisとは AWSによって提供されるマネージドなRedisです｡Redisを使用してる既存のアプリケーションならばほとんど変更なしに移行することが可能です｡ キャッシュノードの障害の自動検出と復旧。 障害が発生したプライマリクラスターの、レプリケーションをサポートする Redis クラ
Redisストリームを使ったリアルタイムのチャット - Qiita
オリジナルの英語版はReddieの公式ブログをご覧ください。 この記事は、まだリリースされていない、Redisストリームの探求を目的としています。Redisストリームを使うと、いくつかのパワフルなユースケースが可能となります。ここではストリームを利用して、Hipchat、SlackやIRCのような、エンドツーエンドのリアルタイムのチャットルームを作っていきます。 Github Github上でチェック：github: https://github.com/aprice-/redisstreamchat Redisストリームは、Redis用に構築された新しいデータ構造で、時系列データを扱います。Redisリストに似ていますが、以下の２点において異なります。 オリジナルインデックスではなく、タイムスタンプを使用 各ストリームは、Redisハッシュに似た複数フィールドを持つことが可能 ストリーム
Amazon ElastiCache for Redis を使ったChatアプリの開発 | Amazon Web Services
Amazon Web Services ブログ Amazon ElastiCache for Redis を使ったChatアプリの開発 Sam Dengler は、アマゾン ウェブ サービスのソリューションアーキテクトです。 このブログ記事では、チャットアプリケーションに関連する概念とアーキテクチャのパターンについて説明します。また、チャットクライアントとサーバーの実装の詳細、サンプルのチャットアプリケーションを AWS アカウントに展開する方法についても説明します。 背景情報 チャットアプリケーションを構築するには、クライアントがチャットルームの他の参加者に再配信されるメッセージを送信できる通信チャネルが必要となります。この通信は、一般に publish-subscribe パターン (PubSub) を使用して実装されます。このパターンでは、メッセージが中央トピックチャネルに送信されま
大規模解析サービスのためのデータベース構成 ～BigTable／BigQueryの弱点をどう補うか？
大規模なデータを扱う解析サービスにおいて、データベースの性質の理解や選定、配置、活用方法などはクリティカルな問題であり、サービスとして大きく差をつくる要素にもなります。本稿では考慮すべきデータベースの性質の違いから始め、解析サービスにおける考え方や活用のテクニック、構成方法について紹介したいと思います。 解析サービスにおける重要な2つの仕事 ここでは大量のデータを収集する解析サービスの仕事の中でも、重要な2つの仕事についてフォーカスして話を進めていこうと思います。 一つ目は、データを単に収集し、スケーラビリティの高いデータベース（または分散ファイルシステム）に格納し、あとで（管理画面から、もしくはスケジュールバッチなどで）Aggregateするものです。こちらは解析サービスと言われるサービスの多くが行なっている仕事と考えられます。 二つ目は、データによって振る舞いを変える、リアクションする
RedisサーバのCPU負荷対策パターン - ゆううきブログ
Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。 しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。 実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。 そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。 背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップ スケールアウト 参照用スレーブ 垂直分割 水平分割 Redis Clusterによる水平分割 その他 スライド資料 あとがき 参考資料 背景 R
RedisのSorted Setsで簡易的な遅延実行Queueを作って迅速にLINE LIVEのPC配信対応をリリースした話 - LINE ENGINEERING
! This post is also available in the following languages. 英語, 韓国語 みなさんこんにちは、LINE LIVE開発のYappoです。 今回は先日リリースされました一般向けのPC配信機能を実装するときに作った簡易的な遅延実行Queueについて書いていこうと思います。 関連エントリ：LIVE PRESS 公式ブログ – ゲーム実況にもぴったり！LINE LIVEでPC横型ライブ配信を試してみよう 背景 今までのLINE LIVEでの配信方法としては、アプリ上で直接配信する方法と、公式アカウント向けの専用画面(LINE OFFICIAL ACCOUNT MANAGER)とRTMPソフト(もしくは専用機材)を利用してPCからの配信する方法がありました。 この2つの方法は全く違う仕組みで実装されるように見えますが、実は基本となる設計は同じで
AWS データ蓄積アイテムのサイズ上限 - Qiita
何 AWSサービスの最小保存単位の最大サイズ一覧 DynamoDb 400KB 属性名の長さと属性値の長さを含むサイズ 特徴：（限定的な）クエリーもかけるKVS。集計はできない。lambdaのイベント発生元になれる。 サービス種類：リージョンサービス ElastiCache(Redis) 1GB SET(key, value) のvalueの制限 特徴：KVS。FIFOとしても使える。 サービス種類：AZサービス SQS 256 KB メッセージサイズ 特徴：FIFO。厳密な順序保証はなし。 サービス種類：リージョンサービス RDS(mysql) 64KB 最大行サイズ(TEXT,BLOBのデータは別領域) 特徴：クエリーかける。集計できる。 サービス種類：AZサービス S3 5TB オブジェクトのサイズ 特徴：ストレージ。athenaでクエリーもかける？lambdaのイベント発生元になれ
LINE Storage: Storing billions of rows in Sharded-Redis and HBase per Month « NAVER Engineers' Blog
Hi, I’m Shunsuke Nakamura (@sunsuk7tp). Just half a year ago, I completed the Computer Science Master’s program in Tokyo Tech and joined to NHN Japan as a member of LINE server team. My ambition is to hack distributed processing and storage systems and develop the next generation’s architecture. In the LINE server team, I’m in charge of development and operation of the advanced storage system whi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
In-memory database provider Redis Labs raises $44M | TechCrunch