分散システムについて語らせてくれNTT Tech Conference #2 にて話した資料 時間が足りなかったので全部は話せなかった。
データベース アーキテクチャーの動向と使い分け
QConTokyo ( http://www.qcontokyo.com/KotaUENISHI_2015.html ) の発表スライド
楽天、Rubyベースの分散KVS「ROMA」のソースを公開 | gihyo.jp
10月24日、楽天株式会社本社にて開催された楽天テクノロジーカンファレンス2009内にて、楽天が独自開発するRubyベースの分散Key Value Store「ROMA」の公開が発表された。 ROMAは、github上にてGPLv3のもとオープンソースにて公開されている。 ROMAはすでに楽天のサービス「楽天トラベル」の一部機能にて利用されており、今後はROMA自体のブラッシュアップなどを目的に、オープンソースとして公開された。 ROMAについて発表を行った楽天技術研究所シニアサイエンティスト西澤無我氏。同氏のプレゼンテーションは立ち見が出るほど満席だった。また、途中楽天技術研究所フェローまつもとゆきひろ氏が登場するなど、会場が盛り上がった。 ROMA URL：http://github.com/roma/roma/
第4回 memcachedを快適に利用するTips集 | gihyo.jp
「memcachedの活用と運用 実践編」の連載も今回が最後となります。連載の第1回ではmemcachedの最新バージョンである1.4系で増えたオプションやよく利用されるオプションの紹介をしました。第2回目では安全にmemcachedを利用するために気を配るセキュリティや脆弱性について説明し、3回目では稼働監視やリソースモニタリングについて書かせて頂きました。 最終回では、これまで説明してこなかったmemcachedを快適に活用、運用するための小さめのTipsをいくつか紹介します。 指定したキーが含まれるサーバを探す 複数台のmemcachedのサーバを1つのグループとしてWebアプリケーションサーバなどのクライアントから利用している場合、特定のキーのデータがどのmemcachedサーバに保存されているのか知ることは容易ではありません。 memcachedのキャッシュオブジェクトの分散は、
非分散データベースを分散データベース化する「Dynomite」、Netflixがオープンソースで公開
RedisやMemcachedといったインメモリデータベースは非常に高速にレスポンスを返してくれるデータストアですが、それ単体ではスケーラビリティや可用性などに限界があります。 The Netflix Tech Blog: Introducing Dynomite - Making Non-Distributed Databases, Distributed Netflixがオープンソースで公開した「Dynomite」（ダイナマイトとは綴りが違うのに注意）は、こうしたデータストアを分散データベース化し、高速なデータストアの特長を活かしつつ高いスケーラビリティや可用性を実現するためのソフトウェアです。 アプリケーション側でシャーディングのような面倒なデータ構造を設定することなく、RedisやMemcachedをノードとし、CassandraやAmazonクラウドのDynamoDBのような大規
第5回 大規模データを扱うためのHBaseとCassandra | gihyo.jp
どんなところに使える？ HBaseやCassandraはどちらもRDBMSで扱いきれないような大規模なデータの扱いに力を発揮します。強力なスケーラビリティも備えているため、データが増えても処理速度はそれほど低下しません。また、列指向データベースの強みを活かして、大量のデータを更新するようなバッチ処理のストレージとして利用しても有用でしょう。 具体的な利用シーン 大規模なデータをスケーラブルに処理する必要がある場合 大量データをバッチ処理する際のストレージとしての利用 HBaseのインストール 本稿では、実際にHBaseを使ってみましょう[1]。 まずは1台のサーバ上で環境を整えます。わかりにくかもしれないので、以下の手順を参考にしてください。JDK6およびHadoopのインストールが必要です。 プロンプト1 HBaseのインストール＆起動の手順 # http://java.sun.com
分散Key/Valueストア、Kaiを使ってみよう！ 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2025 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
第4回 memcachedの分散アルゴリズム | gihyo.jp
株式会社ミクシィの長野です。第2回、第3回と前坂がmemcachedの内部について紹介しました。今回は内部構造から離れて、memcachedの分散についての紹介をいたします。 memcachedの分散 連載の1回目に紹介しましたが、memcachedは「分散」キャッシュサーバと言われていますが、サーバ側には「分散」の機能は備わっていません。サーバ側には当連載の第2回、第3回で前坂が紹介したメモリストレージの機能のみが組み込まれており、非常にシンプルな実装となっています。では、memcachedの分散はどのように実現しているのかと言うと、すべてクライアントライブラリによって実現されます。この分散方法はmemcachedの大きな特徴です。 memcachedの分散とは ここまで数度「分散」という言葉を用いてきましたが、あまり詳しく触れてきませんでした。ここでは各クライアントの実装に共通する大ま
第1回 memcached 1.4、基本の基本 | gihyo.jp
今回は、1.4になってアップデートされた新機能を中心に紹介します。 memcachedとは？ memcachedとは、主にデータベースへの負荷を下げ、かつWebアプリケーションのスケーラビリティをコストパフォーマンス良く向上させる高性能な分散キャッシュサーバです。memcachedの基本や概要に関しては、以前ミクシィ運用グループの長野と執筆した「memcachedを知り尽くす」をご覧ください。 memcached 1.4の特徴 1.4、5つの特徴 memcached 1.4の大きなニュースの1つはバイナリプロトコルの正式導入です。また、他にも色々と嬉しい機能や改修が施されています。詳しくは1.4のリリースノートに記述されていますが、要約すると以下の5点が上げられます。 バイナリプロトコルの正式導入 パフォーマンス向上 統計システムの強化 報告されたバグの修正 テストの強化 入手先 memc
bitlyでの分散システム構築から学んだこと
5月に開催されたBacon Conferenceで，bitlyのアプリケーション開発リーダのSean O’Connor氏は，毎月600億クリックを処理する分散システムの開発を通じてbitlyの開発者たちが学んだ，最も価値ある教訓について説明した。 分散システムとは何か？ 分散システムを定義する３大特性は，氏によれば，Wikipediaで簡単に見付けることができる。 コンポーネントノードの真の並行性。これによってノード間の同調に関連するコストと複雑性が発生する。 共通クロックの不在。このため，異なるノードで発生したイベントを時間順に並べることは不可能になる。 障害の独立性。これはノード障害がシステム内の他のノードに影響を与えない，という能力として理解されるべきだ。 従って分散システムの構築では，これらの特性を扱うことを目標にする必要がある。 ただし氏の意見として，システムの分散的特性に起因す
STF分散オブジェクトストレージ - Articles Advent Calendar 2011 Hacker
lestrratです。本日めでたく正式にSTFがオープンソースとしてlivedoor ラボ EDGE上でリリースされました！ プレスリリースはこちら。 いままでちょこちょこと先出し先出しで情報をだしていましたが、これで本当に本当の正式公開です。一応上記のサイト以外に「公式」サイト的なものも用意しました。ソースコードはgithub上に公開されています。ということで使って欲しいので紹介記事です。 STFは分散オブジェクトストレージです。Perlメインの似たようなシステムとしてはMogileFSが有名ですが、STFは後発のメリットを生かしてPSGI互換にしたり、使用するプロトコルを基本的にHTTPというオープンで枯れた技術を採用したりとメンテナンス・運用の利便性があがっていると考えています。 歴史 STFは元々ApacheモジュールといくつかのPerlワーカーで書かれていましたが、ひょんなことか
livedoor ラボ「EDGE」 開発日誌 : 分散オブジェクトストレージシステム「STF」公開のお知らせ - livedoor Blog（ブログ）
こんにちは、EDGE担当の櫛井です。 以前 livedoorブログなど、ユーザーがコンテンツを投稿するWebサービスでは年間で千万円単位のコストがかかるストレージシステムを使っていました。増え続けるデータに今後どう向き合っていくのかという課題に、ライブドアのエンジニアが出した答えは「ストレージシステムの自社開発」でした。 まず最初に作ったのは、ユーザーごとに分散するタイプのストレージシステム。これは DAVStorage という名前で、５年ほど前から本番環境へ投入し稼働していました。 DAVStorage はコスト的にメリットがありましたが、当初問題なかったものの大規模化するに従って機能面での不足が明らかになり、次世代型のシステムを開発する必要性がありました。 そこで作られたのが、今回オープンソースで公開する分散オブジェクトストレージシステム「STF」です。STFではファイル単位の分散が可
Welcome to Apache™ Hadoop™!
Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an
CoreOS が提供してくれるもの - Qiita
CoreOS の提供してくれる etcd と fleet を少し触って見たのでまとめることにします。 あんまり頑張って CoreOS のドキュメントを読んでいないので理解に間違いがある可能性があるので、編集リクエスト大歓迎です。 詳細なエントリー @mopemope が書いてくれています。詳細に知りたい方はコチラを読むと良いです。 入門と書いてある割にまったく入門ではないので注意。 CoreOS 入門 - Qiita CoreOS は Docker を提供してくれる便利 OS というイメージが広まってますが、それはあまり適切ではありません。 CoreOS はクラスター機能を持っているモダンな Linux です。もちろん Docker も入っていますが、それはベースの一つというだけです。Docker を使うだけなら Ubuntu に Docker をインストールして使う方が良いでしょう。 C
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel
《VPSをつい借りすぎてしまうあなたへ》さくらのVPS＋LXCで快適コンテナ環境生活
機能やサービスごと、もしくはサイトごとについつい、いくつものVPSを借りてしまってはいませんか？ 僕がそうなんです。環境はお互いに独立しておいたほうが後々良いという考えのもと、さくらのVPSをサービスごとに借りてしまい、いつのまにか請求額が高くなっているというのは、よくあることです。ありますよね？ 会社でもつい借りまくって毎月の請求が７万とかになってて悲しんでいます。 今回、個人的に借りていた3台のVPSを1台に集約したいと思いました。 初代の「さくらのVPS512」というプランが3つで2940円掛かっていましたが、「さくらのVPS 石狩リージョン 2G v3」の初期費用無料、月額1480円に節約したいと思います。 最近できたConoHaなど、別にさくらのVPSに限らず他社のKVMなVPSでもいいと思います。 CloudCore CV01はちょっと割高に感じるので、さくらかConoHa、そ
運用が楽になる分散データベース Riak
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerが、分散環境構築ツール群「Docker Machine」「Docker Swarm」「Docker Compose」を公開
GitHub - twitter-archive/gizzard: [Archived] A flexible sharding framework for creating eventually-consistent distributed datastores![GitHub - twitter-archive/gizzard: [Archived] A flexible sharding framework for creating eventually-consistent distributed datastores](https://cdn-ak-scissors.b.st-hatena.com/image/square/854238ed66c9d85b992bff605a2bcb3de632ad59/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Ffef2c272383b76243fb79c00feec265d183a98d0ce815fca57be7d9140d2d0a4%2Ftwitter-archive%2Fgizzard)
