VIOPS Virtualized Infrastructure Operators group ARCHIVES•1.1K views
大規模分散OLTP 次世代DB/分散OLTP(MVCC系)を可能な限り全力で解説
VIOPS Virtualized Infrastructure Operators group ARCHIVES•1.1K views
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
RocksDB | A persistent key-value store
High Performance RocksDB uses a log structured database engine, written entirely in C++, for maximum performance. Keys and values are just arbitrarily-sized byte streams. Optimized for Fast Storage RocksDB is optimized for fast, low latency storage such as flash drives and high-speed disk drives. RocksDB exploits the full potential of high read/write rates offered by flash or RAM. Adaptable RocksD
MySQLのMyRocksストレージエンジンの話を中の人から聞いた - Qiita
この記事はfreee Engineers Advent Calendar 2016の...っと、もう空きがないじゃないか! というわけで、急遽MySQL Casual Advent Calendar 2016の16日目としてお送りします。 MySQLエキスパートであるところのFacebook 松信嘉範さんによるMyRocks紹介プレゼンを聞く機会に恵まれたので、本人の許可を得てその内容を公開します。 経緯 松信さんと自分は以前に同じ会社で働いていた元同僚で、彼のデビュー作「現場で使える MySQL」の元となったDBマガジンの連載時にちょっとお手伝いした縁もあり、その後も交流が続いております。 今回は松信さんがちょいと日本に寄るというので食事に誘ったのですが、ついでなので私の現職 freee株式会社のオフィス見学に来てもらい、「せっかくだから何かしゃべって」という図々しいお願いをしたところ、
Dropboxが構築したMagic Pocketの中身：エクサバイトのストレージシステムの仕組み | POSTD
自社で構築した数エクサバイトのストレージシステム、 Magic Pocketを発表 して以来、多くの好意的なフィードバックをいただいています。この発表に続きまして、舞台裏からシステムの興味深い側面を見ていただくことができる技術ブログシリーズを投稿していこうと思います。保護の仕組み、運用ツール、ハードウェアとソフトウェアの境界線上の革新などです。しかし、まず、背景を説明する必要があるでしょう。本稿では、Magic Pocketのアーキテクチャ概略と設計で使われた基準についてお話しします。 紹介の投稿 で説明しましたように、Dropboxには、ファイルの内容と、ファイルやユーザについてのメタデータという2種類のデータが保存されます。Magic Pocketは、ファイルの内容を保存するのに使われるシステムです。保存するファイルは、ブロックに分割されて耐久性のためにレプリケーションされ、複数の地域
スマートニュースの世界進出を支えるログ解析基盤 #jawsdays #tech
スマートニュースは昨年の 10/1 に米国版をローンチするにあたり、ログ解析基盤のリニューアルを行いました。日本に加えて米国やその他の国が入ってくることにより、単なるユーザ数の増加に加え、OS x 国 x タイムゾーン x 多種多様なメトリクスのような集計軸が増えることで、ログの前処理、集計、可視化に様…
情報システム特別講義D #GB37301
GB37301.md 情報システム特別講義D 1時限目 イントロ - 川島先生(筑波大学) 2時限目 Inside PostgreSQL Kernel - 永安 悟史さん(アップタイム・テクノロジーズ) 3時限目 データストレージの諸々 - 星野 喬さん(サイボウズ・ラボ) 4時限目 並列データベースシステムの概念と原理 - 油井 誠さん(産総研) 5時限目 Googleクラウドが実現する大規模並列クエリサービス - 佐藤 一憲さん(Google) 6時限目 分散処理基板Hadoop/MapReduce - 小沢 健史さん(NTT研) 7時限目 Treasure Data Technologies - 中川 真宏さん(Treasure Data) 8時限目 Retrospection/Prospection / Norikra in Action - 田籠 聡さん(LINE株式会社) 9時
10分で分かるデータストレージ
第6世代（Gen 6）も登場し、注目を集めるファイバーチャネル（FC） SAN。 FC スイッチは多くのデータセンターで広く使われていますが、実際に「触ったことがある」というエンジニアの方はそれほど多くないのではないでしょうか？ 「触ってみたいけれど、なかなか機会がなくて・・・」 そんな方にも判りやすく、“見てわかる” ファイバーチャネルSAN基礎講座を開催しています。 本シリーズでは、ブロケードFCスイッチのオペレーションを通して、FC SANの設計・導入・運用を学んでいきます。 第1弾の検討編に引き続き、第2弾は設計編を予定しています。 FC SANを設計する際に、考えなければいけないポイントは？ 気をつけなければいけない落とし穴は？ なかなか人には聞けないコツを、長年お客さまやパートナー様のFC SAN設計をサポートしてきた講師が、その経験から惜しみなくご紹介します。 -------
酒日記 はてな支店
Amazon ECS デプロイツール ecspresso v2.5.0 をリリースしたのでお知らせです。 github.com 新機能がいくつか、ログ出力まわりの変更、その他細かい修正などが入っています。非互換な変更は (ログ形式以外) ありません。 新機能 外部コマンド呼び出しプラグインを追加 ecspresso の実行時に、テンプレート関数から外部コマンドを呼び出して結果を取得する external plugin を追加しました。 ここでは使い方の例として、「現在時刻を ISO8601 形式で出力する jq コマンドを呼び出す」ようにしてみます。 $ jq -n "{ Now: now | todateiso8601 }" { "Now": "2024-10-25T16:13:22Z" } ecspresso の設定ファイルで、external plugin から呼び出すコマンドを定義
第31回「今アツい、分散ストレージを語ろう」(2013/11/28 on しすなま!)
System x 部 (生!) : しすなま! @ Lenovo Enterprise Solutions Ltd. 下記のしすなま!録画と併せてご覧ください。資料・録画の内容は生放送時点のものです。 第31回「今アツい、分散ストレージを語ろう」(2013/11/28) <出演①> 織 学 日本アイ・ビー・エム(株) ATC. Linux/OSS & Cloud Support Center <出演②> 石川 公基 日本アイ・ビー・エム システムズ・エンジニアリング(株) 仮想インフラ・ソリューション <出演③> 半田 達郎 日本アイ・ビー・エム(株) システムｘ事業部．テクニカル・セールス <出演④>早川 哲郎 日本アイ・ビー・エム(株) システムズ & テクノロジー・エバンジェリスト http://www.ustream.tv/channel/systemxli
DMM inside
“爆速“導入の舞台裏！デジタル庁が提供する「デジタル認証アプリ」の活用で実現「安全で簡単な本人確認システム」
P2P技術ベースの新クラウドストレージ LifeStuff とは | 情報科学屋さんを目指す人のメモ
P2PベースのDropboxとでも言うべきLifeStuffが、MaidSafe社から明日9月5日に公開予定となっています。Unlimited、Secure、Free*を売りにしているLifeStuffについて、公開情報をもとにまとめてみます。 非常に高い技術で作られたとおぼしきこのアプリケーションが公開直前なのにもかかわらず、海外含めあまりに話題になっていないので、本当に公開されるのか気になってしまうのですが、実際に公開されれば、はかなりインパクトのあるものだと思います。 私の研究領域である構造化オーバレイというPeer-to-Peer由来の技術が利用されているため、とてもそそります。私の研究成果が活きないか、とか考えつついろいろ読みあさった結果を紹介します。 追記(2012/09/05)：公式情報によると、「バグが見つかった関係で、公開は今週末以降になりそう」とのことです。また公開され
HDFS の信頼性（原題：HDFS Reliability） (Pac Learner)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
Cloud Storage documentation | Google Cloud
Cloud Storage allows world-wide storage and retrieval of any amount of data at any time. You can use Cloud Storage for a range of scenarios including serving high performance AI/ML and analytics data sets, storing data for archival and disaster recovery, or distributing content to consumers across the globe. Learn more Not sure which storage product is right for you? Learn more about our storage s
Home | Hypertable - Big Data. Big Performance
Big Data. Big Performance. Hypertable delivers scalable database capacity at maximum performance to speed up your big data application and reduce your hardware footprint. 100% Hadoop Compatible Hypertable seamlessly overlays on top of Hadoop to provide supercharged scalable database infastructure for your big data application. Less Hardware, Lower Cost Hypertable delivers maximum efficiency and su
HA化機能を手に入れたSPIDERストレージエンジンにはもはや死角はなかった。
本ブログでも何度か取り上げたことのあるあのSPIDERストレージエンジンがさらにパワーアップして便利になった！８月にリリースされたバージョン2.22では次の２つの強化が行われている。 HA機能の追加（データノードの冗長化） LinuxおよびWindows用ビルド済みMySQLパッケージの配布 インストールが簡単になった！前回SPIDERストレージエンジンを紹介したときには、ソースコードからコンパイルする必要があり、なおかつMySQL本体にパッチを適用しなければならず、利用するまでの敷居が高かったように思う。しかし、バージョン2.22よりSPIDERを含んだビルド済みバイナリが提供されたことにより、SPIDERを利用する手間はぐっと少なくなった。しかもこのビルド済みのバイナリにはSPIDERだけでなく各種パッチと、さらにはVPストレージエンジンまで含まれているという気の利きようだ。コンパイル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
利用しているBaaSが終了するときにすべきこと または Parse.com の終了と私たちの取り組み
GitHub - etcd-io/etcd: Distributed reliable key-value store for the most critical data of a distributed system
ログ先行書き込みを用いたストレージ差分取得の一手法
