ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
WMCache
WMCache.js は、ブラウザ上で、大容量かつ高速に動作するクライアントサイドストレージ機能を提供します。 これは現時点で提供できる、もっとも理想的なクライアントキャッシュの姿です。 クライアントストレージの歴史 も参照してください。 特徴 iOS 8 Mobile Safari, Chrome for Android をサポートしています Android Browser はサポート対象外です。ChromeTrigger.js を使い、Chrome for Android にユーザを誘導してください 大容量のストレージを提供します 端末の空きストレージの10%を利用できます ユーザにストレージの使用許可を求めるダイアログを表示しません 容量不足になると自動的にGCが実行されます ユーザがコントロール可能なブラウザキャッシュとして、またユーザデータの保存先(大容量のLocalStorag
WalB v1.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
更新情報 2017年6月現在、WalB のプロジェクトページはhttps://walb-linux.github.io/です。 こんにちは．サイボウズ・ラボの星野です． 今日は，効率的なバックアップと非同期レプリケーションを目的とした Linux カーネルドライバ WalB についての簡単な紹介と，そのバージョン 1.0 のリリース告知をさせて頂きます． WalB って何？ WalB は「ワルビー」と発音します．名前の由来は Block-level WAL です．WAL は Write-Ahead Logging (ログ先行書き込み) のことで，データベースの一貫性制御等に用いられます． WalB を使うと，オンライン状態のブロックデバイスにおいて，アプリケーションやファイルシステムによるデータ書き込みによって生じる差分データを，ブロックデバイスをフルスキャンすることなく効率的に取得出来る
Rakuten LeoFs - distributed file system
This talk will introduce TeraCache, a new scalable cache for Spark that avoids both garbage collection (GC) and serialization overheads. Existing Spark caching options incur either significant GC overheads for large managed heaps over persistent memory or significant serialization overheads to place objects off-heap on large storage devices. Our analysis shows that: (1) serialization increases exe
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
Kazuho@Cybozu Labs: ウェブサービスの SSD 化について話してきました
« 開発しているウェブアプリケーションフレームワーク NanoA について話してきました | メイン | なぜサイボウズ・ラボで働くのか » 2008年11月27日 ウェブサービスの SSD 化について話してきました 本日 (11/27) 開催の Shibuya Perl Mongersテクニカルトーク#10 で、ウェブサービスの SSD 化について話しました。スライドを置いておきますので、開発しているウェブアプリケーションフレームワーク NanoA について話してきました とあわせてご覧いただければ幸いです。 末筆となりますが、Shibuya.pm の実行委員(?)の方々、ありがとうございました＆おつかれさまです。 (まだ終わってないけど ^^;)
Kazuho@Cybozu Labs: ウェブサービスにおける SSD 導入にむけて〜検索サービスの可能性
« Filter::SQL でデータベースを叩くワンライナーを簡単に書く方法 | メイン | ウェブサービスにおけるダメージコントロール (MySQL のスロークエリを自動的に kill する方法) » 2008年10月28日 ウェブサービスにおける SSD 導入にむけて〜検索サービスの可能性 実際に試してみた結果については、ウェブサービスの SSD 化について話してきましたをご参照ください。 検索エンジンや小さな行が多いデータベース等で使用する目的での SSD (Intel X25-M) のベンチマーク結果については、Kazuho at Work: Benchmarking SSD for MySQL をご覧ください (InnoDB の話をしていますが、Senna / Tritonn でも基本的に同じ) Sun が SSD 製品の投入を表明 (マイコミジャーナル) したり、Google
Inside Ex DOM Storage - 日向夏特殊応援部隊
Ex DOM Storage の中の実装ですが、結構苦労したので折角だから解説しちゃうぞ的なエントリです。 なので興味のある人以外にはだいぶニッチですw Ex DOM Storage の技術的概観 簡潔に書いてしまうと以下の二点につきます。 データの格納先は userData behavior Storage オブジェクトの実態は script 要素に適用した element behavior userData behavior とは？ userData Behavior とは、IE が標準で用意しているクライアントサイドストレージです。 使い方は非常に簡単で、 element.addBehavior("#default#userData"); element.load("myStorage"); element.setAttribute("myData", "blah blah"); e
Ex DOM Storage をリリースしました - Yet Another Hackadelic
結構前に作っていたんだけど、IE6, IE7 でも動作する DOM Storage を作ったので、きちんと告知します。 追記 ちなみにサーバーにファイル置くだけで動きます。ユーザーに何かインストールさせる必要はありません。(2008-09-24T11:45:56+09:00) CodeReposにソースを移動しました。(2008-09-24T12:37:24+09:00) Ex DOM Storage dist http://svn.coderepos.org/share/lang/javascript/exdomstorage/tags/0.01/ source http://svn.coderepos.org/share/lang/javascript/exdomstorage sample http://svn.coderepos.org/share/lang/javascript/
窓の杜 - 【REVIEW】GUIでパーティションを編集できるフリーソフト「EASEUS Partition Manager」
「EASEUS Partition Manager Personal Edition」は、Windows上からGUIで自在にパーティションを編集できるソフト。Windows 2000/XPに対応するフリーソフトで、家庭内でのみ無償で利用可能。作者のWebサイトからダウンロードできる。 本ソフトを利用すると、ドライブ内のデータを破壊することなくパーティションの作成・削除・サイズ変更などが可能。パーティション編集ソフトには、一度CD-Rにソフトを書き込むなどして、CDから起動して利用するタイプのものもあるが、本ソフトはそのような手間を必要とせず、Windows上から直接利用できるのが特長。 また、OSがインストールされたパーティションの編集も可能。作成したパーティションはNTFS/FATでフォーマットできるほか、ドライブレターを割り当てることも可能。作者によると、20GBから800GBまでの容
Kazuho@Cybozu Labs: MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話
« フレンド・タイムライン処理の原理と実践 | メイン | MySQL の ORDER BY を高速化 » 2008年06月12日 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 フレンド・タイムライン処理の原理と実践 の続きです。 先のエントリでは、プルモデルの速度が当初予測していたよりも遅かった (というより SQL レイヤでのオーバーヘッドが大きそうだった) ので、MySQL Internals メーリングリストで質問したりしながら、C++ で直接 InnoDB にアクセスするようなコードを書いてみました。 タイムライン構築速度 タイムライン/秒 SQL そしたら、10倍以上高速に！ ベンチマークを perl ベースのものから mysqlslap に変えたのですが、プッシュモデルの 2/3 の速度が出ています。これなら、データサイズが約 1/10 にな
MOONGIFT: » C++製の分散ストレージシステム「cagra」:オープンソースを毎日紹介
オープンソースの分散化ファイルシステムで代表例というとMogileFSが挙げられると思う。HTTPでアクセスでき、簡単に信頼性の高い分散化ファイルシステムが構築できる。ただし、基本はPerlからの扱いになっており、Ruby向けのライブラリも存在するが全ての機能を活用できる訳ではない。 クライアント側 もっと手軽に利用できる分散化ファイルシステムが必要だ。それがこれだ。 今回紹介するオープンソース・ソフトウェアはcagra、C++製の分散ストレージシステムだ。 cagraは日本製のソフトウェアで、memcachedのような手軽さで分散ストレージシステムを構築できる。memcachedとの大きな違いは複数ノードを利用できる点にある。各データに対して指定したノード数でのレプリケーションが可能になっているので信頼性を高めることができる。 サーバ側 現時点ではオンメモリストレージのみだが、ファイルシ
東芝、128GバイトSSDを量産へ 「10万円切る程度」
東芝は12月10日、容量128GバイトのSolid State Disk（SSD：半導体ディスク）を開発し、来年3月に量産を始めると発表した。多値NAND型フラッシュメモリを採用したのが特徴。従来のSSDで使われている2値NAND型よりコスト効率が高く、価格は「市場の動向によるが、128Gバイト量産品で10万円を切る程度」（同社広報室）としている。 SSDは、HDDより高速・軽量な記憶媒体として期待されているが、製造コストが高く、64Gバイト品が10万円以上で市販されている。多値型は2値よりも素子当たりの容量が大きく、低コストで製造できるのが特徴だ。 独自開発のコントローラを搭載し、処理速度は、書き込み最大40Mバイト／秒、読み出し最大100Mバイト／秒と、2値型と同等に高速化。寿命は100万時間まで延ばした。 3ミリ厚の基板に搭載したモジュールタイプ（2月にサンプル出荷、3月に量産開始）
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bitcasa、容量無制限のクラウドディスクが月額10ドルで - TechCrunch Japan
https://simplegeo.com/
ADrive.com – 50GB of Free Online Storage & Backup