Inside Capacitor, BigQuery’s next-generation columnar storage format | Google Cloud Blog
Inside Capacitor, BigQuery’s next-generation columnar storage format The “BigQuery under the hood” blog post gave an overview of different BigQuery subsystems. Today, we'll take a deeper dive into one of them — the storage system. We'll follow data as it's loaded into a BigQuery table.BigQuery supports several input formats — CSV, JSON, Datastore backups, AVRO — and when they're imported, data is
ヤフーの分散オブジェクトストレージ Dragon について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、データ＆サイエンスソリューション統括本部所属の後藤泰陽（@ono_matope）です。少し時間があいてしまいましたが、9月19日にお茶の水女子大学で開催された WebDB Forum 2017 において、分散オブジェクトストレージ “Dragon” について講演しました。良い機会なので、本エントリでもDragonについてご紹介させていただきたいと思います。 発表資料 WebDB Forumでの発表資料については以下をご覧ください（講演時の内容と一部異なります）。 日本語版 Dragonとは？ Dragonは、ヤフー・ジャパンで開発された分散オブジェクトストレージシステムです。Amazon S3互換のWeb APIを実装
NFS と SMB を混在するときの注意点 | Turn Clockwise Or Otherwise
前回、前々回と NFS と SMB の環境のお話を書かせて頂いた。当然の疑問として、一体に何をどう気をつけたらトラブルが防げるか、というお話を疑問にもたれると思う。今回は、一般的な NFS と SMB での注意点を書かせて頂き、その後、ZFSSA ならではの管理項目上の注意点などを書かせて頂ければと思う。例によって、私なりのメモである。 注意点1：必要もないのに NFS と SMB の複数プロトコルで同じ共有/share を使わない。当たり前の話しと言えば当たり前の話しだが、全クライアントが NFS を使えるのに、わざわざ SMB を混在したり、逆に SMB で大丈夫なのに、NFS を使うクライアントを混在する必要はない。混在をすると、以下に示すが、ロックの問題から始まって、IDマッピングまで設定する羽目になる。 弊社製品も含めて世間の NAS とかアプライアンスと言われる製品の中には、S
Storage Class Memory - 急がば回れ、選ぶなら近道
ACMの2016 Jan.の会報の記事に上がっていたので、面白かったのでちょっとまとめておきます。 http://cacm.acm.org/magazines/2016/1/195724-non-volatile-storage/abstract 前提として、SCM（Storage Class Memory）について書いておくと、いわゆる不揮発性メモリー(Non-Volatile memory)で、次世代の主流になるだろうとは言われています。DRAMまでのレイテンシーは出ていないので、DRAMのリプレースにはならないと思われる（のが今の常識）ですが、ストレージとしては最速で、一般にDiskの1000倍（3桁）は速い。が、値段は30倍と言われていますね。 ・ハイライトハイライトは以下 ・The aged-old assumption that I/O is slow and computat
嗤うプログラマー: Google DriveやDropboxを暗号化して使う方法
2012年5月2日水曜日 Google DriveやDropboxを暗号化して使う方法 長いこと噂されていたGoogle Driveがついにはじまったとか、SkyDrive がデスクトップ用のクライアントができたとか、にわかに賑やかになってきたオンラインストレージ。そこで気になるのがこれらに機密性の高いファイルをいれていいものだろうか？という問題。 例えば Google Drive では、Google にアップロードされたコンテンツはユーザーのみでなく、Google にも利用権利を与えたことになるという説がある。 参考リンク：『Google Drive』のファイルは誰のもの？ (from WIRED.jp) また、この分野の老舗である Dropbox では、以前認証システムのバグにより、事実上パスワードが設定されていないという状態になってしまったことがある。 参考リンク：Drop
P2P技術ベースの新クラウドストレージ LifeStuff とは | 情報科学屋さんを目指す人のメモ
P2PベースのDropboxとでも言うべきLifeStuffが、MaidSafe社から明日9月5日に公開予定となっています。Unlimited、Secure、Free*を売りにしているLifeStuffについて、公開情報をもとにまとめてみます。 非常に高い技術で作られたとおぼしきこのアプリケーションが公開直前なのにもかかわらず、海外含めあまりに話題になっていないので、本当に公開されるのか気になってしまうのですが、実際に公開されれば、はかなりインパクトのあるものだと思います。 私の研究領域である構造化オーバレイというPeer-to-Peer由来の技術が利用されているため、とてもそそります。私の研究成果が活きないか、とか考えつついろいろ読みあさった結果を紹介します。 追記(2012/09/05)：公式情報によると、「バグが見つかった関係で、公開は今週末以降になりそう」とのことです。また公開され
OpenStack Storage(Swift) 調査報告書 - クリエーションライン株式会社
2011年1月18日 1. 概要 Swift は OpenStack プロジェクトが開発している分散オブジェクトストレージである。OpenStack は、クラウド環境を構築するためのオープンソースプロジェクトであり、仮想マシンの管理を行う Nova と、オブジェクトストレージの Swift がある。Swift の位置づけとしては、Nova の仮想マシン のイメージの保存などが挙げられる。しかしオブジェクトストレージの機能は独立しており、Nova と 関係なく利用することも可能である。現行の仕様では、Nova と連携するようにはなっていないため、 本報告書では Swift のみの利用を中心に述べる。 Swift の元になったのは、Rackspace 社の運用する CloudFiles というサービスであった。現在 はオープンソースソフトウェアとして公開されており、開発言語には Python
ReadyNASとは何か
ReadyNASを普通に使っている限りは全く気にする必要はないが、何か問題が起きたりしたときに、そもそもReadyNASの中はどうなってるのかということに興味が湧くのは自然だと思うので、その流れの話。 （このエントリは一続きのエントリの5/5） 4.1. ReadyNASの構成（推測） ReadyNASが何かといえば、LinuxをOSとして稼働する/RAID構成で/NAS専用のPC、ということになる。アプライアンスのLinux機としては普通のPCに近いが、普通のPCと特に違うのは、 オンボードにOSのインストールイメージを持っていること ブートプロセスが少し変わっていること ただ、Netgearの人はこういう話をあまり正面から書いてくれてない。あくまでアプライアンスであってユーザーの心配することではないし、SSHでログインすれば分かる人には分かるだろう、と説明の必要を感じてないのかもしれな
玄人志向 - 商品一覧 » セレクトシリーズ » ケース関連/玄箱 » 玄箱 » KURO-BOX/T4
玄箱T4（KURO-BOX/T4）の特長 【冷却効率を高め高信頼電源をした内蔵タワー型ケース】 電源内蔵タイプのため設置がわずらわしいＡＣアダプタが無くすっきり配置。 熱源となるHDD、電源、基板が互いに影響しないレイアウト設計。 HDDと電源にそれぞれ独立した吸気口を設け、十分なエアフローを確保。 ダブルボールベアリング式の大型冷却ファンを採用。 【４スロット・フロントアクセス機構】 フロント引出しトレイ方式によるフロントアクセス機構を採用し取り付けが容易。 簡易ロック機能も備えています。 HDDとの接続形式は安心確実のケーブルコネクタ式。 (ご注意) 出荷時状態ではSATAケーブルコネクタがトレイの奥に隠れています。 まずトレイを全て外して隠れているコネクタを引き出してください。 【Debian GNU/Linux搭載】 セットアップによってDebian GNU/Linuxが標準でイン
kvm/RBD(RADOS Block Device) に成功した - しょんぼり技術メモ
長かった… 基本的には、wikiを参照。こいつの不正確な情報のせいで苦労したけど コンフィグ テスト用のコンフィグはこんな感じ。ceph1-3全てでMon, MDS, OSDを起動する。RBDだとMDSはいらないかも。 [global] debug ms = 0 [mon] mon data = /data/mon$id debug ms = 0 [mon0] host = ceph1 mon addr = 192.168.101.41:6789 [mon1] host = ceph2 mon addr = 192.168.101.42:6789 [mon2] host = ceph3 mon addr = 192.168.101.43:6789 [mds] debug mds = 0 [mds0] host = ceph1 [mds1] host = ceph2 [mds2] host
MAL-2235/SBK vs オトコタイマン(後継はミスタークローン) - BTOパソコン.jp
意味不明なタイトルですが、HDDデュプリケータの話。 MARSHALの激安デュプリケータMAL-2235Sを買わずに感想文を書きましたが、それ以前にオトコタイマンという名の激安デュプリケータが出ていたらしく、2/2現在GENO工房で3999円との事。 当ブログ記事を全て読まれたという、「本当に初心者」さんから携帯からのタレコミより。私がメールに返信しない事も御存知のようなので、ネタにさせて貰いました。 MARSHALのデュプリケータは、上のリンク先に有る為そちらをどうぞ。実際に購入された方からコメントを頂戴し、説明書以外は中々良さそうという判断となっております。 AREA（アエリア）の激安デュプリケータ「オトコタイマン」 2009年10月22日発売という事はWindows7の発売に合わせたのでしょうか。そんなデカイ祭りに発売日を合わせるとは、ついで買いを狙ったのかも知れませんがニュースにな
ノートPCをZFSのミラー機能で幸せにする - 瀧(TAKI,Yasushi)/紅呪(kohju)のBlog
HOME / 日記 / ノートPCをZFSのミラー機能で幸せにする Date: 2010/02/14 | | Tags: Solaris, OpenSolaris, Howto, 利用法 ノートPCをZFSのミラー機能で幸せにする ZFSのいろんな便利な機能は多々ありますが、ノートで使うメリットも色々あります。 たとえば、ZFS自体のSoftRAIDが、事実上、RAIDでも防げないファイルシステムレベルでのデータ破損を回避してくれたりとか・・・。一般にSATAでは15Tビットデータ転送につき1ビット、SASでは150Tビット転送につき1ビットのデータ化けが起きているそうです。ノートPCの2.5inchのSATAはもっと壊れやすい気もします。 ZFSは冗長性が全くなくてもファイルの破損を検出します。SoftミラーやSoftRAID（RAIDZやRAIDZ2）をする場合は、この冗長性を使って修
OpenSolarisのルートファイルシステム（ブートディスク）をZFSでミラー化した - obfuscation’s blog
最近自宅サーバ（ウェブ + 開発も一応含む）のホストOSをLinux（CentOS 5.2）からOpen Solaris 08.11 に移行しました。私の環境では、ウェブサーバや、リポジトリサーバはXenのDomU(Linux CentOS 5.2)で利用しているため、ホストの移行は簡単でした。 まあ、そんなこんなでOpenSolarisを使い始めて1ヶ月くらい経ちました。SolarisはファイルシステムのZFSをサポートしています。そこで、自動バックアップシステム構築の第一歩としてZFSを使ってルートファイルシステム（ブートディスク）のミラー化（RAID1）をやってみました。結構苦労したので、自分へのメモを兼ねてここに書いておきます。自分が苦労したポイントをまとめたついでに、実行したコマンドも載せておきます。ただし、記憶からたどってまとめたものであり、実際に正しく動くか完全に確かめていな
ZFSで16発NAS TOWERを作ろう-iSCSIでTimeMachine編 :宗子時空
ZFSで作られたNASにiSCSI Targetを作成して、TimeMachineのバックアップを行うことにした。 Leopardから導入されたバックアップシステムのTimeMachineは ・Apple純正NASのTimeCapsuleを使う ・USB HDDなどのローカルドライブを使う というのが基本になっている。 前者のアプローチはこちらのページが詳しい。 「TimeCapsuleじゃないNASを使って、TimeMachineを使ってみる | OpenMediaLaboratory」 今回は後者のアプローチからテストしてみる。 物理的には16発NASを使うのでiSCSIで接続することにする。iSCSIはちょー簡単に言うとEthernetを使ってハードディスクなんかをつなげよう、的規格。 まずopensolaris側でiSCSI Targetと呼ばれる仮想HDDの準備。 「Solari
Droboを2ヶ月使用した感想をまとめてみる。 - るるぷらす
Droboを購入したのが9/24、Droboを設置したのが9/26。今日で丸2ヶ月使用したことになります。その間、特にトラブルもなく安定して動いています。 Droboを導入して良かったことは大容量ストレージを難しい管理もなく、ごく普通に使えていることです。この空気みたいな感じが重要なんでしょうね。 導入から今まで 最初Droboに、2TBを2発いれてミラーみたいな感じで使っていました。しかし、実際に使ってみると書き込み時のデータ読み込みがかなり遅くなってしまって、ムービーファイルとかどんなに小さいものでもコマ落ちしてしまう問題がありました。 どうもこれは簡単な話、ディスクが2発しかないためファイルを冗長化する処理が結構パワー使っていて読み書きともに遅くなっているようでした。これはその後に1TBを2発追加購入して、4発構成にすることで改善されました。やはりディスクの数が多ければ多いほど転送パ
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. Well,…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - johannesboyne/gofakes3: A simple fake AWS S3 object storage (used for local test-runs against AWS S3 APIs)
Blog - LINE ENGINEERING
［速報］無限のデータ容量で大量データを保存「Azure Data Lake service」発表。HDFS APIでHadoop用分析ツールが利用可能
RAIDに思わぬ落とし穴、データ復旧のポイントを日本データテクノロジーに聞く 