#cwt2016 Apache Kudu 構成とテーブル設計
スライド中のURI - Kuduのインストール(Cloudera Manager使用) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_installation.html - Impala-Kuduのインストール(CDH5.8以前) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_impala.html#install_impala - Apache Kudu Troubleshooting http://kudu.apache.org/docs/troubleshooting.html - Apache Kudu project page http://kudu.apache.org/ - Cloudera Eng
Non-volatile Storage | the morning paper
the morning paper a random walk through Computer Science research, by Adrian Colyer Made delightfully fast by strattic Non-volatile Storage: Implications of the Datacenter’s shifting center – Nanavati et al. 2016 Strictly this is an article, not a paper, but it’s a great piece from this month’s ACM Queue magazine and very closely related to the discussion on the implications of non-volatile memory
dockerはOS上のディスク領域をどう使っているのかまとめた - Qiita
dockerのディスクの使用方法 dataとmetadata dockerはディスクの管理方法として、dm-thinというDeviceMapperの機能を使います。 詳細は以下を参考にして下さい。 dm-thinの概要 Docker専用のLinux - RHEL Atomic Hostが登場！ dm-thinではデータ領域とメタデータ領域が必要なため、dockerは/var/lib/docker/devicemapper/devicemapperにdataというデバイスファイルイメージと、metadataというデータを作成します。 fileコマンドで確認するとdataはext4 filesystemです [root@master mnt]# ls -lh /var/lib/docker/devicemapper/devicemapper 合計 8.5G -rw-------. 1 root
Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始
Google、1GB当たり1セントながら3秒以内にデータ取得できるニアラインストレージ「Cloud Storage Nearline」提供開始 一般にITのシステムおいてストレージはシステム全体の性能を左右する重要なコンポーネントであるため、高性能なSASドライブやSANストレージ、最近ではフラッシュストレージなどが多く用いられます。 こうした性能重視のストレージは一般にオンラインストレージ、あるいはプライマリストレージなどと呼ばれますが、これに対してバックアップ用途や、容量あたりのコストなどを重視したストレージを「ニアラインストレージ」と呼びます。低価格なSATAハードディスクなどを用いたストレージなどがこれに相当します。 長期保存やアーカイブが主目的となり、光学ディスクや磁気テープのように読み出し時にメディアを交換したりマウントするようなストレージのことを「オフラインストレージ」と呼び
NVMW 2024 - Program NVMW 2024
Abstract: Near data compute is an extension of computational storage to also include near memory compute. Recently, standards organizations have been busy completing standards for computational storage. SNIA created a first version of an architectural document in 2022 and an accompanying API in 2023. NVMe ratified a computational programs command set in early 2024. In addition, there are efforts w
メモリースロットに挿すフラッシュストレージ、SanDiskが検証出荷を発表
サンディスクは2014年1月23日、メモリーチャネルをストレージアクセスに利用する低遅延のフラッシュストレージ「ULLtraDIMM」（写真）について、検証用の出荷が始まっていると発表した。米SanDiskが1月20日に発表した内容を日本語化して発表したもの。ユーザー企業に対しては、サーバーベンダーへのOEM供給を経て出荷する形になる。ULLtraDIMMを搭載するサーバーの例としては、日本IBMが2014年第1四半期から新世代PCサーバー「X6」を出荷することを発表済み。 ULLtraDIMMとは、PCサーバーのメモリースロットに挿して使えるDIMM型のフラッシュストレージである。カナダDiablo TechnologiesのMCS（Memory Channel Storage）技術を利用している。既存のメモリーコントローラーをそのまま使って、メインメモリーのチャネル（DDR3）を介して
Maximizing Amazon S3 Performance (STG304) | AWS re:Invent 2013
Maximizing Amazon S3 Performance (STG304) | AWS re:Invent 2013 This advanced session targets Amazon Simple Storage Service (Amazon S3) technical users. We will discuss the impact of object naming conventions and parallelism on S3 performance, provide real-world examples and code the implements best practices for naming of objects and implementing parallelism of both PUTs and GETs, cover multi-part
AWS Storage and Database Architecture Best Practices (DAT203) | AWS re:Invent 2013
AWS Storage and Database Architecture Best Practices (DAT203) | AWS re:Invent 2013 Learn about architecture best practices for combining AWS storage and database technologies. We outline AWS storage options (Amazon EBS, Amazon EC2 Instance Storage, Amazon S3 and Amazon Glacier) along with AWS database options including Amazon ElastiCache (in-memory data store), Amazon RDS (SQL database), Amazon Dy
AWS re:Invent2013参加レポート #19 EC2 ブロックストレージ(EBS/インスタンスストア)ベストプラクティス | DevelopersIO
ども、大瀧です。 今回のre:Invent参加で個人的にアツかったテーマのひとつが、EC2のブロックストレージ周りのセッションで濃いものが聞けたことです。3日目と4日目に行われた以下のセッションから、現時点でのブロックストレージのベストプラクティスが見えてきそうだったので、セッションから得られたことを自分なりにまとめてみました。 STG402 - Advanced EBS Snapshot Management [11/14 17:30 Murano 3303] STG401 - NFS and CIFS Options for AWS [11/15 10:15 Venetian B] ちなみに、プレゼンターはどちらもAWSでパートナーSAを務めるCraig Carlです。軽快な語り口で、Q&Aもスピーディーに答えていました。そのせいで、議論がヒートアップすると全然聞き取れなかったんですが
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices | DevelopersIO
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices AWSのエンタープライズソリューションアーキテクトである、Siva Raghupathyさんによる「AWS Storage and Database Architecture Best Practices」に参加してきました。 各ストレージ、データベースの向き不向きとベストプラクティスを網羅的に紹介する内容でした。 AWSはデータベースだけでも沢山のサービスがあるので、どのサービスを利用するのが一番いいのか迷うことがよくあります。 以下は発表内容の直訳ですが、それぞれのサービスの特性を押さえておくことで、より確かな選定をするための一助になればと思います。 英語が分からなくて、訳せていない部分があります。 自信が無いところは元の英語
Treasure Data’s Plazma: Columnar Cloud Storage | Treasure Data Blog
Treasure Data’s Plazma: Columnar Cloud Storage Tweet Treasure Data has been developed by Hadoop experts. We get Hadoop, and, in many ways, it’s part of our core. As we have built out the platform, we noticed that the storage layer needs to be multi-tenant, elastic, and easy to manage while keeping the scalability and efficiency. This led us to create Plazma, our own distributed columnar storage sy
“第3のメモリー”の衝撃、ストレージとDBが一変する
出典：日経コンピュータ 2012年12月20日号 pp.70-77 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 2012年、DRAMでもフラッシュメモリーでもない“第3のメモリー”の量産出荷が始まった。DRAM並みに高速でありながら、フラッシュ同様に電源をオフにしてもデータが消えない「新世代不揮発性メモリー」だ。新メモリーによってコンピュータのアーキテクチャーは激変し、入出力（I/O）の大幅な高速化が実現すると共に、消費電力は激減する。 コンピュータには、高速だが電源をオフにするとデータが消える「主記憶装置（メインメモリー）」と、低速だがデータが消えない「外部記憶装置（ストレージ）」という2種類の記憶装置がある。 こんなコンピュータアーキテクチャーの常識が一変する可能性が出てきた。DRAM並みに高速でありながら不揮発性を備えた「新世代不揮発性メモリー」の量産出荷が始
AWS、EC2の新インスタンス「High Storage」発表
AWS、EC2の新インスタンス「High Storage」発表：Hadoopなどの処理向けに48TBのストレージを提供 米Amazon Web Services (AWS）は12月21日、大量のデータへの高速アクセス提供を特徴とする「High Storage」を発表した。 米Amazon Web Services (AWS）は12月21日、Amazon EC2の新しいインスタンスタイプとして、大量のデータへの高速アクセス提供を特徴とする「High Storage」を発表した。 High Storageは、大量のデータセットをシーケンシャルに読み書きする性能の高さが求められるアプリケーション向けに最適化したインスタンス。特にHadoop、データウェアハウス、パラレルファイルシステムを使ってAWSクラウドで大量のデータの処理と分析を行う場合に適している。 現時点で提供しているのは「Eight
Datomicのアーキテクチャ
従来のRDBMSはデータを操作するために強力な論理的、宣言的、集合指向言語を提供します。しかし残念ながら、この強力さはデータベースサーバ側限定であり、データがアプリケーションに渡ってしまうとネストしたforループによってその効果がなくなってしまいます。Datomicは分散インデックスを提供し、宣言的問い合わせコンポーネントをアプリケーションサーバ層に配置できるようにします。この問い合わせエンジンはDatomicがホストするデータとインメモリのデータソースの両方のデータを一貫性のある高レベルの手法で操作できます。 全般的な関心 Datomicの設計には多くのコンセプトが取り込まれています。 単純さと合成。システムはひとつのことを行うサービスを複数組み合わせて構成するべきであり、サービスは互いを知っているべきでない。ストレージやキャッシュのような領域には良く考えられたシンプルなコンポーネントが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データセンター向けの新しいディスクを探求
TechCrunch | Startup and Technology News
Ceph アーキテクチャ概説
OSSラボ様講演 OpenStack最新情報セミナー 2014年6月
SanDisk、既存のDIMMスロットに装着できる超低遅延SSD「ULLtraDIMM」
Parquet/parquet-mr · GitHub