3.3.3 データウェアハウス
1960年以降，情報処理システムが企業や組織で活用され始めて以来，それらの企業や組織には膨大なデータが蓄積されており，そのデータは現在も増え続けている。しかし，エンドユーザは，これらのデータのうちほんのわずかなデータしか，アクセスしていないし活用もしていない。旧式なプラットフォームで作られたデータは，そのデータをアクセスするための専用のプログラムを書かねばならないし，また，データの存在する場所とその内容すら知ることが難しい。 最近，情報処理システムの技術の進歩は，データとそれを取り扱うツールという2つの分離された環境の実現を可能にするようになってきた。すなわち，システムのバックエンドとしてオープンなインタフェースを備えたデータベースエンジンと，エンドユーザが簡単にデータをアクセスしたりデータを加工したりすることができるフロントツールが整備され，また，バックエンドとフロントツールの仲介の役
Who is How Columnar? Exadata, Teradata, and HANA – Part 1: Column Compression
There are three forms of columnar-orientation currently deployed by database systems today. Each builds upon the next. The simplest form uses column-orientation to provide better data compression. The next level of maturity stores columnar data in separate structures to support columnar projection. The most mature implementations support a columnar database engine that performs relational algebra
Hadoop vs MPPデータベース
Kazuki Ohta @kzk_mover MPP DBとして古参のSybaseIQは15年以上存在しており、値段感も手頃な奴もある。対してHadoopを使ってる人は理由があるし、安くて手軽なMPPデータベースが出てきたから安易にHadoopからそちらに移るのはシステムのPros/Consを正しく理解していなかったケース。 2013-05-27 14:22:05 Kazuki Ohta @kzk_mover Twitter/Evernote/Netflixを見ていると、生の非構造化データをとにかくHadoopに貯め、MRで構造化したデータキューブをMPPDBに入れ低レイテンシで解析するのが勝ちパターン。大企業では全データソースのスキーマをIT部門が管理するのは困難もしくは不可能。 2013-05-27 14:22:50
米アマゾン、DWHクラウド「Amazon Redshift」を開始、1TB当たり年1000ドル以下
米アマゾン・ウェブ・サービス（AWS）は2012年11月28日（現地時間）、データウエアハウス（DWH）のクラウドサービスである「Amazon Redshift」を発表した。同日からプレビュー版のサービスを開始している。カラム型データストレージを採用したMPP（超並列処理）型のDWHで、ペタバイト級のデータが処理できるほか、クエリーには「SQL」などを利用可能。サービスは時間制の従量課金で提供し、1テラバイト当たり年額1000米ドル以下で利用できるとしている。 Amazon Redshiftは、DWH専用のノードをクラスター化して運用する。DWH専用ノードには、15Gバイトのメモリーと2Tバイトのストレージを搭載した「XL（1時間当たり0.85ドル）」と、120Gバイトのメモリーと16Tバイトのストレージを搭載した「8XL（1時間当たり6.8ドル）」の2種類がある。MPP型であるため、DW
並列処理（拡張性）やデータ転送の低減に工夫凝らすDWH製品
DWH（データ・ウエアハウス）製品は、DWHの構築に向いたデータベース・サーバー製品である。DWHとは、日々更新される業績などのデータを時系列で記録しておく大容量のリポジトリ・データベースであり、この用途に特化した製品が市場を形成している（表1）。
テラバイトのデータ | 構造化知識研究センター
テラバイトデータや構造化知識研究に関する過去の記事です。 1990年6月 コンピューターの中央処理装置4台を並列的につなぎ、人間のように推理したり連想したりするコンピューターの模擬実験に、九州大学の研究グループが成功した。1991年度にも20台に増結する計画で、最終的には1万台をつなぎ、人間の思考そっくりの柔軟性に富んだコンピューターシステムを目指す。キャリアウーマン並みの有能秘書や、建物の形状を判断できる掃除ロボットの開発にもつながると期待されており「人工知能」開発競争に一石を投じそうだ。 九州大学で実験に成功 模擬実験を行ったのは、九大総合理工学研究科の雨宮真人教授（情報システム専攻）のグループ。雨宮教授らは、記憶した知識で推論や連想を行う人間の思考回路網に着目。「食物－果物－黄色－酸っぱい－レモン」など属性や因果関係でつながる情報を与えて連想ネットワークを構成。このネットワーク網をコ
だからこのデータは使えない！ （1/3）－ ＠IT
データ活用の新しいかたち・前編 だからこのデータは使えない！ ～歴史からひも解く「使えないデータ」のなりたち 不自然なシステム構造～データウェアハウスの課題と変化 企業が導入するITシステムは、一般的に以下の3種に分けられ、企画・導入され、そして管理されています。 基幹系システム 情報系システム 部門別業務系システム この枠組みの中で、「データ活用」は、（2）情報系システムの範疇に入ります。いわゆるビジネス・インテリジェンスやデータウェアハウス／データマートは情報系システムそのものです。 一方で、アプリケーションの目的別にITシステムを見ると、以下の2種類に分類されることが分かります。 登録系処理 参照系処理 この分類における「データ活用」は（2）参照系処理の範疇に入ります。 現実に構築されたシステム構造の中では、情報系システムだけではなく、基幹系システムにも、部門別業務系システムにも参照
大規模化するDWHに挑む
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
Open Source Data Warehousing? :: Tholis Consulting
The economic downturn is causing an increasing interest in using open source (OS) solutions for BI. One of my previous blogposts already raised the issue of the missing pieces in open source analytical databases, but nevertheless more and more companies are using OS databases for data warehouse purposes. In fact, recent Gartner research indicated that almost 18% of the surveyed organizations are u
MySQLによるデータウェアハウス構築
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のWangです。 データウェアハウス（以下DWH）という言葉になじみのない方は検索していただいたほうがよいかもしれません。 検索するのがめんどい、という方は、かみ砕いた表現ができなくて恐縮ですが、 基幹系システムから抽出したデータを目的をもって再構成し、 使用可能な状態に保管されたデータの集合体、とお考えください。 オークションでは、具体的には出品、入札、落札などのトランザクションデータや、 それをいろいろな単位で集計したデータなどが該当します。 ここでいう単位というのはたとえば、日ごと、週ごと、月ごとや、以前の記事でも紹介されている カテゴリといったものになります。 こういったデータは、運用、運営、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Kylin | Analytical Data Warehouse for Big Data
Who is How Columnar? Exadata, Teradata, and HANA – Part 2: Column Processing
http://www-conf.slac.stanford.edu/xldb2012/talks/xldb2012_wed_1105_DhrubaBorthakur.pdf
SMDB 2010 Workshop Program
White Papers