Yahoo! Japanの大規模データウェアハウスを支えるテラデータの技術
テラデータの大規模なデータウェアハウスとHadoopのデータレイクを併用 多くのユーザーがサービスを利用することで、Yahoo! Japanでは日々膨大なデータが生まれている。Webサイトやアプリケーションには1日に約610億ものリクエストが発生、そこから日々125テラバイトを越えるデータが生成される。これらユーザーのアクセスから生まれる大量データは、当然ながらYahoo! Japanのビジネスを最適化し、利用者の利便性の向上に使われる。 Yahoo! Japanがデータウェアハウスを構築したのは、2002年のことだった。当時のデータ量は6テラバイトほど、分析スキルの高いユーザーにのみアドホック分析の環境が公開された。 その後、Yahoo! Japanのデータウェアハウスは徐々に成長する。2016年には扱うデータ量は1.7ペタバイトにまで拡大、ユーザーからのデータ処理リクエストは、1日に3
SQLite4の開発物語
SQLiteの歴史 2000年 リリース1 HashベースのGDBMストレージエンジン SQLite1はGPLのGDBM(GNU Database Manager)エンジンを使ったので、その流れからライセンスはGPLで始まります(現在はパブリックドメイン)。この時からServerlessとSinglefile databaseがSQLiteの基本方針です。しかし、元となったGDBMはHashテーブルでありレンジスキャンができないので、Berkeley DBのドキュメントを2日ほど読んでからB-Treeストレージエンジンの開発を始めました。 2001年 リリース2 B-Treeストレージエンジン SQLiteが携帯電話や自動車、冷蔵庫などに搭載され広がり始めたのです。今はもうなくなりましたが携帯大手のモトローラから「バイナリーデータをサポートしてほしい」と言われてSQLite3の開発が始まり
データウェアハウス構築の秘訣（1）
集計の仕方としては、次の3通りが考えられます。 現在の分類「食器」で集計する。 集計期間の終点の分類「紙容器」で集計する。 「雑貨」の期間は雑貨として集計し、「紙容器」の期間は紙容器として集計する。 この3通りの集計の仕方をデータの見方として書き直すと、各集計方法は次のように表現できます。 現在（最新）のマスタの属性値でトランザクションデータを見る。 過去のある時点のマスタの属性値でトランザクションデータを見る。 発生時点のマスタの属性値でトランザクションデータを見る。 つまり、時系列データには、この3通りの見方があるということです。 時系列データの見方とスキーマの関係 時系列データの3通りの見方とスキーマの関係を考えてみようと思います。 スキーマには、フラットスキーマ（大福帳）、第3正規形、ディメンジョナルモデル（スタースキーマ）、スノーフレークスキーマなど具体的な形はいろいろありますが
データウェアハウス構築の秘訣（1）
2つの考え方があるデータウェアハウス・システムの構成 データウェアハウス・システムの構成には、2つの考え方があります。 1つ目は、セントラルウェアハウスを構築し、そこに統合されたデータを活用するために目的別にデータマートを構築するという考え方です。この場合のデータマートは、セントラルウェアハウスのデータに依存することになるので、従属型データマートと呼ばれます。 これに対し、セントラルウェアハウスの構築は必須ではなく、目的別にデータマートを構築すればよく、その集合体がデータウェアハウスであるという考え方があります。この場合のデータマートは、基幹系業務システムから直接データを抽出して構築される（セントラルウェアハウスに依存していない）ので、独立型データマートと呼ばれます。 いずれの構成がよいのかと問われれば、私は迷わず前者と答えます。なぜなら、これまでの構築経験の中で後者を選択したことにより以
ビッグデータのフュージョンに人類未踏の世界がある―東京大学喜連川優氏インタビュー
―「ビッグデータ」という言葉がIT業界の大きなトレンドとなっています。2004年から「情報爆発プロジェクト」を率いてきた喜連川先生の目から見て、現在のビッグデータを取り巻く状況はどのように映るでしょうか。 確かに、IT系のバズワードではありますが、大変分かりやすい形容詞と名詞を組み合わせた、非常にシンプルな言葉ですね。他のバズワードと同様に消費されていく言葉の1つかもしれませんが、ようやく時代がこのようなシンプルな表現で情報社会を語れるほど、成熟してきたことの表れかもしれません。 2004年に申請し、2005年からスタートした「情報爆発プロジェクト」では、21 世紀に入り人類が生み出す情報量が急激に増大するようになった現象を「情報爆発」と捉え、情報爆発から派生する多様な課題を自ら明確化すると共に、それらに立ち向かい１つずつそのソリューションを考えて行こうというプロジェクトでした。ですから、
DB Online：企業のIT・経営・ビジネスをつなぐ情報サイト EnterpriseZine (EZ)
「僕、実は文系出身なんですよ。だからデータベースエンジニアとしての出自はあまりよろしくないかもしれない（笑）」―開始早々、ワン・オー・ワン 代表取締役社長 二階堂隆氏は笑いながらこう切り出した。ワン・オー・ワンが開発/販売する製品やソリューションは、バッチ処理システム開発ツール「101will」やWebアプリ... （続きを読む） 2011年4月26日、日本HPは同社のデータベース戦略について発表を行った。その際のキーワードは「ロックリリース」。HPが、ベンダーロックインを発生させていると指摘する対象は、もちろんOracleのことだ。データベースビジネス業界で、いったい何が起こっているのか―... （続きを読む）
コンサルタントがよく使うRFPの書き方：12項目で網羅的に作成
情報システム部の存在意義は、ITサービスを通したユーザ利便性の向上にあります。ITサービスとは単一、もしくは複数のシステムによって提供されるものですから、新しいシステムを企画立案して運用に漕ぎつけるまでの流れは、情報システム部の主たる業務と言えるでしょう。 新しいシステムを構築するためには、企画段階で得た構想を要件レベルに具体化し、システム設計者に引き渡します。企画をした人間が設計・構築・テスト・リリースまで担当できるにこしたことはないのですが、上流工程を担当する人間はスキルセット上、高コスト（月単価150万円以上）であることがほとんどですし、そもそも社内でシステム実装スキルを有する人間を必要数確保できないという根本的な課題もあって、要件定義フェーズ以前と設計フェーズ以降では担当者が異なることが多いのが実情です。 そこで要件定義フェーズで整理したことを正確に設計フェーズにつなげるために用い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Salesforceが本格的なCDPを発表 顧客データのインサイトシステムとエンゲージメントシステムを統合
How it works: SQL Serverの接続編
DBプロに会いたい！一覧
正しく使えば速くなる！多田が教えるSQL Server最適化のオキテ一覧
MySQLチューニング虎の巻／ソートに関連するトピックとクエリの書き換え
データベースこそ守りを固めよ！日本オラクルがSQL文法解析エンジンを備えたデータベースファイアーウォール新製品を提供開始