Web企業のログ基盤まわりをまとめてみた - もょもとの技術ノート
はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定（たぶん） 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタイム分析サービスの構築 from Minero Aoki www.slideshare.net リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ from Hiroyuki Inoue www.slideshare.net techlife.cookpad.com メルカリ tech.mercari.com SmartNews speakerdeck.com developer.smartnews.com DMM labotech.dmm.com labotech.dmm.com l
Hadoop vs MPPデータベース
Kazuki Ohta @kzk_mover MPP DBとして古参のSybaseIQは15年以上存在しており、値段感も手頃な奴もある。対してHadoopを使ってる人は理由があるし、安くて手軽なMPPデータベースが出てきたから安易にHadoopからそちらに移るのはシステムのPros/Consを正しく理解していなかったケース。 2013-05-27 14:22:05 Kazuki Ohta @kzk_mover Twitter/Evernote/Netflixを見ていると、生の非構造化データをとにかくHadoopに貯め、MRで構造化したデータキューブをMPPDBに入れ低レイテンシで解析するのが勝ちパターン。大企業では全データソースのスキーマをIT部門が管理するのは困難もしくは不可能。 2013-05-27 14:22:50
スタースキーマと列指向データベース - wyukawa's diary
Webエンジニアのための データベース技術[実践]入門 (Software Design plus) 作者: 松信嘉範出版社/メーカー: 技術評論社発売日: 2012/03/09メディア: 単行本（ソフトカバー）購入: 20人 クリック: 486回この商品を含むブログを見る 僕はWebエンジニアではないけれども上記の本を読み、とりわけ11-3 分析系処理と列指向データベースを興味深く読みました。 そこで分析用途のデータを作る場合にどうやるのがいいのか調べてみたのでメモっておきます。 「おむつを買った人はビールを買う傾向がある」みたいな分析を行うためには時系列に大量の業務データを蓄積してDWHを作ります。 その際にスタースキーマと呼ばれる形式でテーブル設計をします。 中心のファクトテーブルは分析のキー（例：商品ID、顧客ID）と分析対象の数値データ（例：販売数量、販売金額）を持ちます。 この
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
［速報］Amazonクラウド、新サービス「Redshift」発表。データウェアハウスの価格破壊へ
Amazonクラウドを運営する米Amazon Web Services（AWS）は初めての大型カンファレンス「re:Invent」をラスベガスで開催。初日の基調講演で、クラウド上でデータウェアハウスを提供する新サービス「Redshift」を発表しました。 基調講演では企業向けにクラウドの有効性を説くことに焦点が当てられ、そのハイライトがこのRedshiftの発表でした。Redshiftの発表はAWSにとって、企業向けクラウドサービスを充実させる点で非常に大きな一歩だといえます。 従来のデータウェアハウスは高価で複雑 Amazon Web Services、シニアバイスプレジデント Andy Jassy氏。 既存のデータウェアハウスは、高価な上に複雑だという問題を抱えている。ガートナーの調査によると、平均でデータウェアハウスあたり3人から4人のアドミニストレーターがいるという。 この状況に対
Open Source Data Warehousing? :: Tholis Consulting
The economic downturn is causing an increasing interest in using open source (OS) solutions for BI. One of my previous blogposts already raised the issue of the missing pieces in open source analytical databases, but nevertheless more and more companies are using OS databases for data warehouse purposes. In fact, recent Gartner research indicated that almost 18% of the surveyed organizations are u
HadoopとRDBMSを統合し、真のリアルタイムビッグデータ分析を実現する「Hadapt」 – BI for everybody.
ビッグデータの分散処理技術の代表格と言えば、言わずもがなHadoopですが、弱点も多くあります。最大の弱点と言えば「リアルタイム処理には向かない」ということです。Hadoopはレイテンシ（データ転送などを要求してから結果が得られるまでの所要時間）が大きく、主にRDBMSでは取り扱いきれないような大容量データのバッチ処理に使われています。 ビッグデータのリアルタイム処理が必要な場合には、KVSなどのようなNoSQLや、SAP HANAやNetezzaなどのようなNoSQLやインメモリ処理技術を取り入れ、ソフトウェアとハードウェアを統合したDWHアプライアンスなどを導入しなければいけません。 DWHアプライアンスは高価なため大企業向きであり、NoSQLを扱える技術者のいない、または育てる余裕のない中小企業（SMB）はビッグデータのリアルタイム処理への対応がなかなか進みません。 今回ご紹介する「
ドラクエXの中核に「Exadata」--全ユーザーを1つのDBで管理
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 8月から提供されているオンラインゲーム「ドラゴンクエストX 目覚めし五つの種族 オンライン」のIT基盤の中核にデータベース（DB）専用機「Oracle Exadata」が活用されている。日本オラクルが10月24日に発表した。 ドラクエXはシリーズ初のオンラインゲーム。開発、提供するスクウェア・エニックスは2011年2月にExadataの採用を決めている。Exadataの処理性能でドラクエXのすべてのユーザーデータを1つのDBで管理している。オンラインのユーザー数は日本で最大級とみられている。 従来の大規模オンラインゲームは、DBサーバの性能上、1つのDBに収容できるユーザーデータ量に制限がかけられていた。このことから、オンラインゲームに
Cookpad Case Study | Treasure Data Blog
Cookpad Case Study Cookpad.com (TYO:2193) is Japan’s No.1 recipe website. With more than fifteen million users and one million online recipes, Cookpad.com dominates the market of recipe search and sharing. In fact, according to Cookpad.com’s internal research, 50% of Japanese women in their 20s and 30s use Cookpad.com as their primary source of recipes and cooking advice. So, how does Cookpad.com
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RedshiftはDWHだけじゃない
シェアードナッシング、もう遅いとは言わせない／DWH業界のチャレンジャー、EMCにGreenplumの話を訊いた