Amazon Redshiftへ継続的にデータをロードする際に気をつけること - クックパッド開発者ブログ
こんにちは、インフラ部データ基盤グループの小玉です。 データ基盤グループでは、Amazon Redshift（以下、Redshift）へ継続的にデータをロードする仕組みを、約半年に渡り構築・運用してきました。この記事では、その中で学んだことを共有させて頂きます。 弊社では情報系システムの一部に、AWSが提供するRedshiftという分散データベースを利用しています。情報系システムとは、データ分析を主な用途とするシステムのことです。なかでもRedshiftはSQLを使った大量データの高速な分析に最適化されているため、DWH（データウェアハウス）としての利用に適しています。 DWHの構築に必要なタスクとしては、データソースの特定、モデリング、データの抽出・変換・ロード(ETL)、クエリツールやBIツール導入、パフォーマンス・チューニング、メタデータの管理、バックアップ・リストアなど、があります
データを一箇所に集めることでデータ活用の民主化が進んだ話 - once upon a time,
先日、この記事を読んで分析のハードルを下げること大事だよね、というのを思い出したのでつらつらと書いてみようと思います。 qiita.com 内容としては正直タイトル詐欺で、SlackからRDSにクエリ発行できるようにして、各種権限を持っているエンジニアでなくても分析できるようになったよ、という話です。 ここでいう「データ活用の民主化」というのはかっこ良く言ってみたかっただけで、「データ分析を生業にしている人以外もデータを活用してビジネスを進められるようになる」というくらいのニュアンスだと思って下さい。 「データ分析」というとアナリストの人がやること、みたいな職務が分かれている環境もあるとは思いますが、そうではない会社（前職）の一例です。 データ活用が広まった流れ 数秒〜数十秒で対話的にクエリが返ってくると、トライアンドエラーが100倍くらいできる 今まで実行計画を気にして避けていたことにガ
Web企業のログ基盤まわりをまとめてみた - もょもとの技術ノート
はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定（たぶん） 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタイム分析サービスの構築 from Minero Aoki www.slideshare.net リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ from Hiroyuki Inoue www.slideshare.net techlife.cookpad.com メルカリ tech.mercari.com SmartNews speakerdeck.com developer.smartnews.com DMM labotech.dmm.com labotech.dmm.com l
爽快！分析基盤の紹介 #1 : リスティング広告分析編 - sekaie engineers' blog
おはようございます。 大阪生活４ヶ月目を迎えて体重 10kg 増量しました。佐々木です。 セカイエのマーケティングチームに所属していて分析基盤の導入をすすめています。 分析基盤の機能やらノウハウやらを分析基盤紹介と題してブログ化していこうと思います。 よろしくお願いします。 はじめに リスティング広告分析を紹介する前にある程度前提部分のお話をします。 まず、セカイエの分析基盤では Google BigQuery を DWH として利用しています。 今となっては BigQuery の説明は不要なくらい有名ですし利用されている企業も増えてますね！ DWH を BigQuery にして、フロントエンド周りを自作する方向で進めています。 リスティング広告分析について 本題ですが、セカイエのリスティング広告分析について紹介していきます。 セカイエのリスティング広告は主に Google Adwords
Clouderaで作るデータ分析環境 - 科学と非科学の迷宮
wyukawaさんがデータ分析環境について書いていましたが、全部 CDH を使えば実現可能なので便乗して書いておこうと思います。 1. ETL 処理 CDH なら以下のツールがあります。 Sqoop RDBMS / DWH などに対するインポート・エクスポートツール。最近日本語の本も出版されたので皆さん買ってください。 Hue を使えば Web ブラウザ上から設定できます。デモビデオはこちら。 Pig Hive の影に隠れがちなクエリ言語ですが、特に ETL として使う場合は書きやすいです。中身は MapReduce。Java はもちろん、Python、Javascript、Ruby、そしてGroovyでUDFが書けるのが特徴。HCatalog というツールのおかげで Hive 同様スキーマを扱えるようになりました。 Hue を使えば Web ブラウザ上から実行できます。デモビデオはこちら
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの？
自由診療クリニック向けのオールインワンSaaS「medicalforce」、警備事業者向けオールインワンSaaS「警備フォース」を提供する株式会社メディカルフォース。フルスクラッチでの開発を実現させるスクラムの構築をまとめました Developer eXperience Day 2024 株式会社メディカルフォース CTO 畠中 翔一（@punk_punx）登壇スライド
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Management, Quality and Governance
DWHを活用した機械学習プロジェクト/ml-with-dwh
データレイク構築後の四方山話 #DPM / 20190905
ClickHouse Performance Uint32 vs Uint64 vs Float32 vs Float64
Struggle against crossdomain data complexity in Recruit Group
並列データベースシステムの概念と原理