整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ
DataWareHouse,DataMartを整備して分析がやりやすくなった話 - ANDPAD Tech Blog
こんにちは、データ基盤チームの大洞です。 2021年4月にANDPADにジョインしてから、データ基盤やデータ分析にかかわってきました。 今回は、データ分析を効率的にするために、DataWareHouse、DataMartを整備した話を紹介したいと思います。 データ基盤の全体像 まずは、簡単にデータ基盤の全体像を紹介します。 左から順に説明していきます。 ① SaaS Data 実際に稼働しているANDPADのDBやSalesforceなどの業務で利用しているサービスです。ここからデータを出力し、S3に保存します。 ②ETL Stack 分析はBigQueryで行っているので、ここからGCSに移動させます。 ③Analytics Stack GCSに移動されたファイルをBigqueryにロードします。 ④Anatytics 用途に応じて、Jupyter、Metabase、スプレッドシートなど
はじめまして、Newspicksでエンジニアしています、Hoàngです。 新卒で入社し、現在はNewspicksを支えるデータ分析基盤を作っています。そのノウハウをシェアできればと思い、この記事を書きました。 なぜData lakeが必要なのか？ (AWSより引用) サービスに機械学習、AIを導入したい思ったことがありますでしょうか。あるいは、ユーザーがどのようにサービスを利用しているかを分析したいと思ったことがありますか。 ユーザ分析や機械学習をするために本番のデータベースにアクセスしたり、クエリを投げたりしてはいけません。分析、機械学習の用途で本番サービスに負荷を与えると、最悪の場合本番サービスを停止させてしまうこともあります。本番データと完全に同期されたデータ基盤があれば、このような問題にも対処できます。 また、データ分析はSQLを使うのですが、SQLではDynamoDB, Mong
こんにちは！エンタメ領域のDXを推進するブロックチェーンスタートアップ、Gaudiyでアナリティクスエンジニア兼データアナリストをしている星野（@mochigenmai）です。 年初に公開したブログでお伝えさせていただきましたが、Gaudiyは今年から「プロダクト主導型の組織づくり」を進めています。 techblog.gaudiy.com プロダクト主導型の組織には、データドリブンな意思決定が欠かせません。そこでGaudiyでは、データを元にしたプロダクト改善を行い、ユーザへの適切な価値提供をしていくために、1月にデータ分析チームを立ち上げました。 今回のブログでは、データ分析チームを立ち上げた背景や、立ち上げ時の課題や取り組み、データアナリストの役割などについてお伝えします！ スタートアップで同じようにデータ分析チームの立ち上げを担っている方や、データ分析チームの役割に興味のある方にご参
この記事は Eureka Advent Calendar 2019 11日目の記事です。 10日目は スーパーCompSREエンジニア恩田による「AWSのマルチアカウント管理におけるIAMマネジメントで試行錯誤した話」でした。 こんにちは。BIチームのデータアナリストの栗村(@t-kurimura)です。主にPairsの機能に関する分析を行っていますが、最近は分析を行うまでのデータを整えるデータアーキテクト的お仕事の比率も増えてきています。 さて、この記事では弊社のDataPlatform運用において、試行錯誤してきた中での運用の学びをケース・スタディ的にご紹介します。 エウレカのDataPlatformの現状前提として、弊社では3つの層にわけて、アプリケーションログやマーケティングに関連するデータをより分析しやすいデータへと加工しています。 Dataをほぼそのまま保存しているDataLa
対象読者 データ分析基盤を作ってみたいけど、分析基盤の作り方がわからない BigQueryって聞いたことあるけど、実際に使ったことがない。興味ある。 BigQueryって使おうと思ってググってみたけどあんまりまとまった情報がない そのような気持ちを持つ方が読者想定です。 自身もこの本に出会う前には、同じようなBigQuery童貞でした。 (結論)イイタイコト BigQuery初心者や、これから導入考えてる人が、読むべき本を見つけました！！ Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery です。 あまりBigQueryの本がなく、半信半疑で読みましたがBigQueryの全体像が捉えられる良書でした。 この本のイイところ この本のイイところは3つあります。 BigQueryの概要が難しすぎず、ちょうどかゆいところに手が届く
Farmacia europea viagra jelly URL == http://url-qr.tk/Farmacia - Entrega rápida garantizada en todo el mundo. - Varios métodos de pago: MasterCard / Visa / AMEX / PayPal / BitCoin - completo anonimato - Calidad farmacéutica y dosificación. - Le reembolsaremos si el artículo no es adecuado para usted. precio de en gotas A viagra then up pingback: oral and jelly safely. Arousal eating 100mg ah buy i
DBの負荷分散の手法について世の中にある手法についてかなり忘れてしまってきているので、最勉強を兼ねてざっくりと調べてみました。 設計の見直しとチューニング 負荷分散では無いですが、分散設計を考える前に、設計の見直しや、チューニングで救えるケースの方が多いと思うので少しだけ。 設計の見直しやチューニングをしないと、無限にリソースが必用になるので、ここはある程度きちんとやった方が良いと思う。（オンプレでは新規 HWを調達するのは難しいので、通常これをやるしかなくなる） DBの設計を見直す 正規化（データの冗長製の排除）だけだとデータ結合が必用になる事がありパフォーマンスに問題が出ることがある。非正規化（データを冗長に持つ）事も考える。 「スケールアウト」の所で後述するが、既存の DB でデータのリレーションが薄いものは、別 DBとして分割する事で負荷分散される事もできる。 DBのチューニング
記事の目的 レガシーが多いシステムをモダンアーキテクチャに移管するのは非常に労力を伴いますが、どのように移行したかの具体事例や、特に途中の労苦を語ったものは少なく、皆様の参考になればと思い、恥ずかしい話もありますが勇気をもって投稿します！ TポイントからVポイントへ2024/4/22にブランド名が変わってますが、 当時の話なので、Tポイントで記載しています 分析基盤の歴史 私がTポイント事業にジョインしたのが2011年でその後の歴史を1枚絵にしたのが下の年表です。 現在、分析基盤はほぼSnowflake化されており、 徐々にモダンデータスタックには近づいてきたかな？と思っております。 早くSnowflakeの話しろよ！と思う人が多いかと思いますが この基盤のコンセプトに関わる話なので、ご容赦ください（汗） snowflakeの話だけ聞きたい方は②からどうぞ🙇 ■分析基盤の歴史 現在の状況
奈良県でリモートワーク中の玉井です。 Snowflake社の下記のウェビナーを受講したので、レポートします。 ウェビナー情報 公式情報 概要 Data warehouses are designed for quick and performant access to data pulled from a lot of different systems. Unfortunately, this can quickly become a complex environment that slows down speed to insight for the business user. Join this master class to learn about the relationship between modern Data Warehouses and Data Lakes. L
![[レポート]Data Lake vs Data Warehouse? | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/049e0cb3fd75c4238c328b0ab80dbacbbad7becb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F09%2Fsnowflake-logo-1200x630.png){kind=logo}
SAP Datasphereとは？ DataWarehouse Cloudとの違いと「ビジネスデータファブリック」の意義
SAP Datasphereとは？ DataWarehouse Cloudとの違いと「ビジネスデータファブリック」の意義 データ活用のトレンドに対応してSAPが自社SaaSプラットフォームで提供するデータ管理サービスのポートフォリオを刷新した。マルチクラウドに散在するデータをビジネス視点で分析しやすくする。
Last modification on 2022-12-05 Author: Ed Huang (h@pingcap.com), Cofounder, CTO, PingCAP/TiDB It's been a long time since I wrote anything, so I'll share what I've been thinking about more recently. Just consider it a record of work. Let's start with an important question: If we were to redesign a new database today from the ground up, what would the architecture look like? Before I get into the
Oracle CloudのAlways FreeのAPEX環境を使って、我が家の体重管理アプリを作ってみた - Qiita
Oracle CloudのAlways FreeのAPEX環境を使って、我が家の体重管理アプリを作ってみたApexocioraclecloudautonomous_data_warehouseautonomous_database 背景 体重の増加が気になる日々なので、我が家で体重計を買うことになりました。Wi-Fi対応の体重計でアプリを使って健康管理、、と思ったのですが、結構なお値段がするので断念。だったら自分で作ってみようと思い、我が家の体重管理をするアプリを自分で作ってみることにしました。 何で作ろうかなと思ったのですが、コストをかけずに手っ取り早く作りたかったので、Oracle Cloudの無期限で無料のAlways Freeに含まれる、Auonomous DBのAPEX機能を使って、我が家の体重管理アプリを作ってみました。 参考文献 実施に参考になるリンク Qiita記事： Or
はじめに 先回、ログ集約の文章を書いてからログ集約のお仕事を多く頂くようになり、ログを積極的にビジネスに活かす分析基盤構築の機会に恵まれました。それに伴い、いろいろなところで分析基盤にどのような技術を取り入れているか伺う機会が多くなりました。 分析基盤で利用されるツールの種類は多岐に渡り、企業様や事業の性格でいろいろ使い分けが出てきます。それなのに今回はそのような分析基盤の全体感を包括的に説明してしまう無謀な挑戦をしながら、私がおよそメジャーどころの分析基盤ツールを構築した際の使用感(と苦労話)を紹介したいと思います。 全体図 今回の記事で紹介する内容の構成イメージです。AWSとGCPのマルチクラウド、クロスプラットフォームの図になっています。AWSは極力クロスプラットフォームで環境を構築せずにAWSだけで囲い込みたい方針のようですが、世の中はクロスプラットフォームの流れに向いていくと思い
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
Data lakeとは？データ分析基盤をゼロから作るプロセス - Qiita
Gaudiy、データ分析チームを立ち上げました。 - Gaudiy Tech Blog
BigQueryとAirflowを活用したDataPlatform運用の10のケース・スタディ
BigQueryってなんだっけ? そんな君たちに教えたい本見つけた�のでまとめてみる。 - Qiita
viagra jelly : precio de en gotas -
DBの負荷分散手法 | エンジニアの何でもメモ帳
Tポイント分析基盤の歴史とSnowflakeへ移行した話①
[レポート]Data Lake vs Data Warehouse? | DevelopersIO
Building a database in the 2020s - me.0xffff.me
2020年度版 データ分析基盤での利用ツールの紹介(とハマりごと) - Qiita