2024年度 サイバーエージェント新卒社内研修の「データモデリング」の資料公開 | CyberAgent Developers Blog
協業リテールメディアdivでデータエンジニアをしている千葉です。 本日は、先日弊社内で実施をしたAI事業本部 新人研修の一部である「データモデリング」について記載をします。 同じく講師として登壇をした yassun7010 も「データベースの歴史」について、ブログとして公開をしているため、合わせて見ていただけると嬉しいです。 ※今回の記事作成に合わせて一部加筆修正をしています。 基幹系と情報系 今回の研修では、データモデリングを扱うシステムを 基幹系 情報系 に分けて説明をしています。 というのも基幹系と情報系では、そもそもデータの扱われ方やシステムの特性が異なります。 基幹系システムではOLTPと呼ばれる処理システムになっており、オンラインでかつリアルタイムにデータを追加更新します。そのため、重要となってくるのが多くのトランザクション（処理数）を正確にさばくことです。代表例としては銀行の
社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。
【開催報告 ＆ 資料公開 】現場の業務変革を実現するAI・データ活用(鉄道/運輸編・建設/プラント編) | Amazon Web Services
Amazon Web Services ブログ 【開催報告 ＆ 資料公開 】現場の業務変革を実現するAI・データ活用(鉄道/運輸編・建設/プラント編) 本ブログでは2023年9月21日（木）に開催された、「現場の業務変革を実現するAI・データ活用(鉄道/運輸編・建設/プラント編)」のご講演サマリをお届けします。 1. JR九州の「AWS×データ分析」によるDX推進の取り組み 2. 電気設備に対する画像分類モデルの開発と生成AIを活用した異常画像生成の取り組み 3. 「建設デジタルプラットフォーム」によるデジタルデータ活用 4. ファストデジタルツインでちゃぶ台返し～保全の現場から市場を創る、ものづくりを変える～ 5. 現場業務変革を実現するAWSテクノロジー 1. JR九州の「AWS×データ分析」によるDX推進の取り組み 資料ダウンロード 九州旅客鉄道株式会社様 (JR九州様) からは、A
AWSが提唱するゼロETLとは何か？概念と登場の背景の推察 - NRIネットコムBlog
こんにちは、佐々木です。年末に書こうと思って、すっかり忘れていた宿題です。 2022年末のre:InventのキーノートでAWSのCEOであるAdam Selipskyが、『A Zero ETL future』という概念が提唱しました。言わんとすることは解るのですが、これは一体どういう文脈で、なんのためなのだろうと疑問に思う方は多いと思います。そこで、自分なりにデータ分析を取り巻く現状と課題、ゼロETLの概念が出てきた理由をまとめてみます。これは私自身の思考なので、全然違う可能性が高いですので、悪しからず。 データ分析とETLの現状と課題 ゼロETLの話をする前に、データ分析とETLの現状の話をしましょう。データ分析をする際には、必ずデータが必要です。では、そのデータはどこからやってくるのか？単一のシステム内で分析する場合もありますが、多くの場合はいろいろなシステムから必要なデータを集めて
【開催報告】AWSで実践！Analytics Modernization ～第4回 今アツい！分析ソリューション編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～第4回 今アツい！分析ソリューション編～ 2022年11月24日に「AWSで実践！Analytics Modernization ～第4回 今アツい！分析ソリューション編～」を開催しました。今回は、AWSのAnalytics チームより、IT 部門/分析担当者向けに、今日から使える Analytics ソリューションをデモと共にご紹介いたしました。本ブログでは当日の各発表内容を紹介いたします。 OpenSearch で始めるモダンなログ分析とオブザーバビリティ アマゾンウェブサービスジャパン合同会社 シニア事業開発マネージャー 甲谷 優 資料ダウンロード 本セッションでは、検索エンジンである OpenSearch と、マネージドサービスである Amazon OpenS
データ分析の勉強方法を聞いてみた。 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
大塚「こんにちは、テクニカルトレーナーの大塚です。よろしくお願いします。」 下佐粉「こんにちは、アナリティクス スペシャリスト ソリューションアーキテクト の下佐粉です。よろしくお願いします。」 大塚「データ活用が広がる中で アナリティクス スペシャリスト ソリューションアーキテクトとして、そして週刊 AWS の発信と活躍されている下佐粉さんですが、下佐粉さんのこれまでのキャリアに関して聞かせていただけますか ?」 下佐粉「SIer でネットワーク系機器やモデムを制御するプログラムを書くプログラマーとしてキャリアをスタートしました。そこでお世話になったおかげで、TCP/IP やUNIX/Linux、C/C++ のスキルを身につけました。」 大塚「元々データベースではなかったんですね。」 下佐粉「はい。データベースはたまたまで、管理アプリケーションを作らなくてはいけなくなり、フロントエンド
DevelopersIO 2022 データ活用に注力できるデータ基盤「クラスメソッドのModern Data Stack」について紹介しました #devio2022 | DevelopersIO
さがらです。 DevelopersIO 2022 〜技術で心を揺さぶる3日間〜の2日目、2022年7月27日に「データ活用」に注力できるデータ基盤を構築しませんか？～クラスメソッドのModern Data Stackのご紹介～というタイトルで登壇しました。 本ブログではこの登壇内容について、まとめたいと思います。 登壇概要 概要 昨今ビジネスの環境が目まぐるしく変わる中、「これまでの経験」や「前例踏襲」のビジネスのやり方では対応できなくなってきているケースが多くなり、データを活用して、データに基づいた意思決定を行おうとする組織が増えていると思います。 一方で、データを活用するためには「データ基盤」が必要となるのですが、このデータ基盤の構築に苦労し、本来すべきデータ活用に注力できていない組織も多いのではないでしょうか。クラスメソッドでは複数のSaaSを組み合わせて簡単にデータ基盤を構築する「
データ分析のためのAWS Well-Architected -Data Analytics Lens- のご紹介 #devio2022 | DevelopersIO
弊社主催の技術イベント DevelopersIO 2022 のアーカイブ動画セッションに登壇しました。 データ分析のためのAWS Well-Architected 「Data Analytics Lens」 について日本語の情報があまりなかったので、自分用に調べたものをアウトプットしました。 セッション資料 セッション動画 80分と長いので1.5倍速くらいで視聴いただくことをオススメします...。 さいごに データ分析の処理部分におけるAWSサービスについての知識はある程度持っていましたが、データ分析基盤全体として考えたときに、どういったことを考慮していくべきか、という点についてあらためて理解を深める良いキッカケになりました。
サーバーレスパターンから学ぶデータ分析基盤構築 #devio2022 | DevelopersIO
データアナリティクス事業本部の笠原です。 Developers.IO 2022 〜技術で心を揺さぶる3日間〜 にて 「サーバーレスパターンから学ぶデータ分析基盤構築」というテーマでお話ししましたので、内容を簡単にご紹介します。 セッション動画 セッションスライド 内容 AWSが公開している「サーバーレスパターン」の中から、データ分析に使えるパターンをいくつか取り上げて紹介し、実際の構築例を交えながら簡単に紹介しています。 また、Step Functionsを用いたサーバーレスデータ分析処理について、実際に構築した際にハマったポイントを紹介しています。 サーバーレスパターン AWSが「サーバーレスパターン」として、公開しています。 ユースケース別に16パターンが公開されていますので、やりたいことベースでパターンを組み合わせて利用することができます。 今回は、サーバーレスパターンの中から、デー
GitHubで管理されたデータマート構築基盤の紹介 - ZOZO Technologies TECH BLOG
こんにちは。バックエンドエンジニアの田島(@katsuyan121)です。 弊社ではデータマートをBigQuery上に構築しています。データマートはデータベース全体のデータのうち、必要なデータだけを使いやすい形にしたデータベースです。データマート作成のためのSQLクエリは日々更新や追加があり、BigQueryのコンソールから自由にデータマートを作ってしまうと管理が大変になってしまいます。 そこで、データマートをすべてGitHub上でバージョン管理し、運用の効率化をしました。また、差分更新の導入や依存関係のあるデータマートへの対応などのデータマート構築に必要な機能を作成しました。 弊社のデータ基盤をざっくり紹介します。まずデータはBigQueryへ集約し、Digdagを用いてデータ基盤を構築しています。以下がその概要図です。S3などの分散ストレージや各種DBからデータをBigQueryへ同期
[動画公開] ログ分析に最適なツールカテゴリー選手権 〜カテゴリ別代表選手の紹介〜 #devio2021 | DevelopersIO
先月（2021/10/05〜）開催しましたオンラインイベント「DevelopersIO 2021 Decade」、多数のご参加頂きありがとうございました。 10/5（火）開幕！DevelopersIOをギュッと凝縮したオンラインカンファレンス「DevelopersIO 2021 Decade」のご紹介 | DevelopersIO こちらの Day 1（10/07）に公開しました VOD セッションの資料を公開します。 資料 ログ分析に最適なツールカテゴリー選手権 〜カテゴリ別代表選手の紹介〜 #devio2021 - Speaker Deck セッションでいいたかったこと 仕事がら、よくお客様から「ログ分析ツールっていろいろあるけど、どう違うのさ」「AWS にデータ分析ツールあるけど、あれじゃダメなの？」といった御質問を頂きます。それらに対してフランクにお答えした内容となっています。 3
![[動画公開] ログ分析に最適なツールカテゴリー選手権 〜カテゴリ別代表選手の紹介〜 #devio2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6f6693da59e62688786397e8fd2512e23984d95a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F10%2F202111-log-analysis-tool-competition-devio2021-eyecatch.png)
新卒データサイエンティスト研修「DSOps研修」とは何か? | CyberAgent Developers Blog
1. DSOps研修のイントロ はじめまして，AI事業本部 Dynalystでデータサイエンティストをしている金子です． 最近Twitter上などで，「データサイエンティストとはなんなのか」，「データサイエンティストとはかくあるべき」といった議論を見かけます．最近でも以下のようなBlogや記事で「泥臭い現場で働く実務者としてのデータサイエンティスト」とはどのあるべきか，というような話題が触れられ，twitterなどを中心に話題になっていました． https://qiita.com/He110w0r1d/items/054f988e9a9b01c46572 AI事業本部では，3年ほど前からビジネスへの貢献や課題解決を，「実務者としてのデータサイエンティスト」の大まかな役割として設定し，さまざまな活動を行ってきました．今回の記事では，その中の中心的な活動の１つであるDSOps研修という新卒DS
リテラシーレベルeラーニング教材・講義動画配信 | 数理・データサイエンス・AI教育強化拠点コンソーシアム
リテラシーレベルモデルカリキュラム対応教材 利用条件とアンケート 東京大学と記載のあるスライド教材の利用についてはこちら（一部スライドは冒頭の利用条件をご参照ください）。 東京大学と記載のある講義動画の利用条件は、各動画の冒頭をご参照ください。 滋賀大学と記載のある教材の利用条件はCC BY-NC-SAです。 九州大学と記載のある教材の利用条件はCC BYです。 筑波大学と記載のある教材の利用条件についてはこちら 北海道医療大学と記載のある教材の利用条件はCC BYです。 東京都市大学と記載のある教材の利用条件についてはこちら 教材のアンケートはこちら モデルカリキュラムと対応する講義動画・スライド 1. 社会におけるデータ・AI利活用 2. データリテラシー 3. データ・AI利活用における留意事項 4. オプション 1. 社会におけるデータ・AI利活用 1-1. 社会で起きている変化
エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
GUIによるデータの加工処理（データプレパレーション）とデータの連携について - NRIネットコムBlog
こんにちは佐々木です。 それでも続くデータ分析基盤の設計シリーズの第六弾です。前回に引き続き、データ加工をテーマにします。今回は、GUIによるデータ加工処理についてです。将来的には、GUIが活躍する領域がもっと広がってくると予想していますが、その選定についての個人的な課題感についてです。なお、論理的にどういうパターンがあるかを整理しているだけで、具体的な製品についての紹介や言及はしません。 データプレパレーションについて データプレパレーション（Data Preparation ）とは、データ分析に先立って元データをクレンジングしたり分析しやすいように加工するプロセスです。いわゆる前処理にあたります。Preparationは直訳すると準備なので、データの準備ということですね。やっている事自体は、ETLそのものなのですが、データプレパレーション製品を提供する会社によると、ETLとは違うものと
データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構
システム企画担当者のためのデータ分析システム超入門
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
"壊れにくい"データ基盤を構築するためにMackerelチームで実践していること - Hatena Developer Blog
こんにちは。MackerelチームにおいてCRE（Customer Reliability Engineer）をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 今回は、壊れにくいデータ基盤を構築するため、Mackerelチームで実践していることを紹介します。 なぜ壊れにくいデータ基盤を構築するのか データ基盤が“壊れている”とはどういうことか 壊れてないだけでなく、壊れたら気付ける 前提とするシステム構成 壊れたことに気付けるよう監視する 1. バッチジョブが失敗したことに気付く 2. 投入されたデータの性質を監視する 3. ビューが壊れてないかを監視する 4. 利用状況を監視する そもそも壊れてない状態を保つ 1. データリネージを元に修正できるようにする 2. 使われていないテーブルやビューは定期的に掃除 おわりに 参
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ基盤をオンプレ＋AWSに刷新！ 技術選定とプロジェクト進行のポイントをマイナビの事例に学ぶ
