サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
blog.trocco.io
メタデータとは メタデータとは「データに関するデータ」と定義されています。 「データに関するデータ」というのは表現としてピンとこない方は、データ利活用に必要なデータに関する周辺情報と覚えておけば良いでしょう。 具体的に「データに関するデータ」とは何なのか、まずは、写真のデータを例に挙げ説明します。 写真にはExifという規格に沿った写真の撮影情報データが付加されています。そして、写真というデータに対して、Exifという規格に沿って保持しているデータをメタデータと呼びます。 写真のメタデータであるExif情報はWindowsでもMacでもファイルから確認することができます。 次に、データ基盤で管理されている顧客情報を管理しているテーブルを例に、データに関するメタデータについて説明します。 たとえば以下の画像のようなデータです。メタデータが無い時はリレーショナルデータベース(RDB)の情報その
Google BigQueryのニュースまとめ ビューのカラムにdescriptionを指定可能に (プレビュー) CREATE VIEW を実行する際にカラムにdescriptionをつけることが可能になりました。 詳しくは Data definition language (DDL) statements in GoogleSQL をご参照ください。 インタラクティブクエリ・バッチクエリのタイムアウト時間のデフォルト値が設定可能に(プレビュー) クエリキューを使う際に、インタラクティブクエリ・バッチクエリのタイムアウト時間のデフォルト値を指定することが可能になりました。 詳しくは デフォルト構成を管理する をご確認ください。 YAML 構成ファイルを使用して SQL コードを変換することが可能に(プレビュー) インタラクティブ SQL トランスレータやバッチ SQL 変換を実行する際に
クラウド型のDWH(データウェアハウス)サービスや、ETLツールの普及によってデータ分析基盤の構築は容易になりました。 また扱いやすいツールの誕生によって、現在では非エンジニアでもデータを分析・活用できるようになりつつあります。 しかしこれらのツールを活用してデータの活用を浸透させるには、データエンジニア主導でデータ分析基盤全体を管理していく、データマネジメントが欠かせません。 データマネジメントは、アメリカのデータエンジニアによって17の領域にカテゴリー化されています。(データマネジメント知識体系ガイド 第二版) そのなかのひとつ、データ分析基盤全体の設計に関わる項目が本記事のテーマ「データアーキテクチャ」です。 本記事ではデータアーキテクチャの構築方法、その際に押さえておきたいポイントを解説します。 データアーキテクチャとは データアーキテクチャとは、データに対するビジネスサイドのニー
はじめに データの高速処理に長けたDWH(データウェアハウス)へと統合、連携したBIツールでデータの可視化を行うというデータ分析基盤の構築にあたってキーワードになるのが「ETL」です。 初めてデータ分析を行うという方はまずはETLについて書かれたこちらをご覧になるとEmbulkについての理解が深まります。 このETLを行うには大きく分けて3つのやり方があり、 各サービスのデータをcsvなどの形式でダウンロードし、転送先のサービスに手動でアップロード 各サービスや各DWHのAPIを利用して自分でETL環境を構築 ETL用のフレームワークやサービスを利用 そのうち、今回はETL用のフレームワークからEmbulkについて解説します。 データ分析基盤の構築を検討している方はぜひご覧ください。 Embulkとは? Embulkはトレジャーデータ株式会社が提供するオープンソースのETLツールで、Emb
推奨される読者 分析業務までに長いSQLを書かなければならずうんざりしているデータエンジニア 細かいデータ品質のチェック作業で疲れているデータエンジニア SELECT文には抵抗がないが、ステップアップしたいデータアナリスト 組織をハッピーにしたいデータチームのリーダー 以下は、Seattle Data Guyのこちらの記事を、許諾のもとで邦訳したものです。 (Review: Brett Torenvlied of primeNumber, Inc.) 出典 ハーバード大の記事が「データサイエンスこそ21世紀で最もセクシーな職種だ」と押し売りしてから、十数年になる。だから僕らは「データが新たな石油だ」と語ってる場合じゃなくて、ちゃんと維持可能なデータスタックを構築し始める必要がある。 僕が最近、モダンデータスタックにフォーカスした記事を執筆し、この技術が未来にわたって持続可能なシステムを構築
データ分析基盤の作り方 〜実践編〜 5つのステップで散在するデータを可視化する方法 入門編同日開催!+60分で理解を深めませんか 概要 本セミナーは、ビジネスの現場でよく必要とされるROI分析を題材に、データ分析基盤の構築〜ダッシュボードの作成までを、下記5つのステップに沿ってデモも交えながら具体的にご説明します。 STEP 1 ゴールイメージの設定 STEP 2 データソースの洗い出し STEP 3 データの収集(データレイク構築) ※デモ有 STEP 4 データの加工(データウェアハウス構築) ※デモ有 STEP 5 データの可視化(データマート作成、BIツール接続) ※デモ有 応用可能な基本の5ステップのため、顧客分析データや店舗別売上管理データなどを可視化する際にも参考にしていただけます。 また、今回の「データ分析基盤の作り方 〜実践編〜」は、ゼロからわかるデータ分析基盤〜入門編
データを基にした論理的な意思決定をしていくことが、(ビジネスにおいて)非常に大事であることが、近年の共通認識になりました。これからは、クラウドやSaaSにデータを集めてきて解析する、という作業がデータサイエンスやデータエンジニアリングをする上で必要になっていくでしょう。さらにSaaS間のデータ統合も必要となり、これは10年前にはあり得なかった世界観です。 古橋氏:「SaaSのクラウドベースにあるデータをインテグレートしていくためにはEmbulkのプラグインAPIの活用することになります。しかしそのプラグインを書くためには、JavaのAPIが使えなければならないのですが、そうしたプラグインを書ける人は多くありません。 その一方で、『スクリプトなら書けます』『スクリプトとSDKがあってドキュメントがあれば書けます』というSaaSの設定をしてる人たちのほうが、圧倒的に人口は多くなります。そうなる
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか(Why)」「どんな要素が必要なのか(What)」「どのように実現するのか(How)」の3つに分けて語られました。 ゆずたそ氏:「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
以前 DLG Cross というイベントで「データマネジメントなき経営は、破綻する」という講演を行ったところ、とある企業様から「法人営業部のDX(デジタルトランスフォーメーション)を手伝ってほしい」と相談を受け、業務フローの見直しやデータ整備を支援しています。 営業データはこれまで十分に使えていなかったため、新規のデータ連携になります。同社のソフトウェアエンジニア(A氏)に社内調整を進めていただきました。本番データにいきなりアクセスするのは怖いので、トライアル的に行いましょうという会話になりました。 なお、今回の作業を進めるに当たって、primeNumberのCPOである小林さん(@hiro_koba_jp)とembulk-input-kintone開発者である@giwaさんにサポートいただきました。 kintoneの準備 TROCCOの画面を開く前に、kintoneでダミーAppを作成し
株式会社スマートエデュケーション様には、2019年7月より分析基盤向けデータ統合サービス「 TROCCO®」(トロッコ)をご活用いただいております。CTO谷川裕之様に、事業内容から分析基盤の構築とその活用方法についてお話を伺いました。(聞き手:株式会社primeNumber 取締役執行役員CPO 小林寛和)
taskey株式会社の運営するチャット小説アプリ「ピープ(peep)」では、2019年5月よりビッグデータ分析基盤向けデータ統合自動化サービス「 trocco®」(トロッコ)をご活用いただいております。 スタートアップ企業では専任のデータエンジニアがいることは少なく、アプリケーションエンジニアが分析基盤を整備しなければならないシーンがあるかと思います。 今回お話を伺うtaskey株式会社様も「ピープ(peep)」の分析基盤を構築する中で、同じ問題に直面しました。本来アプリ開発に時間を割かなければいけない状況の中、いかに最短時間で目的を達成したかを、CTO 深見将一様とエンジニア 田代創大様にお話を伺いました。(聞き手:株式会社primeNumber 執行役員CPO 小林寛和) 深見様(以下敬称略):taskey株式会社はチャット小説アプリの「ピープ(peep)」を運営をしています。 当社の
このページを最初にブックマークしてみませんか?
『TROCCO® blog | データ分析基盤のお役立ち情報』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く