サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
雑学
blog.trocco.io
こんにちは、小林寛和(@hiro-koba)です。私はデータエンジニアのための勉強会「Data Engineering Study」の共同主催者や、trocco®︎(トロッコ)のプロダクト責任者をやってます。 データエンジニアの皆さんが普段利用されているDWH/ETL/BIツールに関する最新アップデートや、界隈の最新トピックをまとめて配信しております。 お忙しい方や、サクッと最新情報をキャッチアップしたい方向けに、主要なニュースをピックアップして独自にまとめています。 毎月更新でニュースをお届けしていますので、ニュースの新着メール通知をご希望の方はこちらのフォームよりご登録ください。 Google BigQueryのニュースまとめ ビューのカラムにdescriptionを指定可能に (プレビュー) CREATE VIEW を実行する際にカラムにdescriptionをつけることが可能になり
クラウド型のDWH(データウェアハウス)サービスや、ETLツールの普及によってデータ分析基盤の構築は容易になりました。 また扱いやすいツールの誕生によって、現在では非エンジニアでもデータを分析・活用できるようになりつつあります。 しかしこれらのツールを活用してデータの活用を浸透させるには、データエンジニア主導でデータ分析基盤全体を管理していく、データマネジメントが欠かせません。 データマネジメントは、アメリカのデータエンジニアによって17の領域にカテゴリー化されています。(データマネジメント知識体系ガイド 第二版) そのなかのひとつ、データ分析基盤全体の設計に関わる項目が本記事のテーマ「データアーキテクチャ」です。 本記事ではデータアーキテクチャの構築方法、その際に押さえておきたいポイントを解説します。 データアーキテクチャとは データアーキテクチャとは、データに対するビジネスサイドのニー
はじめに データの高速処理に長けたDWH(データウェアハウス)へと統合、連携したBIツールでデータの可視化を行うというデータ分析基盤の構築にあたってキーワードになるのが「ETL」です。 初めてデータ分析を行うという方はまずはETLについて書かれたこちらをご覧になるとEmbulkについての理解が深まります。 このETLを行うには大きく分けて3つのやり方があり、 各サービスのデータをcsvなどの形式でダウンロードし、転送先のサービスに手動でアップロード 各サービスや各DWHのAPIを利用して自分でETL環境を構築 ETL用のフレームワークやサービスを利用 そのうち、今回はETL用のフレームワークからEmbulkについて解説します。 データ分析基盤の構築を検討している方はぜひご覧ください。 Embulkはトレジャーデータ株式会社が提供するオープンソースのETLツールで、Embulkそのものが各サ
推奨される読者 分析業務までに長いSQLを書かなければならずうんざりしているデータエンジニア 細かいデータ品質のチェック作業で疲れているデータエンジニア SELECT文には抵抗がないが、ステップアップしたいデータアナリスト 組織をハッピーにしたいデータチームのリーダー 以下は、Seattle Data Guyのこちらの記事を、許諾のもとで邦訳したものです。 (Review: Brett Torenvlied of primeNumber, Inc.) 出典 ハーバード大の記事が「データサイエンスこそ21世紀で最もセクシーな職種だ」と押し売りしてから、十数年になる。だから僕らは「データが新たな石油だ」と語ってる場合じゃなくて、ちゃんと維持可能なデータスタックを構築し始める必要がある。 僕が最近、モダンデータスタックにフォーカスした記事を執筆し、この技術が未来にわたって持続可能なシステムを構築
概要 本セミナーは、ビジネスの現場でよく必要とされるROI分析を題材に、データ分析基盤の構築〜ダッシュボードの作成までを、下記5つのステップに沿ってデモも交えながら具体的にご説明します。 STEP 1 ゴールイメージの設定 STEP 2 データソースの洗い出し STEP 3 データの収集(データレイク構築) ※デモ有 STEP 4 データの加工(データウェアハウス構築) ※デモ有 STEP 5 データの可視化(データマート作成、BIツール接続) ※デモ有 応用可能な基本の5ステップのため、顧客分析データや店舗別売上管理データなどを可視化する際にも参考にしていただけます。 データ分析基盤の作るに当たって具体的なHOWを知りたい方 データ分析基盤の構築〜ダッシュボード作成までの流れを知りたい方 データレイク・DWH・データマートの基礎知識をお持ちの方 ※基礎知識については、ゼロからわかるデータ
データを基にした論理的な意思決定をしていくことが、(ビジネスにおいて)非常に大事であることが、近年の共通認識になりました。これからは、クラウドやSaaSにデータを集めてきて解析する、という作業がデータサイエンスやデータエンジニアリングをする上で必要になっていくでしょう。さらにSaaS間のデータ統合も必要となり、これは10年前にはあり得なかった世界観です。 古橋氏:「SaaSのクラウドベースにあるデータをインテグレートしていくためにはEmbulkのプラグインAPIの活用することになります。しかしそのプラグインを書くためには、JavaのAPIが使えなければならないのですが、そうしたプラグインを書ける人は多くありません。 その一方で、『スクリプトなら書けます』『スクリプトとSDKがあってドキュメントがあれば書けます』というSaaSの設定をしてる人たちのほうが、圧倒的に人口は多くなります。そうなる
データ基盤人材への需要が年々増えていることからも、企業のデータ活用はより注目を集めています。しかしゆずたそ氏によると、そこには「そもそもどのような基盤を作ればいいのか分からない」「基盤を作ったのに全然使われない」という2つの落とし穴があるそうです。そこで、実際に使われるデータ基盤の構築について、「使われるデータ基盤」構築の勘所を学ぶことをゴールに「なぜ作るのか(Why)」「どんな要素が必要なのか(What)」「どのように実現するのか(How)」の3つに分けて語られました。 ゆずたそ氏:「まずなぜ作るのか、この答えの1つは『お客様』のためです。特にレコメンドやAI活用が増えていく中でデータを活用すること自体が顧客の価値提供になっていきます。もう1つは『現場で働く人』のためです。しっかりとデータを見ながら現場の改善活動によって、業務が磨かれていきます。そして『経営』のためです。しっかり会社全体
以前 DLG Cross というイベントで「データマネジメントなき経営は、破綻する」という講演を行ったところ、とある企業様から「法人営業部のDX(デジタルトランスフォーメーション)を手伝ってほしい」と相談を受け、業務フローの見直しやデータ整備を支援しています。 営業データはこれまで十分に使えていなかったため、新規のデータ連携になります。同社のソフトウェアエンジニア(A氏)に社内調整を進めていただきました。本番データにいきなりアクセスするのは怖いので、トライアル的に行いましょうという会話になりました。 なお、今回の作業を進めるに当たって、primeNumberのCPOである小林さん(@hiro_koba_jp)とembulk-input-kintone開発者である@giwaさんにサポートいただきました。 kintoneの準備 troccoの画面を開く前に、kintoneでダミーAppを作成し
株式会社スマートエデュケーション様には、2019年7月より分析基盤向けデータ統合サービス「 trocco®」(トロッコ)をご活用いただいております。CTO谷川裕之様に、事業内容から分析基盤の構築とその活用方法についてお話を伺いました。(聞き手:株式会社primeNumber 取締役執行役員CPO 小林寛和)
taskey株式会社の運営するチャット小説アプリ「ピープ(peep)」では、2019年5月よりビッグデータ分析基盤向けデータ統合自動化サービス「 trocco®」(トロッコ)をご活用いただいております。 スタートアップ企業では専任のデータエンジニアがいることは少なく、アプリケーションエンジニアが分析基盤を整備しなければならないシーンがあるかと思います。 今回お話を伺うtaskey株式会社様も「ピープ(peep)」の分析基盤を構築する中で、同じ問題に直面しました。本来アプリ開発に時間を割かなければいけない状況の中、いかに最短時間で目的を達成したかを、CTO 深見将一様とエンジニア 田代創大様にお話を伺いました。(聞き手:株式会社primeNumber 執行役員CPO 小林寛和) 深見様(以下敬称略):taskey株式会社はチャット小説アプリの「ピープ(peep)」を運営をしています。 当社の
このページを最初にブックマークしてみませんか?
『trocco® blog | データ分析基盤のお役立ち情報』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く