はてなブックマーク

はじめに 普段は分析基盤／データ活用のクライアントワークに従事している私ですが、2023年11月～2024年2月にかけて、自社のマーケティング本部のデータ整備の支援をしました。 当時の責任者であるブライアンさんが入社後に、ツール選定を含め土台を整備してきていましたが（非常によくできていて私もとても勉強になりました）、手が回っていないところも多く、その部分を補完するような動きをしていました。 以前、「1年前の自分が読みたかった、データエンジニアリング入門」という記事で分析基盤の構築に関しては入門記事をまとめましたが、業務システムが関わる領域では違う考え方をすることも多くあります。 そこで、本記事では弊社株式会社primeNumber（pN）での業務システム／運用設計を事例に、Opsの領域におけるポイントをまとめてみようと思います。なお、3か月の取り組みのなかで整理してきた知見に限られているの

はじめに 以前に書いたデータエンジニアリングの入門記事「1年前の自分が読みたかった、データエンジニアリング入門」で、データ抽出ではAPIが重要な役割を果たすとともに、その管理は大変であるということを取り上げました。 具体的な内容として、一部は「trocco®でMarketoのリードデータを安全に全量転送する方法」の記事で整理しましたが、APIによるデータ抽出という観点からもう少し詳細に取り上げてみようと思います。 細かい具体の操作は何となくでいいので、大枠の処理を理解するのに参考にしてみてください。なお、事例としては引き続きMarketoのBulk Extract APIを取り上げますが、もちろんサービスによってAPIの仕様は異なるため、あくまで一事例でしかないということはご認識ください。 特に、直近でTableauのGraphQL（APIの一種）を触ってみましたが、REST（同じくAPI

はじめに 本記事は、trocco® Advent Calendar 2023 シリーズ2の16日目の記事になります。 本記事では、trocco®のデータマート定義（DWH内のデータを加工してDHW内に新たなテーブルを作成する機能）で利用するSQLについて、私がおすすめする初心者からの学習法を取り上げます。ユーザーの方はもちろん、これからSQLを学んでいきたい方に参考にしていただけると嬉しいです。 なお、データエンジニアリングの全体像を取り上げた前の記事 はかなり骨太な記事になっていますが、SQLについては定評のある書籍等も多くありますので、それらの紹介をベースにしつつ、初心者が抑えておくとよいTipsをBigQueryを例に取り上げています。 こんな方におすすめ trocco®のデータマート定義をより使っていきたいが、SQLを書く自信がない これまではExcelやBIでデータを取り扱ってい

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 本記事は、trocco® Advent Calendar 2023の9日目の記事になります。 trocco®だけを取り上げるわけではありませんが、この内容をおさえておくとその価値や使い方が理解しやすいと思いますし、もちろんユーザー以外でもデータエンジニアリング入門として読んでいただければと思います。 さて、私は今年の2月にtrocco®を提供する株式会社primeNumberに転職し、現在はtrocco®を利用したデータパイプライン／BIツールによるダッシュボード構築などを行っています。 前職は広告代理店でTableauを使っ

はじめに SlackでBotの開発をしようとしていると、どうにもめんどくさいことがありますよね。それは何かというと、Botの投稿を簡単に削除できないということです。Botの開発はテスト投稿をしながら進めていきますが、残っていて欲しい投稿と、消してしまいたい投稿が混ざっていって、とはいえ不要なものを削除しようとすると地味に労力がかかるという・・・。 そんな思いをしているあなたに、大変便利なものを作成しました。それが今回紹介する、Google Apps ScriptのWebアプリを活用した、Botの投稿削除フォームです。SlackのBot開発を進めているあなたの右腕として、ぜひ活用してみてください。 こんな方におすすめ SlackのBot開発をしているが、テスト投稿を削除したくてたまらない Google Apps ScriptでWebアプリを作ってみたい 投稿削除フォームでできること 投稿フォ

はじめに 前回の記事では、Podcast配信の仕組みを踏まえて、各エピソードの音声ファイルのURLを取得し、Whisperで文字起こしするところまでを書きました。このとき、文字起こしはできたものの、なぜか句読点が入らないという問題がありました。 そこで今回は、句読点のない文章に句読点を入れる方法を取り上げます。先にお伝えしておきますが、私はこの領域には知見が浅く、「句読点の無い文章に句読点を挿入する（BERTによる予測）」の記事を大いに参考にさせていただきました。 こんな方におすすめ 文字起こしをしたものの句読点が入らず困っている あまり詳しくないもののとりあえずBERTを動かしてみたい 句読点付与の成果 先にどのような結果となったのかをお見せしましょう。正直精度が微妙なのですが、その点に関する考察は後述します。 【入力文章】 始めるを応援するポッドキャスト スタートFMおはようございます

はじめに せっかくダッシュボードを作ったものの見に行くのが面倒で、だんだん使わなくなるというのは意外とよくあることです。これを防ぐための一つの施策として、ダッシュボード化している情報の一部をコミュニケーションツールに流し込むというのがあります。データの方にいくのが面倒なのであれば、データに来てもらえばよいのです。 今回は、そのための方法として、 ①BigQueryにクエリを叩いてSlackに投稿する（前回の記事） ②Looker StudioのダッシュボードキャプチャをSlackに投稿する（今回の記事） の2種類を2回に分けて説明します。 これができると、 シンプルなKPIの把握や、リンクに飛んで詳しく見たいものの導線設計はそれがしやすい①で パッと全体像を把握したいものは視覚的に理解しやすい②で 情報を取得できるので、簡易に状況を理解しつつ、より深く調べたければダッシュボード等に移動する

はじめに せっかくダッシュボードを作ったものの見に行くのが面倒で、だんだん使わなくなるというのは意外とよくあることです。これを防ぐための一つの施策として、ダッシュボード化している情報の一部をコミュニケーションツールに流し込むというのがあります。データの方にいくのが面倒なのであれば、データに来てもらえばよいのです。 今回は、そのための方法として、 ①BigQueryにクエリを叩いてSlackに投稿する（今回の記事） ②Looker StudioのダッシュボードキャプチャをSlackに投稿する（次回の記事） の2種類を2回に分けて説明します。 これができると、 シンプルなKPIの把握や、リンクに飛んで詳しく見たいものの導線設計はそれがしやすい①で パッと全体像を把握したいものは視覚的に理解しやすい②で 情報を取得できるので、簡易に状況を理解しつつ、より深く調べたければダッシュボード等に移動する

はじめに データ統合自動化SaaSのtrocco®では、システム／サービス間でのデータの転送やDWH内でのデータマートの作成、そしてそれらを依存関係を含めてまとめたワークフローの実行ができます。これらの処理はスケジュール設定することで、毎時／毎日／毎週／毎月のように決まった時間に実行できます。 とはいえ、ときにはファイルを格納したら転送処理やワークフローが実施されるという、イベント駆動の処理もできるようであって欲しいですよね。実は、それを実現する機能として、外部からジョブを開始させるためのAPIがあります。 今回は、このtrocco APIをGoogle Apps Scriptで叩いて、イベント駆動にするための方法を検討してみます。 こんな方におすすめ trocco APIについて詳しく知りたい 特別なサービスを使うのではなく、Google Apps Scriptで簡易な形に留めておきたい

はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っていることで、PoC的に運用を進めていくには非常に便利なものになっています。私もデータ活用の取り組みを小さく始めていくにあたっては、大変重宝しています。 とはいえ、無料のツールである以上、細かい調整はなかなかききにくいのも事実です。今回は、後回しにするとどうしようもなくなる（かもしれない）、Looker Studioの権限についてまとめておきます。 （追記：これらの難しい部分を補完するサービスとしてLooker Studio Proという有償版のサービスも提供されています。） こんな方におすすめ 組織的な／組織をまたいだダッシュボード構築を進めようとしている方 Looker Studioの利用経験が浅く、先に重要な設定を理解しておきたい方

はじめに 7月8日に「【合格体験記】DB初心者が2か月でSnowPro Coreに合格した」という記事を投稿しました。嬉しいことに、そのPVが想像以上に爆増していたので、詳細について書いてみようと思います。 実際のPVの数値は以下の通りです。 なんという爆増具合でしょう・・・！ なぜ、日次の数値があるのか？ そうです、実はこの記事にはちょっとした背景があります。私が所属している株式会社primeNumberでは、trocco®というデータ統合自動化SaaSを運営しているのですが、自分ではまだ触ったことがなかった転送元HTTP (S)のコネクタを使ってみたいと考えていました。そんなときに少し調べてみると、 じゃないですか！ そこで、初めての記事を投稿してすぐに、Qiitaの数値を取得するパイプラインを遊びで組んでみたところ、早速面白いことが起きてしまったのです。 ということで、以下でtroc

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 先日DB初心者（DWHですらない）から、2か月の勉強でSnowPro Coreを取得しました。 勉強にあたりやってよかったことなどをまとめておきます。資格取得記事は最近無限に生産されているので、あまり他では言及がなさそうなことを中心にしようと思います。 こんな方におすすめ SnowPro Coreに興味はあるが、実務経験がない データエンジニアリングを学んでみたいが、どこから手をつけるといいかわからない 簡単なバックグラウンドと経緯 Tableauによるクロス集計中心のデータ分析職（他業務も兼務）から、2023年2月にデータ分