全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
テックカンファレンスに参加する理由は「なんとなく」や「ただ楽しいから」で良い - Cloud Penguins
こういう記事があった。 zenn.dev 自分は2019年から2023年までCloudNative Daysという国内最大のクラウドネイティブ技術カンファレンスのCo-chairを務めていたり、今年はPlatform Engineering Kaigi 2024というカンファレンスの代表をしている。最近ではカンファレンスやミートアップをやっていくための一般社団法人クラウドネイティブイノベーターズ協会を立ち上げたり、タダ飯おじさんと対決したりと、コミュニティ作りに対しては思い入れが強いほうだと自負している。 そんななかで目にしたのが冒頭の記事だ。 記事の大意としては「カンファレンスに参加するのであれば、目的意識を持った方が得られるものが多い」という話であり、それ自体は特に否定するものではない。ただし、その説明に使われている理由や、タイトルに使われている「なんとなく」や「ただ楽しいから」という
BASE に入社して半年、開発力があがったんじゃないか？という話 - BASEプロダクトチームブログ
こんにちは。バックエンドエンジニアの髙嶋です。 今回は、私が BASE に転職するに至った動機の一つでもある「開発力をあげたい」ということについて、実際入社してどうだったかを半年が経過した今、あくまでも私個人の経験としてお話しさせていただこうと思います。 結論から言うと「開発力」が向上した実感は確かにあり、 DDD や TDD、あるいはスクラムといったものを使っていこうという機運が開発組織的にもあった ただしやり方がガチガチに決まっているということはなく、チームごとに合った方法を考えていく余白が十分にあった それをするための Be Hopeful（楽観的）で Move Fast（速く動く）かつ Speak Openly（率直）であるという、会社としての風土が自分に合っていた といったことが振り返ってみると挙げられると思っています。 先に結論を言ってしまったので、ここからは少し時間を巻き戻し
設計の考え方とやり方
#asken_dev「設計の考え方とやり方」勉強会 https://asken.connpass.com/event/254709/ ・良い設計は悪い設計より変更が楽で安全である ・ドメインモデル方式のクラス設計 ・イミュータブル方式のテーブル設計 ・設計スキルの身につけかた ・設計のためのモデリング
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
