はじめに こんにちは！今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題と、チームがどうやってその課題を解決してきたか*1について紹介します。 基盤の構成 各種データソースからログを収集し BigQuery に投入する部分が本記事のスコープとなります。 過去の基盤は Amazon EKS 上で Digdag+Embulk を使用していました。 現在の基盤は Amazon ECS 上で Luigi を使用しています。 過去のデータ基盤 新しいデータ基盤 *2 課題 データの量 過去のデータ基盤には処理データ量に比例して処理

データの収集・分析・連携ができるCDP（カスタマーデータプラットフォーム）を手掛けるTreasure Dataは、グローバルでも急成長中の注目SaaS企業。2018年にはArm社へイグジットしましたが、その後、今年になって創業者たちが「出戻り」の形で経営陣につき、さらなる飛躍を目指すというニュースは、業界に驚きをもたらしました。 今でこそCDPとして名高いTreasure Dataも、実はARR 30億円の段階でピボットし、現在の姿へと変わった経緯がありました。その背景にあったストーリー、ピボット後にARR 100億円を突破するため必要だったこと、そしてカムバックの理由まで、共同創業者でCEOを務める太田一樹さんに伺います。 聞き手は、ALL STAR SAAS FUNDマネージング・パートナーの前田ヒロです。 3年でARR10億、しかしテックジャイアントの参戦で…──早速ですが、ARR3

Advent Calendar day 7 担当の vvakame です。 予告では Apollo Federation Gateway Node.js実装についてポイント解説 としていましたが、社内各所のご協力によりAdvent Calendarの私の担当日に間に合う形で公開できる運びとなりました。そのため告知とは異なりますが GitHub上のsensitive data削除の手順と道のり をお届けしていきたいと思います。 メルペイVPoE hidekによるday 1の記事で振り返りがあったように、今年、弊社ではCodecovのBash Uploaderに係る情報流出という事案が発生しました。当該インシデント対応において、プレスリリースにも記載のある通り、ソースコード上に混入してしまった認証情報や一部個人情報などの機密性の高い情報（sensitive data）について調査を実施し、対応

小林”mimi”泉美が日本のシーンから姿を消して30年以上が経つ。10代の頃からプロ活動を開始し、20歳だった1977年にレコード・デビュー。当時率いたフライング・ミミ・バンドには渡嘉敷祐一（Dr）、渡辺モリオ（B）、清水靖晃（Sax）、土方隆行（G）と、後にスタジオ・ミュージシャンとして活躍する若き才能が揃っていた。 自身のリーダー作はもちろん、ザ・スクェアやパラシュート、高中正義バンドといったテクニカルなフュージョン・バンドのメンバーとして、キーボード・プレイヤーとしてライヴのバッキング／スタジオでのセッション／作曲／アレンジ／プロデュース／CM…果てはオーケストラのスコアまでを手掛けてしまう小林泉美の才能は、男性のミュージシャンを含めてもほとんど例がないほどマルチなもので、今で言えば菅野よう子に近いポジションかもしれない。1980年代に入るとその忙しさはピークに達する。小林がシーンか

技術雑誌の電子復刻プロジェクトを運営するイースト株式会社は、1969年から2001年に共立出版から刊行された月刊コンピュータサイエンス誌「bit」全386巻を電子復刻し、Amazon kindleでの販売を開始したことを発表しました。 bitの電子復刻は以前に完了しており、今回、個人向けの販売が開始されました。同時に1985年から1987年まで12号が刊行された「AIジャーナル」も電子復刻版のAmazon Kindleでの販売が開始されました。 同プロジェクトの「デジタルで絶版をなくし、誰もの手に届く所に置き、後世に伝える」趣旨に沿い、税込み198円と非常に安価。目次リンクも入っているため内容を確認してすぐに目的の記事へジャンプできます。 当社の休刊誌「bit」を全巻電子化する動きアリ！と以前つぶやきましたが、ほぼ整ったようなので、このタイミングでご紹介です。Kindle版のバックナンバー

４ヶ月ほど M1 Mac で実務をやってきて、ちょっと Docker 周りのノウハウが溜まったので整理しました これから M1 Mac を買う人買った人や迷っている人の助けになれば嬉しいです この本は問題切り分けや対応方針の考え方をケース集としてまとめたもので、直接エラーを解決するコマンド集ではありません ご了承ください