タグ

ブックマーク / techblog.cartaholdings.co.jp (7)

  • 役に立たないチャットボット2020 〜あの社内ボットは今……そして slack-wrench〜 - CARTA TECH BLOG

    ※ この記事は VOYAGE GROUP Techlog Advent Calendar 2020 15 日目の記事です。 こんにちは!fluct でインターネット広告配信のお手伝いをしている @jewel_x12 です。今日は社内チャットボットの話を書いていきます。 VOYAGE GROUP は 2014 年から Slack を使用していて、コロナ禍における在宅勤務で重要な役割を果たしています。その社内 Slack ワークスペースでは 2014 年から今日に至るまで jewelpet というボットが元気に動いています。 mint.hateblo.jp あの社内ボットは今…… Slack 使い始めの頃の jewelpet の様子は 機能実装の方針 有用なものを極力作らない かわいいバグは放置する ボットのフレームワーク: Hubot 使用言語: CoffeeScript コード管理とデプロ

    sh19910711
    sh19910711 2022/11/02
    2020 / "機能実装の方針: 有用なものを極力作らない + かわいいバグは放置する / slack-wrench: Slack のテストに便利なパッケージ群で、IBM さんから提供 + Bolt アプリケーションに対する入出力のテストを Jest で書けます"
  • 日々変化するゆるふわフォーマットをBigQueryでおいしく料理する方法。Athenaユーザも必見だよ! - CARTA TECH BLOG

    3行まとめ 背景 データの流れ そのままコピーするだけのLambda 外部テーブルを使おう ゆるふわをゆるふわのまま扱う JSON Linesを1カラムのレコードとして取り込む 定期的に外部テーブルにクエリして結果を保存する まとめ 3行まとめ BigQueryはいいぞ 外部テーブルはすごいぞ Scheduled Queryも便利だぞ こんにちは。ひむ(@himu)です。 株式会社fluctでエンジニアとして働いていたり、ボルダリングしたりガチャを回したり健康で文化的な生活をしています。 fluctはインターネット広告プラットフォームのサービスなどを提供しており、毎日億単位の大量のイベントログが発生しています。 イベントログには、売上の計算に必要なデータから、アプリケーションを改善する上で必要なデータなど、様々なデータが入り混じっており、情報が追加されることも度々あります。 今回は、そんな

    日々変化するゆるふわフォーマットをBigQueryでおいしく料理する方法。Athenaユーザも必見だよ! - CARTA TECH BLOG
    sh19910711
    sh19910711 2022/08/05
    2020: JSON型とかでいい感じになって欲しい / "JSON Linesを1カラムのレコードとして取り込む / CSVフォーマットにはデリミタを指定することができるためデータに入り得ない文字を指定すれば1行1カラムとしてパース"
  • まとまってない文章を晒すのに抵抗があったけど、メモを垂れ流したら仕事がうまく回りだした件について - CARTA TECH BLOG

    Zucks Ad Networkでデータ解析をしています、@yuu_itoです。 気づいたら3月も半ばですね。花粉で目がしょぼしょぼします。 メモを取ることについて書いていきます。 きっかけ 技術調査のために論文を集めGoogle Docsにまとめていた時、 とりあえずまとめた後に共有しますねと連絡したら、 メモはGitHub Issueへのコメントで書いておいたら?というのが始まり。 やってみて気づいたこと まとまっていない状態の文章を晒すことに抵抗があったのですが、やってみると嬉しいことがありました。 1. Issueに気づいた人がコメントをくれる。 弊社ではGitHubSlackを連携してIssueの更新をSlackに通知しています。 取り組んでいること、考えていることを書いていると 「なんかデータの傾向がイメージと違った」→「それ~だからかも」 「計測しているデータ、不要なものも

    まとまってない文章を晒すのに抵抗があったけど、メモを垂れ流したら仕事がうまく回りだした件について - CARTA TECH BLOG
    sh19910711
    sh19910711 2022/03/19
    "経過がわかるようにメモを書き出しておくと良い / そのとき考えていること、疑問に思っていたことなども含めてメモ / 今までの作業の流れをはっきりを振り返ることができ、どの時点で問題があったのか気づく"
  • 大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG

    はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきたいと思います。 同じ境遇の人が「簡単そうだしEmbulk使ってみようかな」となっていただければ幸いです。 目次 目次 背景 Embulk以外にも出てきた案 実際のEmbulkの導入と使い方 1. Embulkのインストールとセットアップ 2. 必要なプラグインのインストール 3. 設定ファイルを書く 実務でcodecommitを使った例 設定ファイルの書き方 4. まずはpreviewで問題なさそうか確認 5. 問題なさそうなのでrunして実行 Embulkの運用上、よくぶつかる課題 1. 重複に気付

    大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG
    sh19910711
    sh19910711 2022/01/23
    "previewは、dry-run機能として使えます + 実際にEmbulkを実行する前にどんなデータが転送されそうかを確認出来ます / 設定ファイルが増えてくると重複が多くなる > liquidテンプレートのinclude機能を使う"
  • Jupyter Notebook でとりあえず Redash へクエリを投げておけばデータソースはなんでも良い状態にする - CARTA TECH BLOG

    こんにちはこんにちは!株式会社 fluct で Web 広告配信のお手伝いをしている @jewel_x12 です! 記事は Redash が便利という内容です。 Redash とは redash.io Redash とは Web ブラウザから様々なデータソースに対するクエリを投げて、結果を可視化する OSS になります。 Redash には便利な機能がいくつか機能があるのですが、数点挙げると 様々なデータソースへの対応 クエリの定期実行とアラーティング Slack などへの投稿 クエリ結果のキャッシュ Google OAuth などいくつかの認証サービスでユーザー管理ができる あたりです。 弊社では Redash が広く導入されており、エンジニアなどの職種に関わらず利用者がいます。BigQuery のクエリへ Quota をかけられたり、機微な情報のあるテーブルへアクセス制限できるところ

    Jupyter Notebook でとりあえず Redash へクエリを投げておけばデータソースはなんでも良い状態にする - CARTA TECH BLOG
  • チーム状態をスムーズに変えて障害対応のコストと精神的負荷を抑える - CARTA TECH BLOG

    こんにちは。 @at_grandpa です。普段はバッチを書いたりメンテナンスをしています。 今回は、先日起きた障害対応の時、チームの状態をスムーズに変えることで対応コストと精神的負荷を抑えられた、ということを書きます。 目次 目次 障害発生 普段の対応 今回の対応 原因究明と現状把握 関係者が会議室に集まる 対応用Slackチャンネルを開設 ペアワークで実対応 落ち着いたら自席&Slackコミュニケーションへ移る 対応完了の確認と報告・チケットまとめ まとめ 障害発生 先日の朝に「レポートの数値がおかしい」という連絡がきて確認したところ、とあることが原因で、バッチの自動実行が約半日行われていないことがわかりました。 普段の対応 普段の対応は以下のような形です。 エラー発生をSlackの全体チャンネルで報告 バッチ系チャンネルにて、考えや現状を垂れ流す わからないことがあれば有識者にメンシ

    チーム状態をスムーズに変えて障害対応のコストと精神的負荷を抑える - CARTA TECH BLOG
  • ビリヤードで論理回路(動画あり) - CARTA TECH BLOG

    この記事はVOYAGE GROUP Advent Canlendar の14日目の記事です。 皆さまこんにちはこんばんは。 コンテンツメディア事業部の 坂 がお送りいたします。 ビリヤード、楽しいですよね。 空間把握能力, 物理的特性の理解, 理想のイメージと身体動作への再現などが試される良質なスポーツだと思います。 そんなわけで(?)、「ビリヤードの物理的特性を活かせば論理回路作れるのでは?」と思いついたので作ってみました。 (最後の方に実際にビリヤード場で撮影した動画もあります!) 基礎知識 この記事では、プレイヤーがキューで撞く(つく)玉を「手球(てだま)」、それ以外の数字が振られた玉を「的球(まとだま)」と呼びます。 手球が的球にスピードを持って接触したとき、的球が進む方向は2つの球の中心を結んだ直線になります。 ↑的球が進む方向は2つの球(たま)の中心を結んだ直線になります(

    ビリヤードで論理回路(動画あり) - CARTA TECH BLOG
  • 1