はてなブックマーク

はじめに こんにちは、D2Cデータサイエンティストの郷原です。 データ分析を行う際に、aとbとcの平均値を比較してaが一番大きかったけど、これは他の二つと比べて有意な差があると言えるのだろうか？ こんな疑問を持ったことはないでしょうか？ 上記のような疑問を統計的に検証することができるのが分散分析(ANOVA)です。 本記事では、１つの因子による平均値の差を分析する「一元配置分散分析」について、Pythonを使って試してみようと思います。 一元配置分散分析とは 一元配置分散分析（ANOVA, Analysis of Variance）は、複数のグループの平均値を比較し、それらの違いが偶然なのか、それとも統計的に意味があるのかを検証するための手法です。この手法を使えば、「ある要因が結果に影響を与えているかどうか」を分析することができます。 例えば、異なる肥料を使った場合の植物の成長を比較すると

はじめに こんにちは。D2C データエンジニアの飯森です。 最近、AWSにAmazon DataZoneと呼ばれるサービスがプレビュー版で公開されました。 このDataZoneは非エンジニア向けのUI機能が整ったデータカタログとして注目されております。D2Cでは大規模なデータ基盤を運用しており、DataZoneのようなユーザ向け機能が付いたマネージドサービスが公開されないかと期待していた所、今回ちょうどこちらが発表されましたので期待感が高まっております。 この記事では、そのDataZoneについて知見を深めるため個人的に調査した内容を書いていこうと思います。 DataZoneとは? Amazon DataZoneはAWS re:Invent 2022にて初めて発表され、2023年3月29日にプレビュー版が公開されたばかりの出来立てほやほやなサービスになります。 サービス内容について、公式サ

はじめに こんにちは、D2Cのエンジニアの吉田です。 本日は私たちのチームが普段 Web API 開発で実際に利用している Step CI を用いたAPI自動テストの構築例を紹介しようと思います。 Step CI の簡単な使い方や利点をまとめ、CI/CDパイプラインとの統合についてまとめます。 Step CI とは Step CI はオープンソースのAPI自動テストツールです。 言語にとらわれず、YAML形式で簡単にAPIテストを記述することが可能です。 この記事ではRESTベースのAPIテストを紹介しますが、GraphQL、gRPC、tRPC、SOAPといった異なるタイプのAPIテストを1つのワークフローでテストすることができます。 他にもCI/CDに組み込むことも可能で、Github ActionやBitbucket Pipelinesと統合することで継続的に自動テストを実行することが

こんにちは D2CエンジニアのYuki Suzukiです。 2023/11/27～2023/12/1に開催されたAWS re:Invent 2023では今年も様々な新サービスが発表されました。 中でもAmazon Qについては生成系AIサービスとして一番注目を浴びたのではないでしょうか。 Amazon Qとは AWS re:Invent 2023で発表されたAWSの新サービスで、エンタープライズ向けに設計されたAIチャットアシスタントです。 （AWS版のChatGPTと考えるとイメージしやすいです） 今回はAmazon Qのビジネスユーザー向け機能を使い、独自のデータを読み込ませチャットQ&Aアプリケーションを作り実際の動作を確認してみました。 ※開発者向け機能もありますが本稿では触れません。 Amazon Qの特徴 AWS管理コンソールからクリックするだけでAIチャットアシスタントのアプ

はじめに こんにちは、D2Cインフラエンジニアの小川です。 先日、社内分析基盤のリプレイスに伴い、AWS Lake Formation導入を行い多方面でのシステム改善を実現しました。本記事では、Lake Formationを導入をしてよかったことをご紹介したいと思います。 背景 Lake Formationの導入に至る背景として、大きく以下2点がありました。 データの二重管理 分析基盤環境のあるAWSアカウントと、分析対象のデータの格納先のAWSアカウントが、複数アカウントおよび異なるリージョンにまたがっていました。これにより、分析基盤環境のあるAWSアカウントで、データの格納先AWSアカウントからデータの定期移行をする必要があり、この運用方法では以下の課題がありました。 コスト増 データの二重保存料金の発生 AWS間のデータ転送料金の発生 管理者・ユーザー（分析者）の負担 データ転送に時

はじめに こんにちは、D2Cのフロントエンドエンジニアをやっている廣瀬です。 私が担当しているプロジェクトでは、Vite・React・MUIを主に使用しています。 最近、フロントエンド系の技術を調査してみたところ、shadcn/uiというものを見つけました。 今回、このshadcn/uiをViteで試してみましたので、その内容を記事にしたいと思います。 今回の記事では簡単なWebページを作ってみたいと思います。 shadcn/uiとは？ Radix UIとTailwind CSSをベースに開発された、比較的低レイヤーなUIコンポーネントの集まりです。 ここで注意なのが、shadcn/uiはMUIやChakraUIのようなUIライブラリではなく、npmパッケージとしては提供されていません。ですので、依存関係としてインストールすることはできません。 環境の準備 実際に、以下のような手順でsha

0. はじめに こんにちは、株式会社D2Cデータサイエンティストの董です。 D2Cでは、広告配信を効率よく効果よく行うために様々な機械学習モデルを活用しています。 今回の記事では、大規模テキストコーパスを用いた言語モデルの学習にあたり、学習データにある準重複文書の除外テクニックについてご紹介します。 1. 開発環境 AWS EC2 (インスタンスタイプ: r5.8xlarge) Python 3.10系 2. Pythonパッケージ transformers scikit-learn 3. 広告文の準重複問題 テキスト広告では、キャッチコピーや宣伝文を少しだけ修正して複数回配信し、その効果を測定することがよくあります。また、シリーズ商品の説明文を同じテンプレートに従って大量に作成することも一般的です。 それゆえに、広告文を収集してテキストコーパスを作ると、準重複サンプル、つまり完全には重複

はじめに こんにちは、D2Cデータサイエンティストの小林です。 本記事では、Pythonによるハッシュの扱い方とハッシュを用いることで使用するメモリの削減ができるのかを検証します。 ハッシュについては簡単な紹介のみとなりますので、ハッシュについて深く知りたい方は他の記事を参考していただければと思います。 開発環境 検証において以下の環境を使用しました。 AWS EC2 (インスタンスタイプ: r5.2xlarge) Python 3.10系（3.10.9） pandas 1.5.1 memory_profiler 0.61.0 hashlib 3.10系で提供されているモジュール random 3.10系で提供されているモジュール string 3.10系で提供されているモジュール ハッシュとは ハッシュとは、あるデータから特定のアルゴリズムに基づいて不規則な文字列(値)を求めることです。