はてなブックマーク

はじめに はじめまして、DMMで電子書籍のデータ分析をしている栃沢と申します。 日々、キャンペーン・クーポンの効果検証、UI改善、ABテスト設計などの仕事をしています。入社当初は「長くて複雑なSQLクエリを書く」ことに苦労しました。（もちろん今もですがw） データ分析の現場では、基本的なSQLの知識だけでは不十分だと感じています。 実務では、複数のテーブルを結合したり、サブクエリやウィンドウ関数を駆使したりと、より高度なSQLのスキルが求められます。しかし、これらを独学で習得するのは容易ではないと思います。 SQLを学べる書籍やオンラインサービスなどあることにはあるのですが、ほとんどがソフトウェアエンジニア向けであり、データアナリストが実際の業務で必要とするSQLを学べる場は少ないと感じています。 こうした背景から、データアナリストやビジネスアナリスト向けに、より実務に直結するSQL学習環

# day_embedding: np.ndarray tsne = TSNE(n_components=2, random_state=42) day_embedding_2d = tsne.fit_transform(day_embedding) plt.figure(figsize=(12, 8)) plt.scatter( day_embedding_2d[:, 0], day_embedding_2d[:, 1], c=np.arange(day_embedding.shape[0]), cmap='viridis' ) plt.colorbar(label='Day Index') plt.title('t-SNE Visualization of Day Embeddings') plt.xlabel('t-SNE Component 1') plt.ylabel('t-SN

はじめに データアナリストとして仕事を始めて3年が経ちました。この3年間で、施策の立案やテストの設計、効果測定といったデータを活用とした施策実行支援のプロセスを数多く経験させていただいた中で、自分がデータアナリストとして気をつけていることをまとめてみました。自分の考えていることをほぼ全て書き起こしたので、少し冗長かもしれません。 想定読者はデータアナリスト1年目と施策立案や企画を行うビジネスマンを想定しています。 また、これは筆者の働くWeb系企業の自社プロダクト改善における話になりますので、予めご了承ください。 まとめ 思いのほか長文になってしまったので、時間のない人向けに先にまとめを書いておきます。 データアナリストは施策設計から積極的に関与すべし。後から効果測定依頼だけもらっても手遅れになることが多い。 施策設計の際には、施策によるKPIリフトが大きくなるように、また効果測定が精度良

はじめに 本記事では、Peter D. Hoff著『A First Course in Bayesian Statistical Methods』（邦訳：「標準ベイズ統計学」）の内容をベースに、ベイズ統計学の基本概念をPythonで実装する方法を紹介します。この連載では、イントロの1章を飛ばし、書籍の2章から始めます。各章で扱う内容を簡潔に解説し、それに対応するPythonコードを提供することで、理論と実践の橋渡しのお手伝いができればと考えています。本記事は、ベイズ統計学に興味がある方、Pythonでデータ分析を行いたい方、そして理論を実践に移したい方々に向けて書いています。ただし、これはあくまで入門的な内容であり、詳細な理論や応用については原著をお読みいただくことをお勧めします。 2章：信念、確率、交換可能性 本章では、ベイズ統計学の基礎となる重要な概念を説明しています。： 合理的な信念

本記事ではFaissやScaNNといったライブラリに実装されているIVF-PQ系の近似近傍探索手法のパラメータチューニングの際に気をつける点を紹介します。pythonのプログラム上で動かすことを想定していて、vertex AI vector searchのようなAPIで行うものは対象外です。ただ、OpenSearchではfaissを近似近傍探索として選ぶことができるため、チューニングの参考になるかもしれません。 はじめに: ANN-Benchmarksの罠 ANNの性能とパフォーマンスの参考になるサイトとして、ANN-Benchmarksというサイトがあります。このサイトでは各近似近傍探索のパフォーマンスが様々なベンチマークにより比較されており、近年ではFaissに実装されているFastScanやTensorFlow recommendersから使えるScaNNといった、高速化されたIVF

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ