はじめに データ分析とデータ品質改善に従事してきた筆者が、SQLを用いた分析の基本である「ウィンドウ関数」の使い方とデータ品質の調査改善を行う手法をまとめてみようと思います。 こちらの記事は、SQLの知識向上と振り返りを主題としているので、ABC分析、バスケット分析、RFM分析などの「データ分析の手法」について説明している記事ではありません。(反響やコメントによって別投稿するかもしれません) 背景 SQLはエンジニアの大多数が利用しており、多くの方はWebサービス開発などでデータの登録画面や検索画面を作る際にSQLを利用したり、またはシステムの運用保守で障害の原因調査のためにSQLを利用して原因を特定すると思います。そのため、テーブル結合・サブクエリ・集計関数といったSQL構文は理解されている人が多いと思いますが、分析関数を理解して使っている人となると、ぐっと減ると思います。 私は以前、社
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！
高校の「情報II」でデータサイエンスがしっかり学べる！すごい！ 2020-06-25-1 [Programming][Python][BookReview] データサイエンティストに俺はなる！！ Python 初学者のタツヲです。 いまどきは高校の授業（情報II）でデータサイエンスをやるのですね。 文部科学省から教員用の資料が公開されてるのを知りました。 「情報II」を取った高校生がどんなことを学んでいるのかを知るために、さっそく調査です！ 高等学校情報科「情報Ⅱ」教員研修用教材(本編)：文部科学省 第3章がデータサイエンスの話題ですので、そこを読みました。 で、読んでみた感想ですが、内容が本格的すぎて震える。 大学のデータサイエンス演習のテキストじゃないのかよ、これ。 流し読みでは一部ついていけないところも（真面目に読む必要あり）。 高校生のうちからこの辺をマスターできれば将来安泰でしょ
マーケティング担当者にとって、より多くの新規顧客を開拓し、既存顧客のエンゲージメントを高めることが何よりも重要となります。 データを使うとより効率的に、顧客セグメントを発見しそれぞれの顧客に合ったプロモーションを行ったり、自社サービスを購入される可能性の高い見込み顧客に的を絞った効果的なマーケティング活動を実行していくことができるようになります。 しかし、いざデータを活用し始めようとすると困るのが、そもそもどういった分析手法を使えば良いのかわからないということです。 そこで、マーケティング担当者が使いこなせるようになるべき5つの分析手法を、どのようなシーンで利用できるかという例を使って紹介します。 5つの分析手法 今回は、以下の5つの分析手法と、それぞれのアナリティクスがどのような目的で利用できるのかを紹介します。 1. 相関分析: 自社にとっての最適な顧客層を見つける 「相関」とは、2つ
[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました | DevelopersIO
[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました データアナリティクス事業本部 サービスソリューション部 サービス開発部のしんやです。 去る2022年03月11日(金)、『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』と第して、プレミアアンチエイジング様に御登壇頂く形でクラウドを活用したデータドリブンな組織づくりについて事例発表頂くセミナーを開催致しました。 【3/11（金）】事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術 | DevelopersIO このセミナーでは、プレミアアンチエイジング様によるDWH導入事例、及び導入に際して選定頂く形となった、クラスメソッドが提供するAWSなどのクラウドDWHを活用したデータ統合基盤サービス「カスタマーストーリーアナリティ
![[レポート]『事例に学ぶ、データ統合を効率化してデータドリブンな組織を作るためのAWS活用術』を開催しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6de29832fb74d83eba15b9c8e4a666207f74d12b/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F02%2F220311_csa_webinar.png)
Exploratoryとはまさにデータを”Explore”（探索）する分析ツールです。Exploratoryはいわゆる「BIツール」には属さないものの、その直感的でストレートなインターフェース（画面）が組織でのデータ活用にインパクトを与えてくれるため、当社でもExploratoryを使用してコンサルティング/支援をしています。Exploratoryは明朗なクレジットカード払いで、その点で主要なBIツールよりも導入しやすく、R言語（統計解析向けのプログラミング言語）を基盤としていることから統計領域・アナリティクス分野に力点を置いたコンサルティング業務の生産性を上げられています。 そこでこの記事では、Exploratoryとは何なのか、Excelでは実現出来ないのか、Tableauとはどういった点で違うのかなど網羅的にExploratoryを解説します。 1.Exploratoryとは？Exp
SQLではじめるデータ分析
クラウドの普及とともに、SQLの利用範囲は拡大し、データサイエンティストもデータベースを直接扱う機会が増えています。本書は、データ分析に関わるSQLのテクニックを学び、分析プロセスにおいてSQLを最大限に活用するためのものです。時系列解析などでは、SQLが日付・時刻の比較や処理に長けており、威力を発揮できる最たるものです。本書ではデータの前処理から始め、時系列解析、コホート分析、テキスト分析、異常検知など、SQLの操作を通じて高度なテクニックまで学ぶことができる構成になっています。サンプルコードはGitHubからダウンロード可能で、実際に手を動かしながら学ぶことができます。 はじめに 1章 SQLによる分析 1.1 データ分析とは 1.2 なぜSQLなのか 1.2.1 SQLとは 1.2.2 SQLの利点 1.2.3 SQL vs. R/Python 1.2.4 データ分析ワークフローの一
小売にはびこる「悪しき先入観や現場主義」をぶっ壊せ！ データドリブンなグッデイ三代目社長は、何と戦ってきたのか：長谷川秀樹の「IT酒場放浪記」（1/4 ページ） メルカリのCIOを退任し、「プロフェッショナルCDOの道を切りひらく！」と宣言した長谷川秀樹氏が、酒を酌み交わしながら語り合う本対談。今回は、何を食べてもおいしい博多にやってまいりました。 ゲストは、北部九州・山口を中心にホームセンター65店舗を運営する「グッデイ」の三代目社長 柳瀬隆志さん。独学で統計分析ツールのRや、プログラミング言語のPythonを習得し、社員とともにデータドリブンな経営を目指しています。 POSデータは「過去は分かる」が、「未来は教えてくれない」――。そんな小売業の定説に、「せやろな」と同調していた東急ハンズ時代の長谷川氏にとって、柳瀬氏との出会いは衝撃的だったようで…… データドリブンな三代目社長はこうし
安定した企業に勤めていても、毎日通勤で満員電車に揺られ、常に上司の管理下に置かれ、少なからずストレスを感じているエンジニアの方もいるかもしれません。Pythonを武器に週の数日でもリモートワークで勤務できたら、働きやすさも変わってくるのではないでしょうか。今回は悩めるPythonエンジニアのために、リモートワークの市場や報酬相場、案件の獲得方法について解説します。 Pythonのリモートワークの需要 リモートワークでPythonの案件をするために、まず市場を把握しましょう。Pythonは、ディープラーニングやAI（人工知能）などの分野で世界中のエンジニアから支持を得ています。Pythonは、リモートワークの案件でどの程度の需要があるのでしょうか。 リモートワークができない案件について セキュリティ・開発環境の制約といった理由でリモートワークが認められにくいのは、「客先常駐型」の案件です。情
【検証】果たしていくら稼げたか？？金額公開！レシート買取り「ONE」と「レシーカ」を1年やってみた - 日刊 おっさんの人生これから大逆転だぜえ！（日本史＋史跡＋旅情報）
買い物でもらうレシート。 今まで、ゴミ箱に直行していた単なる紙屑のレシートを 撮影するだけでキャッシュバックするアプリがあるので 「本当に儲かるのか」、さらに「どれくらいもうかるのかやってみよう！」ということで、ONEとレシーカの2つを1年間やってみました。 レシートを撮影して、ポイントやお金を貯めるアプリは色々ありますが、 商品指定などの制約があるものがあり、それは面倒くさいので、 おっさんは、どんなレシートでも撮影してもOKのラクチン作業の 「ONE」と「レシーカ」の2つを利用しています。 （1年間レシートを撮影して3038円獲得） では1年間レシートを撮影して獲得した金額です。 まず「ONE」が1888円、 「レシーカ」が1150円です。 これはTポイントでもらえます。Tポイントは1ポイント1円として利用できます。 「なーんだ、たったこれだけの金額？？」と思う人もいるかもしれませんが
世界最遅のコンピューター
30年前のパソコン通信は，ピーピーガーガーという音声を介して行われていた。音響カプラという受話器を大きくしたようなスピーカーをパソコンにつなぎ，デジタルデータをわざわざアナログ音に変換して，電話回線で送っていた。速度はわずか毎秒数百から1,000ビット。bit per secondという単位をbpsと記した。通信速度も遅かったが，パソコンのメモリーも32～64キロバイトしかなかった（1バイトは8ビット）。しかも，プログラムをカセットテープから読み込むのに10分ほども待たされた。 現在は光ファイバー通信が数メガバイト毎秒の速度を出し，安価なパソコンですら4ギガバイトのメモリーを搭載する。30年前に比べれば通信速度もメモリー量も10万倍，鉄腕アトム並みの進歩である。また，生活の中でじっと待つという行為も減少した。待たないどころか，LINE（ライン）を扱う子供たちの間では，即座に返事をしないと仲
アンケートの作り方とコツ！作成の流れや回収率をあげるポイントを解説 | 無料のメールフォーム作成ツール「EasyMail(イージーメール) 」
無料で簡単インストール。 オープンソースのメールフォームCMS 「EasyMail(イージーメール)」を使ってみませんか？ 改変でも、再配布でも、商用利用でも、有料販売でも、 自由に無料でつかうことができるメールフォーム！ アンケートとは？ アンケートとは、定めたテーマについて調査することを指します。 調査票とも呼ばれていますね。 アンケートをとることで、世間の本音や傾向を把握できるうえに、アンケートを元に分析もできるので、効果的に使えたらメリットも大きい手法ですね。 とはいえ答えてもらわなければ意味がないので、ただ知りたいことを質問するだけではなく、答えやすい・答えたくなるコツを熟知しながら作ることが大切です。 アンケートには種類がある！種類別に解説 この項目ではアンケートの使用例から各種アンケート方法について解説します。 一言でアンケートといっても、色々な種類のアンケートが存在します。
約2万店舗、年間14億の購買データをどう活用するか？ ──イオングループが進める「買い物体験」DX戦略 - TECH PLAY Magazine
約2万店舗、カード会員数約4613万人、従業員約57万人、売上高も約8兆6039億円と、圧倒的な規模を誇るイオングループ。イオンモールで購買された年間14億件のデータと、全国2万店舗で蓄積された「買い物」や「生活」のデータを活用し、イオンでは「買い物体験」を新しい価値として提供するDXプロジェクトに取り組んでいる。イオングループではこの膨大なデータを活用し、どのようなDXを進めているのか。DXを推進する各部署のトップが登壇し、紹介した。 ■登壇者プロフィール イオン株式会社 執行役副社長 デジタル担当 羽生 有希氏 1991年4月ジャスコ株式会社（現在イオン株式会社）に入社。2013年より北京イオン総経理2014年3月より中国事業最高責任者として小売事業及び中国で発展するリテールテックを最前線でリード。2020年3月よりイオン株式会社 執行役副社長に就任し、デジタル・中国領域を担当。202
アソシエーション分析：複数の事象の関連性を見つけるアソシエーション分析はマーケティングで利用される代表的なデータ分析手法です。ユーザーが商品を購入する際の購入パターンや売買履歴を分析することで、同時購入の比率が多い商品など、一見関連性が薄いと思われている事象に対して関連性を見つけて仮定を立て、マーケティングに活かすことができます。 つまり、アソシエーション分析を活用すれば、「商品Aが売れる時には商品Bが同時に売れるケースが多い」などのルールを見つけることができるということです。こうしたアソシエーション分析の結果は、売れる商品・売れない商品の見極めや、さらに売上を伸ばすための効果的な戦略を推し進める上で役立ちます。 アソシエーション分析の活用方法アソシエーション分析は、小売店や飲食店などの実店舗ビジネスの他にオンラインビジネスでも活用され、事業規模の大きさに関わらず導入することが可能です。
【検証】果たしていくら稼げたか？？レシート買取りONEを1か月やってみた - 日刊 おっさんの人生これから大逆転だぜえ！（日本史＋史跡＋旅情報）
買い物でもらうレシート。 今まで、おっさんは、すぐにレシートは直行ゴミ箱していました。 しかし、ある日友人が「おっさん、レシートがお金になるんだよ」と言うのです。 それはなんだ？？と思って調べたら、レシートを撮影したらお金になるシステムが ありました。 スーパーやコンビニで購入したレシートを撮影するだけで通常1〜10円が キャッシュバックというのです。 本当か？ じゃあ、やってみよう！ ということで、さっそく登録し1か月間やってみました。 （ONEに登録） レシートがお金になるというサイトは、色々ありますが、ネットで調べて一番評判が 良かった「ONE]で検証してみます。 まずはアプリを導入します。 「ONE」のダウンロードはこちら：https://wow.one/app ダウンロード後の登録作業は簡単です。 (実際にレシートを撮影してみる） 撮影するときはまず、この画面にします。 中央にあ
機械学習の代表的なアルゴリズム19選 機械学習をはじめとしたAI技術がさまざまな場面で利用されるようになっており、データサイエンティストは、解析に使用するデータやアルゴリズムを調整して機械学習モデルを作成します。 機械学習を活用するには「教師あり学習」「教師なし学習」といった学習手法を選択し、レコメンド、需要予測、異常検知などの目的に応じてアルゴリズムを使い分ける必要があります。 今回の記事では、データサイエンスやAI開発実務でよく利用される「機械学習アルゴリズム」について特徴や用途などを中心に紹介します。 線形回帰 線形回帰は、統計分析の基本としてよく用いられている理論です。回帰分析では、変数xと相関関係のあるyの値を予測できます。1つの従属変数yと、1つあるいは複数の独立変数xの関係を予測するわけです。比較的単純なモデルである線形回帰は、売上予測や保険会社のリスク評価などのビジネス利用
これまでに自身で翻訳した or 投稿したDatabricks記事をまとめています。随時更新していきます。 Apache Spark徹底入門 2024/4/12に翔泳社よりApache Spark徹底入門を出版しました！ Apache Spark徹底入門を出版しました！ 以下では書籍で触れているサンプルをウォークスルーしています。 Sparkでテキストの行数を数える SparkでM&M'Sを数える Sparkデータフレームのスキーマ定義、エクスプレッションの活用 SparkのUDF、Spark SQL Sparkのデータソース Sparkのテーブル Sparkのユーザー定義関数、高階関数 SparkデータフレームとSpark SQLの一般的なリレーショナルオペレーター Sparkのベクトライズドユーザー定義関数 Sparkにおけるデータキャッシュ SparkによるAirbnbデータセットのク
GAでのIDを利用したレポートについて考えた
こちらは、WEBやデータ分析に関する投稿をみんなでしてみよう Advent Calendar 2020、14日目の記事です。 14日に間にあわず申し訳ありません。 それでは聞いてください、Creepy Nutsで「かつて天才だった俺たちへ」。 正攻法、やり込み、デザイン・機能、どの分野でも猛者がいるので、その全てのレポートとの比較を回避することにすべてを費やした、非常にエキサイティングな会でした。 IDを持つデータを活用する データポータル天下一オンライン武道会はGoogle Analyticsのデモアカウント、Google Merchandise Storeのデータを使い、データポータルでレポートを作る競技です。みんなで同じデータを使うのでフリーザ様をはじめとする猛者のレポートを狡猾にいなすため、切り口をヒットやセッションではないものにしました。ざっくり言うと、IDを利用したレポートです
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
そろそろSQLのウィンドウ関数を理解したい - 連載1/3話 - Qiita
マーケティング担当者なら使えるべき5つの超重要な分析手法 - Qiita
Exploratoryとは？|データ活用にレバレッジをかける革新的なツール
小売にはびこる「悪しき先入観や現場主義」をぶっ壊せ！ データドリブンなグッデイ三代目社長は、何と戦ってきたのか
Pythonエンジニアがリモートワークで働くために必要な基礎知識 | ITエンジニア向けのトレンド情報
蓄積した情報を売上につなげる「データ分析」の代表的な手法10選 | LISKUL
機械学習の代表的なアルゴリズム19選 | AIdrops
Databricks記事のまとめページ(その1) - Qiita