KDDI ChatWork
Notice of login page renewal The login page will be renewed on March 22, 2023 (scheduled). Even if you have saved your email address and password in your browser, you may be required to re-enter your email address and password again. Please check the following page for details. 2023/01/25 - [IMPORTANT] A request to confirm your login email address and password prior to the upcoming login page rene
顧客生涯価値(CLV)の計算 with R – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 顧客生涯価値(CLV：Customer Lifetime Value)を計算してくれるRのコード（Calculating Customer Lifetime Value with Recency, Frequency, and Monetary (RFM)）があったので、今更感がありますが取り上げたいと思います。 目次 ・顧客生涯価値の数式 ・データセット ・関数 ・データセットの読み込みと加工 ・再購買率とRFMとの関係 ・再購買率の推定 ・顧客生涯価値の計算 ・参
APIレスであらゆるデータの統合を可能にする Datorama は新時代のマーケティングダッシュボード １（イントロ編） - トレジャーデータ（Treasure Data）ブログ
はじめに 本記事ではトレジャーデータともパートナーシップを持つダッシュボード「Datorama」を紹介していきます。 主に広告業界のマーケティングダッシュボードとして不動の地位を確立しつつある Datoramaは，独自の技術によってあらゆるマーケティングデータを統合することを可能にした，唯一無二のツールです。本記事では Datorama の主要な機能・概念を紹介するとともに，トレジャーデータと連携することによるシナジーについて解説していきます。 Datorama が持つ独自の機能とは？ Datorama は他のダッシュボードに無い独自の機能・概念をもっています。 「Data Streams」であらゆる Web/広告サービス，テキストファイル，データベースベンダーからのデータ収集を一元化 「Total Connect」で API 不要で Twitter や Facebook, Google
統計を学んで今をときめこう！ 〜 統計検定2級でこんなこと出来るよ編 〜 - 無駄と文化
去る11月29日、統計検定の2級を受験してきました。 私は資格試験を受けるとき、業務独占性やブランド感よりも、資格の学習を通じてどれだけの知識を獲得できるかを重視しています。 なので、今回の統計検定についても、統計学の体系立った基礎知識が身についたことをすごく喜んでいます。 で、せっかくなので受験したてのホヤホヤのこの熱意が冷めないうちに、実際に学習してみて分かった統計検定2級を通じて出来るようになる事をリストアップしてみようと思います。 「統計なんて勉強して何になる？」という疑問に対するひとつの解答になれば幸いです。 統計検定ってどんな試験？ まずは試験の概要を、 「統計検定」とは、統計に関する知識や活用力を評価する全国統一試験です。 データに基づいて客観的に判断し、科学的に問題を解決する能力は、仕事や研究をするための21世紀型スキルとして国際社会で広く認められています。 日本統計学会は
Web制作に役立つ！JavaScript厳選プラグインまとめ【グラフ編】 | Web Design Trends
ブラウザ上でグラフを表示するならばJavaScriptやjQueryを使う方法が一般的です。 画像を貼り付けると拡大したら荒くなったり、細かい数値が確認できませんが、JavaScriptを使うとマウスオンした時にデータを表示できたり、とても綺麗にグラフを表示することができます。 グラフを表示するプラグインは山ほどありますが、今回はその中から厳選した8個のプラグインを紹介していきます。 ※プラグインごとに分かりやすくご説明されているサイトへのリンクを掲載しました。 Chart.js JavaScriptでグラフをを表示するプラグインといえばChart.jsが最もメジャーです。 そのためドキュメントも豊富で、知りたいことがあればすぐに検索で調べられるので、初めて挑戦する場合はまずChart.jsをおすすめします。レスポンシブに対応している点もありがたいですね！ 商用：利用可(ライセンス：MIT
ゲームアニメーターMEETUP２ (2016/11/18 19:30〜)
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
ファイル名中の日付表現をみて一定期間前のファイルは削除する メモ Bash の IF 文 で 正規表現 - Solr, Python, MacBook Air in Shinagawa Seaside
#!/bin/bash TARGET_DIR=/hoge/hoge DELETE_DAY=`date +"%Y%m%d" -d '14 days ago'` cd $TARGET_DIR FILE_LIST=`ls` for FILE in $FILE_LIST do # ファイル名にYYYYMMDDを含む if [[ ${FILE} =~ 201[0-9]{5} ]] then # ファイル名日付部分を取り出す FILE_DATE=`expr "${FILE}" : ".*\(201[0-9]\{5\}\)"` # 日付を比較して削除 if [ ${FILE_DATE} -lt ${DELETE_DAY} ] then rm ${FILE} fi fi done
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
簡単な集約/変換処理を PySpark & pandas の DataFrame で行う - StatsFragments
こちらの続き。 sinhrks.hatenablog.com 準備 サンプルデータは iris 。今回は HDFS に csv を置き、そこから読み取って DataFrame を作成する。 # HDFS にディレクトリを作成しファイルを置く $ hadoop fs -mkdir /data/ $ hadoop fs -put iris.csv /data/ $ hadoop fs -ls / Found 1 items drwxr-xr-x - ec2-user supergroup 0 2015-04-28 20:01 /data # Spark のパスに移動 $ echo $SPARK_HOME /usr/local/spark $ cd $SPARK_HOME $ pwd /usr/local/spark $ bin/pyspark 補足 前回同様に pandas から直接 PySp
簡単なデータ操作を PySpark & pandas の DataFrame で行う - StatsFragments
Spark v1.3.0 で追加された DataFrame 、結構いいらしいという話は聞いていたのだが 自分で試すことなく時間が過ぎてしまっていた。ようやく PySpark を少し触れたので pandas との比較をまとめておきたい。内容に誤りや よりよい方法があればご指摘 下さい。 過去に基本的なデータ操作について 以下 ふたつの記事を書いたことがあるので、同じ処理のPySpark 版を加えたい。今回は ひとつめの "簡単なデータ操作〜" に相当する内容。 pandas 版 簡単なデータ操作を Python pandas で行う - StatsFragments Python pandas でのグルーピング/集約/変換処理まとめ - StatsFragments 準備 環境は EC2 に作る。Spark のインストールについてはそのへんに情報あるので省略。サンプルデータは iris を
Apache Spark – pysparkで戯れてみる – OpenGroove
前回投稿でインストールしたSparkを、pysparkから軽く触ってみる。 環境はAmazon ec2上のCentOS 6.5、CDH5(beta2)。 その前にテストデータを用意しておく。過去記事にも書いたダミーデータ生成ライブラリでこんなCSVを作った。データは10000行。ダミーデータ作るのも面倒だったらログファイルとか、テキストデータなら何でもいいと思う。 29297,Ms. Jolie Haley DDS,2014-03-19 09:43:20 23872,Ayana Stiedemann,2014-03-03 10:31:44 23298,Milton Marquardt,2014-03-26 22:19:41 25038,Damian Kihn,2014-03-23 03:30:08 23743,Lucie Stanton,2014-03-14 20:53:33 28979,
Sparkで全要素対の距離計算 - 夜行録 - 酔歩.net
Sparkで距離計算をしてみる。 データは (key, [v1, v2,..., vn]) というタプルのリストであるとする ＃直積で全ペアの作成（AはRDDで上のようなリスト） B = A.cartesian(A) ＃ ((a, a), (a, b), (a, c)...) が生成され、aが上の(key, [val]) ＃キーと値をそれぞれタプルに分離 C=B.map(lambda x: ((x[0][0], x[1][0]), (x[0][1], x[1][1]))) ＃自分との距離は無視 D=C.filter(lambda x: x[0][0] != x[0][1]) ＃numpy でベクトルの引き算、内積、sqrt E=D.map(lambda x: (x[0], np.array(x[1][0])-np.array(x[1][1]))) F=E.map(lambda x: (x[
map, reduce, filterによるシーケンス操作
シーケンスに対して繰り返し操作するためのビルドイン関数。forで繰り返し処理する代わりに記述できる。mapとfilterはリスト内包表記で記述でき、そちらのほうが概ね高速なのでリスト内包表記で記述したほうが良い。 map: すべての要素に処理を行う シーケンスのすべての要素を関数の引数として実行し、その実行結果から新しいlistを作成する。 >>> items = [1, 2, 3] >>> def plus(n): # 10加算して返すだけの関数plus ... return n+10 ... >>> map(plus, items) #itemsの要素すべてにplus関数の実行し、新しいlistを返す [11, 12, 13] >>> items #元のitemsは変更されない [1, 2, 3] >>> map(lambda n:n+20, items) #関数部分をlambda関数
Apache SparkのWebUI、いろいろ比較してみた
Sparkを実行できるWebUIをいくつか比較してみました。 対象としたのは下記の３つです。 Apache Zeppelin pyspark + Jupyter(iPython Notebook) spark-notebook Spark付属のSpark Web Interfaceは実行状況のモニタリングやRDDの状態が可視化されていて非常に便利なものなのですが、上記とは毛色が異なるため今回比較対象に入れていません。 Hueのnotebookやdatabricks cloudに関してはまた今度。。。 まずはそれぞれの概要を少しご紹介します。 Apache Zeppelin Apacheが作っているnotebook形式のWeb UIで、対話型実行ができます。 この記事を書いている時点での最新バージョンは0.6.0です。 Scala, Python, SQL(Spark), SQL(Hive)
NumPyとCythonを組み合わせると爆速！ - Kesinの知見置き場
前回の記事の最後にcythonとnumpyを組み合わせても速くならなかったと書いてしまったのですが、@frontier45 さんから公式のチュートリアルをちゃんと読みましょう。と教えていただいたので、自分の勉強がてらブログにも書いておきます。 使用するコードは何のひねりもなく公式のチュートリアルから丸パクリです。 注意：以下のベンチマークはMacOS 10.7.3 MacBook Core2 Duo 2.26GHzでPythonとC/C++のコンパイラはMac標準のPython2.7.1, llvm-gccを使用しています。 Python/Cythonはipythonのtimeitを利用して実行時間を測定しています。 なお、以下の記録はあくまで私の環境、私の実装での記録なので比較の結果は正しいというものではないです。公式のチュートリアルでも実行時間が書かれていますので、そちらの方もご覧下さ
Python の内包表記の使い方まとめ
Python の内包表記についてまとめました。 内包表記とは？ 内包表記とは、リストや辞書などの iterable オブジェクト（ for ループで回せるオブジェクト）のループ処理をかんたん・シンプルに記述できる記法です。 たとえば、 1 から 5 までの数値を 2 乗した値を持つリストを作りたい場合は次のような式を書くことができます。 通常の for ループと同じ for element in collection というブロックを書いて、その前に各要素の値を書いて、 [] で囲みます。この書き方が「内包表記」です。 ちなみに、「内包」は英語では「 comprehension 」と言います。また、「内包」の逆の概念は「外延」（ extension ）と言うそうです。内包と外延は数学の集合論における表現方法のようです。 このあたりの概念について詳しくは Wikipedia などが参考になり
マルチプロセッシング(multiprocessing) - Python | Welcome to underground
MultiprocessingとMultithreading? ver2.6から追加された multiprocessingモジュールを使って並列処理させる． threadingを使う方法もあるが，クラス継承しないと行けないとか ちょっと遅いとか上手くCPU使えてないとかちょっと不満があるので，multiprocessingを使って話をする． これはthreadingと似たようなAPIを提供するのだが，GILを効率的に回避する．(theadではなくsubprocessを使う) 何はともあれサンプルを示す．単純にカウントダウンするという面白みもなんともないもの． 1Gをカウントダウンする．この場合４スレッドに分散させるので250Mをカウントしていることになるが…． threading01.py import threading import time def countDown(n): whi
pythonの並列計算（CPUの数だけ並列させる）
python使いなのですが、今まで並列計算を必要としていなかったので、この手の知識が0でした。しかし、必要に迫られたので、勉強してみました。 まず、一番手っ取り早く並列計算できそうなサンプルコード。 # -*- coding: utf-8 -*- from multiprocessing import Pool def fuga(x): # 並列実行したい関数 return x*x def hoge(): p = Pool(8) # 8スレッドで実行 print p.map(fuga, range(10)) # fugaに0,1,..のそれぞれを与えて並列演算 if __name__ == "__main__": hoge() http://d.hatena.ne.jp/halhorn/20100904/1283612722 Poolという機能を使うと、回すスレッド数を指定するだけで、py
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.zaimu.site/entry/2016/07/16/224025
Sparkアプリケーションの基本と、はじめに押さえておきたい重要な概念
