How Mercari Analytics Team is defined and works.. Presented in Data Analytics Summit 2018 Event Page https://webtan.impress.co.jp/events/201804a2i
Mercari BI team - Data Analytics Summit 2018
How Mercari Analytics Team is defined and works.. Presented in Data Analytics Summit 2018 Event Page https://webtan.impress.co.jp/events/201804a2i
探索的データ解析における正しい可視化手法の選び方と描き方 - Qiita
データ分析における関数の使い方については様々な記事が上がっています。関数を知らなかったり使い方が分からないときは調べればだいたい答えが見つかります。 一方で、実際に分析を始めようとすると、たとえ関数の使い方がわかっていても、データをどのような切り口から何を分析・可視化していけば良いのか困ってしまうことがよくあります。 この記事では、あんちべさんが書いたデータ解析の実務プロセス入門という本をベースに、どのようなデータから何を見たいときにどのような可視化手法を使えばよいのかを、具体例を交えながら整理していきます。 探索的データ解析とは データ解析のアプローチは、大きく分けて仮説をデータで検証する「仮説検証型」とデータから仮説を生み出す「探索型」に分けられます。 実際にデータ解析を行うときは、仮説検証型と探索型を行き来しつつ知見を見出していきます。 データ解析には検証すべき仮説を設定することが必
DELISH KITCHENの分析基盤について | エンジニアブログ
こんにちは。データ分析担当エンジニアの島田（@smdmts）です。 今回は弊社の事業である「DELISH KITCHEN」で行われている分析基盤について紹介したいと思います。 分析基盤が目指す方向性 みなさんは「信頼できるの単一の情報源（Single source of truth(SSOT))」という言葉をご存じでしょうか？「信頼できる単一の情報源」とはアプリで発生したデータを一元管理することで、迅速にデータ分析を可能として意思決定に活かすための条件を指します。 弊社では「信頼できる単一の情報源」を前提として、エンジニア以外の職責でも意思決定の材料となるデータを自由に参照できるよう、以下の方針を満たす分析基盤の構築を目指すこととしました。 職責を問わず可視化されたデータを意思決定の材料とできること全てデータを結合可能で様々な軸から洞察可能であること非エンジニアでもSQLを発行して分析出来
長期に渡ってプロダクトを改善するためのA/Bテスト4つのTips - Gunosy Tech Blog
こんにちは、新規事業開発室のエンジニア渡辺です。 先日「第12回若手Webエンジニア交流会」にてA/Bテストに関する簡単なLTを行いました。 今回はその発表資料を共有したいと思います。 イベントページ wakateweb.connpass.com スライド 発表内容について A/Bテストはプロダクトを継続的に改善する手法として各社で利用されていると思いますが、 今回はA/Bテストを行う際によく直面する問題とその解決方法について、新規事業開発室で 開発を行なっている「ルクラ」での事例を紹介しながら行いました。 イベントについて 文字通り若手のウェブエンジニアが多く参加しており、10代の参加者も多かったように感じました。 このようなイベントでの登壇は初めてでしたが、「若手の発表機会を増やすことが目的」のイベントということもあり、 会場の雰囲気もよく、登壇慣れしたいエンジニア向けにとても良いイベ
EmbulkとDigdagとデータ分析基盤と
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールにチャットに、ブログ書いたり、コードを書いたり、 • http://qiita.com/toru-takahashi • 気づくと、社会人４年目に突入・・・ 2 3. 質問です！ • Treasure Data を 知っている人は ？ • Fluentd を 知っている人は ？ • Embulkを知っている人は？ • Digdagを聞いたことがある人は？ • インフラ / 分析基盤 を普段から運用や開発をしている人は？ • iOS / Android / Unity / フロントエンドの人は？ 3
Pythonによる状態空間モデル | Logics of Blue
最終更新：2017年06月06日 Pythonを用いた、状態空間モデルの実装方法について説明します。 なお、正規線形状態空間モデル（動的線形モデル）のみをここでは扱います。 Pythonを使えば、カルマンフィルタや最尤法によるパラメタ推定を短いコードで簡潔に実装することができます。 なお、この記事ではOSはWindows。Pythonは『Python 3.6.0 :: Anaconda custom (64-bit)』を使用して、JupyterNotebook上で計算を実行しました。 JupyterNotebookの出力はリンク先を参照してください。 目次 状態空間モデルとPython時系列分析 データの読み込み ローカルレベルモデルの推定 ローカル線形トレンドモデルの推定 季節変動の取り込み 推定するパラメタの数を減らす モデルの比較と将来予測 1．状態空間モデルとPython時系列分析
Applying deep learning to real-world problems
The rise of artificial intelligence in recent years is grounded in the success of deep learning. Three major drivers caused the breakthrough of (deep) neural networks: the availability of huge amounts of training data, powerful computational infrastructure, and advances in academia. Thereby deep learning systems start to outperform not only classical methods, but also human benchmarks in various t
データ前処理コンペサイト"Struggle"を開設しました - 渋谷駅前で働くデータサイエンティストのブログ
機械学習コンペと言えばKaggleというのはもはや世の中の常識（一部誇張表現あり）になりつつありますが、「データ分析プロジェクトの8割が前処理」という現実を目の当たりにし続けている身としては「そんなRDBSにデータが入った先の綺麗なところで戦うのもあまり実践的ではないような」と思っているのも事実だったりします。 そこで、まずはお試しですがこんなものを始めてみました。その名もずばり"Struggle"。 もう見たまんまで、現実にありがちな（もしくは各協賛企業から提供された本物の）「汚い」データセットをひたすら前処理して学習ラベル＋特徴量のテーブルに直し、予め用意されたブラックボックスのモデル（中身はコンペ終了後に公開される）に入力して得られたパフォーマンスの高さで、前処理の腕の良し悪しを競うというコンペを各種集めたポータルです。 まだβ版なので今のところは僕が自宅のIoTセンサで集めた我が家
【Edward】MCMCの数学的基礎からStochastic Gradient Langevin Dynamicsの実装まで - Gunosyデータ分析ブログ
こんにちは。初めまして。 データ分析部新入りのmathetake(@mathetake)と申します。 先日個人ブログでこんなエントリを書いた人です: mathetake.hatenablog.com そんなこんなでTwitter就活芸人(?)として活動(?)してましたが、これからは真面目に頑張っていこうと思います。 今日はみんな大好きベイズモデリングおいて、事後分布推定に欠かせないアルゴリズム(群)の一つである*1 マルコフ連鎖モンテカルロ法(Markov chain Monte Carlo) 通称MCMCに関するエントリです。より具体的に、 MCMCの意義(§1.)から始め、マルコフ連鎖の数学的な基礎(§2.,3.,4.)、MCMCの代表的なアルゴリズムであるMetropolis-Hastings法(§5.)、その例の１つである*2Langevin Dynamics(§6.)、そして(僕
行動ログでプロダクトを改善するには/exploit user behavior for product
https://techconf.cookpad.com/2017/ youtube https://www.youtube.com/watch?v=45i0oG6dsws
Lean Baseball
2024-07-20 技術ブログを10年続けて良かったこと. - Lean Baseballが満10歳を迎えました. キャリア エンジニア アウトプット 本ブログ最初の炎上記事「成長したいエンジニアは良いエンジニアの本棚を真似るといいんじゃない？ - Lean Baseball」が出てから10年*1が経ちました. 私, shinyorkeのブログ記事を始めとしたアウトプットをいつも応援してくださっている皆様, 誠にありがとう… #技術ブログ #エンジニアのアウトプット #キャリア戦略 2024-06-18 44歳独身ソフトウェアエンジニア、家を買う。 ライフスタイル キャリア 本ブログ「Lean Baseball」開設10周年企画*1かつ, ちょっとした近況報告となります. お世話になっている皆様へ(TL;DR) 東京（の西側*2）で家を買いました, 引っ越しました. この決断とオチ, 未
機械学習ビジネス研究会 第01回
Yuta Kashino is the CEO of BakFoo, Inc., a company that provides a real-time data platform for enterprises. The document discusses BakFoo and Kashino's background in areas like Zope/Python and astrophysics. It also covers topics like okcupid's history and acquisition, how their matching algorithm works using SVD matrix factorization, and analysis of user data from books like Dataclysm.Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
StackPath
Gamglm
隣の男@2ndSeason on Twitter: "相撲の数値化！ゲーム的で面白い！このデータどこで見られんのよ。相撲中継もどんどん進化しないと！ #sumo #相撲 #ペーパー親方 #白鵬 #高安 https://t.co/TaFqgOTZLu"
DeNA流データエンジニアリングの極意