Practical Data Science with R and Python: 実践的データサイエンス
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます）。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
機械学習用データセット一覧（フリー素材）
表示：著作権者の表示義務有り 営利目的（非営利）：利用は非営利に限る 改変（改変禁止）：一切の編集を禁じる 継承：頒布をする場合は、元のライセンスを受け継ぐ必要あり 人の行動のデータセット Google DeepMind Youtubeから収集した人間の行動に関するデータセット https://deepmind.com 利用条件：表示 人の行動のデータセット University of Central Florida サーフィン、メイク、髭剃り、などの認識用のデータセット http://crcv.ucf.edu/ 利用条件：特記無し。ページ中央部に連絡先が載っています。 動きのデータセット MIT-IBM Watson AI Lab モーションに関するデータセット。 人間以外にも、犬、パンダ、流れる水、アニメーションも含まれて居ます。 http://moments.csail.mit.ed
RにTorchとLightGBMがやってきた - 渋谷駅前で働くデータサイエンティストのブログ
これまで、RとPythonは両方使える人が少なくないながらも開発陣やコミュニティの思想が違うせいもあってか、「Rは統計学向け」「Pythonは機械学習向け」的な住み分けが年々進み、特に機械学習関連の重要なフレームワーク・ライブラリ類はPython向けのみがリリースされることが多く、R向けにはリリースされないということが常態化している印象がありました。 そんな中、この9月にPythonの機械学習OSSを代表する2つのライブラリが相次いでR版パッケージを発表したので、個人的にはなかなか驚きました。中には「この2つがRに来たからにはもうPythonは触らない」と豪語する過激派の方もいらっしゃるようですが（笑）、それはさておき個人的な備忘録としてこの2つのR版パッケージを試してみた記録を記事として残しておこうと思います。 なお、以下のモデリングはほぼ何もチューニングを行っておりません。あくまでも「
Excelから脱却し、RでApacheのアクセスログをスマートに解析する - Qiita
何万行にも及ぶApacheのアクセスログを Excelに読み込んでグラフを作っている 現場って意外と多いのではないでしょうか。R言語（以下、「R」）を使って、もっとスマートな方法で解析してみましょう。 本稿では、 1分間ごとのChromeブラウザからのアクセスをヒストグラムとして描画し、最大アクセス数とその時刻を求める ことを目標とし、Rを使用する上で必要な入門知識と構築手順、Apacheのアクセスログを解析するための処理について紹介します。 確認した動作環境 OS: macOS Sierra 10.12.5 プロセッサ: 1.2 GHz Intel Core m3 メモリ: 8 GB 1867 MHz LPDDR3 なぜRは統計解析に強いのか そもそも他のプログラミング言語と比較して、なぜRが統計解析に強い と言われているのでしょうか。主な理由は以下の通りです。 統計解析に特化した プロ
Python vs R for Data Science: Which Should You Learn?
Python vs R for Data Science: Which Should You Learn? This guide will help you answer one of the most frequently asked questions of newcomers in data science and help you choose between R and Python. If you are reading this article, you are likely just at the beginning of your data science journey. You will probably know by now that learning to code is a critical milestone for every aspiring data
公開中のプログラム・コード一覧(実用的かつ実践的なデータ解析・機械学習・データマイニング) : 大学教授のブログ (データ分析相談所)
プログラム・コード販売にあたっての『あいさつ』・『心構え』はこちらをご覧ください。 [New] 堀江貴文さん(ホリエモン)のメルマガ[Vol.359]における副業紹介において、このプログラム・コード販売が、なんと １番 に紹介され評価していただきました！ 公開しているデータ解析・機械学習・データマイニング関係のプログラム・コードをまとめておきます。ご興味のある方はぜひご利用ください！なおこちらは随時追加していきます！ご要望があればおっしゃってください！ 見える化・可視化・低次元化 複数の見える化・可視化手法を一気に行い、結果を比較 R言語(note) R言語(SPIKE) Python言語(note) Python言語(SPIKE) 主成分分析(principal component analysis, PCA) スマホ用 教科書 カーネル主成分分析 (kernel principal c
R vs Python：データ解析を比較 | POSTD
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
とりいそぎ{PythonInR}でRからTensorFlowを動かしてみた - Qiita
GoogleのTensorFlowがPythonで使えるということだったので、とりいそぎ{PythonInR}で動かしてみました。TensorFlowがどういうものかについては、「参考」の項目に記載の記事などをご参照ください。 「{PythonInR}って何？」という方のために簡単に説明すると、RからPythonを呼び出すパッケージです。 PythonInR: Use Python from Within R PythonInR - Makes accessing Python from within R as easy as pie. 下記のような使い方ができます。 第51回R勉強会＠東京(TokyoR)にてLT発表しました "An R package for creating and exploring word2vec and other vector models"を試す（+ Gl
岩波データサイエンス Vol.1 - StatsFragments
ご恵贈いただきました。 ありがとうございます! あわせてタスクもいただきました (下部)。 書籍のコンテンツ 各章ごとの内容は id:sfchaos さんが詳しく紹介されています。 d.hatena.ne.jp まだ すべて読めていないのですが、以下 3 点がよいポイントだと思います。 理論 と サンプルプログラム 両方の記載がある BUGS, Stan, PyMC3 と主要なパッケージが網羅されている サンプルは単純な回帰だけでなく 時系列 / 空間ベイズを含む 補足 書籍には コラム "Pythonとは" という データ分析視点での Python 紹介があるのですが、中身は結構な pandas 推しでした。著者の方、いったい何者なんだ...。 Stan 入門 依頼により、著者の松浦さんが作成した RStan サンプルの PyStan 版を作成させていただきました。 以下リポジトリの "
TokyoR51_LT // Speaker Deck
All slide content and descriptions are owned by their creators.
Cheatsheet - Python & R codes for common Machine Learning Algorithms
Introduction In his famous book – Think and Grow Rich, Napolean Hill narrates story of Darby, who after digging for a gold vein for a few years walks away from it when he was three feet away from it. Now, I don’t know whether the story is true or false. But, I surely know of a few Data Darby around me. These people understand the purpose of machine learning, its execution and use just a set 2 – 3
StatsFragments
著者の松浦さんから「StanとRでベイズ統計モデリング」をいただきました。ありがとうございます！ 書籍では Stan の R バインディングである RStan を利用していますが、Stan には Python 用の PyStan もあります。松浦さんが書籍 5.1節の PyStan での実行例を書かれています。 statmodeling.hatenablog.com 補足 PyStan については過去にも書いた内容があります。 sinhrks.hatenablog.com 同じように、「StanとRでベイズ統計モデリング」の内容を Python で実施してみました。 11.3 ゼロ過剰ポアソン分布 以降、書籍 "11.3節 ゼロ過剰ポアソン分布" の流れに沿って Python のスクリプトを記載します。ロジックや処理自体の説明は書籍をご参照ください。データと Stan のスクリプトは Gi
Creative morphometrics
Convex hull is one of the most widely used techniques for finding the minimum enclosing shape around a set of points in a plane, but for certain tasks it is necessery to find such shape which encloses concave parts of the outline as well. Convex hulls are also sensitive to localized point groups, far apart from the majority of other points. In these cases, hulls enclose a lot of empty space so tha
keisukeのブログ
はてなの TeX がぶっ壊れているので Qiita に移行します。 ==新ブログはこちら== 2015-06-01追記：はてなの TeX のレンダリングに難があるため Qiita に移行しました 追記ここまで How to intuitively explain what a kernel is?に対する回答がわかりやすかったので和訳 まずは質問の意図から。 質問者は、「カーネルとは直感的に説明するとなんなのか？」を聞いています。それに対する回答のひとつが、上記のリンク先です。 和訳 カーネルとはふたつのベクトル と の内積を(たいていはとても高次元の)特徴空間で計算する方法であり、これがカーネル関数が時々「一般化内積」と呼ばれる理由です。 上にあるベクトルをなんらかの特徴空間 へ写す写像 があるとします。すると、その空間での と の内積は です。カーネルとはこの内積に対応する関数 で、つ
A/B テストで施策の効果を検証！エンジニアのための R 入門 - クックパッド開発者ブログ
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
Jupyter Notebook Viewer
This notebook compares pandas and dplyr. The comparison is just on syntax (verbage), not performance. Whether you're an R user looking to switch to pandas (or the other way around), I hope this guide will help ease the transition. We'll work through the introductory dplyr vignette to analyze some flight data. I'm working on a better layout to show the two packages side by side. But for now I'm jus
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[特集] ベイズ推論とMCMCのフリーソフト - 岩波データサイエンス![[特集] ベイズ推論とMCMCのフリーソフト - 岩波データサイエンス](https://cdn-ak-scissors.b.st-hatena.com/image/square/38c2d6c83814d2ae88209ca9471f2d28e750817f/height=288;version=1;width=512/https%3A%2F%2Fsites.google.com%2Fsite%2Fiwanamidatascience%2F_%2Frsrc%2F1443012323967%2Fvol1%2Fsupport_tokushu%2F03867.jpg%3Fheight%3D200%26width%3D142)
Blog | Data Science Articles
Python for R Users
High performance python computing for data science
