Practical Data Science with R and Python: 実践的データサイエンス
実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます）。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの
データをなるはやで前処理したい＃１ - Qiita
MLSE（機械学習工学研究会） Advent Calendar 2018 の1日目の投稿です こんにちは！BULBのデータサイエンティスト 足立です。 一般的に「分析作業の7〜８割はデータの前処理である」と言われます。前処理では具体的に、データセットの列（変数）選択や行（レコード）選択、欠損値の補間や外れ値の除去などの作業を行います。 なぜこのような作業が必要なのでしょうか？ それは、課題解決につながる結果を得るために、例えば精度の高いモデルを作成するためです。精度の高いモデルを作成するために、どのようにデータを前処理して特徴量を作り出すかが腕の見せどころですね 特徴量とは何か ご存知の方も多いと思うので、サラッとした説明にとどめておきます。特徴量とは、他のデータとは異なる「そのデータ自身が持つ特徴」です。例えば、画像の被写体が犬か猫かによって、画像のピクセル値は異なります。また、メールが
Practical Machine Learning with R and Python – Part 6 | R-bloggers
[This article was first published on R – Giga thoughts …, and kindly contributed to R-bloggers]. (You can report issue about the content on this page here) Want to share your content on R-bloggers? click here if you have a blog, or here if you don't. Introduction This is the final and concluding part of my series on ‘Practical Machine Learning with R and Python’. In this series I included the impl
Rおじさん、Pythonistaになる - cucumber flesh
こちらをご覧ください。踏み絵ではありません。R上で地理空間データを扱うPythonモジュール、geopandasによる作図を行なっている画面です。 え、RでPythonを!?と驚かれる方もいるかもしれませんが、reticulateというRパッケージを使うことで、ほぼストレスフリーでPythonのモジュールや関数がR上で利用可能になります。先の図は次のコードによって実行されました。 library(reticulate) # モジュールの呼び出し gpd <- import("geopandas") plt <- import("matplotlib.pyplot") # サンプルデータの読み込み world <- gpd$read_file(gpd$datasets$get_path("naturalearth_lowres")) # データセットの確認 head(world) # ではな
RにTensorFlow + Kerasを実装した{keras}パッケージがやって来たので試してみた（追記2件あり） - 渋谷駅前で働くデータサイエンティストのブログ
Python側でのTensorFlowの隆盛を他所に、R側では{tensorflow}も使いにくいし*1これはPythonistaに転生しなければならんのかなぁ。。。ということを思っていたら、出ました。あのKerasのRパッケージです。 インストール手順は普通にhttps://rstudio.github.io/keras/に書いてある通り、以下の通りRコンソールから打てばおしまいです。 devtools::install_github("rstudio/keras") library(keras) install_tensorflow() ということで、早速色々試してみようと思います。 3層NNをサクッと試してみる データセットはこちらのXORデータセット（10万サンプル）を使います。 > d <- read.csv('xor_complex_large.txt', header=T,
次元削除 ( t-SNE ) - puyokwの日記
今回は、kaggle のOtto Group Production Classification Challenge の上位の方々が次元削除の手法としてt-SNE(t-distributed stochastic neighbor embedding) を使用されていたので調べてみようと思いました。個人的には、pca(主成分分析) ぐらいしか思い付かなかったのですが、それぞれ比較しながら見ていきます。 t-sne の詳細についてこちらを参考にするといいかと思います。 http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf こちらに書かれているようにt-SNE は高次元のものを2 または3 次元に写像するように作られています。とりあえず、R のtsne package を試してみます。(あとでより高速なRtsne
2.7 Other language engines | R Markdown: The Definitive Guide
A less well-known fact about R Markdown is that many other languages are also supported, such as Python, Julia, C++, and SQL. The support comes from the knitr package, which has provided a large number of language engines. Language engines are essentially functions registered in the object knitr::knit_engine. You can list the names of all available engines via: ## [1] "awk" "bash" "coffee" ## [4]
Shows
AI is suddenly everywhere. Do you need to go and get a shiny machine learning degree to remain competitive? John Maeda says not to worry. He’ll show you how to cook delicious dishes into your coding repertoire with his new show - Mr. Maeda’s Cozy AI Kitchen. Find out how you can use GitHub Copilot, an add-on that is powered by AI, to get helpful suggestions when writing code or documentation. This
【Python】RプログラマーのためのPython入門 - 歩いたら休め
会社に優秀な後輩が入ってきて、優秀な先輩（私でゎない）の助けを得ながら、立派な分析者・Rプログラマーとして成長しつつあります。 しかし、R言語だけで全ての作業が完結できるわけではありません。手元でデータを加工・分析するための環境としては素晴らしいのですが、大規模な計算では遅かったり（パフォーマンスを上げるにしても工夫が必要だったり）、クラスベースのオブジェクト指向が無いため、プログラムが大きくなるにつれて関数の整理が難しかったり、言語としてつらい面も多いです。 また、データ分析して作ったモデルをサービスに乗せる際には別の言語を使う必要があると思います。一応、shinyというWEBアプリを作るためのライブラリもあるものの、「社外向けのサービスでバリバリ使ってるぜ！」という話は聞いたことがありません。 というわけで、R言語メインのプログラマーが、一歩進んでスクリプト言語（Python）が抵抗な
データ分析環境の構築にDockerを利用しよう
📜 要約 コンテナー管理ソフトウェアのDockerを利用することで、データ分析の場面で利用頻度の高いRおよびPythonの分析環境として実行することが出来るRStudio Server、Jupyter、Beaker Notebookを容易に構築可能になる。Dockerを使うことの利点として、複数人でのデータ分析や将来の利用面においてデータ分析結果の再現性を高められると考えられる。 🍵 前置き〜データ分析者が直面する再現性への挑戦 データ分析の結果が、自分以外では再現できない、同じデータを使っているのにナンデ！？ということが時々あります。その原因として多いのが分析に関わる人間が利用する実行環境の違い、です。大きなものではOS、小さなものでは分析に利用するツール本体や拡張機能（パッケージやモジュール）のバージョンの違いがあります。 こうした再現性の問題は、複数人でデータ分析を行う時だけでな
R vs Python：データ解析を比較 | POSTD
主観的な観点からPythonとRの比較した記事は山ほどあります。それらに私たちの意見を追加する形でこの記事を書きますが、今回はこの2つの言語をより客観的な目線で見ていきたいと思います。PythonとRを比較をしていき、同じ結果を引き出すためにはそれぞれどんなコードが必要なのかを提示していきます。こうすることで、推測ではなく、それぞれの言語の強みと弱みの両者をしっかりと理解できます。 Dataquest では、PythonとRの両方の言語のレッスンを行っていますが、データサイエンスのツールキットの中では両者ともそれぞれに適所があります。 この記事では、NBA選手の2013/2014年シーズンの活躍を分析したデータセットを解析していきます。ファイルは ここ からダウンロードしてください。解析はまずPythonとRのコードを示してから、その後に2つの異なるアプローチを解説し議論していきます。つま
Pythonや機械学習、そして言語の競争について – 極めて主観的な見地から | POSTD
(訳注：2016/1/5、いただいた翻訳フィードバックを元に記事を修正いたしました。) よくある主観的で痛烈な意見を題名に付けたクリックベイト（クリック誘導）記事だろうと思われた方、そのとおりです。以前指導してくれた教授から教わったある洞察/処世術は、些細でありながら私の人生を変えるマントラとなったのですが、私がこの記事を書いたのはそれによるものです。「同じタスクを3回以上繰り返す必要があるなら、スクリプトを書いて自動化せよ」 そろそろ、このブログはなんだろうと思い始めているのではないでしょうか。半年振りに記事を書いたのですから。ツイッターで書いた Musings on social network platforms（ソーシャル・ネットワークプラットフォームについてじっくり考える） はさておき、この半年の間書き物をしていないというのはうそです。正確には、400ページの 本 を書きました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習のためのベイズ最適化入門