Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary
概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo
統計言語 「R」の神はなぜ無償で貢献したのか
統計データを分析する際に使う「R」というプログラミング言語がある。無料のオープンソース・ソフトウェアで、Rを使えば、データの加工や操作、線形回帰、ランダムフォレストのような機械学習の分析、解析したデータの可視化が可能になる。「Python（パイソン）」と並び、統計分析を手がける人々に人気の言語だ。 Rはオープンソースのため世界中のエンジニアが修正や機能追加を進めている。その中で、データフレームの操作に特化した「dplyr（ディープライヤー）」やデータ可視化の「ggplot2（ジージープロット2）」など、人気のパッケージ開発で貢献した人物がいる。ソースコードの入力からコンパイルやデバッグまでが可能なRの総合開発環境を提供するRStudioのチーフ・サイエンティスト、ハドリー・ウィッカム氏だ。 ウィッカム氏が独力で作り上げたパッケージは今では大学の研究者からジャーナリストまで、数多くの人間が使
第529回 RStudio Serverをよりかんたんにインストールする | gihyo.jp
第527回ではRStudioのインストール方法を紹介しました。実はコンテナ技術を使うと、インストール方法はさらにかんたんになります。今回はDockerを活用したRStudio Serverのインストール方法を紹介します。 コンテナ技術を使う利点 直近だと第521回でLXDの使い方を解説したように、本連載ではこれまでに何度もコンテナ技術に関する活用方法を紹介してきました。今回も実際に実行するコマンド自体は、これまでとほぼ変わりはありません。そこでRStudio Serverをコンテナ上で利用する際のポイントなども合わせて紹介します。 まず、RStudio Serverのインストールにおいて、コンテナ技術を活用すると得られるメリットは次のとおりです。 ホストに余計なパッケージをインストールしなくて良い コマンドひとつで全部入りの環境を構築できる 複数のバージョンもかんたんに共存できる Linu
Spotifyの76,000曲の属性データを分析した結果、J-RockはRockというよりむしろPunkだった - Qiita
Spotifyの76,000曲の属性データを分析した結果、J-RockはRockというよりむしろPunkだったRデータ可視化主成分分析ExploratorySpotify 日本でも音楽ストリーミングサービスのSpotifyを使っている人が多いと思いますが、そのSpotifyは配信している音楽に関するデータをWeb APIを通して公開しています。このAPIを使って様々な情報が取れるのですが、今日は以下のAPIを使って、音楽のジャンルに関するデータ分析をExploratoryを使ってしてみたいと思います。(他のAPIはこちらを参照) ジャンルを取るAPI 曲検索のAPI 曲の属性を取るAPI これらのAPIを組み合わせて、Spotifyからジャンル毎に1000曲ずつ取ってきて、それぞれの曲の属性データをもとに、ジャンル同士の類似性を調べてみます。 事前準備 Spotifyのアカウントの作成 S
R Docker tutorialの訳 - Qiita
まえおき 以下の文章はR Docker tutorial by ropenscilabsを翻訳したものです。 第1章 Dockerとは何で、何のために使うのか？ この章の目的 Dockerの基本的な考え方を理解する。 Dockerが便利な理由を確認する。 なぜDockerか Rを使用して分析を行い、出来上がったコードを知人に送りたい、という場合を考えてみよう。あなたの知人が全く同じデータセットを使って全く同じコードを実行したとしても、結果が僅かに異なるということがあるだろう。これには、OSが違うだとか、Rのパッケージのバージョンが違うだとか、いろいろな理由が考えられる。Dockerはこのような問題を解決するための手段になりうる。 Dockerコンテナはコンピュータの中のコンピュータの様に見える。そしてこのコンピュータは知人にそのまま送ることができ、このコンピュータを起動してコードを実行すれ
データフレームの特徴をもっと早く掴みたい ~ ハドリーへの挑戦 - cucumber flesh
探索的なデータ分析 (Explore Data Analysis: EDA)を行う際は、データの要約や欠損の有無の確認、可視化が欠かせない作業となります。 特に可視化は、データのもつ性質や関係を表現するのに大変役立ちます。一方で、可視化に用いた図はコードとは別に保存する必要があったり、作図のためのコードを書いたりと、面倒な側面もあります。 … きちんとした作図は面倒だけどデータの性質や欠損について把握したい。そんな時にはコンソール上での可視化を試しましょう。そのためのパッケージをHadley Wickhamが開発しています。 https://github.com/hadley/precis Rにはそもそも、オブジェクトの情報を要約してくれるsummary()関数があるのですが、この precisパッケージは、それを置き換えるような設計を目指しているそうです。早速使ってみましょう。 # gi
R, Python, SAS, SPSSをヨーロッパのデータサイエンティストの視点で比べてみた - Qiita
先日、第３の波ーAI、機械学習、データサイエンスの民主化という記事の中でも話したように、今では世界中のどこでもデータサイエンスの世界ではRもしくはPythonといったオープンソースのプログラミング言語やツールが広く使われるようになりました。 実際私たちも特にシリコンバレーの様々なタイプのお客様と接することが多々ありますが、最近ではいよいよSASもしくはSPSSといった古くからあるエンタープライズ向けのデータ分析・統計ツールを会社で使用するためにかかる莫大なコストを見直すという圧力が日々大きくなっているようで、新規のプロジェクト、もしくは新規に雇用された人たちがそういった経費の承認を得るのは基本的にありえないか、あってもかなり大変らしいです。で、結局、どうせSASもしくはSPSSを使ってやろうとしてることは何でもRもしくはPythonを使ってできてしまうし、さらにもっと多くの最先端のアルゴリ
【R】転職ドラフトのデータをスクレイピングして分析（集計）する - 歩いたら休め
お久しぶりです。 最近上司と「機械学習とかその辺の技術が発展したら、真っ先に自動化されて仕事なくなるのはハンパなエンジニアと中間管理職だよね〜」という話をして危機感を募らせている @takeshi0406 です。 WEBエンジニアにはご存じの方も多いと思いますが、転職ドラフトというWEBサービスがあります。 job-draft.jp このサービスは、次のような理念や問題感から始まった作られたものだそうです。素晴らしいです。 企業による公開競争入札。 これなら、自由競争でのリアルな相対価値がわかるようになる。 エンジニアだからこそ、より明確に。 誰が評価され、誰が評価されないのか。 自分の価値向上には、これから何をすべきなのか。 私も「友達を紹介してオライリー・ジャパンの本をGETしよう！」の文言につられて、友だちを3人紹介した上で登録したのですが、レジュメを丁寧に読んでダメ出ししてもらえ（
第3回 機械学習のためのベイズ最適化入門|Tech Book Zone Manatee
応用範囲が広く幅広い視点からの説明になりがちなベイズ最適化について、本記事では機械学習のハイパーパラメータ探索に利用することに限定して解説します。 1. はじめに 最近、ベイズ最適化という手法が注目を集めています。 ベイズ最適化 (Bayesian Optimization) とは、形状がわからない関数 (ブラックボックス関数) の最大値 (または最小値) を求めるための手法です。 ベイズ最適化についての入門記事は Web 上にすでにいくつかありますが、ベイズ最適化は応用範囲が広く、入門記事は様々な応用に向けた幅広い視点からの説明になりがちです。 本記事では、機械学習ユーザに向けて、ベイズ最適化を機械学習のハイパーパラメータ探索に利用することに限定して説明します。 これにより、機械学習に対して、ベイズ最適化がどのように利用できるのかを分かりやすく解説したいと思います。 2. ハイパーパラメ
R言語徹底解説を読む (1) ようこそRプログラミング - 僕らはRを愛しすぎてる
この記事が想定する読者層 もしあなたが「プログラマー」ならば、この記事はまるで不要かもしれません。 ここで言うプログラマーとは、たとえば以下のような習慣を持っている人です。 ほとんど同じ処理をソースコード中に2回以上書いていたら違和感を感じる 出力結果が変わらなくても、実行速度や理解しやすさのためにソースコードを書き直すことがある Gitなどのバージョン管理システムを使うことができ、過去のソースコードを「日付の含まれたファイル名でバージョンごとに別ファイルとして保存しておけばよい」とは考えない 動作テストを自動化し、ソースコードを書き換えてもそれぞれの関数の挙動が意図したものになっているかを確認できる この記事は、ひょんなことからRに出会い、コードをコピペで動かせるようになり、 「いつかコピペじゃないコードが書けるようになりたい」 「他のプログラミング言語もできるようになりたい」 とぼんや
【R】ふつうのスクリプト言語プログラマーのためのR言語入門 - 歩いたら休め
「他のスクリプト言語ならそれなりに触れるけど、Rって変な機能が多いから難しい」と感じている人のために、Rの独特な点、ハマりどころ、そして特にデータの集計での強力な機能やパッケージをまとめてみました。 社内のデータリソース移行の作業の中で、前任者が（良い意味でも悪い意味でも）すごいRプログラマーだったのと、DBからのデータの取得からデータの整形・確認が一気に行えるという理由で久しぶりにRを触りました。 （先輩！僕が「%>%ってなんですか？」みたいな質問すると、チャットでgithubのリンクを貼られたり、AdvancedRを薦められたりするの、めっちゃ困りました！） 数年前Rを使っていたときは、 Rのプログラムってよくわからないなあ…、後から自分のコード見ても意味が読み取れないよ… Pythonでpandasとかmatplotlibってパッケージを使えばRっぽいことができるの？じゃあそっち使お
挫折しないための「R言語徹底解説」通読法 - 僕らはRを愛しすぎてる
今年の2月12日、とある書籍をご恵贈いただきました。原題 "Advanced R"の日本語版、『R言語徹底解説』。全20章、索引を含めると500ページを超える重厚な訳書です。 原著者のHadley Wickham氏は{ggplot2}や{dplyr}をはじめとするいくつもの強力な拡張ライブラリの作者であり、R言語に革命を起こしたと評されるなど、今やRユーザにとっては欠くことのできない存在となっています。 Advanced R (Chapman & Hall/CRC The R Series) 作者: Hadley Wickham 出版社/メーカー: Routledge メディア: ペーパーバック 参考価格: ￥6,774 この商品を含むブログを見る R言語徹底解説 作者: Hadley Wickham,石田基広,市川太祐,高柳慎一,福島真太朗 出版社/メーカー: 共立出版 発売日: 201
R Tools for Visual Studioを使ってみよう
連載目次 R Tools for Visual Studioとは R Tools for Visual Studio（以下、RTVS）は、R言語をVisual Studio（以下、VS）で使用するためのプラグインであり、オープンソースソフトウェアとして公開されている。なおRTVSは、本稿執筆時点（2016年3月24日）ではまだパブリックプレビュー段階だ。そのため、製品版のリリース時には本稿とは変わる部分が多数あろうことはご承知いただきたい。 R言語は統計解析や機械学習に向いた機能を持ったプログラミング言語（およびその実行環境）だ。RTVSを使用するには、マイクロソフトによるオープンソースなR実装であるMicrosoft R Open（以下、MRO）などを別途インストールする必要がある。 RTVSのインストール 上述の通り、本稿執筆時点ではRTVSはプレビュー段階であり、VS 2015 Up
R言語 - テキストのネガポジ度を分析する - Qiita
はじめに 任意のテキストファイルにどのような特性があるのか？そのテキストファイルに、ネガティブな発言が多いか、それとも、ポジティブな発言が多いかの傾向をざっくりと把握するには、ネガポジ度を分析するとよいです。このTipsでは、とある組織のウィークリーレポートを使って、その内容にどのような特性があるのかを分析してみます。手順としては、①ウィークリーレポートをRMeCabで形態素解析後、②単語感情極性表(注1)からスコアを算出し、③ネガポジ度を三次元円グラフで描画します。単語感情極性とは、その語が一般的に良い印象を持つか（positive） 悪い印象を持つか（negative）を表したものです。例えば、「良い」、「美しい」などはpositiveな極性、 「悪い」、「汚い」などはnegativeな極性を持ちます。 # 三次元円グラフライブラリを読み込みます library(plotrix) #
R言語でWebアプリケーションを作るためのチュートリアルを翻訳しました - ほくそ笑む
RStudio社が開発した Shiny パッケージは、R言語で簡単に Web アプリケーションを作るためのフレームワークを提供します。 Shiny この Shiny による Web アプリケーションの開発方法を学ぶには、公式のチュートリアルを読むのが一番です。 Shiny - Tutorial しかし、公式は英語なので、読むのがしんどいです。 そこで、チュートリアル全文を日本語に翻訳しました。 訳文は Qiita で公開しています。このページは目次として活用していただければと思います。 Shiny チュートリアル目次 7 つのレッスンからなるこのチュートリアルは、R プログラマを Shiny 開発者へと導きます。 1 つのレッスンは 20 分ほどで終了し、各レッスンごとに新しい Shiny スキルを 1 つ学ぶことができます。 すべてのレッスンを終えたとき、あなたは Shiny アプリを構
Jupyterがすごい勢いでやってくるからお前ら備えとけ（IPython Notebook + R） - Qiita
今までIPython Notebook上でRを動かそうとするとrpy2やらをごにょごにょやるとかいう方法がありましたが、いちいち%%を打ったりといろいろ不便でした。 が、先月末（2015/02/27）のIPython 3.0のリリースでIPython Notebookが大きく変わり、（まだ開発版ですが）Rとの連携もかなり楽になりました！というか今後はRだけでなく、Juliaや他の言語もカバーする方向に進むそうで、特定の言語に依存しない部分をJupyterという別プロジェクトでやっていくそうです。 代表的な言語のJupyterカーネルとしては以下のようなものが存在する模様。 Python (https://github.com/ipython/ipython) Julia (https://github.com/JuliaLang/IJulia.jl) R (https://github.c
📦{tm}パッケージで日本語のPDFからテキストを抽出する - cucumber flesh
男なら誰しも一度は「俺に落とせない女はいない」、的なことを言ってみたいと思うわけですが、どうやらそんなセリフを言う機会がありそうもないので、「俺に落とせないデータはない」くらいにスケールダウンかつハッカー感を出していければと思います。 というわけでタイトルにある通り、日本語のPDFからテキストを抽出する方法です。テキストマイニングに特化した{tm}パッケージを使います。 まず、通常の{tm}の挙動を見てから、日本語PDFへの応用例を示します。 library(tm) 🔧 tm::readPDF() の基本動作 PDFからR上にテキストを落とすreadPDF()の基本的な使い方です。 対象にするのは、欲しいなー誰か買ってくれないかなーと狙っている "Zero Inflated Models and Generalized Linear Mixed Models with R"の目次PDFに
Introduction to Programming Language R
講義スケジュール 第1回目(9月22日): Rの基礎(1) (2013年10月2日作成, 同年9月25日改訂, 2015年10月1日改訂): 基本演算、代入、ベクトル、関数定義 注意: Rではコメントの始まり記号は # です。(プログラミング言語Cとは異なり)//ではありません（エラーになります） 第2回目(9月29日): Rの基礎(2) (2013年10月2日作成、同年 10月2日改訂、2015年10月7日改訂, 2016/9/29訂正) データ型、制御構造、基本データ構造 第3回目(10月6日): Rの基礎(3) (2013年10月3日作成, 同年 10月14日、2015年10月13日, 2016年10月6日改訂) データフレーム、入出力、簡単グラフィックス 第4回目(10月13日): Rの基礎(4) (2013年10月7日作成, 同年10月14日改訂, 2015年10月15日改訂)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spotifyの76,000曲の属性データを分析した結果、J-RockはRockというよりむしろPunkだった
http://harold-spm.com/rgenngo-contents/