RからBigQueryに接続してデータを取得してみる | DevelopersIO
こんにちは、小澤です。 私はR大好きです。データ分析をするときは積極的にRを活用していきたいものですね。 というわけで、RからBigQueryに接続してデータ取得する方法を見ていきます。 BigQueryへの接続とbigrquery RからBigQueryに接続するにはbigrqueryというライブラリが利用できます。 install.packages("bigrquery") これを使うと簡単にSQLを発行してデータの取得ができます。 library(bigrquery) # サービスアカウントのkeyを使って認証 # email引数で認証も可能 bq_auth(path = "path/to/service-account.json") # 実行するSQLを記述 # ここでは公開データセットのものを利用している sql <- "select totals.newVisits, tota
Why are you using Python ? Rによる自動集計ガイド - Qiita
※タイトルで煽るのは良くないと思ったのでタイトルを変えました。 まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiitaを読んでいて（Rのが絶対便利…！）というお気持ちが強まってきたので勢い余って書きました。 はじめに PythonはColaboratoryで手軽に試せて非常に良いです。実は、RもColaboratoryから使うことができます。ColaboratoryにはRのカーネルが既に入っているのですが、表から見えないようになっているだけなのです。 そこで、見えるようにしたものを用意しました。 R Example - Colaboratory このノートブックを使えば、Rだってすぐ試せます（もうちょっと詳しい説明はColaboratoryでRやSwiftを使う - Qiitaをどうぞ）。 試して下さい。今すぐ。 使用するパッケージ 主にdplyrを使います
BERT | Basic Excel R Tookit
BERT is a tool for connecting Excel with the statistics language R. Specifically, it’s designed to support running R functions from Excel spreadsheet cells. In Excel terms, it’s for writing User-Defined Functions (UDFs) in R. All you have to do is write the function. Everything else – loading the function into Excel, managing parameters, and handling type conversion – is done automatically for you
Shiny100本ノック！RユーザーのためのTips集 - Np-Urのデータ分析教室
本ブログではShiny100本ノックと称して、Shinyに関する情報をまとめています。 書きたい順で記事を執筆していっているので、情報が乱雑してしまっています……。そこで本記事では、過去に紹介してきた事柄をまとめることにしました。 Shinyに関して困ったことがあったら、まずは本記事を参照していただければと思います。 Shinyことはじめ Shinyのデザインの質を上げる タブを使って見た目をいい感じに 知っておくと便利！Shiny小技集 Shinyの環境構築について Shinyアプリケーションの公開方法 Shiny実践編 Google Data Studioもどき制作 最後に Shinyことはじめまず、Shinyって何？という方やShinyについて勉強をはじめたばかりという方は、以下のリンクを確認すると良いでしょう。 www.randpy.tokyo www.randpy.tokyo S
RとQGISとPostgreSQLと - Ｒで統計解析して一儲けできるだろうか
FOSS4G Advent Calendar 2017 18日目の記事です。 毎年皆さま新しい技術記事のなか、今さらながらＲを始めたのでQGISのプラグインから使ってみた記事です。 R：オープンソースの統計解析向けプログラミング言語。初心者です。 QGIS：オープンソースのGISソフト。お世話になってます。 PostgreSQL：オープンソースのデータベースソフト。お世話になってます。 Python：いろいろ使えるスクリプト言語。チューニング次第で早くなったり遅くなったり。 で、この方々の関係がどうなっているかとゆうと R - QGIS プロセッシングでＲスクリプトを利用できる。 https://docs.qgis.org/2.18/ja/docs/training_manual/processing/r_intro.html R- PostgreSQL RPostgreSQLパッケージで
【2017年12月版】RでTwitter APIを叩くための基礎講座 ~認証からツイート取得まで~ - Np-Urのデータ分析教室
テキストマイニングを気軽にやってみたい！という方は多いと思います。 そんな時に便利なのが、SNSの投稿データ。 今回はTwitter APIをRから使用して、ツイートデータを取得してみます。 本記事を踏まえて、テキストマイニングにどんどんチャレンジしていきましょう！ 注意点として、ちょくちょく公式の手順が変わったりするので、もし本記事の通りやってみてうまくいかない場合は、ググってみて最新の手順を調べてください。 そしてそれをコメントやツイッターなどで教えてくれると助かります。 なお、Twitter APIの使用方法やテキストマイニングの作法については、以下の本がかなり参考になりました。 良書です！ Rによるテキストマイニング入門 作者: 石田基広出版社/メーカー: 森北出版発売日: 2017/06/28メディア: 単行本この商品を含むブログ (1件) を見る 最近でたこちらの本は、中級者向
RStudioアドイン 10選 ·
Rユーザのみなさん、RStudio使っていますか。RStudioを使うなら、RStudioアドインも使いましょう。便利です。 … でも、＼どんなアドインがあるのかわからない！／ という声をしばしば聞きます。というわけでお気に入りのアドインを10個まとめました。用途ごとに部門を設けて紹介します。 RStudioアドインとは そもそもRStudioアドインとは何か。それを説明しておかないといけませんね。 RStudioアドインとは、0.99.878以降のバージョンで実装されているRStudioの一機能です。複雑な処理をボタン一発で実行したり、ショートカットとして利用したり、GUI操作で処理を実行できるようになります。 RStudioアドインはメニューバーの「Addins」というボタンあるいは設定されたショートカットから呼び出すことができます。アドインは、Rの関数と同様にパッケージによって提供さ
[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
「R」を初めて使うエンジニアが覚えておきたい、データ処理のコマンドあれこれ
ビッグデータの流行によって分析ツールが注目を集めています。それらのツールのうちの1つがプログラミング言語のRです。この記事では、テキストファイル、CSVファイル、データベースからデータを抽出し、Webサーバーへ送信する方法を紹介します。 また新しい言語を習得しなければならないのかと心配していませんか？ 答えはノーです。ほんの少しのコマンドだけ知っていれば大丈夫です。 なにかしらのプログラミング言語でWebアプリケーションを作った経験のあるプログラマーであれば、Rにデータをインポートして処理をし、必要な形式に出力できます。 注意：もしRにまったく馴染みがなければSitePointの記事『Introduction to R and RStudio』がおすすめです。R言語の概要や基本コマンドが書かれています。今回の記事では、IDEのRStudioは使わずにターミナルで動くコマンドのみを紹介します
[R] 実録・手作業で行なっていた集計・グラフ化作業をRで自動化した話（Tips編） | DevelopersIO
はじめに 先日は概要編と称して主にエクセルを用いて手作業で実施していた集計・グラフ化作業をRを用いてスクリプトで管理する体制に移行した概要を記述しました。 今回はTips編と称して、集計・グラフ化作業をRのスクリプト化するにあたって役に立ったTipsを10個紹介します。 Table of contents ライブラリが入っていなかったらインストールする ディレクトリが無かったら作成 特定の離散値しかとらないカラムに対してカウント数0も含めて集計 データフレームの因子データを一括で数値データに変換 データフレームをライブラリを用いてエクセルファイルとして出力 グラフの判例を枠外に出す グラフ内の日本語文字化けを直す 対散布図と相関の度合いをライブラリを用いてグラフで出力 調査を重ねるにつれて変化するCSVスキーマの差分吸収 SELECT 集約関数 FROM テーブル GROUP BY カラム
![[R] 実録・手作業で行なっていた集計・グラフ化作業をRで自動化した話（Tips編） | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/799296d43fa3cf2fbbe66e60bc8591a4e8d1cc45/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F08%2FR-eyecatch.jpg)
統計: Python と R で重回帰分析してみる - CUBE SUGAR CONTAINER
今回は R と Python の両方を使って重回帰分析をしてみる。 モチベーションとしては、できるだけ手に慣れた Python を使って分析をしていきたいという気持ちがある。 ただ、計算結果が意図通りのものになっているのかを R の結果と見比べて確かめておきたい。 また、分析にはボストンデータセットを用いる。 このデータセットはボストンの各地区ごとの不動産の平均価格と、それに付随する情報が入っている。 今回使った環境は次の通り。 R と Python は、あらかじめインストール済みであることを想定している。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1212 $ python --version Python 3.5.2 $ R --version R version 3.3.2 (20
Rによる機械学習：caretパッケージの使い方 | Logics of Blue
ニューロンの個数を2パタン。 データへの依存度を3パタン用意すると、2×3＝6パタンも試さなければなりません。 大変に面倒ですが、このハイパーパラメタを雑に設定すると予測精度が落ちてしまうこともよくあります。 めんどくさいですが、なるべくやったほうがいいです。 4．モデルを使って予測する これは簡単。単に予測をするだけです。 パッケージを使っていれば、たいていは予測用の関数が用意されています。 5．予測の評価をする 最後は評価です。 評価をすることによって、 ・どの手法の ・どのパッケージの ・どのパラメタを 採用すべきかを判断します。 で、一番予測精度がいいやつを使って予測することになります。 たくさんの手法、たくさんのパッケージ、たくさんのパラメタの組み合わせをしらみつぶしに評価する。 普通にこれをやろうと思うと、気が遠くなってしまいますね。 そこで登場するのがパッケージ「caret」
Mac OS X に Homebrew で R をインストールする - CUBE SUGAR CONTAINER
R は統計の世界でよく使われているプログラミング言語とその実行環境。 Mac OS X なら Homebrew を使うと割りとサクッとインストールできる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.11.6 BuildVersion: 15G1004 下準備 ここでは Homebrew が既にインストールされている状態を仮定する。 もし、まだインストールしていないときは公式サイトの記載にもとづいて入れる。 brew.sh まずは Homebrew を最新の状態にしておく。 Homebrew では、何をするにしても最初に brew doctor コマンドを打って問題がないことを確認しておくとハマることが少なくなる。 $ brew update && brew doctor && brew upgrade イン
Rのフロントエンドということで話題になっている、Exploratoryの対話的なデータ分析環境で「ヨーロッパはほんとに女性が活躍しやすい社会か」どうか分析してみた - Qiita
Rのフロントエンドということで話題になっている、Exploratoryの対話的なデータ分析環境で「ヨーロッパはほんとに女性が活躍しやすい社会か」どうか分析してみたRデータ分析DataVisualizationデータ可視化Exploratory ぱっと見て、このデータがなんのデータかとかってわかりますか？ これだけ見ただけだとなんのデータかわからないですよね〜。 これは実は、フォーブズ誌からダウンロードしてきた世界の億万長者についてのデータなんですね。 そもそも億万長者ってどの国に多いんですかね。また、億万長者ってどうやってなってるんですかね。はたまた、億万長者って男性と女性どちらのほうが多いのでしょうか？ また、最近読んだ記事↓によると、ヨーロッパは女性が活躍しやすい社会だったりするそうです。だとすると、今、ヨーロッパには、女性の億万長者も多かったりするのでしょうか？ こんな疑問を、データ
R Tools for Visual Studioを使ってみよう
連載目次 R Tools for Visual Studioとは R Tools for Visual Studio（以下、RTVS）は、R言語をVisual Studio（以下、VS）で使用するためのプラグインであり、オープンソースソフトウェアとして公開されている。なおRTVSは、本稿執筆時点（2016年3月24日）ではまだパブリックプレビュー段階だ。そのため、製品版のリリース時には本稿とは変わる部分が多数あろうことはご承知いただきたい。 R言語は統計解析や機械学習に向いた機能を持ったプログラミング言語（およびその実行環境）だ。RTVSを使用するには、マイクロソフトによるオープンソースなR実装であるMicrosoft R Open（以下、MRO）などを別途インストールする必要がある。 RTVSのインストール 上述の通り、本稿執筆時点ではRTVSはプレビュー段階であり、VS 2015 Up
Rが変な場所に入ってるときのRStudioの起動方法 - hitode909の日記
% which R /Users/hitode909/homebrew/bin/R % RSTUDIO_WHICH_R=$(which R) open -a RStudiosupport.rstudio.com
機械学習手習い : Rをインストールして、基本的な使い方を学ぶ - うなの日記
オライリーの「入門 機械学習」を手に入れたので、手を動かしながら学びます。 www.amazon.co.jp まずは、1章。Rのインストールと基本的な使い方の学習まで。 Rのインストール 手元にあったCentOS7にインストールしました。 $ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) $ sudo yum install epel-release $ sudo yum install R $ R R version 3.2.3 (2015-12-10) -- "Wooden Christmas-Tree" Copyright (C) 2015 The R Foundation for Statistical Computing Platform: x86_64-redhat-linux-gnu (64-bit)
競馬の予測をガチでやってみた - stockedge.jpの技術メモ
基本的に競馬なんてやるべきではないと私は思っている。胴元の取り分が多いからだ。宝くじに比べればまだましだが、それでも賭け金の20～30%は胴元に取られることになる。*1 しかし今回は、ちょっと思い立って競馬の予測をやってみることにした。 理由は馬券の安さだ。私は現在、資金量が少ない人間でも不利にならない投資先を探しているのだが、馬券の一枚100円という安さは魅力的に映る。株の場合にはどんな安い株であれ最低購入額は数万円以上*2なので、ある程度まとまった資金が必要になる。 また、競馬には技術介入の余地（努力次第で勝利できる可能性）がある。 例えばこんな例がある。 １６０億円ボロ儲け！英投資会社が日本の競馬で荒稼ぎした驚きの手法 - NAVER まとめ 彼らは統計解析によって競馬で勝っており、その所得を隠していたらしい。こういうニュースが出るということは、解析者の腕次第では競馬で勝てる可能性が
Rでコマンド：「XML」パッケージでxlsxファイルを読み込むコマンド例
docxファイルやxlsxファイルはxlmファイル群をzipで圧縮した構造です。解凍してしまえばXMLパッケージで読み込むことができます。そこで、XMLパッケージの利用例としてxlsxファイルを読み込むコマンド例を作成しました。 XMLパッケージの利用例を目的に作成したので処理速度が遅いですが、10,000程度のデータであれば約1分以内に処理できるので、我慢できる範囲かと思います。 なお、sapplyとxpathSApplyでデータを取得している箇所を工夫すると読み込み速度が快適になると思います。ぜひ、挑戦してみてください。 パッケージを利用して快適にxlsxファイルを読み込みたい方は下記記事をどうぞ。 ・openxlsxパッケージの紹介 https://www.karada-good.net/analyticsr/r-338/ ・XLConnectパッケージの紹介 https://w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、「Visual Studio」にR言語サポートを追加する「R Tools for Visual Studio」
