はてなブックマーク

shapefileを入手する 以下のような場所からライセンス的にも使い勝手の良いシェープファイルが入手できる。 国土数値情報　行政区域データの詳細 政府統計の総合窓口 「地図で見る > 境界データダウンロード」から検索してダウンロード 例では「境界データ > 小地域 > 国勢調査 > 2015年 > 小地域（町丁・字等別） > 世界測地系緯度経度・Shape形式 > 新潟県」と辿ってダウンロードしたファイルを使用している。 今回はe-statのものを利用した。以下では、シェープファイルがshpディレクトリ以下に展開してあることを想定している。 必要パッケージ sfと開発版のggplot2を使う。ggplot2開発版にはsfオブジェクトのためのgeom_sf等が入っている。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

このコードについて、twitter上で「Juliaなら数十秒で終わるのにRだとめっちゃ時間かかったんだろうな…」的な発言が流れてきたのを見かけて、本当にそうなのか気になったので少し調べました。 そもそもRのループは遅いのか？ たしかに、Rのforループが非常に遅いとされていた時代はありました。繰返し処理はなるべくベクトル化して書くべきものであって、forを書くというのは可能であれば避けるべき作法でした。 しかし、R 3.4.0からJITコンパイラが同梱されており、これがデフォルトでONになっている恩恵で、現代のRのforループの速度は相当に改善されています。場合によってはforを書いたほうが速度的に有利なことすらあります。 やってみる まあともかくやってみましょう。 実測とプロファイリング まず「そもそも元のコードがどれだけ時間がかかるのか」を確認しておくと、私の手元のちょっと古くなってき

GitHubにサンプルを置いてみたので、とりあえず試してみたいという方はこちらからどうぞ。 R: R Example - Colaboratory Swift: Swift Example - Colaboratory 動作確認だけならそのまま動かしても良いですし、編集・保存したければコピーして使うこともできます。 以下説明。 ColaboratoryはJupyter notebookを手軽に試せる非常に便利なサービスなんですが、新規作成時のカーネルにはPython3かPython2しか選べません。 ですが、!jupyter-kernelspec listを実行して利用可能なカーネルを確認してみると、ir（Rのカーネル）とswiftが利用可能なことが分かります。 で、実は、カーネルにirやswiftを利用した.ipynbファイルをColaboratoryで開けば、これらのカーネルを普通に使

※タイトルで煽るのは良くないと思ったのでタイトルを変えました。 まだExcelで消耗してるの？Pythonによる自動集計ガイド 基礎編 - Qiitaを読んでいて（Rのが絶対便利…！）というお気持ちが強まってきたので勢い余って書きました。 はじめに PythonはColaboratoryで手軽に試せて非常に良いです。実は、RもColaboratoryから使うことができます。ColaboratoryにはRのカーネルが既に入っているのですが、表から見えないようになっているだけなのです。 そこで、見えるようにしたものを用意しました。 R Example - Colaboratory このノートブックを使えば、Rだってすぐ試せます（もうちょっと詳しい説明はColaboratoryでRやSwiftを使う - Qiitaをどうぞ）。 試して下さい。今すぐ。 使用するパッケージ 主にdplyrを使います

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

※この記事はDo more with dates and times in R with lubridate 1.3.0を翻訳したものですが、とても雑にやったので原文と大分違っていると思います。 日付と時刻のパース Rで日付や時刻を含むデータを扱う方法は大分ややこしいが、{lubridate}パッケージを使えばもっと単純にやれる。 例えば文字列をパースする場合、y, m, dを文字列に含まれる年月日の順序に合わせて並び替えた関数を使えばよい。例を見たほうがわかりやすいだろう。

「Pythonではじめる機械学習」のp.152以降に非負値行列因子分解(NMF)の説明があるのだけれど、説明が素っ気なさ過ぎてよく分からず、かといってググってみても「実装はかんたんだよ！」という説明はたくさんあるもののやっぱりよく分からなくてモヤモヤしていたところ、スパース表現による音響信号処理(PDF)という資料を見つけて雰囲気はわかったような気がするのでちょっとメモっておく。 非負値行列因子分解(NMF: Nonnegative Matrix Factorization) なにをやりたいのか 行列$X$を行列$W$と行列$H$の積で近似したい。 $$ X ≈ WH $$ ここで$X$は1つが$N$個の値からなる$p$個のデータをまとめて1つにしたような$N× p$行列で、これを分解するのだから$W$は$N$行でなければならないし、$H$は$p$列でなければならない。そして、$W$の列数

元ネタはこちらIntroduction to optimal changepoint detection algorithms。 変化点検出 変化点検出は、時系列データを分析して、何らかのパラメータが変化した時点を推測する問題だといえます。変化するパラメータとしては様々なものが考えられ、検出方法もいろいろで、Rの変化点検出に関連したパッケージも複数あります。そのうちの一つであるchangepointパッケージは尤度比検定に基づいて平均and/or分散の変化を検出するパッケージです。まずはその考え方をざっと確認しておきます。 単一の変化点 次のような時系列データを考えてみましょう。平均値が時間に依存して変化するようなデータです。 $$ Z_t|\theta_t \sim \mathrm{Normal}(\theta_t, 1) $$ ただし、$\theta$はある時間の区間（セグメント）にお

以下の文章はpatchworkパッケージ(thomasp85/patchwork: The Composer of ggplots)のREADMEの翻訳に少し解説を追加したものです。 patchwork patchworkはggplot2により作成された複数のプロットをめちゃ簡単に組み合わせられるようにすることを目標として開発されているパッケージだ。 同様の目的のパッケージ、関数として、gridExtra::grid.arrange()やcowplot::plot_grid()があるが、これらで上手くやろうとすると試行錯誤が結構必要となる。 これに対し、patchworkでは演算子を使った直感的な記法でプロットを組み合わせられるので、より簡単で可読性に優れた記述が可能となる。 インストール 現在はCRANからインストールできる。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

shop=# SELECT * FROM Shohin; shohin_id | shohin_mei | shohin_bunrui | hanbai_tanka | shiire_tanka | torokubi | shohin_mei_kana -----------+----------------+---------------+--------------+--------------+------------+----------------- 0001 | Tシャツ | 衣服 | 1000 | 500 | 2009-09-20 | 0002 | 穴あけパンチ | 事務用品 | 500 | 320 | 2009-09-11 | 0003 | カッターシャツ | 衣服 | 4000 | 2800 | | 0004 | 包丁 | キッチン用品 | 3000 | 2800 | 2

mlrぽいす！ — 職業、イケメン。Nagi Teramo (@teramonagi) 2018年2月15日 ということだったので仏の教えに従ってチュートリアル(mlr tutorial)を読んでいる。mlrパッケージのチュートリアルは開発版に対応したものとCRANに上がっているものに対応したものの2種類あるが、どちらかというと開発版を参考にしている。翻訳っぽいけど原文を結構無視しているのでアレな部分があるかもしれません。 とりあえず予測して可視化するところまで。前処理とかチューニングは次回に。 次: Rの機械学習パッケージmlrのチュートリアル2（前処理からチューニングまで） - Qiita） 次の次:Rの機械学習パッケージmlrのチュートリアル3（ベンチマーク試験から可視化まで） - Qiita まとめたやつ: mlrパッケージチュートリアル - Quick Walkthrough編

※下記の文章はDatabasesを参考にしていますが、一部省略したり、現在の状況に対応するように加筆したりしています。 前置き dplyrを使えばデータベースをデータフレームやデータテーブルと同様に操作できる。データがメモリ内で扱えるサイズであるならば、通常はデータベースを使う利点はない。データベースは扱うのが面倒だし遅いからだ。それでもdplyrでデータベースを扱いたくなる理由は「すでにそれがデータベースになってしまっているから」とか、「データが大きくてメモリに収まらない」とかそんなものだ。dplyrは主要なオープンソースRDBMSのうち3つ(sqlite、mysql、そしてpostgresql)、それとGoogleのBigQueryをサポートしている(※現在BigQueryはbigrqueryパッケージでサポートされている)。 Rでデータを扱う場合はメモリに読み込んで使うのが一般的だが

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

2軸プロットが欲しくなるとき y軸が左右にあるいわゆる2軸プロットはExcelなんかでは簡単に作れるがggplot2では簡単には作れない。 つまりそもそもそんなもん作るなという話だが、欲しくなる場面はある。 例として気温(℃)と相対湿度(%)と飽差(Pa)をプロットする場合を挙げよう。飽差は気温と相対湿度から算出できる数値で、「乾きやすさ」の指標と考えてもらえればいい。 日常的な環境では、3つの変数のうち相対湿度が最も大きく変動するので、これらを1枚に収めると相対湿度の変動だけが目立ってしまう。したがって、相対湿度だけ第2軸に移してなんとかしたい、という動機が生ずる。 使用データ 上述の気温、相対湿度、飽差をプロットする例を想定し、次のように作成した。 ## function ---- svp <- function(t){ # 飽和水蒸気圧計算 Alduchov and Eskridge