サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Wikipedia
qiita.com/uri
Rユーザの皆さん、rlangパッケージないしtidy evaluation (tidy eval)についてどれだけご存知でしょうか。rlangパッケージは昨日バージョン0.4.2がリリースされました。まだ1.0.0には至ってはいませんが、CRANに登録されて2年以上経つので、本腰を入れて学んでいきたいと思っているところです。 今回から数回、そんな私自身のrlang、rlangによるtidy evalの学習ついでに、やんわりとした解説をしようという試みで記事を書きます。本来であれば用語の定義や背景についての解説をしなければならないと思います。しかしここでは、まずは、tidy evalを学ぶことでどのようなことが可能になるのか、rlangパッケージを使うとどのような利点があるのか、その雰囲気の理解に重きを置きます。詳細を知りたくなった方はぜひドキュメントや参考資料を読んでください。 私もまだ道
qiita.com/uriuriuriu
firestoreでlikeやfollowする際のデータ構成 / firebaseとNuxtでwebサービスつくったのでそのfirebaseまわりJavaScriptVue.jsFirebaseNuxt 趣味制作で、これ最高なんすよ〜といったランキングを作れるサービス、COUCH(カウチ)をリリースしました。Nuxtとfirebaseを一通り使用しています。 先週Nuxt系の記事を書いたので、 Nuxt.js Advent Calendar 2018 5日目 NuxtのOGP対応について / firebaseとNuxtでwebサービスつくったのでそのNuxtまわり 今回はfirebase周りの話になります。 参考文献 vue, nuxt, firebaseの公式docが手厚く、流行ってるのでみなさん良い記事書くしで、自分が書くことないんじゃないかと悩みます。 まあ、とりあえずは参考&勉強に
趣味制作で、これ最高なんすよ〜といったランキングを作れるサービス、COUCH(カウチ)をリリースしました。 URLのランキングしか作れない、知り合いに向けたNAVERまとめ的なものをイメージしてもらえたら大体あってます。 人は忘れるし変わるので年月で区切ってBEST保存できればなと。 毎月2000reblog、100likeしてる身として、去年のおすすめreblogすぐ出せない&忘れてる状態となるのが悔しくて作ったというのが本音 使ってもらえたら嬉しいです。基本1人で作ってるので、足りない至らない部分あります。暖かく見守ってもらえれたら助かります。 COUCH(カウチ)は、Nuxtとfirebase(Authentication, Firestore, Functions, Storage, Hosting)で作ったので、当記事はそのNuxt周りのお話、 具体的にはnpmとOGPについて書
「なんでもは知らないわよ。知ってることだけ。1」 これはR Advent Calendar2018の第一日目の記事です。"tidyverse"という言葉がUser!2016で爆誕してから早くも2年が経ちました。皆さんは普段どれだけtidyverseのパッケージを使って作業をしているでしょうか。 今日は、日々進化を続けるtidyverseに含まれるコアパッケージの、(私的に)あまり知られていない関数を紹介したいと思います。なお各パッケージのバージョンは全て現在CRANに登録されている最新版となります。 「あなたの好きなtidyverseの関数を教えてください!」のコーナーだ(謎)!! slice()わいも好き。 #tokyor — Uryu Shinya (@u_ribo) October 20, 2018 皆さんの好きなtidyverseの関数は何ですか?? それでは行きます。 ## ─
オンラインでの小規模なR, Python, Juliaの環境共有にはbinder: 既存サービスとの比較Rデータ分析Jupyterbinder はじめに 2018年になり、データ分析を行うプログラミング言語は、従来のRとPythonの二強に加えて、Juliaが台頭してきたように思えます。また最近ではこれらの言語で記述可能なノートブックを提供するJupyterプロジェクトにおいても、総合開発環境としての面を強化したJupyterLabが発表されました。 さて話題が変わりますが、皆さんは普段一緒に作業するメンバー以外と分析・開発環境を共有する際、どのような手段を使っているでしょうか。ソースコードやデータはGitでのバージョン管理かと思います。では個人のコンピュータ内でのライブラリ等の環境はどのように脚を揃えているのかが気になるところです。ソースコードが共有できていても、実行環境での依存ライブラ
内閣府が公表している「国民の祝日」というcsvファイルがひどいという話を聞いたのでRパッケージを使って現状を確認し、問題点をあげながら、処理しやすい形に整形してみようと思います。使うのは{tidyverse}パッケージです。全ての機能をここで紹介することはできませんが、このパッケージ(に含まれているデータ操作のためのパッケージ)を使うとデータの前処理に必要な多くの作業を済ませることが可能になります。 pandasさんに先を越されてしまいましたが、このようなデータ処理はRでも得意な分野です 最初にこのファイルの問題点と最終的な整形結果を示しておきましょう。 エンコード データ以外の文字列 ユニークに扱えない変数名 文字列を日付として扱う 項目と値がセットになっていない ## # A tibble: 48 × 2 ## name date ## <chr> <date> ## 1 元日 201
Rの機能を拡張させるパッケージ(ライブラリ)を読み込むにはlibrary()やrequire()といった標準関数を利用するのですが、コード中に利用するパッケージは複数になることがほとんどで、時には何度もlibrary()を実行することになります。 例えば次のようなコードです。 1つのパッケージの読み込みを記述するのに1行を要し、すべてのパッケージを読み込むのに4行使いました。利用するパッケージ数が多くなると面倒な感じです。これ以外の方法としてRでは、セミコロンによる区切りを与えることで複数のコードの実行を記述することができますが、それはそれで見にくいという欠点があります。 そうした場合に便利なのが、{needs}パッケージです。データサイエンティストのコンペティションの1つであるKaggleで利用している方がいたので使い方を調べてみました。 {needs}パッケージ {needs}パッケー
プログラマでなくても、研究やギョームのためになんらかしらのコードを書く人間にとって、正規表現を覚えることはとても大事だって、どこかの本、あるいはどこかのブログ or Qiita 記事に書いてあった気がする。 Rで正規表現、なかなか覚えられなくて、いつもこのページをみているのだけど、いい加減に覚えたい。正規表現を覚えて、早く人間になりたい。そんな私のために、Rで正規表現を使いやすくしてくれる{rex}パッケージのメモ。 まず正規表現の基礎として、grep()の引数をみてみる。 pattern引数に正規表現パターンを記述し、x引数に対象の文字列やオブジェクトを渡す。Rでは多くの関数がpattern引数に相当する引数を備えており、grep()やsub()以外でも正規表現パターンが有効である(例えばlist.files())。 例として早速、shortcutsで表示された正規表現をみてみたい。gr
📜 要約 コンテナー管理ソフトウェアのDockerを利用することで、データ分析の場面で利用頻度の高いRおよびPythonの分析環境として実行することが出来るRStudio Server、Jupyter、Beaker Notebookを容易に構築可能になる。Dockerを使うことの利点として、複数人でのデータ分析や将来の利用面においてデータ分析結果の再現性を高められると考えられる。 🍵 前置き〜データ分析者が直面する再現性への挑戦 データ分析の結果が、自分以外では再現できない、同じデータを使っているのにナンデ!?ということが時々あります。その原因として多いのが分析に関わる人間が利用する実行環境の違い、です。大きなものではOS、小さなものでは分析に利用するツール本体や拡張機能(パッケージやモジュール)のバージョンの違いがあります。 こうした再現性の問題は、複数人でデータ分析を行う時だけでな
絵文字(やなど)をLaTeX文書の中に取り入れたいという願望があり、あれこれ方法を探したり試行錯誤してみたという苦労話。 結論は、現段階では絵文字を使うことはかなり難しいということ。しかしその代わりに、絵文字ほどカラフルではないが、フォントアイコンなどを使ってLaTeX文書のおしゃれ感を増すことは比較的簡単にできます。 というわけで試行錯誤の記録とFont-Awesomeを取り入れておしゃれ感を増す方法を書きます。 coloremojiパッケージによる絵文字の実装 2つあってややこしいのですが、coloremojiパッケージを使って絵文字を表示させることが可能です。 coloremojiパッケージを使うことで、一応絵文字を使うことができます。ただし絵文字として扱っているのではなく、あくまでも画像として扱われている点に注意。 参考) TeXで絵文字を入出力する (2) 〜 カラー絵文字篇 -
RでGoogleのアクセス解析サービスGoogle Analyticsのデータを解析するための手法やパッケージには、 {RGoogleAnalytics}パッケージなどをはじめとしていくつかあって、特に{RGoogleAnalytics}についてはこちらの記事に詳しいですが、{RGoogleAnalytics}パッケージはなんとなく複雑な感じです。 そんな中で最近、{RGA}パッケージというGoogle Analytics APIのラッパーパッケージが新たにCRANに登録されたのでお試しがてら紹介します。慣れの問題もありますが、既存の{RGoogleAnalytics}よりも使いやすい印象です。 また、{RGA}の特徴として、通常のレポート APIに加えてリアルタイムレポート APIや試していませんがAnalytics Multi-Channel Funnels data APIもサポート
TeX & LaTeX Advent Calendar 2015 の22日目の記事です。昨日は @termoshttさんの「今さら人に聞けない、Beamerの基本 」でした。 これまでの担当の方々に比べるとLaTeX力が圧倒的に少ないのですが、今日は、主に統計解析のために利用されるR言語でLaTeXが役立っている点についての記事を書くことでLaTeX職人さんたちに感謝の気持ちを伝えたいと思います(え。また、Rユーザーの方には少しでもRとLaTeXの相性の良さを伝えられればと思います。LaTeXで脱わーどを目指しましょう。 RユーザーがLaTeXを使うべき理由 LaTeXユーザーの方には言わずもがなですが、Rを使っている人でLaTeXも使う、という人は案外少ないように感じます。ですが、今回の記事で書くように、RとLaTeXを組み合わせることでより強力な表現ができたりしてあれこれ捗ります(多分
統計解析やデータの可視化に優れたRという言語があります。フリーで利用できること、外部パッケージの利用により多種多様な解析手法が適用できること、ドキュメントが充実していることなどの理由で多くの研究者や企業、データ解析に携わる人々の間で愛されている言語です。 今日はそんなRに関する、日本で唯一?なSlackのチームである「r-wakalang」について紹介させていただきます。他のプログラミング言語やSlackのチームの方から、こうしたコミュニティをさらに盛り上げるためのご意見など伺えればと思っております。 r-wakalang とは Rのわからないことへの質問を日本語でする場所 「こういうのが欲しい」という雑な妄想や夢でもいいかも。そうすると匿名知的集団ホクソエムが開発してくれるかも・・・? ありそうでなかった、@teramonagi さんの鶴の一声で生まれたGitHubのリポジトリ並びにSl
Rを使って地図を表示することがしばしばある。その度にやり方を忘れていて、調べ直すことが多い。Google先生に尋ねると、当然のごとく結果が変わっている。時間が経つと、より評価され・より良い内容の記事が検索のトップに並ぶからだ。なので毎回方法が変わってしまう。自分なりの手法を確立しておきたい。 Rを用いた地理情報データとデータマッピングの流れ まずは先行して書かれている既存のブログ記事などを参照に、Rを使って地図を描画する手順を整理してみる。大まかな流れとして、 必要なファイル(Shapefile)を読み込む 描画用のパッケージ関数を使って地図を描く 目的に応じてデータを地図に追加する(マッピング) となっている。順を追って手を動かしてみよう。なお個人的に、地図をプロットする際にはこうしたい、という願望があるので、 Shapefileは使いたくない。GeoJSONかTopoJSONファイルを
熱狂的なHadley Wickhamファンな私ですが、最近、Hadleyのあゆみについていけていない感があります。 {purrr}だの、{multidplyr}だの次々と新しいパッケージが登場したり、やっとの事で1.0.0メジャーバージョンになった {ggplot2}の次期マイナーバージョンである1.1.0の開発がGitHubで始まったりと、ちょっと待ってくれよ、と戸惑いを感じる今日この頃です。というわけで新しい(わけでもないけど)関数の使い方を覚えようという心構えです。 今日はみんな大好き {dplyr}から、便利なdo()関数の使い方を紹介します。do()関数は、はじめは意味がわからなすぎて辛いですが、{ggplot2}のように使い方がわかれば大変便利な関数です。 まずは必要なパッケージを読み込みます。{dplyr}が今回の主ですが、後半に{broom}、{ggplot2}を利用した応
2017年12月時点での状況を振り返り、変更点や新しい機能等について更新、文章の見直しを行いました。差分はこちらからも確認できます。 先日、Tokyo.RでRStudioとGitの話をしてきましたが、尻切れトンボな感じで中途半端に終わってしまったので改めてまとめておきます。 この記事では、RStudioでのバージョン管理を行うために必要な準備編とバージョン管理の基本的な操作をまとめた基礎編、GitHubを例としたリモートリポジトリの活用方法、そしてこういう状況ではどう対応するかという実用編の3つに分けて説明します。 なお、すでに使用しているパソコンでGitのインストールやsshキーの発行およびGitHubのアカウント作成等が済んでいるものとして話を進めます。Gitの設定などは末尾に挙げる参考文献やIT苦手な人のためのWindows+gitでRStudioによるバージョン管理入門 - Ana
キャプテンアメリカが一晩でやってくれました。 こんな話があったそうです。 Is it possible to import data entered in MS Word into R - I have multiple tables in 235 files that need importing #rstats — Richard Telford (@richardjtelford) August 23, 2015 これに対し、Rudisは「Yes」と答え、たった数時間のうちに素晴らしいパッケージを開発しました。 パッケージ開発の経緯や詳細についてはRudisの記事を見てください。 Using R To Get Data Out Of Word Docs | rud.is New Pacakge “docxtractr” – Easily Extract Tables From Mic
qiita.com/uriborn
概要 前回の投稿で Apache Spark 使ってアクセスログを解析して、CSVファイル出力をやってみましたが、 Apache Spark を使ってアクセスログを解析して、その結果をCSVファイルに出力してみた。 今度はアクセスログじゃなくてMySQLのデータを Apache Spark 使って集計出来るかを試してみました。 経緯 user 1 --- n entry のようなテーブル関連で各userレコードに関連するentryの数とそのentryのキーなどの情報を知りたくて、 またCSVファイル(w)で出力してチーム内で共有しようと思ったのです。 ただ、userテーブルのレコード数が80万件近くあり、普通に slick 使った集計スクリプトだと、クソ遅くてやってられん。(← ク○コードだからかも。。) そこで。。 分散処理できないかなー ↓ Apache Spark でできないかなー
RStudioはエディタ 古事記にも書かれている 野球好きな人が言っていた。実際、RStudioのエディタ機能はテキストエディタに引けをとらないくらい完成度が高く充実していて大変良い。RStudioはエディタである。そんなエディタ機能を極めるべく、RStudioのテキスト編集機能についてメモしておく。すべてではないし、使えそうなものだけをメモしたつもり。操作をところどころ間違えていて格好悪いがgifアニメを加えてみたので実際わかりやい(自賛)。 RStudioのバージョンは0.99.xxであれば問題ないと思われる。なお、Macで試しているのでWindowsやLinuxではショートカットキーが異なるはずなので注意されたし。ショートカットキーは記号で表現されることが多いが、ここでは英語表記で統一する(すなわち、⌘... command, ⇧... shift, ^... control, ⌥.
概要 次世代分散処理エンジンとして流行ってますね。Apache Spark。 https://spark.apache.org/ https://github.com/apache/spark モチベーションが下がりかかってるところに、ちょうどアクセスログを解析して〜みたいなことをやろうとしていたので、実際のアクセスログを解析し、アクセス数を集計して、CSVファイルに出力するということを試してみました。 集計とCSV出力 今回は対象のアクセスログから「/hoge」のURIに対して日毎にどれくらいのアクセスがあったかを集計し、その結果をCSV出力してます。 こんな感じの出力結果にしたいです。 import java.io.File import java.text.SimpleDateFormat import scala.util.parsing.combinator._ import o
気がつけばもう何ヶ月も前の話ですが、学会発表のためにポスターに使う図の設定に戸惑ったのでめもです。なお作図ファイルの形式はpdfで、R Markdownによる自動作図です(png形式だとサイズを変更する際に粗くなってしまうので)。ここに貼り付けている画像はPDFをpng形式に変換したものです。 完成形はこんな感じ。 GitHubリポジトリにPDFファイルがありますので興味があればどうぞ。これからの作図はirisデータでやっていますが、データが違うだけでやった方法は同じです。 まず、通常のggplot2でのプロットを見てみましょう。このままでも良いのですが、ggplot2は各種の変更も簡単なので、好みの図となるようにあれこれ変えていきます。 library(ggplot2) p <- ggplot(data = iris, aes(x = Sepal.Length, y = Petal.Le
親愛なるシリアルパッケージクリエイターのみなさま、ごきげんよう(キュアホクソエムです)。一人前のシリパクになるべく修行中です。Rパッケージを作成する際に避けては通れない(必ず作成する必要がある、mandatoryな)DESCRIPTIONファイルについて今更ながら調べてみました。 @yutannihilationさんが書いてくださいました。実際、このEncodingはreadrでも使われています。 コード内に日本語を含むパッケージはDESCRIPTIONにEncode:UTF-8って書いとかないといけないっぽい - Technically, technophobic. DESCRIPTIONファイルとは何か Writing R Extensionsの内容からざっくり引っ張ってくるとこんな感じ。 DESCRIPTIONファイルはパッケージについての簡単な情報を含む 統一されたフォーマット(D
はじめに Gitbookというものがある。Gitbookを使えばマークダウン形式で書かれたファイルを本の形式で表示したり電子書籍として公開・配布することができる。使い道はいろいろあると思うのだけど、自分はRユーザーなのでRのことを書きたい。その際、図の貼り付けは自動的にできるようにしたいし、出力結果の表示はコピペしたくない。要するに、.mdでなくて.Rmdで、Rのコードを実行したりしながらあれこれ書きたい。...そんな願いはRgitbookを使えば叶えることができる。 セットアップ RgitbookはCRANに登録されていない野良パッケージ。GitHubにリポジトリがあるのでそちらからダウンロードする。
対象としている手持ちのデータが、どのような特徴をもっているかを理解しておくことは、統計解析をおこなう際にとても重要。本当は、データを集める前に理解しておいたほうがいいのだろうけど、どこからともなくやってきたデータと向き合わなくてはいけない場合もあるし、そういうときに心得ておくと良いこと。そんなメモ。 多くの統計的検定の手法は、データが正規分布に従うことを仮定している。いわゆるパラメトリック手法といわれるやつ(母集団の分布型に一定の仮定をおく... 正規分布でなくてもおk?)がそれだ。 データが正規分布に従うかどうか(正規性)を確認する方法は、大きく分けて2つある。度数分布図(ヒストグラム)や正規確率グラフを用いて視覚的に確認するか、統計的手法を用いて客観的な評価をおこなうかである。もちろんRではどちらの方法も実行できるのでやってみる。
pipeR三銃士に(自称)弟子入りしてから半年以上が経ちました。黄金連休、進捗どうですか(肉ソンに参加しましたが、掲げた目標が達成できなかったのでQiitaに記事を書きます)。 magrittr便利ですね。pipeRも頑張って欲しいですね。そんな私はなんでもかんでもチェインで繋げてしまう、%>%pipe%>%中毒者です。 magrittrのおかげでRでの作業が捗っているのですが、処理をしているとあれこれとわがままな発想が浮かんできました。そんなわがままな私の願いを叶える方法。基本的にvignetteに書いてあることなので、より詳しく(magrittrに馴染みのない人)はvignette("magrittr")でご確認ください。vignetteにあるような内容なので、これって常識なのかも(README嫁という自分への戒め)。 わがまま1: チェイン処理中の値を複数の関数に渡したい @dich
はじめに ここでいう羽鳥氏とは、Rの統合開発環境RStudioのチーフをつとめるHadley Wickhamさんのことです。誰が言い始めたのか不明ですが、日本での愛称です。 Hadley -> はどりー、はどれー -> 羽鳥 今日はHadley Wickhamさんの紹介と、その信者(ただ単に羽鳥氏のふあん)について書きます。 神が神たる所以 神・羽鳥のすごさは、Rへの貢献の多さから伺えます。本、パッケージ、メーリングリスト、多くの場面で彼の名前を見つけます。また羽鳥か...、というくらいに。 Rの世界を知れば知るほど、彼の名前を見る機会が増えます。また、パッケージ制作に関わると彼から怒られることもあるとか。神の怒りに触れてはいけない(戒め)。 そんな羽鳥氏を尊敬し、崇拝する信者は、世界中にいるらしく、彼のRに対する思想やプログラミング、グラフィックスの作法を通称Hadley Worldとい
はじめに 私事ですが、著名なシリアルパッケージクリエイターである@dichikaさんがピザを食べながら言っていた言葉が頭に残っています。 sushiにを代入したい その熱意と言葉に夢を感じました。 それからちょくちょく、どうすればRでを食えるか、否、絵文字を使えるかということを考えていて、Twitter上でぶつぶつとつぶやいたり、Qiitaに記事を書いたり、絵文字使いたい勢とやり取りをしていたのですが、海の向こうにもR上で寿司を食べたい絵文字を使いたい人がいるみたいで、素晴らしいパッケージを作成してくれました。ありがとう 感謝です。 そんなわけでRで絵文字を扱えるremojiパッケージを日本のRで絵文字使いたい勢に届けます。ほとんどREADMEの内容ですがあしからず。 remojiパッケージ まだCRANには登録されていないみたいなので、devtoolsパッケージを使ってGitHubからイ
Gitにおいて、コミットコメントに絵文字を使おうぜ、というものやGitHub issuesでも絵文字表記をする、という話をよく聞きます。一方で本体となるソースコードの中で絵文字を使うという話はあまり聞きません。ソースコードではプログラムには意味をもたないが人間には大きな意味をもつコメントを書けるのですから、通常のコメントとともに絵文字を使うといいんじゃないかな、という話です。 絵文字 emojiの有効性 上記の話の中での絵文字の使用を推奨する理由は、絵文字がテキストと比べてつぎのような特徴をもつためと考えられます。 emojiは通常のテキストやテキストから連想できるイメージを反映している ←これをみて何を考えましたか。多くの人が林檎を連想するはずです 言語の壁を超えた「共通文字」 テキストよりも少ない表示領域で、より多くの情報を提供することもできる 例) Hello, world!(テキス
先日、めでたくRStudioのversion0.99がプレリリースとなりました RStudio v0.99 Preview Release (enhanced code completion, new data viewer, and more): http://t.co/Zc0Jeqc9mD #rstats — RStudio (@rstudio) January 26, 2015 RStudio大好きおじさんなので、RStudio 0.99の変更点についてのまとめと使用レビューをしてみます。実行環境がMacなため、Mac以外OSをご使用の方は適宜コマンドやメニューをご自身の環境に合わせてお試しください。 公式Twitterでも言っている特に0.98からの大きな変更点は2点 コードの補完性の向上(パッケージ名、変数名、関数名) 新しいデータビューア(DTパッケージの埋め込み?) 大きな変
次のページ
このページを最初にブックマークしてみませんか?
『@uriのマイページ - Qiita』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く