Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary
概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo
coding for sports analytics: resources to get started | brendan kent
These days, if you want to work in sports analytics, you need to know how to code. There's really no way around it. And while that can be scary for someone who's never written a line of code before, it's not as daunting as it seems. The reality is that there are a variety of excellent (often free!) resources for learning how to code. Some of them are very general, some are focused on a specific pr
kuniezu: 日本の国土地理を扱いやすくするRパッケージをCRANに登録しました - cucumber flesh
はじめに 使い方 parse_*_dohunbyo(): DMS表記を十進数表記に変換 日本測地系2011における平面直角座標系の特定 move_jpn_rs(): 南西諸島の一部・小笠原諸島を移動した日本地図の描画 地理院タイルをleafletで簡単に利用できるように 国土地理に関するデータセット はじめに kuniezuパッケージ (v0.1.0) をCRANにリリースしました。 github.com このパッケージは、私が業務や趣味で日本国内の地理空間データを扱う時に作っていた関数を一つのパッケージに整理したものです。 空間的に世界規模のデータを扱うのではなく、日本国内に限った話であれば、日本に即した仕様や座標参照系を利用した方が良いことがあります。 そうした日本の地理空間データを処理する際に利用することがある機能や、あると便利なデータセットを提供できるように努めています。 ゆるゆる
BigqueryのJSONデータをRで読み込む際はndjsonのstream_in関数を利用する - 盆栽日記
Bigqueryで取得したデータを整形したい。 Bigqueryで全て完結するならそうしたいがとりあえず時間がないのである程度BQでやってあとはRでやることにする。 しかしネストされているのでJSONでしかダウンロードできないよと言われてしまった。 んじゃJSONでダウンロードしてjsonliteパッケージので読もうとしたら以下のようなエラーが出た。 parse_con(txt, bigint_as_char) でエラー: parse error: trailing garbage 検索すると以下のSOにたどり着く。 https://stackoverflow.com/questions/26519455/error-parsing-json-file-with-the-jsonlite-package/26522000 どうやら各行はJSONのフォーマットになっているものの各オブジェクト
[Stan]生存時間分析のコードと便利なデータセットについて – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 仕事で生存時間分析を使うことは結構あるのですが、マーケティングの良いデータセットがない印象でブログにしにくいと感じていました。また、Stanでの生存時間分析の事例もあまり把握していません。そこで使えそうなデータセットやStanのコードを探して、そのデータに対して生存時間分析を適用してみたいと思います。 目次 ・生存時間分析とは ・生存時間分析で使えるデータ ・生存時間分析をマーケティングで使う際の用途 ・先行研究 ・生存時間分析で使えるデータセット ・Sta
![[Stan]生存時間分析のコードと便利なデータセットについて – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
「DNAと遺伝情報の物理」伏見譲。統計(20) 量子(77) - Qiita
遺伝子解析を、R, Python, 機械学習、深層学習、量子コンピュータを使う方法を体系的に理解するために、 Qiitaの資料及びQiita外の資料を整理する。 計算機屋さんが、計算機で扱う場合の視点であるため、 生物屋さんには奇異な並びの情報があるかもしれない。 より細分化する時に、利用させていただきますので、気が付いたことは、お知らせくださると幸いです。 岩波講座 物理の世界 物理と情報（６）DNAと遺伝情報の物理 伏見譲 岩波書店,2005 https://www.amazon.co.jp//dp/4000111612/ 説明歌 生命に物理法則発見す遺伝子分子生物学を. p.s. 物理学的視点で遺伝子を解析していくことの筋道がよくわかる。 参考文献等reseachmapで整理中。 https://bookmeter.com/books/20440416 目次 １ 生物は分子のレベルで
Python/Rもくもく会をプライベートで開催するための参考図書・資料をまとめる – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 社内で定時後に有志で勉強会というか、その場に集まってPythonやRをもくもくと勉強をするもくもく会を開きたいと考えています。目的としては分析スキルの向上や機械学習ができるようになりたいとかいう個々人の願いを叶えることです。 色々なスキルレベルのメンバーが参加することが予想されるので、皆を幸せにするためにもレベルに応じた良い教材が必要だと思いました。 ここでは、レベルに応じて適切な教材などを忘備録として残していきたいと思います。 （私自身、全てのレベルの対象
Rでオペレーションズ・リサーチ(OR)に関する情報をあさる/ コード付き – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 私は基本的にデータ分析を生業としていますが、どうしても分析の案件が足りない時期は分析以外のものに手を染めることもあります。主に、RPAやクローリング、APIを用いたソーシャルリスニングなどです。今後も分析以外のことをやる時があるとしたら、レパートリーを増やしたいですよね。なので、ORについて調べてみることにしました。 ORとは 公益社団法人日本オペレーションズ・リサーチ学会による定義によると、 「現象を抽象化した数理モデルを構築し, モデル分析に基づいて種々
R8/Proguard: Daggerの生成コードがR8でどのように変わるかを見る
R8/Proguard: Daggerの生成コードがR8でどのように変わるかを見る Created at Sun, Jan 20, 2019 コードの最適化の話です。この記事では実践に寄せて、Daggerの生成コードがR8によってどのように変化するかを見ます。 まずはサンプルコードです。 @Component( modules = [ AppModule1::class, AppModule2::class ] ) interface AppComponent { @Component.Builder interface Builder { fun build(): AppComponent } fun inject(activity: MainActivity) } @Module class AppModule1 { @Provides fun provideService(): Ap
自分がよく使うRStudio キーボード・ショートカットを紹介 - Qiita
これはRStudio Advent Calendar 2017の23日目の記事です。 キーボード・ショートカットのすすめ RStudioはRを便利に使うGUIが多くて支持されていると思います。それは揺るぎない事実ですしそのとおりなのですが，やはり私はキーボード・ショートカットを多用します。それは「Rはコードを編集するのが基本でキーボードに触れている時間が長い」からです。そのため，自分がよく使う機能や操作についてキーボード・ショートカットを憶えておくことは，作業の効率性を格段に向上させます。 RStudioはかなりたくさんのキーボード・ショートカットが実装されています。またそのクイックリファレンスがRStudioに入っています。RStudioのメニューから[Help] - [Keyboard Shortcuts Help]に進むとクイックリファレンスが表示されます: なお，このクイックリファ
Shiny100本ノック！RユーザーのためのTips集 - Np-Urのデータ分析教室
本ブログではShiny100本ノックと称して、Shinyに関する情報をまとめています。 書きたい順で記事を執筆していっているので、情報が乱雑してしまっています……。そこで本記事では、過去に紹介してきた事柄をまとめることにしました。 Shinyに関して困ったことがあったら、まずは本記事を参照していただければと思います。 Shinyことはじめ Shinyのデザインの質を上げる タブを使って見た目をいい感じに 知っておくと便利！Shiny小技集 Shinyの環境構築について Shinyアプリケーションの公開方法 Shiny実践編 Google Data Studioもどき制作 最後に Shinyことはじめまず、Shinyって何？という方やShinyについて勉強をはじめたばかりという方は、以下のリンクを確認すると良いでしょう。 www.randpy.tokyo www.randpy.tokyo S
gstore_fdw: GPUメモリをSQLで読み書き、そして…。 - KaiGaiの俺メモ
昨年、PGconf.ASIAで発表したPL/CUDAによる創薬ワークロードの高速化実験のテーマであるが、 kaigai.hatenablog.com 実測したベンチマークを見ると、奇妙な傾向が見てとれる。 このワークロードにおける計算量は「Qの行数×Dの行数」であるので、Dの行数が同じ1000万行であるならば、Qの行数が1000のケース（22.6s）に比べ、Qの行数が10のケース（13.4s）の実行時間はもっと顕著に短時間でなければならない。 計算量が1/100なのに、実行時間は半分弱にしかなっていない。 実はこれは、化合物同志の類似度を計算するための時間だけでなく、PL/CUDA関数に与える引数をセットアップするための時間に12秒程度を要しており、アムダールの法則を引用するまでもなく、類似度の計算を高速化するだけでは処理速度はこれ以上伸びないのである。 PL/CUDA関数の引数として行列
Rでスパースモデリング：Adaptive Lasso - データサイエンティスト(仮)
導入 スパース推定の代表的な手法として、Lassoがあります。様々なシーンで活用されているLassoですが、Lassoは変数選択の一致性が保証されないという欠点があります。Adaptive Lassoは、その欠点を補う形で提唱されている手法となっています。こちらは、ある条件のもとで変数選択の一致性が保証*1されており、数理統計学的により好ましい性質を持っています。 このAdaptive Lassoですが、Rでは{glmnet}以外のパッケージを使わないと簡単にできないとかなりの期間勘違いをしてました。そんな中、以下の記事を最近見かけまして、冷静に考えたら{glmnet}でも表現できるよなあと猛省した次第です。 RPubs - Adaptive LASSO Examples 以上の経緯から、挙動を確かめておこうという考えのもと、メモがてらAdaptive Lassoの紹介をしようと思います。
Facebookの予測ツールProphetについて発表しました - ほくそ笑む
Facebook が出した誰でも簡単に時系列予測ができるツール Prophet についていくつか発表しました。 Prophet入門【Python編】 Prophet入門【R編】 Prophet入門【理論編】 Prophetはビジネス時系列、すなわち人間の行動に左右される時系列データに対する自動予測ツールです。 ビジネスでは大量の時系列データに対する予測を作成する必要があります。 しかし、それを1人のデータ分析者が1つ1つ作っていくのでは手が足りません。 そこで、統計の知識を必要しない、誰にでも簡単に時系列予測を行うツールとして Prophet が作成されました。 Prophet はオープンソースで開発され、Python と R のライブラリが公開されています。 まずは今年5月に Python版についての発表を foundIT データ解析・機械学習セミナー にて行いました。 Python版の
R言語 - デバッグやボトルネックを発見するテクニック - Qiita
はじめに R に限った話ではありませんが、プログラミングでは、変数に意図した値が格納されていることを確認したり、むやみに時間のかかるプログラミングになっていないかを確認することがあります。R にも、デバッグやボトルネックを見つけるテクニックがあります。 browser 関数を使ったデバッグ手法 関数内でのデバッグを有効にするには browser() 関数を使います。次の例は、引数で与えられた数値に対して、和差積商を計算するユーザー関数に、browser()関数を使用したサンプルスクリプトです。デバッグ実行の開始条件として、「一番目の引数が 8 以上」ということを browser() 関数に指定しています。 関数の作成 ▼サンプルスクリプト func_calc <- function(x,y){ + a <- x + b <- y + browser(expr = x <= 8) + pri
Reproducibility: A cautionary tale from data journalism
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 Timo Grossenbacher, data journalist with Swiss Radio and TV in Zurich, had a bit of a surprise when he attempted to recreate the results of one of the R Markdown scripts published by SRF Data to accompany their data journalism story about vested interests of Swiss members of parliament. Upo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://x.com/justsato1111/status/1807131768631570633
CRAN - Package qsub
Rパッケージopenairによるカレンダープロットでの料金可視化 - Qiita
useR! 2017