purrrとbroomで複数の回帰モデルを効率的に管理する - REVISIO Tech Blog
はじめまして。データサイエンティストの森下です。 TVISIONでは探索的にデータを見てく段階では、可視化に加えて複数の回帰モデルを作成して検討する、ということをよくやっています。 モデルの数が少ない場合は個別にモデルを作成してsummary()で見ていく事もできますが、モデルの数が増えるにつれてそのやり方では管理が難しくなってきます。 そこで、本記事では、purrrのmap()とbroomのtidy(), glance()を用いて複数の回帰モデルを効率的に扱う方法を紹介したいと思います。 まずはライブラリを読み込みます。tidyverseはデータハンドリングと可視化のためのパッケージ群です*1。 tidymodelsはモデリングをtidyなやり方で統一的に扱えるようにするパッケージ群になります。今回はbroomのみ用いますが、後日他のパッケージの紹介記事も書ければと思っています。 lib
モデルで扱うデータの前処理をrecipesで行う - 株式会社ホクソエムのブログ
ドーモ。ホクソエムの @u_ribo です。本業ではモデリングとは離れたギョームをしています。寂しくなったので、Rのrecipesパッケージについて紹介します。 tidymodels.github.io モデルに適用するデータの前処理 Rでのモデル式 (model formula) の記述って、利用時に不便を感じることや覚えるのが難しい面が時々ありませんか？例えば、y ~ .」は右辺のドットが、目的変数以外の全ての変数を説明変数として扱うことを示しますが、説明変数に対数変換などの変数変換を行うにはy ~ log(.)という記述はできず、結局、説明変数を「+」でつなげていくことになります。また、交互作用項の指定には「x1 * x2」や「(x1 + x2)^2」、「:」を使う表記が可能ですが、この表記には最初は混乱しませんか？（単に私が不勉強なだけということもあります） 加えて、多くのモデルで
年間AVランキングをスクレイピングして傾向を可視化してみた - AWESOME-LOG
ideeeです。 エロデータサイエンティストを目指し、Pythonを勉強しています。 PythonでAVランキングトップ100から、単語の出現頻度を可視化してみました。 早速ですが、2012年のものがこちら 前にツイッターで流行ったやつですね 「AV」は当たり前ですが、「美少女」「人妻」「時間」が多いですね笑 Pythonで年間AVランキングのトップ100をスクレイピングし、 そのタイトルを形態素解析、WordCloudで可視化をしています。 2010年から2017年までを調べてみました。 ＊DMM.R18のサイトを参考にします。アダルト耐性がないかたはご遠慮下さい。 やること 前提知識 ①Selenium、Pandas、Janome、WordcCoudをインストール スクレイピング時に必要なライブラリ 形態素解析と可視化するときに必要なライブラリ ②AVランキングページからタイトルをスク
Nginx by examples: reverse proxy
Nginx is primarily designed as a reverse proxy and can add a lot of value if placed in front of your applications: HTTPS termination HTTP2 termination WAF protection DOS protection Caching Basic/Digest Authentication Let’s see how we can setup a basic Java API webapp behind Nginx server { # custom virtual host root folder root /var/www/mydomain.com/web/; # index file (when a folder URI is matched)
Building a crude Node.js from scratch
Node is powered by the JavaScript engine used in Google Chrome, called V81. In this post I'm going to guide you through two steps: making a "Hello World" example in V8 making a crude Node runtime with support for 3 statements: console.log, console.error and quit for quitting the process In our new crude runtime we'll execute the following script: console.log("🎉"); b=4+4; console.error(b); quit();
[R] 予測モデルを作るには formula を活用せよ - ill-identified diary
概要 formula オブジェクトは変数変換や交互作用項など, 多彩な表現ができる. xgboost や glmnet では model.matrix() を併用することで formula を利用できる. 統計モデリング/機械学習で予測モデルを構築するとき, 予測性能の向上のため, しばしば変数を入れ替えたり, 変換したりといった推敲が必要となる. R ではこういうときに formula オブジェクトを使うと, いちいちデータフレームに変換後の数値を追加したり書き換えたりする必要がなくなる. glmnet や xgboost など, formula が直接使えないものでも model.matrix() 等を併用すれば可能である*1. formula オブジェクトを解説した記事を探すと, かなり前から存在する. 例えば以下の記事. m884.hateblo.jp なお, 上記はタイトルが「f
![[R] 予測モデルを作るには formula を活用せよ - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
dplyrのVectorized Functionsについて - Qiita
最近いろんなのが出てきて追いきれてなかったのでメモ。 Vectorized Functionsとは dplyrにはmutate()やtransmute()など，新たな変数を作成する関数があります。多くの場合，元ある変数から計算(操作)して新たな変数を導くのですが，この計算(操作)に使える便利な関数たちをVectorized Funcitonsと呼ぶようです。 これはRStudioが公開しているチートシート群の中の，Data Transformation Cheat Sheetの2ページ目に一覧があります1。 今回はここに紹介してある関数を実際にテストしてみます。 関数一覧 チートシートの該当箇所にある関数は以下のとおりです: オフセット(Offsets) dplyr::lag() dplyr::lead() 累積集計(Cumulative Aggregates) dplyr::cumall
ベンチャー系行ったらレベルが高すぎて辛い。 - 負け犬プログラマーの歩み
今の職場で働きだして少し経つが、既にエンジニアとしての自信を割と失っている。 俺は自分のことを少なくとも「そこそこのエンジニア」と思っていた。でも今の職場では、俺は下から数えた方が早い。「技術は有るが人間的にはクソ」と自負していた俺は今「技術者としても人間としてもクソ」となりかねない事態に陥っている。 言い訳の材料はある。周囲のレベルが高いのだ。 自分で言うのもなんだか経歴は豪華な人が集まっている。コアメンバーは最高学府(あえて誤用)卒はザラだし、某世界時価総額トップとか某金融会社とか某大手ゲーム会社に居たとか、某ソシャゲーの幹部とか、あのフリマサービスを作ったとか、別会社の元CTOでしたとかはたまた現役CTOやってますとか集えば、下流エンジニアも皇帝、四天王、１０傑（俺含まない）などの超一流だ。 文系で有名企業どころか正社員歴すらなく、名のしれた商品やサービスに協力会社の人間としても一度
ログ収集を効率的に行うために知っておきたい、イマドキのログ収集基盤ツール8選 - LIVESENSE ENGINEER BLOG
創造開発部インフラグループです。 (中の人：水野、中西) 昨今、SaaS 系のインフラツールが台頭してきています。 リブセンスでもかつて nagios で行っていたサーバ監視は、mackerel へと置き換わっています。 自社で持つものを厳選し、出せるものは外に出していくことで Web 企業のインフラエンジニアとして注力したい箇所へリソースを割くためにもこの手の SaaS 系ツールには注目しています。知らないだけで便利なサービスは他にもあるだろうということでリサーチを開始しました。 今回は、数ある SaaS のツールの中でもログ収集系に絞ったまとめとなります。 サーバログを管理したい時 オペレーション時に複数のターミナルを開いてログを見ながら作業を行うケースは多々あるかと思います。これから紹介するツール群は条件などで絞ったログや複数ホストのログを1枚の画面で出力してくれるツールとなります。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ネットで出会った相手と3年間ジョークを言い合った結果…