シェル芸処理速度向上のヒント - 日々之迷歩
先日のシェル芸勉強会ではWebサーバのログを扱った。ファイルサイズは約356MB、約350万行程度のそれなりに大きなテキストデータだった。このくらい大きなデータになると処理速度が気になってくるところ。 ではどんなところに気をつけるといいのか？下記の2点に注目して試してみることにした。 マルチコアの恩恵を受ける 一つのコマンドで頑張るより、パイプで刻んで複数のコマンドで処理した方が早くなる場合がある。何でもかんでも早くなるわけでは無い。パイプの流れが途中で止まら無いことが重要。 例えばsort処理は一度データを全てメモリに取り込む必要があるため、流れを止めてしまう。またパイプの最初で処理速度が遅いと、後ろのコマンドが手持ち無沙汰で遊んでしまうので遅くなる。 高速なコマンドで先にデータを絞り込む パイプの流れを途中で止めないためには、先に高速に処理できるコマンドを持ってくる。ここでは高速処理出
Rで解析：便利かも？「square pie」や「waffle chart」を作成できるwaffleパッケージ
「square pie」や「waffle chart」と呼ばれるヒートマップと似たようなデータの表現方法があります。この表現方法は各セルの単位を自身で設定し「データ全体と各グループの分布」を示すことができます。 手間をかけずに「square pie」や「waffle chart」を作成できる「waffleパッケージ」を紹介します。 紹介するVersionは0.3です。 パッケージのインストールインストールは下記コマンドをRで実行します。 #devtoolsが未インストールの場合は下記を実行 #install.packages("devtools") devtools::install_github("hrbrmstr/waffle")実行コマンドwaffleパッケージの使い方は非常に簡単です。行名を持つベクトルを用意するだけです。 #ライブラリの読み込み library("waffle")
Rで解析：カラーユニバーサルデザイン「morgenstemning」パッケージ
「赤と緑」の識別が困難な方が男性に多いことを聞いてから、「赤と緑」の色使いに注意するようにしています。どのような色使いが、表現内容が多くの方にユニバーサルデザインであるかは完璧な答えがなく永遠の課題だと考えています。 一定の周期で、ユニバーサルデザインが話題になりますが、流行に左右されない表現を心がけたいものです。 色使いの参考なるかもしれない、カラーユニバーサルデザインな「カラーパレット」が収録されている「morgenstemning」パッケージを紹介します。ぜひ、活用ください。 パッケージのバージョンは1.0。R version 3.2.1でコマンドを確認しています。 パッケージのインストール下記コマンドを実行してください。 [code language=”R”] #パッケージのインストール install.packages("morgenstemning") [/code] 実行コマ
5 New R Packages for Data Scientists
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 by Joseph Rickert One great beauty of the R ecosystem, and perhaps the primary reason for R’s phenomenal growth, is the system for contributing new packages. This, coupled to the rock solid stability of CRAN, R’s primary package repository, gives R a great advantage. However, anyone with en
Ｒでオペレーションズリサーチ
ＲでＯＲ：待ち行列モデル 目次 タクシー乗り場の行列 単一窓口モデル 複数窓口モデル 共有施設の悲劇、待ち行列現象のアノマリー 施設の滞在客数 非定常ポアソン到着 待ち行列理論とは、不特定多数の人が限られた施設を利用する時に生じる不確実な混雑現象を数理的に分析する理論として生まれた。混雑を滞留と言い換えれば、車の渋滞や、インターネットの繋がりにくさなど、人に限らず、モノや情報であっても、このような現象は観測されるので、今では、分析の対象はあらゆるものに広がっている。 枠組み 共通の用語として、「客」が「窓口」に「到着」して「サービス」を受け「退去」する、窓口が先客に占有されていれば「待ち行列」を作って待つ、という用語を使う。単位時間当たりの到着客数を「到着率」、客が無数にいて窓口がサービスをし続けるとして、単位時間当たりの退去客数を「サービス率」という。到着してまだ退去していない客の数を「
sup(上限)とinf(下限)の意味，max・minとの違い | 高校数学の美しい物語
要素が実数である集合 AAA に対して maxA\max AmaxA：AAA の最大値，maximum(英語)，マックス(読み方の例) minA\min AminA：AAA の最小値，minimum，ミン supA\sup AsupA：AAA の上限，supremum，スープ infA\inf AinfA：AAA の下限，infimum，インフ 大学数学（解析）で学ぶ sup\supsup の意味について解説します。 min\minmin は max\maxmax の反対側，inf\infinf は sup\supsup の反対側なので，ここでは max,sup\max,\supmax,sup についてのみ解説します。
川海苔採りにいってきた :: デイリーポータルZ
この前、知人ときのこ狩りにいってきたその帰り、ここからさらに山へ入ると、川海苔という珍しい海苔がとれるという話をきいた。 川海苔という単語に聞き覚えはあるのだが、それがどんなものなのかがイメージできない。すでにもう結構な山の上なのでこれ以上登るのかと一瞬ひるんだが、せっかくの機会なので連れて行ってもらうことにした。 （玉置 豊） 橋のない川を車で渡る 出発前に「けっこう山道を走るよ」といわれ、先導の車と離れないように車の底をかまぼこ道でこすりながら走っていくと、目の前に橋のない川が流れていた。 ここがモンゴルだったら馬をハイヤーっと走らせて川を渡っていく場面なのだが、私が乗っているのは馬ではなくてキューブという車だ。あいにく川を渡るようにできてない。ありえない。 先導の四輪駆動車が馬以上に躊躇なく川をザブザブ越えていく。 ちょっとこれは無理だろうと思い引き返そうかと思ったが、ぎりぎり車が通
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kickin' it with elastic net regression
Optica Publishing Group
Generating a non-homogeneous Poisson process