サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
deta.hateblo.jp
PostgreSQLのcopyではまったのでメモしておく。 環境はWindows7 64bit/32bit、PostgreSQLは9.4.4。下記のような商品マスターっぽいtsvデータをcopyすると id_item name_item 111111 hogehoge ¥200 222222 fugafuga ¥300 copy table_item from 'item.tsv' encoding 'sjis'; ERROR: invalid byte sequence for encoding "UTF8": 0x80 SQLステート:22021 コンテキスト:COPY table_item, line 1: "111111 hogehoge \200" ということは、¥ → ¥¥ にすれば良いんだね。 id_item name_item 111111 hogehoge ¥¥200 2
ShinyServerはクライアントにR環境がなくてもRプログラムをWEBアプリ化することができる。分析などに条件が必要な場合は一般的にui.Rに記述するが、URLに引数として与えることも出来るので他のWEBアプリとの連携も可能みたいだ。このようにGETパラメータ的な実行が可能。 http://xxx.xxx.xxx.xxx:3838/appname/?args1=aaa&args2=bbb&args3=cccチュートリアルではこちらに記載されている。 ポイント 出力部になるserver.Rに記述するshinyServer関数にsessionという引数を追加する。session$clientData$url_searchで受け取り、parseQueryString関数でパースすることが出来る。あとは、その引数に応じたプログラムを実行し結果を出力すれば良い。 shinyServer(func
職場でRを使っているとパッケージのインストールなどプロキシ環境に悩まされることがある。 企業に多そうなWin7 32bit/64bit環境の話。Macは持っていないので分かりません。 パッケージのインストール 一般的にはコンソールで下記コマンドを実行する。 Sys.setenv("http_proxy"="http://xxx.xxx.xxx.xxx:8080") options(repos=local({ r <- getOption("repos"); r["CRAN"] <- "http://cran.ism.ac.jp"; r })) install.packages("パッケージ名") 下記のようなプロキシの認証画面が出たらユーザーIDとパスワードを入力する。 2行目のミラーサイトのリポジトリは統計数理研究所、これは各自の任意。リポジトリはあらかじめファイルに記述しておけば起動時
RStudioから出たhtmlwidgets for Rって可視化のデパートっぽいな。 dygraphs(時系列) dygraphsサイコォォォォオオオオオオオオオオオオオ!!! - My Life as a Mock Quant RPubs - RFinanceJパッケージで振り返る日本の金融マーケット2014 ※記事の真ん中ぐらい leaflet(地図) RPubs - leaflet_sample threejs(3次元) RPubs - threejsを触る 他にnetworkD3(ネットワーク図)とdatatables(表)がある。興味があるネットワーク図を試してみた。 networkD3とは networkD3は、RからD3でネットワーク系グラフを簡単に作成するためのパッケージ。以前ブログにも書いたd3Networkがベースになっているっぽい。(パッケージ名まぎらわしく間違えそ
cyREST APIを使うと、RとCytoscapeを連携させることが出来る。 Cytoscapeは機能を拡張することが出来るアプリ(プラグイン)が数多く提供されており、cyRESTもその中の1つ。 今回試した環境 OS:Windows7 64bit Cytoscape 3.2.0 R 3.1.2 1.CytoscapeにcyRESTをインストールする Cytoscapeを起動、Apps→App ManagerでApp Managerを開く。アプリの一覧の中からcyRESTを選択し右下にあるInstallボタンをクリック。インストール済アプリは、Currently Installedタブで確認出来る。 正常に動作していれば、ブラウザに http://localhost:1234/v1を入力すると、結果(PCのコア数、メモリサイズなどのJSON)が表示されるはず。他にもJARファイルをダウン
Rでminpack.lmパッケージのnls.lm関数を使うとLevenberg-Marquardt法で非線形回帰分析を行うことができる。言いかたはマルカート法、マーカート法?、フランスの方のようなのでマーカール法とも言われているようだ。私はマルカートで覚えていた。Levenberg-Marquardt法は非線形最小二乗問題を解く手法として広く使われている。最急降下法・ニュートン法を組み合わせた方法で現在の解が正解から遠い場合は遅いが収束することが保証されている最急降下法と同じように動作し、正解から近い場合はニュートン法を実行するとのこと。 非線形回帰を行うことになった背景 最近ECサイトの分析を行うことが多く、よく言われているベキ乗則を随所に見かける。データ例 > head(d) X Y 1 2 9794688 2 3 5973376 3 9 2946944 4 10 2649600 5
最近、Rのd3Networkパッケージを使っている記事をいくつか目にした。d3Networkパッケージは、Rからd3.jsのnetwork、tree、dendogram、Sankeyを容易に描画することが出来るパッケージのようだ。great!!! そして開発者のページを見てみると「d3Network in Shiny web apps」なるものが! ということでさっそく試した。試したデータは普段分析している比較的小規模なネットワークのデータ。※ShinyはRで簡単にWebアプリ化することができるパッケージ。 > nd <- read.table("testdata.tsv", header=TRUE) > head(nd) Source Target 1 1 2 2 1 11 3 1 21 4 2 21 5 3 4 6 3 11 > 準備したui.Rとserver.Rは次の通り。開発者のサ
業務でインターネット上にある画像ファイルを収集する必要があったので、Ruby + Mechanize を使い保存しまくった際のメモ。Mechanize はサーバにアクセスするための「Web ブラウザ」を表現するクラス。このクラスのオブジェクトを操作してウェブにアクセスできる。便利なライブラリの1つ。アマゾンで購入できる「データサイエンティスト養成読本」の画像を保存するRubyのコードは次の通り。※環境はWin7 32bit、Ruby1.9.3 p448、Mechanize2.7.2 # -*- encoding: Shift_JIS -*- require 'rubygems' require 'mechanize' agent = Mechanize.new agent.keep_alive = false agent.max_history = 1 agent.open_timeout
Tableau.Japan社主催のハンズオンセミナーに参加してきた。参加したのは入門編とR連携速習コースの2つ。会場はTableau.Japan社がある帝国ホテル東京の15階。両セミナーとも実質2時間ないので、さわれるレベルになる内容。なので紹介できる内容もたいしたことない。 Tableauとは Tableau(タブロー)は有料のBIツール。Tableau社はスタンフォード大学の研究室からスピンアウトするかたちで2003年に創設された。米国防総省から資金援助を受けるかたちで1997年に研究が始まり、2003年にChris Stolte氏、Pat Hanrahan氏、Christian Chabot氏の3名で起業。コンピューターグラフィックスの博士号を持つPat Hanrahan氏は、モンスターズインクなどを製作したPixar Animation Studiosの設立メンバーでもあり、過去に
NodeXL は Excel で行うことができるオープンソースのネットワーク分析テンプレート。Excel ワークシートにエッジリストを入力したりコピペすることで簡単にネットワーク図を描くことができる。また、ノードの形状には画像を選択することができ、画像ベースのネットワーク図を描くことも出来る。画像はファイルの場所を指定するだけでよい。URL を指定すれば WEB 上の画像も表示出来る。具体的な図はこんな感じ。※NodeXL Graph Gallery も参考になる。 このネットワーク図は7月に開催された第32回R勉強会@東京で発表したAmazonで販売されている酒類のレコメンド関係のネットワーク図に使用したデータを使い描いたものである。(その際の資料を紹介した記事はこちら) 商品画像は Ruby+Mechanize でクロールして jpg ファイルをダウンロードしたものを使用した。(WEB
マーケティングではSTP戦略という手法がよく使われます。マーケティングの第一人者フィリップ・コトラー氏が提唱した代表的な手法。効果的に市場を開拓する為に 1.市場を顧客のニーズごとにセグメント化 2.参入すべきセグメントを選定しターゲットを明確にする 3.セグメントの中で顧客に対するベネフィット(利益)を検討し自らのポジションを確立する といった流れ。この戦略のS(セグメント)を議論する時、私はたたき台としてマルコフ連鎖をよく使っています。シンプルな手法ですが変化を可視化して共有すると議論がもりあがります。マーケティング担当者の受けも上々。今まではExcelで分析していたがRで完結させたくなりコードを書いたのでφ(..)メモメモ。 Rでマルコフ連鎖 R+マルコフ連鎖については、teramonagiさんの資料 がよく分かります。(Rコードも記載されてます)。先ほどのマーケティングの例なら、現
前回は 竹本先生の資料 や WEBページ を拝見し R で行うネットワーク分析について新たに知ることができた関数、分析手法についてまとめてみた。さっそく Non-overlapping 手法を実務で実践したが早くも壁にぶちあたってしまった。実務で取り扱うデータを分析する際にはつきものだ。。。今回分析したネットワークはこんな感じ。ノード数=446、エッジ数=792、図ではエッジの矢印が見えないかもしれないが有向グラフ。(前回同様サイトスケープにくわせOrganicレイアウトで表示 ※背景色のみ白に変更) さっそくエラー多発 何も気にせずにNon-overlapping手法のコミュニティ抽出関数を実行したらエラーが多発。 > # おまじない > ls(all=T) character(0) > rm(list=ls(all=TRUE)) > > # パッケージの読み込み > library(i
よく見ている R-bloggers で R で changepoint パッケージを使ったコードが掲載されていた。(実際のサイトはこちら) 変化点検出は、これまでもいくつか書籍やブログ、R勉強会のTokyoRなどで紹介されている。 ・データマイニングによる異常検知 ChangeFinderが掲載されている山西さんの書籍 ・異常検知(変化点検出)のパッケージを作ってみた TokyoR主催者yokkunsさんの日記 ・隠れマルコフモデルで異常検知(R Advent Calendar2012) teramonagiさんのブログ(コードはこちら) changepoint パッケージは初めてだったので、ちょっとだけ試してみた。まずは inside-R にあったサンプルコードを実行。サンプルデータは正規分布の乱数です。 library(changepoint) # change in variance
マーケティング施策や商品開発の糸口を発見する為に購買履歴データでネットワーク分析を行っているのだが、今年に入りノードやエッジの数が多い隣接行列を取り扱うようになってきた。といってもまだまだビッグデータとはいいがたいが。。。cytoscapeにくわせOrganicレイアウトで表示するとこんな感じです。(他の設定はデフォルト) 今後はもっとデータ量が多くなりそうなので、ネットワーク分析をもうちょっと勉強。 これまで参考にしていたのはRで学ぶデータサイエンスの#8ネットワーク分析。R+igraphで中心性指標を計算したり、コミュニティの抽出などはさくさくできる。会社の先輩に話をすると、もっと勉強になる資料があるよと九州工業大学の竹本先生の資料を教えてくれた。2013/3/8に開催された第2回 Rでつなぐ次世代オミックス情報統合解析研究会で発表された資料らしい。タイトルは「R+igraphではじめ
以前から参加してみたかったTokyoRに参加してきたので個人的な感想をメモメモ。φ(..) ツートまとめはこちら 第30回R勉強会@東京 #TokyoR - Togetter @bob3bob3 さんがまとめてくれています。 1.はじめてのR(@aad34210さん) demo()関数でdemoが見れる。ex)demo(graphics) + enter R Cheet Sheet は、Rのカンニングペーパー CRAN Task View はパッケージを見つけるのに便利 2.分散分析(@aad34210さん) 2つ以上の平均値を比較するための統計的手法(2つの場合はt検定) 主効果と交互作用効果 rep関数は繰り返せ aov関数が分散分析 interactionm.plotで図示できる 3.MySQLではなくRでデータ操作しよう(@IT7Cさん) Rデータ自由自在 ※そういえばこの本まだな
このページを最初にブックマークしてみませんか?
『でたぁっ 感動と失敗の備忘録』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く