Integrating R with Cloudera Impala for Real-Time Queries on Hadoop
Introduction Cloudera Impala supports low-latency, interactive queries on Hadoop data sets either stored in Hadoop Distributed File System (HDFS) or HBase, the distributed NoSQL database for Hadoop. Impala’s notion is to use Hadoop as a storage engine but move away from MapReduce algorithms. Instead, Impala uses distributed queries, a concept inherited from massive parallel processing databases. A
Tokyo.R#16 wdkz
2. サイバー系 アジェンダ 1. 自己紹介 2. SAS 9.3が出た 3. Rをビルドしてみる(高速化できたらいいな) 4. 大規模データを取得してみる 5. 大規模データを扱ってみる 6. 処理の高速化をしてみる 7. 本日のハイライト 2011/08/27 1 3. サイバー系 いまここ 1. 自己紹介 2. SAS 9.3が出た 3. Rをビルドしてみる(高速化できたらいいな) 4. 大規模データを取得してみる 5. 大規模データを扱ってみる 6. 処理の高速化をしてみる 7. 本日のハイライト 2011/08/27 2 4. サイバー系 1.自己紹介 • 和田 計也（@wdkz） • 静岡県袋井市出身 • サイバー系企業でデータマイニングエンジニア職 • 創立記念日が3月18日 • 社長の出身地が福井県鯖江市 • 前職はバイオベンチャー • バイオマーカ探索してた • 学生時代
RHadoop の紹介
R + Hadoop = Big Data Analytics. How Revolution Analytics' RHadoop Project Al...Revolution Analytics
R言語による アソシエーション分析－組合せ・事象の規則を解明する－（第５回R勉強会＠東京）
第41回IBISML研究会 https://www.ieice.org/ken/program/index.php?mode=program&tgs_regid=fcaa63fc93919d63c192941825025f97dfeb046f102fa4fa2c046abe6dc556ce 【講演タイトル】 “機械学習の説明”の信頼性 【講演概要】 機械学習を実社会で利用する上での課題の一つに「機械学習モデルはブラックボックスで説明ができない」点があげられる。このようなモデルのブラックボックス性の問題を解消するために、ここ数年では機械学習モデルの“説明”の研究が活発になされている。しかし、これらの“説明”そのものの信頼性に課題があることが最近の研究で明らかになってきている。本講演ではこれら“説明”の信頼性に関する最近の研究について紹介する。
東京工業大学 情報理工学院 数理・計算科学系
大岡山地区の建物 大学正門より，桜並木のウッドデッキを通り，右手の芝生をつっきる小径が西8号館，西7号館に続くみちです． 大岡山西8号館（Ｅ棟，Ｗ棟）: キャンパスマップの18, 19番の建物にあたります．本館の西隣りに位置しています．正面玄関をはいったところは３階です． Ｅ棟においでの方は廊下をはいってすぐ左手のエレベータをご利用下さい． Ｗ棟にはじめておいでの方は十分に注意して下さい．Ｅ棟とＷ棟を繋いでいる通路は３階と１０階にしかありません．Ｅ棟のエレベータを利用すると迷子になります．正面玄関から廊下をまっすぐにおいでになり，奥の右手にあるエレベータをご利用下さい． 西7号館：キャンパスマップの17番の建物にあたります．西8号館から，建物を二つ挟んだ並びにあります．芝生から向う場合，左手に本館を見ながら進み，本館がとぎれたあたりの右手にある小さな建物が西7号館です．橋を渡ってはいったと
Rで学ぶ回帰分析と単位根検定 - slideshare
単回帰分析を復習した後、単純に回帰分析を適用してはいけない『やってはいけないケース』を紹介。 そしてそれがなぜ起こるのかを実例を通して紹介した後、この問題を検出するための方法の１つという観点から単位根検定の紹介をします。Read less
とある金融屋の統計技師が時系列解析してみた
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す
はじめてのShiny
臨床疫学研究における傾向スコア分析の使い⽅〜観察研究における治療効果研究〜 第4回臨床研究実践講座ワークショップ 2020/2/27 (⽊) 12:30~16:30 JAM⾦属労働会館3階 301・302会議室
CRAN Task Views
CRAN task views aim to provide guidance which packages on CRAN are relevant for tasks related to a certain topic. They give a brief overview of the included packages which can also be automatically installed using the ctv package. The views are intended to have a sharp focus so that it is sufficiently clear which packages should be included (or excluded) - and they are not meant to endorse the "be
地図をいじりたい - My Life as a Mock Quant
やりたいこと Mapping the World’s Biggest Airlines – Spatial.lyにあるような感じで株価の騰落率でも出そうと思ったんだけど、地理情報（地図情報？）の扱いに不慣れ過ぎていきなりは無理だと判断したので、まずは地図情報系の扱いに慣れて行こうと思った次第。 まずはmapsパッケージからはじめてみる まずは"maps"パッケージから。これは地図データの処理というよりも”表示”を担当してくれるものっぽい。これのインストール＆ロード。 install.packages("maps") library(maps) 日本の描画−１（地方都市含む） map("world2", "Japan") map.cities(country = "Japan", capitals = 0) "world2"となっている個所は"world"に変更してもOKだが、こちらの地図の
Making Maps with R
First off, thanks to Tim and Jeremy for the invitation to write a guest post here on using R to make maps! As a brief introduction, my name is Kim Gilbert, and I am a Ph.D. student at the University of British Columbia working with Mike Whitlock. I am broadly interested in population genetics and population structure, and am currently studying local adaptation in a tree species. If you want to kno
S4 クラスとメソッド入門 - RjpWiki
RjpWiki はオープンソースの統計解析システム R に関する情報交換を目的とした Wiki ですR の S4 クラス、メソッド入門 R ユーザー会資料 (2005.12.10) 間瀬茂 以下では、R のクラスとメソッドについて簡単に説明する。R のクラスとメソッドの実装方式には S3 (S 言語第3版) 方式と、S4 (S 言語第4版) 方式が現在併用されているが、順次 S4 方式に統一されて行くと思われる。S4 クラス・メソッドは本格的なオブジェクト指向機構を実現している。R の基本パッケージ stats4 は S4 クラス・メソッドを操作する統計関数からなる。 クラス(class)とはある構造を持つデータの集まり、メソッド(method)とはクラスに対してある処理を行う関数である。R の統計関数は多く総称的(generic)であり、個別のクラスに対して実際に適当な処理を行うメソ
Shiny アプリをワンクリックで起動するやつ作った - ほくそ笑む
先日、RStudio から Shiny がリリースされ、早くも話題になっています。 Shinyを使って、RだけでWebアプリケーション - ixixixixixixi Shinyで5分でできる株価チャートウェブアプリ - はやしのブログ Rev.3 shinyでシャイニイイイイイイイイイイイイイイイイイイイイイイイイイ - 盆栽日記 Shiny は、R だけで手軽に Web アプリケーションが作れるということで、早速試してみましたが、これはすごいです。 解析結果を埋め込んだインタラクティブな Web アプリケーションを非常に簡単に作成することができます。 実際どういうのができるのか知りたい人は、デモページがあるので触ってみるといいでしょう。 Spark and Glimmer Users – RStudio Spark and Glimmer Users – RStudio Spark a
データ解析技術入門(R編)
15.7.11 HiRoshima.R #4 Lightning Talks @imyuaotiの発表資料です。 ※注意※（2015.7.19追記） Rでは処理速度が遅いという理由で for関数の使用は避けるべきと考えられています。 本来は，処理を高速化をしたい場合，以下をうまく活用してください。 ・apply関数 ・foreachパッケージ，pforeachパッケージ 【参考資料】 「勝手に添削：for関数を使った繰り返し処理によるヒストグラムの一括出力 #rstatsj」 http://qiita.com/hoxo_m/items/5127c31f3eafd6be7428 （hoxo_mさんに本スライドの内容を添削してもらいました！） 「for を捨てよ、foreach を書こう」 http://www.slideshare.net/hoxo_m/for-foreach 「R で超簡単
JIN'S PAGE
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
Shiny
Here is a Shiny app Shiny apps are easy to write. Let users interact with your data and your analysis, all with R or Python: R Python library(shiny) library(bslib) library(dplyr) library(ggplot2) library(ggExtra) penguins_csv <- "https://raw.githubusercontent.com/jcheng5/simplepenguins.R/main/penguins.csv" df <- readr::read_csv(penguins_csv) # Find subset of columns that are suitable for scatter p
JIN'S PAGE
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
rChartsを使ってR言語のデータ分析結果を可視化する - Tech-Sketch
最近、ビッグデータ、データサイエンティストという言葉を耳にする機会が増えてきました。そして、統計解析向けプログラミング言語である R にも注目が集まっています。R を使って、データ解析したいというニーズも増えてきています。今回、そのR で簡単なデータ解析した結果を、オープンソースパッケージのrCharts を使って可視化してみたいと思います。 統計解析向けプログラミング言語 R とは <img alt="Rlogo.png" src="http://tech-sketch.jp/Rlogo.png" width=181" height="137" class="mt-image-right" style="float: right; margin: 0 0 20px 20px;" /> R はオープンソースの統計解析向けのプログラミング言語であり、その開発実行環境でもあります。R が、他の
統計解析用フリーソフト・R-Tips
R は有名な統計言語『 S 言語』をオープンソースとして実装し直した統計解析ソフトです．さまざまなプラットフォーム（OS）に対応しており，誰でも自由にダウンロードすることができます．それにも関わらず，世界中の専門家が開発に携わっており，日々新しい手法・アルゴリズムが付け加えられています．とにかく計算が速い上にグラフィックも充実しているので数値計算などにも持ってこいです．このドキュメントは Windows 版 R と Mac OS X 版 R（と一部 Linux 版 R ）でコマンドを調べた足跡です． ちなみに，この頁の内容を新しくした書籍は こちら ，電子書籍版は こちら で販売されております．
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - setoyama60jp/everyday: 書籍 "RとRubyによるデータ解析入門" で紹介しているソースコードです。
