CubieTruck(Cubieboard) Hadoop + Spark1.0.2 cluster構築 - Qiita
#!/usr/bin/env bash # This file is sourced when running various Spark programs. # Copy it as spark-env.sh and edit that to configure Spark for your site. # Options read when launching programs locally with # ./bin/run-example or ./bin/spark-submit # - HADOOP_CONF_DIR, to point Spark towards Hadoop configuration files # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node # - SPARK_P
Hadoop導入とPythonによるMapReduce - Qiita
Hadoop始めたいけどJavaで書くのめんどくさい… という人のためのチュートリアル． HadoopはJavaで記述されているため基本的にはMapper/ReducerもJavaで記述するが，HadoopにはHadoop Streamingという機能があり，Unixの標準入出力を介してデータの受け渡しをすることができる． これを用いてPythonでMapper/Reducerを書いてみた．もちろんHadoop Streamingを利用すればPython以外の言語でも書ける． 今回はUbuntu上に擬似分散環境を構築してみた． Ubuntu12.04 + Haadoop2.4.1 Hadoopの環境構築 Javaがない場合はインストール $ wget http://mirror.nexcess.net/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4
scikit-learnとgensimでニュース記事を分類する - Qiita
こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの？ データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html#ldcc クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch、ITライフハック、家電チャンネル 、MOVIE ENTER、独女通信、エスマックス、livedoor HOMME、Peachy というクラスがあります。 データは、1記事1テキストファイルの形式で、クラス別のディレクトリにいっぱい入っています。 これを学習して、未知の文章に対して、お前は独女通信っぽい、お前は家電チャンネルっぽい、みたいに、分類が
PythonでHadoopを実行するラッパー - Qiita
Hadoopの機械学習をPythonでやりたい Java以外でもHadoopのJobを書くことが出来るので、 機械学習に強いPythonをHadoopで実装できるようなSkipJackというラッパーをPythonもくもく会と正月で作りました。 GitHubは以下においています。(pipは無し) GitHub-SkipJack 以下、詳細 HadoopStreaming Scikit-learn SkipJack HadoopStreaming Hadoopでは、 スレーブ部分でJavaを実行する(Haoop MR Tutorial) スレーブ部分で標準入出力を介してファイルを実行する(Hadoop Streaming Tutorial) という２つの実行方法があり、 標準入出力を扱える全ての言語でHadoopが使えます。(Hadoop Streaming) なので、Hadoopで機械学習を
dplyrを使いこなす！基礎編 - Qiita
はじめに 4月ということで、新卒が入ってきたりRを使ったことないメンバーがJOINしたりしたので、 超便利なdplyrの使い方を何回かに分けてまとめて行きます。 Rは知らないけど、SQLとか他のプログラミング言語はある程度やったことあるみたいな人向けです。 dplyrを使いこなす！シリーズ 基礎編以外も書きましたので、↓からどうぞ。 dplyrを使いこなす！Window関数編 dplyrを使いこなす！JOIN編 dplyrとは データフレームの操作に特化したパッケージです。 Rは基本的に処理速度はあまり早くないですが、dplyrはC++で書かれているのでかなり高速に動作します。 ソースの可読性もよくなるので、宗教上の理由で禁止されている人以外は使うメリットは大きいです。 処理可能なデータサイズの目安 あくまでも個人の環境に強く依存した感覚値ですが、1000万行、100MBぐらいのデータサイ
Pythonでのデータ分析初心者がまず見るべき情報源のまとめ - Qiita
データ分析言語としてデータサイエンスの世界での存在を日々増している(と言われる)Python。 Pythonでのデータ分析、特にPandasの使い方についてまとめてみました。 ・Rユーザーの方がPythonを使いたい場合には特に有用だと思います。 ・基本的なデータハンドリングの方法に主眼をおいています。 RユーザーがPandas,Numpyを使う場合の早見表 【Slide Share】Python for R uses Rで使う記法をPythonで再現するにはどうしたらいいかの 比較早見表が列記されており、RでやっていたことをPythonでやろうと 思ったらかなり有用だと思います。 http://www.slideshare.net/ajayohri/python-for-r-users 【Pandas Official】Pandas -comparison with R 上記と同様、Rで
【R言語】ループ処理回避 (and/or) 並列化処理 組み合わせで、計算高速化 手法まとめ - Qiita
いろいろなウェブサイトに、情報が断片的に孤立しているため、思い切ってまとめました 関数名 書式 説明 参考URL 1 参考URL 2 参考URL 3
Hadoop導入とPythonによるMapReduce - Qiita
Hadoop始めたいけどJavaで書くのめんどくさい… という人のためのチュートリアル． HadoopはJavaで記述されているため基本的にはMapper/ReducerもJavaで記述するが，HadoopにはHadoop Streamingという機能があり，Unixの標準入出力を介してデータの受け渡しをすることができる． これを用いてPythonでMapper/Reducerを書いてみた．もちろんHadoop Streamingを利用すればPython以外の言語でも書ける． 今回はUbuntu上に擬似分散環境を構築してみた． Ubuntu12.04 + Haadoop2.4.1 Hadoopの環境構築 Javaがない場合はインストール $ wget http://mirror.nexcess.net/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4
Macでhadoopをちょっとだけ動かしてみる - Qiita
$ java -version java version "1.6.0_65" Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode) $ brew info hadoop hadoop: stable 2.4.0 http://hadoop.apache.org/ /usr/local/Cellar/hadoop/2.4.0 (5592 files, 236M) * Built from source From: https://github.com/Homebrew/homebrew/commits/master/Library/Formula/hadoop.rb ==> Cav
Python と R で連携する - Qiita
R と Python の連携を考える 最近 R による基本的なデータプロッティングやファイル入出力の方法について説明しました。 データ分析の言語としては Python ですべてをやろうという傾向があるようですが、やはり過去の膨大な R による資産は魅力的でそう簡単に切り捨てられるものではありません。 よくあるケースとしては、部分的なデータ解析については R を流用したいが、全体的なプログラミングは Python で書きたいというシーンでしょう。また、プロッティングだけ R でおこないたいという場合もあるでしょう。こんなとき Python と R で連携できれば問題が一気に解決して便利です。 Python から R を利用するライブラリ PypeR かつては RPy2 というライブラリが使われていたようですが、最近使われており主流なのは PypeR です。 PypeR のインストール インス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
statsmodels で線形回帰 - Qiita
備忘録＠Python OR セミナー:Pandas - Qiita
【Rでデータ整形】該当・非該当 データ行列（該当：１／非該当：０）を作成する方法 - Qiita