Apache Spark の JdbcRDD を使ってみた結果 - Qiita
package sample import java.sql.{Connection, DriverManager, ResultSet} import org.apache.spark.SparkContext import org.apache.spark.SparkConf import org.apache.spark.rdd.JdbcRDD object Invastigation { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Invastigation") val context = new SparkContext(conf) val dbDriver = "com.mysql.jdbc.Driver" val dbUrl = "jdbc:mysql://loc
Play frameworkでMySqlを使う - Qiita
Play frameworkでMySqlを使うためのメモです。 前提 例としてMySqlに データベース名：firstdb ユーザ名 ：firstuser パスワード ：firstpass でデータベースを作ってあるとします。 conf/application.confを編集 conf/application.confを開きます。 36行目あたりの記述をコメントアウトし、新たに追記します。 ※すでにコメントアウトされている場合はそのまま追記します。 # db.default.driver=org.h2.Driver # db.default.url="jdbc:h2:mem:play" # db.default.user=sa # db.default.password="" db.default.driver=com.mysql.jdbc.Driver db.default.url
Doc2Vecとk-meansで教師なしテキスト分類 - Qiita
人間が分類したデータを教師データとしてテキスト分類をしている際に人間がデータの間に介在することによる弊害が出てきたので、教師なしのテキスト分類器を作ってみました。 人間がラベル付けすることによる問題点 階層構造にあるデータを並列にラベル付ける 人によって大きく判断が違ってくるようなラベルをつける 作業開始時点と終了時点でラベルの付け方が変わる 参考資料 コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ) Deep Learning Tutorials Distributed Representations of Sentences and Documents, Le+, 2014 やったこと Doc2Vecで各文書について他の文書との類似度ベクトルを作成 SVDで次元圧縮 k-meansでクラスタリング k-meansでなくてグラフアルゴリズムで分類した方が良かったな、
MongoDBのシェルの操作方法メモ - Qiita
便利ページ 公式 MongoDB Javascript API Docs mondodbのjsの仕様がわかる Read — MongoDB Manual findの基本的な使い方の例 Operator Reference — MongoDB Manual findの範囲指定などのオペレーターの例 SQL to MongoDB Mapping Chart — MongoDB Manual SQLでの操作とmongodbでの操作の対応表 高度なクエリー - Docs-Japanese - 10gen Confluence 使えるオペレーター一覧、データ型一覧、より高度な使い方など日本語ドキュメント mongo/jstests at master · mongodb/mongo · GitHub jsで書かれたmongodbのテスト用スクリプトが大量にある 参考になったページ コンソール画面での
MongoでMapReduceする - Qiita
この記事はMongoDB Advent Calender2013の21日目です。 MongoDBで手軽にMapReduceする方法について書かせていただきます。 #MongoDBでMapReduce 世間的にMongoでM/Rするのは情弱、世間知らず、自殺行為などと色々disられてはおりますが、やはりスキーマレスで好きなデータを突っ込んでおいて、あとで集計をかけるというお手軽さからいうとMongoのM/Rも充分選択肢としてありだと思います。 #前準備 実際に自分が今やっているプロジェクトのうちの１つに、apacheのアクセスログをfluentd経由でMongoに書き出しているものがあります。 ちなみにデフォルトのfluentdのプラグインだとpathが１フィールドに登録されてM/Rしずらいので、クエリストリングスをパースして１クエリを１フィールドに入れるout_exec_filterを自作
RBMから考えるDeep Learning ～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
Vyattaをプロキシサーバにする - Qiita
Webブラウズが遅い、、、原因はプロキシ？ どうにもWebブラウズが遅いことがあって困ってます。Zabbixとか使って測定したところでは、どうもプロキシが原因みたいです。 で、Squidのチューニングをいろいろ調べていたのですが、これといって決め手がなく、、、Vyattaでプロキシ立ててみたらどうかな？と思ったので実験してみます。ま、中身は所詮Squidなわけなんですが、ソフトウェアルータ向けのチューニングに期待です。 まずはベーシックな設定を確認 Vyatta入門に沿って、まずはベーシックな設定を一通り流してみます。 Webキャッシュサーバの設定 このコマンド一発でWebキャッシュサーバとして動作します。デフォルトではトランスペアレントプロキシになります。Vyatta配下にいればクライアント側にProxy設定はいらないわけですね。 ちなみに、1isten-addressで指定するのはVy
iptablesの設定メモ - Qiita
以下の通りの方針に従って設定を行う 入力(INPUT),転送(FORWARD)は許可したもの以外は破棄(DROP) 出力(OUTPUT)は基本的に許可(ACCEPT) 入力で許可するもの以下のとおり sshサーバへの接続は許可 ローカルループバックインターフェースからの接続は許可 pingなどICMPパケットを許可 自サーバから接続済みの通信に関するパケットを許可 ip偽装攻撃対策 プライベートIPアドレスからの接続は破棄 ローカルループバックからの接続は拒否 特殊なアドレス（リンクローカル,TEST-NET,クラスD,クラスE）からの接続は拒否 Smarf攻撃対策 ブロードキャストのパケットを破棄 上記に対応する iptables の設定は以下 # Generated by iptables-save v1.4.7 on Wed Apr 2 03:07:56 2014 *filter #
Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 執筆時点で最新版であった、Hive4 (Hive 2023.1)と、Presto 350を想定しています。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに
Mahoutでニューラルネットする - Qiita
ニューラルネットとDeep Learning 機械学習といわれるとDeep Learning（深層学習）という言葉を思い浮かべる人も多いかと思います。 Deep Learning自身は特に新しい概念ではなく、古くからあるニューラルネットが多層になったものと言っていいと思います。学習の難しさや計算量の多さから一旦廃れたニューラルネットでしたが、学習方法の工夫や計算能力の向上で再び脚光を浴びてきたのがDeep Learningです。（本質は変わってないので今まで通り「ニューラルネット」と呼べばいいような気がしますが、別名を付けて新しさを出そうとするIT業界ではよくある手でしょうか） 音声認識の世界でも、今までの主流の方式だったHMM(Hiddlen Markov Model)に替わって、Deep Learningを使う方法が広まりつつあります。そのおかげで精度や応答速度が向上しているそうです。
TachyonをSpark on YARNで動かす - Qiita
#はじめに この記事はSpark, SQL on Hadoop etc. Advent Calendar 2014の16日目の記事です。 Spark Programming Guideによると、RDD.persist(StorageLevel.OFF_HEAP)はTachyonが使われるとあります。 experimentalと書いてあるだけあって、いざ使おうとするとエラーが発生します。この機能を使うためにはTachyonを事前にインストールしなければなりません。 日本語のドキュメントがほとんど見つからなかったので、この機会にTachyonのことを書こうと思います。 今回は次の3つにチャレンジしました。 (1) Tachyonのインストール (2) spark-shellからTachyonにデータを保存する (3) SparkのサンプルアプリであるSparkTachyonPi（SparkPi
Mahoutをsparkで実行する - Qiita
Spark上で実行されるmahout sparkのモジュールに、mllibと呼ばれる機械学習ライブラリが含まれていますが、mahoutもsparkに対応しました。 ただし、mahoutサイトにも記載されていますが、 Please keep in mind that this code is still in a very early experimental stage まだ実験段階のようですので感じだけでもつかめたらと思います。 今回、Playing with Mahout's Spark Shellを参考にspark-shell上でのmahoutの実行環境を構築しました。 Install 予めインストールしておくもの oracle JDK 7以上 maven 3.2.x以上 subversion Apache sparkのインストール 今回はcdh5のApache sparkをインスト
Sparkling Water (H2O + Spark)で、Deep Learningを試す (ローカル環境 - Windows編) - Qiita
H2Oが出しているApache Sparkの拡張、Sparkling Water。 残念ながら、Spark組み込みの機械学習ライブラリMLlibには、Deep Learningは実装されていないわけですが、ちょうどそれを補完するように、Sparkiling Waterの方には実装がありますね。 Sparkling Water - 0xdata h2oai/sparkling-water - github で、Exampleを試してたのですが、イマイチしっくり来ず。 いろいろ眺めていたところ「Kaggle Digit Recognizer」のデータに対する分類が試しやすそうだったので、これをSparkling Waterでやるとどうなるか、試した結果を書いてみたいと思います。今回は、Windowsのローカル環境でのお話です。 環境構築 OS Windows 8 64bit (無印版, not
scikit-learnとgensimでニュース記事を分類する - Qiita
こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの？ データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html#ldcc クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch、ITライフハック、家電チャンネル 、MOVIE ENTER、独女通信、エスマックス、livedoor HOMME、Peachy というクラスがあります。 データは、1記事1テキストファイルの形式で、クラス別のディレクトリにいっぱい入っています。 これを学習して、未知の文章に対して、お前は独女通信っぽい、お前は家電チャンネルっぽい、みたいに、分類が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sshポートフォワーディング - Qiita
ごく簡単なcmakeの使い方 - Qiita
Scala + Playでwarファイル作成 - Qiita
CentOS 6.4 に R をインストールする - Qiita
DeepLearningのライブラリ触ってみた - Qiita
Scalaでjava.util.Listをforeachする - Qiita
