[B! Java][apache] clavierのブックマーク

Javaではてなブックマークのデータ解析入門(ネット上の大規模データ取得) - ゆとりずむ

こちらのブログ記事の内容は、勝手ながらこちらのサイトに移管致しました。 lacucaracha2.hatena blog.jp

clavier 2016/02/21

リンク

Tomcatの環境構築って皆どうやってるんだろう？（オレオレ設定を晒す） - penultの日記

Tomcat をそれなりに本気でセットアップしたいんだけど…… WebLogic を多く使っていたので Tomcat はほとんど経験が無く、ネットでも実用的な情報がほとんど見つからないので一般的にはどうセットアップするのが正しいのかよくわからない。本も買ったけどカバー範囲が広い代わりに内容が浅くほとんど役に立たず*1。とりあえず断片的情報をかき集めて作ったやり方を晒してみる。前提条件 Red Hat系Linuxで、SELinuxとかは使ってないとする。標準の Apache HTTP Server 2.2 が入っているとする。 Java 6はインストール済みの前提で、${JAVA_HOME} で参照できるとする。ファイルのインストールまず、Tomcat用のユーザを作る。 # useradd tomcat # passwd tomcat公式サイトのダウンロードページ http://t

clavier 2015/02/04

リンク

カエルでもわかる！Spark / MLlib でやってみる協調フィルタリング（後編） - ALBERT Engineer Blog

はじめに前編では MLlib で実装されている協調フィルタリングについて、アルゴリズムの面から解説してみました。いわば理論編です。後編は実践編として Java コードや性能評価実験の結果を見ていきます。 MLlib 協調フィルタリングの実行 MLlib の協調フィルタリング org.apache.spark.mllib.recommendation.ALS を利用する Java のコード例を以下に示します。 import org.apache.spark.api.java.JavaRDD; import org.apache.spark.mllib.recommendation.ALS; import org.apache.spark.mllib.recommendation.MatrixFactorizationModel; import org.apache.spark.mll

clavier 2014/11/06

リンク

Spark / MLlib の K-means を Java から利用してみる | ALBERT Engineer Blog

はじめに先日の Mahout Project からのアナウンス “Goodbye MapReduce” にもあるとおり、今後の大規模データ処理の基盤として Apache Spark がここ最近注目されています。そんな今熱いプロダクトである Spark に関して、その上で動く機械学習ライブラリ MLlib の K-means 実装をわけあって Java から利用してみる機会があったので、その使い方や特性を簡単にまとめてみました。 MLlib の K-means 実装について現時点 (バージョン 0.9.1) での K-means 実装について、簡単に説明します。距離計算は「ユークリッド距離」しか提供されていません。 KMeans#findClosest() → MLUtils.fsuaredDistance() のあたりを読むと分かるかと思います。 Spark の JIRA を見て

clavier 2014/05/08

リンク

Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO

はじめに初めまして、ブロガーとして出張してきました@smokeymonkeyです。今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe

clavier 2013/11/02

リンク

Javaウェブオペレーションエンジニアがトラブル切りわけ時に見ていること3つ - カイワレの大冒険 Third

忘年会シーズンで肝臓への負担を極力避けている@masudaKです。今回はJavaアプリケーションの運用のポイントに関して、書いてみたいと思います。このエントリはJava Advent Calendar 2012の22日目のエントリです。 Javaアプリケーションの運用ポイントとは昨今ではLLのほうが敷居が低く、開発スピードも早いということからか、PHPやRubyなどのLLによるWebアプリケーションが多くリリースされているかと思います。しかしながら、TwitterがJVMベースの開発にシフトしたように、より深いレベルで実装を行おうとした際にLL以外の実装も一つの選択肢として残っているのは間違いないでしょう。そのようななかで自分が最もよく触れているJavaでのアプリケーションの運用ポイントについて述べてみたいと思います。ここでいう「運用」とは、サービスをリリースしたのち、サービスへ

clavier 2013/03/24

リンク

Apacheのアクセスログを爆速でLTSVに変換する

Apacheのアクセスログ(commonあるいはcombined形式)をLTSVに変換するツールをJavaで書いてみた。使い方： mcp.jarをダウンロードし、 cat access_log | java -cp mcp.jar net.jumperz.app.MCP.MCP net.jumperz.io.multicore.example.MCombined2LTSV パースするコードそのものはこんな感じで普通。正規表現は使っていない。たぶんJava1.4以上でコンパイル可能。こういう処理をさくっとマルチコア対応にするためのフレームワーク、MCPというのを作ったので、早速利用してみると、手元の4コアのマシンでは約140万行/秒(common形式のログ)という爆速で変換が終了する。dankogai氏が書かれているperlスクリプトより約20〜30倍速い（正規表現を使うかどうかという点