はてなブックマーク

CSVファイルからデータを抽出したい場合、データ量が膨大だったり、条件が複雑だったりした場合、 「あー、SQLで検索かけたいなー。でもわざわざDBにテーブル作ってINSERTするのも面倒だなー」 とか思ったりすることがあります。 そんな願望を叶える小技を見つけたので紹介します。 概要 H2DBというDBがありますが、このJDBCドライバーを通して、例えば下記のようなSQLを実行すると、生CSVファイルに対して検索がかけられます。 ドライバーを使う設定だけすればよく、DBをセットアップしたり、テーブルを作成する必要はありません。 LIKE文、正規表現なども使えて便利です。 あとJOINとかも出来るようです。 やること H2DBドライバーをダウンロード お好みのDBビューアーをセットアップ 郵便番号一覧がのったCSVファイルをダウンロード SELECTしてみる Javaから操作してみる H2D

今更といえば今更だが、意外と情報が少なかったので、Amazon EMRにて、CustomJarを作成して実行する方法をまとめてみる。 実装する処理は、みんな大好きWord Countです。 手順概要 MapReduceの処理を実装したjarファイルを作る 作成したJarファイルをAmazon S3へアップロードする ログファイル出力ディレクトリ、入力ファイルを用意する EMRクラスターを立ち上げる ジョブを実行する Hadoopの処理を実装したjarファイルを作る Jobの内容を設定するMainメソッド、Mapperクラス、Reducerクラスを実装し、Jarを作成する。 Jarを作るために、今回はMavenを使用する。 ポイントとなるのは、hadoop-core以外で追加で使用するJarがある場合には、「maven-assembly-plugin」などを使って、依存するJarを一つにまと

Javaで設定ファイルというと、propertiesファイルを使うのが一般的かと思いますが、key=value形式だけしか使えなかったり、 テスト環境や本番環境でほんの一部だけ値を切り替えたい場合でも、ほとんど同じファイルを環境の数だけ作らないといけなかったりと、結構面倒です。 Play Frameworkでも使っている、「Typesafe Config」というライブラリを使うと、これらの問題が解決できるようでしたので、まとめてみました。 一応Githubにもコミットしてあります。地味にGit初めて使いました。 https://github.com/2KB/config-test01 Typesafe Configとは ・Java製のコンフィグファイルを使用するためのライブラリ。 ・Scalaの創始者が立ち上げた、Typesafe社が作っている。 ・jarファイルを一個読み込むだけで簡単に

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近Redshiftを業務で使う機会があったので、概要や使い方などをまとめてみようかと思います。 今回はRedshiftの立ち上げからはじめ、青空文庫さんが公開してくださっている、形態素解析データをRedshiftにいれて解析してみます。 解析といっても、一番多く幸せそうなワードを使っている文庫はどれかを調べるだけ。 一番多く幸せそうなワードを使っていた文庫を、「もっとも幸福な青空文庫」と判定します。 また、今回使用する、6.1GB、8770万行のデータをデフォルト設定でどのくらいでさばけるかなども試してみたいと思います。 今回やること

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今回の内容 最近一般公開された、話題のAmazon AppStreamのサンプルを動かしてみました。 Amazon AppStreamの概要と、サンプルの動かし方を記載します。 公式ドキュメントがどうにも読みにくくて結構苦労しました。 もし何か間違っていることあったらご指摘ください。 あと、サンプルを動かし終わった後は、EC2を落とすことを絶対に忘れないようにしましょう。 Amazon AppStreamとはなにか Amazon AppStreamは、スマホなどの端末から受け取った情報を元に、サーバー側でゲームの映像などを処理して、処理

速さは正義！ やはり「最速」という言葉は胸を熱くするものがあります。 使うWebフレームワークのレスポンスが速ければ速いほど、ユーザービリティはよくなる上に、必要なサーバー台数も減らせるなど、いいことづくめです。 ただ、レスポンスの速さだけを追い求めて機能を削ったものは、開発の速度を遅くします。 Web開発に通常必要な機能は全て用意した上で、なお速い、そんな都合のいいフレームワークが求められます。 そこで、最近知った「revel」という「最速」にして「フルスタック」のWebフレームワークについて、調べたことを記載していきます。 今回は、 速さの計測方法解説 revelの概要 Go言語の概要 revelのインストール・実行までの手順 などについて記載します。 ※ ここで言っている「最速」とは、一秒間に何レスポンス返せるか、というような、ベンチマーク的な意味です。 ※ ここで言っている「フルス