sbtのテスト関連のメモ - CLOVER🍀
先ほど書いた、こちらのsbt版。 Mavenで、「mvn test」等々とオプションのメモ http://d.hatena.ne.jp/Kazuhira/20140816/1408198453 まあ、目線はちょっとMavenと違うところもありますが。 とりあえず、対象のプロジェクトでsbtは起動しているものとします。また、使用しているsbtは、0.13.5です。 テストを実行する 普通に。 > test テストのスキップ そういえば、sbtって「package」してもテスト実行しないですね。 テストコードを含めてコンパイルする ソースコードのコンパイルは > compile ですが、これだとテストコードはコンパイルしてくれません。 テストコードを含めてコンパイルするには、 > test:compile となります。 テスト対象のクラスを指定する Mavenの時と同様、スケープゴート的にこん
Kuromoji（Atilika）0.9-SNAPSHOTに、NEologd（ipadic、unidic）を適用してみた話 - CLOVER🍀
Lucene Kuromojiとの組み合わせで、時々エントリを書いていますmecab-ipadic-NEologdですが、以前Kuromoji（Atilika）との組み合わせでは失敗したことがあります。 Kuromoji（Atilika）に、mecab-ipadic-neologdの辞書を適用できない？という話 http://d.hatena.ne.jp/Kazuhira/20150318/1426690374 Kuromoji http://www.atilika.org/ Kuromoji（GitHub） https://github.com/atilika/kuromoji で、このAtilikaのKuromojiなのですが、最近更新が活発なようで、masterブランチは0.9系になっています。 AtilikaのMavenリポジトリには、相変わらず0.7.7しかないのですが。 htt
Ubuntu Linuxに、Apache Kafkaをインストールする - CLOVER🍀
今後の勉強にあたり、Apache Kafkaを使ってみようかなと思いまして。 まずは、Apache Kafkaをインストールしてみたいと思います。 Apache Kafka また、参考にしたサイトはこちら。 Apache Kafka, 他とは異なるメッセージングシステム シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ - ようへいの日々精進XP Apache Kafkaに入門した | SOTA Apache Kafka ―入門からTrifectaを用いた可視化まで― Apache Kafkaの説明自体は、このあたりを参照と…。 インストール 環境はUbuntu Linux、JavaはOracle JDK 8がインストール済みの状態を前提とし、基本的にはQuickstartに沿って 進めていきます。 Quickstart まずは、Apache Kafk
Ubuntu LinuxにElasticsearch 2.1とKuromojiをインストールする - CLOVER🍀
そろそろ、Elasticsearchを少しずつ触っていってみようかと思いまして。 とはいえ、自分はあんまり検索エンジンはやったことがないので、まあ気ままにマイペースで試していけたらなぁと思っています。 一応、LuceneおよびHibernate Searchは趣味的に遊んだことがあります。Apache Solrは、この前初めて使いました。あと、この本は持っています。 高速スケーラブル検索エンジン ElasticSearch Server 作者: Rafal Kuc・Marek Rogozin’ski,株式会社リクルートテクノロジーズ,大岩達也、大谷純、兼山元太、水戸祐介、守谷純之介出版社/メーカー: KADOKAWA/アスキー・メディアワークス発売日: 2014/03/21メディア: 大型本この商品を含むブログ (4件) を見る が、1.5くらいの時にzipを展開して起動したことがあるくら
Apache SparkをScalaTestで動かしたい - CLOVER🍀
このところ、SparkをStandalone ModeやYARNで動かしていましたが、もうちょっと機能的な感覚をつかみたいと思いまして。 で、毎度Spark Submitしてもいいのですが、テストコードで動かせないかなぁ、と…。 調べた感じ、やれないこともなさそうな雰囲気…。 Testing Spark Streaming Applications http://eng.tapjoy.com/blog-list/testing-spark-streaming-applications https://spark-summit.org/2014/wp-content/uploads/2014/06/Testing-Spark-Best-Practices-Anupama-Shetty-Neil-Marshall.pdf ちょっと、やってみましょう！ 追記） ドキュメントをよーく見ると、ここに
HtmlUnit／Selenium HtmlUnitDriverで、HeadlessにAjaxを実行する - CLOVER🍀
ちょっと調べる機会がありまして。 Firefoxなどのブラウザを用意せず、HTMLを取得した後にJavaScriptを実行したい（かつAjaxが動けばなお良し）みたいなことを考えてまして。実装はJavaで。 ※要はクローラーについて考えてました で、パッと思いついたのがSeleniumのHtmlUnitDriverだったのですが、調べているとどうも似た名前でちらほらと検索結果に引っかかってくるのがあるなぁと思ってちゃんと見たら、HtmlUnitというものがありまして。 というわけで、今回はHtmlUnitとSelenium HtmlUnitDriverを使って、Headlessな環境でHTML取得〜Ajax実行結果を取るところまでやってみたいと思います。 HTML／JavaScriptの用意 Javaのコードに行く前に、評価対象のHTMLおよびJavaScriptがないと話が始まらないので
CDH 4.5を使って、ScalaでHBaseクライアントプログラミング - CLOVER🍀
以前、Clojureを使ってHBaseのクライアントプログラムを書きました。 HBaseでJavaクライアントプログラミング、のさわりだけ http://d.hatena.ne.jp/Kazuhira/20130906/1378484167 HBaseでCRUD＋Scan http://d.hatena.ne.jp/Kazuhira/20130910/1378824211 今日、CDH 4.5を使ったHBaseの環境を作りましたので、これを使ってScalaで書き直したいと思います。 ポイントとしては、CDH 4.5を使っているので、それに合わせたMaven Artifactを選ぼうってところでしょうか。たぶん、ClouderaがMavenリポジトリを公開してるよね？と思ったら、案の定ありました。 Using the CDH4 Maven Repository http://www.clou
テンプレートエンジンTwirlを試してみる - CLOVER🍀
もう少しScalaのテンプレートエンジンを、と思い、今度はTwirlを触ってみました。 Twirl https://github.com/playframework/twirl Play Frameworkで使われているテンプレートエンジンだそうですね、Play自体使ったことないですけど…。 以前はPlayから完全に独立したテンプレートエンジンとして存在していたみたいですが、Playの一部に戻ったみたいですね。 ※この経緯については、xuweiさんからコメントで補足をいただきました。ありがとうございます 旧リポジトリはこちら。 Twirl https://github.com/spray/twirl Playに戻っても、単独で使えることには変わりはなさそうです。 ドキュメントは、Playのものを見ることになりそうです。 The template engine https://www.pla
Scalaで継続モナド（Continuationモナド）を学ぶ - CLOVER🍀
今年の6月くらいに買った以下のScala実践プログラミングなのですが、いくつかテーマ的には気になるものがありました。 オープンソース徹底活用Scala実践プログラミング 作者: 小笠原啓,尾崎智仁,関隆,水島宏太,今井敬吾出版社/メーカー: 秀和システム発売日: 2011/06/16メディア: 単行本購入: 2人 クリック: 134回この商品を含むブログ (20件) を見る 気になっているのは、以下の章。 Scalaのためのデザインパターン 継続 んで、その中でもデザインパターンの章で登場した継続モナド（Continuationモナド）を、ちょっと勉強したいなと思っていましたが本を見たり、Webで調べてもよくわかりません…。 なので、書いて動かしてみようかと。 まずは、素直に本の写経。 Cont.scala object Cont { def mreturn[A, B](x: A): Co
HttpClientとConnectionManagerとCLOSE_WAITと - CLOVER🍀
JavaでHTTP通信をやろうとすると、必ずと言っていいほど登場する、Apache HttpClient4（以前は、Jakarta Commons HttpClient3）ですが、これでちょっとハマっていた事象を見かけたので、軽くメモを。 あ、その時に使われていたのは、Jakarta Commons HttpClient3の方です。んで、ソケットのクローズ漏れでハマってました。 これ、チュートリアルだけを信じて実装すると、ハマるんですよねぇ…。 http://hc.apache.org/httpclient-3.x/tutorial.html チュートリアルの中に // Release the connection. method.releaseConnection(); みたいなことが書いてあって、いかにもコネクションをクローズしてくれそうな雰囲気がありますが、これは意味が違います。Ht
テンプレートエンジン、Scalateを使ってみる - CLOVER🍀
この前、Mustacheについて調べた時に、このテンプレートのScala実装があることがわかりました。 で、その実装がScalate。あ…なんか、聞いたことあります。なんですが、使ったことがなかったのでちょっと試してみることにしました。 Scalate http://scalate.fusesource.org/ このテンプレートエンジン、いろんなテンプレートの形式をサポートしていて、ドキュメントによると以下が使えるそうです。 http://scalate.fusesource.org/documentation/index.html Mustache Scaml Jade SSP Scuery とはいえ、いきなりこんなに触れないし、ちょっと馴染みのない形式のものも多いので、今回はSSPとMustacheを使ってみました。 準備 ビルドには、sbtを使用することにします。というわけで、こん
json4sで遊ぶ - CLOVER🍀
Scalaで、JSONを使ってみたくなりまして。 ScalaでJSONライブラリというと、以下あたりがいいのかな？ json4s https://github.com/json4s/json4s http://json4s.org/ argonaut http://argonaut.io/ jackson-module-scala https://github.com/FasterXML/jackson-module-scala 今回は、比較的メジャーであると思われる？json4sを使ってみることにしました。Jacksonのサポートもありますし。 JSONの扱うのに、nativeかJacksonかを選ぶみたいですが、とりあえずnativeからいってみます。 準備 まずは依存関係の定義。 build.sbt name := "json4s-native-example" version :=
Javaで使える、HTML5パーサ - CLOVER🍀
ちょっと大量のHTMLファイルをチェックする作業があって、grep／Perl One Linerで頑張るのも厳しいよなぁと思い、HTMLファイルをJavaでパースしてどうにかしようと思い立ちました、今日。 で、JavaでHTMLパーサといえば、個人的にはパッと思い浮かぶのがNekoHTML。 CyberNeko HTML Parser http://nekohtml.sourceforge.net/ が、いかんせんこれは古い。HTML5にも対応していませんし。 よって、他のパーサを探してみました。2つほど見つかったので、ご紹介します。 HTMLをパースするので、以下のような閉じタグがないHTMLもパースできなければなりません。 index.html <!DOCTYPE html> <html> <head> <title>タイトル</title> </head> <body> <div i
Javaで使えるオープンソース・キャッシュライブラリ - CLOVER🍀
最近は、仕事でEhcacheを使っていたり、他にも調べたりすることがあったので、ちょっとJavaで使えるオープンソースなキャッシュライブラリについてまとめてみることにしました。 あ、そんなに大した内容ではないので、ご期待なさらぬよう…。 でまあ、改めて調べてみた感想としては、Ehcacheが現状デファクトになっていることが改めてわかった感じですね。Javaのキャッシュライブラリって、そこそこ数が見つかるんですけど、開発が止まってしまっているものが多かったり、ドキュメントも全然ないというものもけっこう多くて、割とカオス…。 しかも、軽量で気軽に導入できるキャッシュライブラリって、今はない感じですね。Guavaがキャッシュだけで独立していれば…。EhcacheとかInfinispanだと、機能で困ることはないと思いますが、ちょいと大きいですよね。 調べる時に気になるのは、以下のようなところでし
sbt（Simple Build Tool）0.10ことはじめ - CLOVER🍀
以前から使ってはいたのですが、CentOSからUbuntuに移行した時に残念ながらsbtの設定は吹っ飛んでしまったため、いい機会なのでまとめておこうと思います。 sbt（Simple Build Tool） https://github.com/harrah/xsbt/wiki sbtは、Scalaのための開発ツールです。Javaの世界でいくとMavenに近いと思われるのですが、MavenのようにXMLしていないので、導入はもうちょっと簡単かも。 sbtは0.7系と0.10系があり、世の中の情報は0.7系を中心に書かれていますが、今回はせっかくなので0.10系にトライしてみましょう。 では、手順を見ながらセットアップ！ https://github.com/harrah/xsbt/wiki/Setup 上記ページから、「sbt-launch.jar」をダウンロードしてきて、適当なディレクト
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
