Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
Java特有の冗長なコードを簡潔に記述する「Lombok」
Javaは言語仕様上の制約により、ボイラープレートコード（自明だが省略できないお決まりのコード断片）がいくつかあります。例えば、メンバ変数を読み書きするだけのgetterメソッドやsetterメソッドがこれにあたります。Lombokを使えば、これらJava特有の冗長なコードを、見やすく簡潔なものにすることができます。本記事ではLombokを利用して、ボイラープレートコードをシンプルに記述する方法について解説します。 はじめに 今やJava開発に必要不可欠となったものの一つに、IDEの存在があります。例えばEclipseではメンバ変数さえ定義すれば、getter/setterの自動生成や、equalsメソッドやhashCodeメソッド、toStringメソッドなどの自動生成などさまざまな場面でコーディングを強力にサポートしてくれます。 これは大変便利な機能ですが、裏を返せばJavaの言語仕様
DBの値を自動でJavaオブジェクトに変換するライブラリ「DBUtils」のご紹介
本連載では、サーバーサイドJavaを使って業務アプリケーション開発を行う熱血若手エンジニアのために、面倒な作業が楽になる便利なツールをご紹介します。「定時になったらスマートに帰社してアフター5を存分に楽しみたい！」や「設計書やレビューの準備に煩わされるのは嫌だ、コーディングに集中したい！」などを実現してくれる便利なツールやソフトウエアを、サンプルコードを交えて説明します。 はじめに サーバーサイドJavaによるWebシステムでは、クライアントから受け取ったデータをもとに、データベース上のデータを参照したり、更新したりすることがよくあります。 本当は、クラス設計などに時間をたっぷり費やして、効率がよく品質の高いプログラムを書きたいのに、データベースに登録されたたくさんのテーブル／カラムから必要な値をResultSetで受け取り、それをJavaの一つ一つオブジェクトに格納して……など単調な作業
Java EE 7，WebSocketをサポート
Java EE 7では，HTML5を使用するWeb開発者のニーズに応えて，多数の新API の導入や既存APIの変更が行われている。関係する領域は３つある – JSON操作のための新API，新たな属性に対応した JSFの大幅な更新，そしてもうひとつが，HTML5を形成する数多くのテクノロジのひとつであるWebSocketプロトコルを扱う新APIだ。 WebSocketプロトコルは，Webサーバがクライアントの要求に対応する方法を変える – コネクションをクローズする代わりに101ステータスを送信して，コネクションはオープンしたままにするのだ。これによって，ストリーム上に存在するメッセージの受信と，ストリーム上へのメッセージの送信が可能になると期待される。HTTPとは違って全２重通信をサポートしているため，クライアント – 通常はブラウザ – とサーバは，同じタイミングでメッセージを相互に送信
Javaプログラマから見たMongoDB
はじめに PostgreSQLなどのRDBMSでは、コマンドラインのクライアントからSQL文を打ち込んでデータを操作することが一般的です。これに対し、MongoDBでは、コマンドラインのクライアント（mongoコマンド）からJavaScriptを使ってデータにアクセスすることができます。ただし、JavaScriptを使うといってもif文やfor文などを使うことはまれで、多くの場合は単純にJSON形式で記述したクエリーを関数の引数にして実行するだけになります。その際「find」「update」などの関数や「$gt」「$set」などのMongoDB独自のオペレータを用います。これは特定のプログラミング言語に特化した方法ではなく、少し抽象化された、MongoDB言語とでも呼べるものとなっています。 PHPやJavaなど、JavaScript以外で書かれたアプリケーションからMongoDBにアクセ
Maven プロジェクトレポートの作成 - @//メモ
pom.xml † pom.xml に maven-site-plugin を登録し、locale に jp を設定します。 何も設定しない場合には英語版のみが出力される 複数の言語のプロジェクトレサイトを作る場合には en,jp などカンマ区切りで指定する pom.xml の <reporting> に、レポートを出力する plugin を追記します。 ← Maven3 からやり方が変わった maven-site-plugin の <configuration> にレポートを出力する plugin を追記します ← maven-site-plugin 3.3 から Maven 2 の書き方に戻った https://maven.apache.org/plugins/maven-site-plugin/maven-3.html [削除] pom.xml の コード例 Maven 3.3 から
JJUGナイトセミナー「Project Lambdaハンズオン」参加 - torutkのブログ
今日の夜、日本Javaユーザーグループ（JJUG: Japan Java Users Group）主催のナイトセミナー「Project Lambdaハンズオン」が開催されました。 JJUG Project Lambda Hands-on 事前準備 Project Lambda ハンズオン セミナー資料 Togetterページ 前半がJavaにおけるラムダ導入までの紆余曲折の経緯、ラムダの概説、後半が例題によるハンズオンです。 今回のセミナーの個人的にとってもよかったところは Scala、Groovy、Rubyなどの話題がほとんど出なかった点 ラムダ計算の話題がでたけど小難しくなかった点 実際に見て聞いて手で動かして結果を目で見るのは、新しい概念を学ぶのに有効 ですね。 残念なところは、 夜の勉強会なので時間が短く、十分なハンズオン時間がなかった点 です。 プログラミングは、自分の手で書いて
Java Fork/Join for Parallel Programming - Java Code Geeks
Ilias TsagklisFebruary 17th, 2011Last Updated: December 3rd, 2019 The last few years a paradigm shift is taking place in the field of computer processors. For years, processor makers consistently delivered increases in clock rates, so developers enjoyed the fact that their single-threaded software executed faster without any effort from their part. Now, processor makers favor multi-core chip desig
CentOSでHadoopを使ってみる - Y's note
__ __ __ / / / /___ _____/ /___ ____ ____ / /_/ / __ ‘/ __ / __ \/ __ \/ __ \ / __ / /_/ / /_/ / /_/ / /_/ / /_/ / /_/ /_/\__,_/\__,_/\____/\____/ .___/ /_/ インストール hadoopをcentosに入れてみる。最新バージョンは2011/11/25日の段階では0.23.0 各Linuxディストリビューションに対応済みのcdh3(Cloudera Distribution including Apache Hadoop v3)を入れる。cdh3の最新バージョンは0.20.0 hadoopの他に愉快な仲間達のhive,pig,hbaseも入れる。 jdkのインストール hadoopはjavaで動くので当然必要となる。既にインストール済みの場
Hadoop File System Java Tutorial
Hadoop Distributed File System (HDFS) Java tutorial. This Java tutorial contains examples and Java code on how to create, rename, delete and do much more on Hadoop Distributed File System using the Haddop Java API. Copy a file from the local file system to HDFS The srcFile variable needs to contain the full name (path + file name) of the file in the local file system. The dstFile variable needs to
Twitter with Java
Imports import java.net.URL; import org.apache.commons.io.IOUtils; import org.apache.commons.io.output.ByteArrayOutputStream; import org.json.JSONArray; import org.json.JSONObject; Code String username = "google"; // update // get tweets as JSON URL url = new URL("https://twitter.com/statuses/user_timeline/" + username + ".json"); ByteArrayOutputStream urlOutputStream = new ByteArrayOutputStream()
JettyのWebSocketを使って大容量データを高速に送信するコツ (Kanasansoft Web Lab.)
クライアントからデータの送信要求があった時に実行される部分を下に示します。base64が送信する画像データをBase64化したバイト配列で、outbound(この場合、Outboundインターフェイスを実装したWebSocketConnectionクラスになります)が送信先のコネクションです。分割したデータをoutbound.sendMessageへ一気に流し込んでいます。 WebSocketのサンプル等でよく使われるのは「Outbound.sendMessage(byte frame,String data)」というメソッドですが、ここでは「sendMessage(byte frame,byte[] data, int offset, int length)」を使用しています。この部分を最初に実装した時には、Base64化した時に得られるバイト配列を文字列化して送信してたのですが、Jet
Hadoopで始める並列データ解析／後編 | Inhale n' Exhale
1月13日（金）にPalo Altoで行われたJTPAのギークサロンに参加してきた。今回は参加者がラップトップ持ち込みでコーディングしていくハッカソン形式で、会場入りする前までにHadoopが使える環境を自前で用意しておく必要があった。 前編では、Hadoopを使って計算処理をするための準備として、EC2上にHadoopクラスタを構築する方法を紹介した。後編では実際にギークサロンで手を動かしてやったことを中心に紹介していこう。 WordCount.java – 最初のサンプルコード Hadoop Tutorial / Module4: MapReduceで紹介されているWordCount.javaを使って、EC2上のHadoopクラスタで処理をさせてみる。いわゆる"Hello, wolrd!"的なサンプル。 まずはEC2上のUbuntuにSSHでログインして、Hadoopのクラスタを立ち上
IntelliJ IDEAのJava→Scalaコード自動変換を試す : mwSoft blog
IntelliJ IDEAにはJavaのコードをScalaのコードに自動で変換する機能が付いている。 プロジェクトの中にJavaのクラスを作って、Refactor→Convert Java File To Scalaで変換ができる。また、プロジェクト中のJavaのコードの一部をコピってScalaのコードの中にペーストすると、Scalaのコードに自動変換した上で貼り付けてくれたりもする。 これをScala入門者が困った時用の機能として勧めて良いものか確認したかったので、軽く調査してみる。結論として、それなりに救ってくれそう。 以下、IntelliJ IDEAにJava→Scala変換してもらった結果。 ================================================== 【普通の文字列】 // 変換前 String str = "文字列"; ↓↓↓ // 変換
[JS]文字にアニメーションを使った面白いエフェクトを与えるスクリプト -Text Effects
Scrambled Writer 文字をごちゃまぜにし、アニメーションで元通りにします。 Text Effectsの使い方 Text Effectsの使い方は簡単で、「jquery.js」と当スクリプトを外部ファイルとして記述し、スクリプトを実行するだけです。 「Typewriter」を例にすると、下記のようになります。 HTML <div id="my-container"> Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip e
GoFの23のデザインパターンを，Javaで活用するための一覧表 （パターンごとの要約コメント付き） - 主に言語とシステム開発に関して
GoFデザインパターンの一覧表と，活用のためのコメント，および入門者が独学するためのリンク集（サンプルコード付き）。 入門者の独学を支援するために，このページのURLを提示して熟読させ，各パターンを短時間で効率よく学んでもらう。 デザインパターンはプログラマの常識だ。 Java使いかどうかは問わない。 にも関わらず，入門書を買ったまま，途中で挫折する人が多い。 挫折の原因は，パターンの数が23もあって，多いからだろう。 全パターンをすんなり覚えてもらうためには，各パターンごとに 「要するにこういう目的のパターンなんだ。」 「10文字で表現すると，パターンの意味はこうなんだ。」 という要点・本質を，短いコメントで伝えれば助けになるだろう。 こういった学習を通して，Java言語の「設計思想」も併せて感じ取ってゆけるはず。 全パターンの一覧表（要約コメント付き） 全パターンについて，10文字以内
MyBatis – JDBC – Amazon RDS (MySQL)で日付を扱う場合の注意点 « ロジカルにアナログで。
今まではPostgreSQL派だったのですが、Amazon RDSがMySQLだと言う事もあり、最近はバックエンドのRDBMSとしてMySQLを使う機会が多くなってきました。 この間、何気なくDATETIME型のカラムを作って、Java側で new Date()して MyBatisでさくさくと INSERTしてみたのですが、なんかタイムゾーンがずれて格納されているような、、、という問題に遭遇しました。 以下、その際の格闘メモです。 まず、Amazon RDS (MySQL) は UTCで動いています。以下のSQLで確認しました。 mysql> SELECT @@global.time_zone, @@session.time_zone; +--------------------+---------------------+ | @@global.time_zone | @@session
Android SDKの，ParcelableとSerializableの違いを比較 - Intentで独自オブジェクトを運搬する際，役立つのはどちら？ - 主に言語とシステム開発に関して
AndroidプログラミングのTOPへ 重要なお知らせ： この記事で公開した情報は，AndroidのMVCフレームワーク「Android-MVC」の機能の一部として取り込まれました。 より正確な設計情報や，動作可能な全ソースコードを閲覧したい場合，「Android-MVC」の公式ページより技術情報を参照してください。 AndroidのMVCフレームワーク - 「Android-MVC」 http://code.google.com/p/android-mvc-... Androidアプリの画面遷移時には， Intentオブジェクト内にputExtra()でデータを詰め込んで，次の画面に渡す。 Intentに対してStringとかintとか，プリミティブな値を格納するのは容易だ。 しかし，格納する値のデータ構造が複雑になってくると， 独自オブジェクトのインスタンスを丸ごと格納したくなる。 ど
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Efficient data transfer through zero copy
Efficient data transfer through zero copy
