Elasticsearch設定に関する小ネタ - Taste of Tech Topics
こんにちは、ツカノ(@snuffkin)です。 この記事はElasticsearch Advent Calendar 2014の21日目です。 20日目はjtodoさんの「Spark on elasticsearch-hadoop トライアル」でした。 さて、以前、「Elasticsearchソースコードリーディング～内部構造把握の第一歩～」と題してElasticsearchのスレッド構成といった内部構造の話を書きましたが、今回もまた、似たような話です。 今回はElasticsearchの設定ファイルについてです。 1.ノード名について Elasticsearchのデフォルトのログフォーマットでは、ノード名が出力されます。クラスタで運用することも考えると、ノード名って重要ですよね。ノード名の設定方法については、公式ページに記載があります。 ここで面白いのが、設定を省略した場合の動きです。M
Impalaにファイルで投入したデータはいつから検索可能になるの？ - Taste of Tech Topics
こんにちは。kimukimu(@kimutansk)です。 このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。 多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なSQL on Hadoopが今非常に広まりつつあります。 私はそんなSQL on Hadoopの中でImpalaを今使用しているため、Impalaについて書かせていただきますね。 Impalaをデータの集計で使用しているのですが、 その際に「元々存在しているテーブルにデータをファイルで投入する」ことがあります。 ですが、ファイル投入後クエリを実行してみても投入した結果が表示されないことがありました。 かつ、Impalaのサイトを見てもどのタイミングでデータが検索可能になるか、は明確には見つからないんですよね・・
Spring BootによるWebアプリお手軽構築 - Taste of Tech Topics
こんにちは、阪本です。 Springのメジャーバージョンアップに伴い、Spring Bootも晴れて1.0となりました。 Spring Bootは、Spring周りの依存関係をシンプルに解決してくれるフレームワークですが、今流行りの（流行る予定の？）Dropwizardを意識した作りになっています。 どれだけシンプルにできるのか、見てみようと思います。 超シンプルなWebアプリの作成 では早速、Webアプリを作ってみましょう。 手始めに、サーバにアクセスすると固定文字列を返す（いわゆるHello World的な）アプリを作ってみます。 まず、下ごしらえとして、Mavenのpom.xmlを作成します。 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-i
AmazonEC2＋Postgres-XCでDBクラスタリングを試してみる。 - Taste of Tech Topics
こんにちは。上田です。 最近DBクラスタリング周りの構築パターンとして、 AmazonEC2＋Postgres-XCを試してみたので、 その辺のところを書いてみようと思います。 プロジェクトでも分散環境の構築を行うことはありますが、 分散環境の構築は色々面倒な印象が強いです。 特に ・検証するのに複数マシンを確保しなければいけない。 ・分散環境の管理システムの設定に癖があり設定が大変。 そこで、 ・複数マシンリソースを簡単に確保 →AmazonEC2 ・DBクラスタリングを簡単に実現(すると私が思い込んでいる) →Postgres-XC を試してみることにしました。 構成は以下をイメージ。 Postgres-XC1.0.1の構成要素として以下を構築します。 gtm:各ノードのtransaction/タプル管理用 gtm_proxy：gtm通信用 coordinator：アプリケーションイン
もしもラムダの中で例外が発生したら（後編） - Taste of Tech Topics
こんにちは。アキバです。 ゴールデンウィークですね！ 皆さんいかがお過ごしですか？ 今年は間に平日が多めなので、大型連休！というよりは２回連休があるというイメージの方が強いかもしれません。 cero-tの奥さんは11連休だとか さて、前回に続いて、ParallelStreamで動かしているラムダ内で、例外が発生した場合の挙動について調べていきます。 まずは、軽くおさらいします。 以下のようなコードを書きました。 try { List<String> strArray = Arrays.asList("abc", "def", "xxx", "ghi", "jkl", "xxx", "pqr", "stu"); strArray.parallelStream().forEach(s -> { System.out.println("ラムダ開始: id=" + Thread.currentTh
もしもラムダの中で例外が発生したら（前編） - Taste of Tech Topics
ある日、 id:cero-t がJJUGの重鎮たちと話している中で、とある宿題をもらいましたとさ。 「Java8のラムダの中で例外が発生したら、どうなるんだろう？」 こんにちは、アキバです。 もう皆さんはJava8を使ってみましたか？ とりあえずインストールしてみた人！ ・・はーい (おまえか という冗談はさておき、 今回は、id:cero-t に代わって私が冒頭のお題を調べてみました。 1. SerialStreamで動かしたラムダで例外が発生したら まずは、小手調べにシングルスレッドの場合を見てみましょう。 検査例外が発生するようなコードをラムダに書いてみると、コンパイルエラーになります。 こんなコードです。 try (BufferedWriter writer = Files.newBufferedWriter(Paths.get(W_FILENAME))) { // writer.
あなたのJavaコードをスッキリさせる、地味に便利な新API 10選（後編） - Taste of Tech Topics
こんにちは。 アキバです。 本日3/18、ついに、Java8が正式リリースされますね！ もうダウンロードされましたか？ってまだですかね？私はまだです（だって公開前にエントリ書いてるんだもんね） 2014/03/19追記：Oracleのページが更新されました！→こちら さて、前回に続いて、Java8で追加された地味で便利なAPIを紹介していきます。 今回は、みんな大好きMapとConcurrent、あとちょびっとComparatorです。 3. Map操作編 (1) Map#getOrDefault() これまでは、Mapから値を取得してnullだったらデフォルト値を使用する、みたいなコードを以下のように書いていたと思います。 Map<String, String> map; // 何らかのMap String value = map.get("key"); if (value == nul
Apache 初回リリースのStorm0.9.1のリリース内容は？ - Taste of Tech Topics
こんにちは。kimukimuです。 徐々に暖かくなってきていますね。春は目前です。 さて、つい先日Apache Stormとして初リリースとなる「0.9.1-incubating」がリリースされました！ ＃ちなみに前回リリースは「0.9.0.1」です。 今回リリース内容は大きく分けて、Apache Incubatorに移行したため発生したものと、 機能追加／不具合対応によるものの２つがあります。 節目のリリースですので両方についてリリースノートより主要な項目を紹介しますね。 1. Apache Incubatorとしてのリリース内容 ライセンスの変更 ライセンスが「Eclipse Public License - v 1.0」から「Apache License Version 2.0」に変更になってます。 今回の変更で今まで使っていた方が使えなくなる・・・ということはないのですが、 きちん
Elasticsearchソースコードリーディング～内部構造把握の第一歩～ - Taste of Tech Topics
こんにちは！ ツカノ(@snuffkin)です。 ElasticsearchとKibanaを使うとログなどを簡単に可視化できるため、利用者が急速に増えてきています(私もそのひとりです)。様々なブログで紹介されているKibana画面はとても素敵で、積極的に使いたくなります。 ただ、それなりの規模でElasticsearchを利用するには、中身を知ったり、データ設計や運用面なども考える必要がありますが、そのあたりの情報はまだ十分ではないように思います。そこで、Elasticsearchの中身をもっと知るために、ひとりでひっそりソースコードリーディングをしてみました。 今回利用したElasticsearchのバージョンは1.0.0.RC2です。以下の場所から実行媒体とソースコードをダウンロードして確認しています。また、確認はWindowsで行っています。 実行媒体 http://www.elas
Storm上で動作するオンライン機械学習ライブラリをOSSとして公開しました！ - Taste of Tech Topics
id:KenichiroMurata (@muraken720)です。 昨日、AcroquestはStorm上で動作するオンライン機械学習ライブラリをOSSとして公開しました！ ここでも簡単に紹介させて頂きます。 AcroMUSASHI Stream-ML（Machine Learning Library） 「AcroMUSASHI Stream-ML」はStorm上で動作し、連続的に発生し続けるストリームデータに対して、動的に学習データを更新しながら、リアルタイムの分析をすることができるライブラリです。 https://github.com/acromusashi/acromusashi-stream-ml Storm をベースとした、ストリームデータの分散処理プラットフォームである「AcroMUSASHI Stream」と組み合わせることで、「データの収集～分析～結果の出力」までをシー
Couchbase Tokyo 2014と、Couchbase情報のまとめ - Taste of Tech Topics
こんちには！ ツカノ(@snuffkin)です。 なんだかんだで1月末。寒い日があるのは良いとしても、忙しい日も多くなってきました。一緒にいろいろな事に取り組む人がもっと多くなって欲しい、との感じる今日この頃です。そんな訳で、当社では人材募集中です！ →Javaエンジニア緊急募集／キャリア採用 さて、そんな感じの宣伝から入りましたが、本題です。 ここ数年、NoSQLプロダクトは急速に増えましたね。しかも、KVS、ドキュメント指向、グラフ指向など、プロダクトの特徴も様々です。例えばこういう比較ページを見ると、いろんな特徴のNoSQLがあることが分かります。 これらNoSQLプロダクトの中でも、Couchbaseはドキュメント指向型(JSON)とKVS型(memcached互換)の両方に対応したNoSQLで、インメモリで高速動作するのがウリです(ディスクに永続化できますが、基本はインメモリ)。
Spring4.0で、APサーバに依存しないWebSocketサーバを実現する方法 - Taste of Tech Topics
こんにちは、阪本です。 昨年末に、Springがメジャーバージョンアップして4.0になりましたね。 代表的な変更点を上げてみても、 コールバック関数のJava8ラムダ式対応 Java EE 6 ＆ 7 対応 GroovyによるSpring定義の記述対応 WebSocket、SockJS、STOMP対応 非同期REST対応等のRESTインタフェース機能拡張 のように、大きな機能追加・変更が行われていますが、その中でも、最近流行りのWebSocketに対応したということで、少し触ってみました。 まずは実装 超シンプルなチャットプログラムを作ってみます。 （エラー処理等は割愛。） まずはサーバサイドから。 Mavenのpom.xmlのdependenciesに、Springの標準ライブラリに加えて、WebSocket用のライブラリ（spring-websocket）を定義します。 <depend
RestfuseによるREST API自動試験まとめ(その２) - Taste of Tech Topics
こんにちは、Web系エンジニアのナカガワです。 皆さん、エンジニアtypeに掲載された私の雄姿（><）は見て頂けましたか？ 「技術探求型」で新しい受託開発を実現してきたアクロクエストが有する“組織技術力”とは？ - エンジニアtype まだの人はいますぐチェック！！ さて、前回はRestfuseを使ったテストの手順を説明しました。今回はそのテストをJenkinsで自動化するまでの手順を紹介したいと思います。 Jenkinsを使ってどのような自動試験にするか まずはEclipseプロジェクトやJenkinsプロジェクトをどのような構成にするかを考えます。 前回の手順では「アプリケーション本体（＝テスト対象）」と「結合テスト」を別のEclipseプロジェクトにしました。そのため、Jenkinsプロジェクトでも同様に、この2つに分けて構築しました。 2つのプロジェクトに分けることで、アプリケーシ
Amazon Kinesis + Storm を連携させて、ストリームデータ処理を行ってみた - Taste of Tech Topics
こんにちは。kimukimuです。 昨日はクリスマスイブでしたが、皆さんはどのように過ごされたでしょうか？ 私はケーキは買う派ではなく、自分で作る派です。……まぁ、食べるのも自分なのですが…… クリスマスはさておき、今日はKinesisとStormに関する内容です。 AWS re:Invent 2013 で 発表されたAmazon Kinesis が12/17にPublic Betaになり一般公開されましたね！ 以下のように、KinesisはStormのコネクタを含んでいる、ということなので、さっそく試してみましょう。 Kinesis does include a connector for porting data to Storm, which AWS General Manager for Data Science Matt Wood said is a possibility in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
