ビルド(Java) ./gradlew gem ビルド(Ruby) rake build pkgの下にgemファイルができるので、 embulk gem install pkg/xxx.gem する。 @satoshihirose こんにちは、git cloneして、javaなら./gradlew gem ; rubyならrake buildです。pkgの下にgemファイルができるので、embulk gem install pkg/xxx.gemとすれば良いです。— hiroyuki sato (@hiroysato) April 22, 2016 @hiroysato @satoshihirose 手前味噌ですが、 https://t.co/9qDNGlNQ0O という方法もあります。— joker1007に宜しく (@joker1007) April 22, 2016

こんにちは。半瀬です。初投です。 これから業務で利用する機会が増えるということで、Ansibleに入門しました。 せっかくなので、私が学んだ過程をまとめて晒そうかと思います。 この記事の位置づけ ご存知のとおり、すでに当ブログでも多くの記事がたっていますので、Ansible導入のメリットなどは他の記事内容にお任せしようかと思います。ひとまず簡単にまとめさせていただきます。 以下の４本は導入編として位置づけられるかと思います。 構成管理ツール Ansibleを使ってみる ｜ Developers.IO Using Ansible on AWS - EC2インスタンスを作成する ｜ Developers.IO Ansibleでよく使う操作モジュール ｜ Developers.IO Ansible初心者のつまづきポイント ｜ Developers.IO 弊社社員によるAnsibleの紹介や勉強会

はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.1 HeapSizeの設定 Elasticsearchが使

※この記事は次のブログを翻訳したものになります。 原文：Elasticsearch 2.0.0 GA released Elasticsearch 1.0.0のリリース以降、 477のコミッター2,799のpull requestがあった、 **Elasticsearch 2.0.0 GA（Lucene 5.2.1ベース）**をリリースしました。 それだけでなく、Shield（セキュリティプラグイン）とWatcher（アラーティングプラグイン）、 新しくなったMarvel（モニタリングプラグイン）（プロダクション環境でフリー！）、 また、新しくオープンソースとなったSense editorの2.0.0もリリースしました。 Elasticsearch 2.0.0のダウンロードはこちらから。 また、2.0.0での重要な変更点についてはこちらをご覧ください。 全ての変更点については、次をご覧くだ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

Logstash Plugin for Amazon DynamoDBを使ってDynamoDBとElasticsearchを同期する はじめに AWS Official Blogにて、Logstash Plugin for Amazon DynamoDBという面白いツールが発表されました！ New Logstash Plugin – Search DynamoDB Content using Elasticsearch 要は、Amazon DynamoDBに入れたデータをLogstashのpluginを使ってDynamoDB streamsから取得します。LogstashなのでそのままElasticsearchにデータを突っ込めます。そうするとDynamoDBとElasticsearchのデータが同期できます。便利！ ということで早速やってみました！ 準備 DynamoDBのセットアップ

よく訓練されたアップル信者、都元です。先日、AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻として、SQSを使ったスケーラブルなジョブWorkerアーキテクチャをご紹介しました。人間相手のHTTPリクエストの間に完了させるには長すぎるジョブを実行したい場合は、とりあえずSQSに投げて非同期に処理させよう、という仕組みです。 投げる側は、Javaであればこんな感じですね。キュー毎にURLがあるのでそれを指定して適当なメッセージ（本来はJSONなんかが良いんだと思います）を投げ込みます。 sqs.sendMessage(new SendMessageRequest(QUEUE_URL, "foobar")); Worker側としては、こんな感じでメッセージを受信しては処理して削除、というのを繰り返せばよいです。 while (true) { ReceiveMessageR

はじめに 前回までは、検索エンジンの概要を見てきました。今回からは、全文検索の中核となる索引構造について見ていきます。 第1回の復習になりますが、全文検索には主に2種類の方法がありました。検索したいデータに対して前処理をせず、検索時に文書を走査するgrep型と、あらかじめ索引を作っておいて検索時にその索引を利用する索引型です。今回から数回にわたり、索引型において最も普及している転置索引という索引構造について解説していきます。 転置索引とは さて、転置索引とは何なのでしょうか？ 身近な所で例にあげると、書籍（専門書など）の巻末にある索引は、本における転置索引といえます。巻末には通常、キーワード（単語）とそのキーワードが出てくるページが記載されています。キーワードはアイウエオ順やアルファベット順に並べられているので、探したいキーワードを簡単に見つけることができ、そのキーワードがどのページで言及

Advent Calendar 2015の13日目の記事です。 今うちで動いているCrawlerは数年前に作られたもので、 仕組みとしてはAzureのService Fabricの上でAWSのLambdaを動かしているのと似たアーキテクチャになっている。 そろそろ生まれ変わりの頃かなと思う。 生まれ変わるにあたって、これからのアーキテクチャをどうしようかと悩むわけだけど、 そんな時には過去に遡っていくと次時代へのヒントが転がっていることがよくある。 特に、過去に敗北した素晴らしいアーキテクチャが今の技術であれば一般時にも実現可能になっていたりする。 昔話 昔々世界にはInktomiという会社と AltaVistaという会社があった。 Inktomiという会社はソフトウェア開発会社で、2002年に米Yahoo!に買収されている。 AltaVistaは検索エンジンの会社だったが、2003年にO

こんにちはVASILYエンジニアの松本です。VASILYではクローラーの仕組みを大幅に見直した際にDynamoDBの導入を行いました。今回はその導入方法とDynamic DynamoDBを用いた運用方法について話したいと思います。 DynamoDBを導入した理由 iQONではクローラーで取得したデータをDynamoDBに保存しています。DynamoDBを導入した理由は以下の通りです。 ・ ECサイトごと、さらには商品ごとにクロールするデータの形式が異なるためスキーマレスである必要があったこと。 ・ DynamoDBはデータベース容量が増大した際も自動でスケールしてくれるのでメンテナンスコストがかからないこと。 ・ 平均レイテンシーは1桁台のミリ秒単位であること。 iQONでは1日約80万点のアイテムをクロールしているので、メンテナンスコストがかからず、ある程度のパフォーマンスが担保できるこ

はじめに AWS上でクローラを動かしたいときがある。 様々な選択肢があると思われるが、とりあえず思い付いたアーキテクチャ（構成）を書く。 どの構成が良いとかは不明（もっと良いアーキテクチャあると思う）。良し悪しの基準の定義がめんどいからとりあえず書く。 クローラについて ここでは、クローラとは「webページからデータを取得し、それを構造化するプログラム」と定義する クロール対象について 何かしらの「物」（洋服、食べ物、不動産、etc）を閲覧できるwebページ 「物」の一覧ページと「物」それぞれの詳細ページ、という構成である 「物」を検索する機能がある（場合がほとんど） クロールの処理について クロールの処理は主に３つのフェーズがあると考えられる +------------------------------------------------------------+ | | | | |