Elasticsearch テンプレートエンジンを使ったQuery DSLプログラミングのすすめ
ElasticsearchのQuery DSLはJSONフォーマットで、複雑なクエリも書けて便利なのですが、その反面プログラム内に記述してしまうと、全体像が把握しづらく、メンテナンスしづらいことがあります。 ElasticsearchのSearch Templateを使っても良いのですが、使用するにはElasticsearchへの事前の登録が必要だったり、Elasticsearchに関する検索クエリー以外の学習も必要なってきます。 そこでフロントエンド開発者がElasticsearchをバックエンドに検索アプリケーションを開発する際のQuery DSLプログラミング方法についてご紹介します。 その方法はタイトルにもあるようにHTMLやXMLを描画するために使用するテンプレートエンジンを使う方法です。 最近のテンプレートエンジンはHTMLやXML以外のフォーマットも出力できたり、もともとロジ
LambdaをつかってS3にPUTされた情報のメタデータをDynamoDBで楽に管理する - Qiita
AWS Lambdaはre:Inventで発表された新しいコンピュートプラットフォームでクラウド上でコードスニペットをイベントドリブンで比較的簡単に動かせる特徴があります。例えばS3にデータがあがったとき、など今までだとどうしてもEC2をたてて、定期的にチェックをしながら動かす必要があったものが、文字通りS3側からイベントを発火してもらえるので、よけいなポーリングなどの手間がへり、結果的にコストをおさえながら目的を果たしやすくなっています。 そこで今回はS3上にあがったデータのメタデータをDynamoDBに管理するLambdaファンクションを作ってみたいと思います。 プレビューへの登録 まずはAWS Lambdaのプレビューを申し込みます。こちらから申し込む事が出来ます。 プレビュー申し込みは順番に案内しているみたいなので、申し込んだらあとは祈るのみです。 ファンクションの作成 今回はS3
小さなサーバーで大きなサービスをつくる | カメリオ開発者ブログ
アーキテクトのItoです。動画を撮るのが趣味ですが、最近はこの本を買って、カラーグレーディングの勉強をしています。とても良い本です。 さて、今回お話するのはバックエンドにあるフロントエンドについて。 以下はほぼ実際にカメリオで運用しているバックエンド構成です。 図中のサーバーというものはいわゆるHTTPベースのサーバーアプリで、ここでは緑をNode.js, グレーをPython, C++で実装しています。小さいサーバーがたくさんあります。主にクライアント〜フロントエンドAPIだけの構成図で、記事クローラーや各種管理画面などは図にはありませんが存在します。 まずフロントエンドにELB(AWSを使用)とNginxを置き、後ろに NodeベースのフロントエンドAPIサーバーを置きます。 ここはNode.jsで作られたアプリをサービスするごく一般的な方法です。 エンドポイント(api.kamel.
DebOps — DebOps documentation
Introduction Documentation overview Quick start DebOps installation Getting Started with DebOps Configuration Frequently Asked Questions User Manual DebOps for Ansible users Project directories DebOps CLI Global role variables Custom environment variables Playbooks Universal Configuration DNS Configuration Roles (by category) Roles (index) Admin Recipes Using Linux containers Custom services and t
FURYU Tech Blog-フリューテックブログ | Furyu Tech Blog
はじめに こんにちは、ピクトリンク事業部開発部サーバサイド開発課のkitajimaです。弊社サービスピクトリンクは、システム再構築の一環として
分散処理に入門してみた（Hadoop + Spark） | Casley Deep Innovations株式会社 技術ブログ
こんにちは。SI部の腰塚です。 RDBやデータウェアハウスの仕事に携わることが多かった筆者は、数年前からたびたび聞こえたビッグデータ分析や機械学習のための分散処理フレームワークに興味を覚えたものの、ついぞアクセスしないままここまで来てしまいました。 今回ブログを書くにあたって、せっかくなのでイチから手さぐり入門し、いまさら他人に聞けない分散処理の初歩からhadoop・sparkを触ってみるまでをまとめたいと思います。 1.分散処理の基礎知識 1-1.分散処理の処理方式：MapReduce まず分散処理とは、ひとつの計算処理をネットワークで接続した複数のコンピュータで同時並列で処理することです。 ビッグデータ活用の市場が日々大きくなるに従って、数百テラ～ペタのデータ処理も珍しいものではなくなっており、日常的にこの規模のデータを扱うシステムでは、現実的な時間的・費用的コストで処理する工夫が必要
relx.jp - このウェブサイトは販売用です！ - relx リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Fabric/Pythonを1ヶ月使ってみて分かった勘所まとめ その2 - Pythonic Life
2014-11-17 Fabric/Pythonを1ヶ月使ってみて分かった勘所まとめ その2 fabric python 前回に引き続き、リモート構成管理モジュールFabricを使用するにあたってのコツを書き連ねてみる。今回は文字列の入出力制御を中心にまとめている。 コンソールに文字を表示する コンソール上に文字を表示するために、まず思いつくのはprint関数。 from fabric.api import * def hello_world(): print("Hello World!") # print "Hello World!" でもよい チュートリアルでも最初に紹介されているスクリプトだが、もちろんこれは動作する。 $ fab -H 192.168.1.1 hello_world [192.168.1.1] Executing task 'hello_world' Hello W
インフラ構築手順書 Nginxのロードバランサー構築手順
[PR]上記の広告は3ヶ月以上新規記事投稿のないブログに表示されています。新しい記事を書く事で広告が消えます。 Nginxのロードバランサー構築 ■Nginxのロードバランサー設定の目次 ・Nginxインストール ・Nginxグローバル設定（nginx.conf） ・Nginxの仮想ホスト設定（ld.conf） Nginxのインストール Nginxをインストールするには、ソースからとRPMパッケージのからの インストールがあるが、ここでは、RPMパッケージからのインストールを説明する。 NginxのRPMパッケージからインストール ■nginx.org提供のリポジトリからnginxのパッケージをインストール 公式ダウンロードサイトの"Pre-Build Linux Packages"からリポジトリ用のRPMファイルをダウンロードしてインストールします。 # wget http://ngin
JenkinsでCI環境構築チュートリアル ～GitHubからWebサーバーへのデプロイ～ - ICS MEDIA
前回の記事「JenkinsでCI環境構築チュートリアル ～GitHubとの連携～」では、GitHubから最新ファイルを取得する方法をご説明しました。今回はGitHubから取得した最新ファイルをWebサーバーにデプロイする手順についてご説明したいと思います。 完成イメージ ～JenkinsからWebサーバーへのデプロイ～ 上記の図の手順⑤にあたる「Webサーバーへデプロイ（ファイルアップ）」する仕組みを構築します。デプロイの仕方は色々あり、Jenkinsを構築したサーバーのOSによっても異なります。本記事ではmacOS（Linuxも同様）とWindowsでのそれぞれのデプロイ方法をご説明します。 ※手順①〜手順④については、前回の記事「JenkinsでCI環境構築チュートリアル ～GitHubとの連携～」をご参照ください。 ジョブの設定 前回作成した「GitHubから最新ファイルを取得するジ
Kibana4
第7回Elasticsearch勉強会の発表資料 http://elasticsearch.doorkeeper.jp/events/16837
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
%25E3%2581%25AB%25E6%258E%25A5%25E7%25B6%259A%25E3%2581%2599%25E3%2582%258B)
AWS LambdaでMySQL(RDS)に接続する - so what
AWS LambdaでMySQL(RDS)に接続できるか試してみた。 テストスクリプト ※あいかわらずlambchop使ってます。超便利！ test.js #!/usr/bin/env lambchop /* function_name: test role: arn:aws:iam::123456789012:role/lambda_exec_role handler: test.handler */ var mysql = require("mysql"); exports.handler = function(event, context) { var conn = mysql.createConnection({ host: "xxx.xxx.ap-northeast-1.rds.amazonaws.com", user: "root", password: "..." }); c
Goと大規模分散システムの相性 - ワザノバ | wazanova
Googleで分散システムの開発をてがけ、現在はソーシャルメディア mttr.toを立上げ中のBen Sigelmanが、Goを分散システムの開発に利用する場合の、メリットおよびチャレンジについて講演しています。 分散システムのあるべき姿 分散システムの勘所は、最上位ビットをパフォーマンス的にも構造的にもうまく扱うことができるかというのがポイント。その効果が一番大きい。スループットの改善のような詳細は、自分もGoogleでそれに取組んだけれども、9ヶ月くらいたつとハードウェアの性能で解決される可能性が高い。また、構造的にというのは、なるべく小さなコンポーネントを組み合わせたシステムにできるかという意味。 Goのよいところは、 両方、とくに後者によい。Railsだとアプリを複数個用意して並列処理するのは大変だったけど、Goだとシンプルにできて、標準ライブラリも読みやすいとかなどなど。パフォー
ビデオチャットもさくっと作れる！ WebRTCによるブラウザ間リアルタイム通信はじめの一歩
WebRTCを使えば、このようなリアルタイムコミュニケーションを行うWebアプリケーションを作ることができるのです。 WebRTCの通信形態 WebRTCの特徴の1つは、通信をP2P方式で行う点です。通常のWebサイトでは、ブラウザとサーバの間で通信を行います。また、WebRTCとよく比較される規格に「WebSocket」がありますが、WebSocketでは必ずWebブラウザとサーバ間で通信を行うことになっています。チャットなど、ユーザ同士でデータをやり取りを行うのに使われることもありますが、その場合も必ずサーバを介して通信します。 一方、WebRTCはサーバを介さず、P2Pによりユーザ間で直接通信を行うため、レスポンス性がより高い通信を実現できます。また、下位層のプロトコルに（TCPでなく）UDPを使っていることから、品質よりもリアルタイム性を重視した通信方式といえるでしょう。 API仕
CloudFrontのログをfluent-plugin-bigqueryを利用してBigQueryに入れるようにした - Glide Note
TL;DR Amazon CloudFrontのアクセスログをBigQueryに入れるようにした BigQueryへのデータ投入には社内の他プロジェクトでも利用していて実績があり、KAIZENがメンテナになっているfluent-plugin-bigqueryを利用 背景 ここ2ヶ月くらい、あらゆるログをBigQueryに集約しつつあって、今回はAmazon CloudFrontのアクセスログについて作業をした。 Amazon CloudFrontのアクセスログには以下のような特徴がある。 Amazon CloudFrontのアクセスログは数時間〜1日程度遅れでS3のBucketに追加される。時系列はバラバラ CloudFrontのアクセスログがtsv形式。 ベストエフォート型で全てのログがS3に収容される保証は無い gzで圧縮されてS3に追加される(BigQueryに入れるにはgz形式から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis 活用術 初級
Python 3 Patterns, Recipes and Idioms — Python 3 Patterns, Recipes and Idioms
2014 11-20 Machine Learning with Apache Spark 勉強会資料
Cloudn PaaSチームのChatOps実践
http://blog.inouetakuya.info/entry/2014/11/24/203210
agilecatcloud.com
satyajit.RANJEEV.IN