Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
Flask TodoMVC: Modularization
This is the eighth article in the Flask TodoMVC tutorial, a series that creates a Backbone.js backend with Flask for the TodoMVC app. In this article, we reorganize our app into a package and introduce Flask Blueprints and application factories to assist in modularization. Previous articles in this series: Getting Started Server Side Backbone Sync Dataset Persistence Custom Configuration Testing T
Fig で Libreboard 環境を構築してみた · tatsushid.github.io
前回 は Docker 上で Libreboard を動かしてみたが、今のところ Libreboard の開発は非常に活発で、更新を Docker コンテナに反映させるたびに長々としたコマンドを叩くのが不便に感じてきたため、 Fig を使って必要なコマンドなどをあらかじめ定義しておき、 fig build や fig up で楽に更新適用ができるようにしてみた。以下はその手順 Fig をインストール。今回は手元のサーバが Gentoo だったので emerge で入れてしまったが、 Installing Fig を見る限り、他の環境でも簡単に導入できると思う Fig の作業ディレクトリを適当に作成して移動する mkdir fig_libreboard cd fig_libreboard fig.yml を作成する。今回は下記のようにしてみた libreboard: build: ../li
CoreOSクラスタにDockerコンテナをデプロイする | SOTA
CoreOSクラスタにDockerコンテナをデプロイする Docker Meetup Tokyo #4 CoreOSの概要とDockerを実際に運用しようと思ったときにDockerが抱える問題をCoreOSがどのようにそれを解決するかについて発表した．デモではTerraformを使ってDigitalOcean上にCoreOSクラスタを立てて，デモアプリケーションコンテナを動的にスケールさせる様子を実演した（ソースは全てtcnksm/docker-meetup-4-demoにある）． 雑感 簡単にMeetupの感想を書いておく． 今回はDockerそのものの発表よりも，オーケストレーションやサービスディスカバリーなどの周辺ツールやサービスの発表が多かった．ツール（もしくはDocker専用のOS）では，CoreOS，Kubernetes，RedHad Atomic host，サービスではAma
Docker で Libreboard 動かしてみた · tatsushid.github.io
昨日「 オープンソースのTrelloクローン Libreboard | Ryuzee.com 」の記事を読んで面白そうだと思ったので、 Docker で動かしてみた。一手間かかったけど動かすことはできたので、以下その手順。 Docker はインストールされてることを前提 Libreboard のリポジトリをクローンして手元に落としてくる git clone https://github.com/libreboard/libreboard.git 落としてきた Libreboard のディレクトリに移動し Docker イメージを作成する cd libreboard docker build -t libreboard . Libreboard は MongoDB をデータ保存に使用しているので、 MongoDB の Docker イメージも用意して起動しておく docker pull mo
Elasticsearch River の配置カスタマイズとサーバー構成
River は、WebコンテンツやTwitter ストリーム、リレーショナルDBなど外部のリソースからデータを Elasticsearch クラスター内に取り込む為の機能（プロセス）のため、単独のサーバーで動かせないか調べてみました。 実現したいサーバー構成は以下の図のようなイメージです。 実現したいサーバー構成主に、サーチやインデックスを担うサーバー群（Search & Index Servers）と、リバーを稼働させるサーバー群（River Servers）を明示的に分けることで、Search & Index Servers の各サーバーのサーバーリソースの使用を平準化するのが目的です。（例えばリバーがフル稼働しているサーバーに検索に行ったら遅くなるなどの弊害を回避したいなどの要件） ちなみに River は作成した River 毎に、１つのノード（サーバー）に自動的に起動される仕組み
React.js を試す - ツリービュー - アカベコマイリ
前に書いた node-webkit を使ってみる 2 の最後で「簡単なファイラーでも作ってみようと思う」などと宣言したのだけど UI をなにで実装するか迷っていた。 ファイラーの UI は典型的なツリー ビューを採用するつもりだった。しかし長らく愛用してきた jQuery だと内部的なデータ構造と DOM を対応づけるような管理が面倒なのでファイラーみたいなものには向かなそう。 例えばツリーのどこかがクリックされて紐づく内部データを処理したいとるする。jQuery だと DOM 構築で要素の id や class にインデックスを割り当てておきイベント ハンドラで取得判定...という感じになるだろう。しかしこうした連携の仕組みを自前で実装するのはとても辛い。 jQuery、静的 HTML に対して簡単に装飾するならよいのだけど動的な部分が増えると難易度が跳ね上がる。いま仕事で取り組んでいる
React入門 - Part2: Browserify/Reactify/Gulpを使う - Qiita
前回作成したhelloworldはブラウザでJSXTransformerを読み込みオンラインでjsにコンパイルしていました。実行時にChromeのデベロッパーツールに表示されるように、予めJSXはコンパイルすることが推奨されています。コンパイルの方法は、jsxコマンドを使う方法、 BrowserifyとReactifyを使う方法、最後にGulpのタスクでまとめる方法を順番に試してみます。 Getting Startedの復習 作成したhelloworld.jsxを少し修正してコンポーネントを作り構成してみます。ディレクトリ構成は以下です。 $ cd ~/react_apps/helloworld/ $ mkdir src dist $ mv helloworld.jsx src/ $ tree . . |-- dist |-- index.html `-- src `-- hellowor
React入門 - Part1: Getting Started - Qiita
ReactはFacebookがオープンソースで開発しているJavaScripライブラリです。ドキュメントサイトのGetting StartedとTutorialから勉強をはじめます。きっかけはClojureを勉強していて、OmというReactのClojureScriptインタフェースを紹介したInfoQの記事で興味を持ちました。Web UIのデータバインディングをリアクティブに書く方法を取り入れたいです。 Reactの特徴 Reactのページに書いてある特徴を簡単にまとめます。 JUST THE UI MVCのVだけComponentとして提供する VIRTUAL DOM VirtualDOMを使い差分だけ更新するため高速に動作する DATA FLOW 一方向のリアクティブなデータバインディング JSX JavaScript内にXML風に記述でき、DOM構造がわかりやすい 開発用コンテナ
遅すぎたUnderscore.js詳述 - Collections編 - Qiita
いまどこ？ 基本の関数をひとつずつ見ていく章です 1 . 遅すぎたUnderscore.js入門 - 全体像 2 . 遅すぎたUnderscore.js詳述 - Collections編 ←いまここ 3 . 遅すぎたUnderscore.js入門 - Arrays編 4 . Functions 5 . Objects 6 . Utility 7 . Chaining 前回でUnderscore.jsの全体像を見終わったので、今回からひとつずつAPIをみていきます。 基本的に本家サイト(underscorejs.org)の章立てに合わせていきたいと思います。 この章は最初が重たいですが、だんだんと被ってくるので最初を抜けたら楽になります。 注意点 本家のコードを加筆・書き換えしたり、メタファー（たとえ）としてあえて厳密でない言葉で書いたりしていますのでご了承願います。 また、重複する説明が削
Git 再入門 リモートリポジトリを使った作業 | yunabe.jp
この文書のゴールは以下になります: 別の場所にある git リポジトリ（リモートリポジトリ）と連携する方法について再学習します。 はじめに git remote, git fetch, git merge を使ってリモートリポジトリの内容を手元のリポジトリ（ローカルリポジトリ）に取り込む方法について学習します。 次に git fetch, git merge を使った一連の作業を自動的に行なってくれる git pull について学習します。 次に git push を使ってローカルリポジトリの内容をリモートリポジトリに書き出す方法について 学習します。 最後に, トラッキングブランチ (tracking branch) について理解し、 git pull, git push の引数を省略した際のデフォルトの挙動のルールについて学びます。 目次 対象とする人 下準備 リモート (Remote
よくわかる Apache Thrift J to R | Recruit Tech Blog
はじめに この記事は、サーバサイドエンジニアの平凡な日常で得た Apache Thrift の基本的な使い方を淡々と説明するものです。 過度な期待はしないでください。 それと、Ｓｗｉｆｔ1)アップルのiOSおよびOS Xのためのプログラミング言語と勘違いしてこのページを開いてしまった方にはすみません。 みさなまどうも。サーバサイドのエンジニアぶらいじぇんです。 エンジニアの皆様におかれましては、普段いかがおプログラミングでしょうか？ さて、諸姉兄におきましてはサービスリリース浅く監視・運用厳しき折、既存のサービスとの連携とは名ばかりで無茶な実装せざるを得ないなんてこともままあるのではないでしょうか？ 私に至っては、『このサービスの連携がこんなに難しいはずがない』とか『僕には解決策が少ない』とか感じてしまう今日此頃です。2)超訳すると、RoRのサービスでJavaのAPIを叩きたかったときにT
Hadoop利用者ならきっと知ってる、Hive/Prestoクエリ関数の挙動の違い - Qiita
HiveQLではスピードに難を感じていたため、私もPrestoを使い始めました。 MySQLやHiveで使っていたクエリを置き換える時にハマったTipsをまとめていきます。 AWS AthenaでPrestoを使っている方も増えてると思うので、Presto標準関数での記述例も拡充していきます。 Prestoとは Prestoはオンメモリで動く分散SQLエンジンで、その進化は目を見張る物です。 発表された当時は色々な成約があり使うことを躊躇していましたが、2015年頃からはもう使わない理由はなくなりました。 アドホックに使えるとても高速なSQLエンジンですので、バッチ向けのHiveのように実行結果を待つ時間はほとんどありません。 Hiveですと1つ1つの実行に時間が掛かるので、クエリに慣れていない新参者には辛い物がありました。 しかしPrestoではインタラクティブに実行できますので、トライ
h2o と server_starter で graceful restart with Docker - blog.nomadscafe.jp
h2o はserver_starter経由のgraceful restartをサポートしているので試してみた。ついでにdockerで動かしてみた。 h2o/h2o 実際にwrkでベンチマークしながらコンテナにHUPシグナルを送り、graceful restartを行ってみたのが次の動画 左上がh2oをdocker経由で起動しているウィンドウ、HUPを受けてh2oのプロセスを入れ替えている様子がわかります。。左下はwrkの実行、右側はコンテナにHUPを送ってます。 HUPシグナルはdocker killを使って送ります。 $ docker kill --signal="HUP" $(docker ps |grep kazeburo/h2o|awk '{print $1}') wrkの結果はこんな感じ。エラーは出ていません vagrant@vagrant-ubuntu-trusty-64:~/
5分でわかる正しい Web サイト常時 SSL 化のための基礎知識
Web サイトを常時 SSL 化する場合に、最低限知っておかなければならない知識や、注意点、実際の設定方法まで、ひと通りまとめてみました。メリットやデメリット、証明書の種別からリダイレクト設定などについても解説しています。 HTTPS をランキングシグナルに使用しますと Google が公式に発表したあたりから、Web サイトの SSL 対応、特に Google が推奨している Web サイトをすべて HTTPS で配信する、所謂 「常時 SSL 化」 についての話を聞いたり、実際にお客様から相談されたりするケースが増えてきました。 そこで、いい機会だしその辺に関する情報をまとめておこうかな～ と思って書いてみた、恒例の （？） 5分でわかるシリーズ。書き終わって見たところ絶対に 5分じゃ無理っていう文章量になっててどうしようかなぁとも思ったんですが、気にせず公開してみます。 常時 SSL
AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌
件名の通りのAWSのELBボリュームがアタッチされているEC2インスタンス名を、AWS CLIで取得しようと思ったら、ちょっと手間取ったので、その結果をワンライナーにしたメモ。 結果はこちらです。こういうワンライナーになったのは、"join"コマンドを使ってみたかったという雑念も半分ぐらいありますね。 ボリューム情報とインスタンス構成情報をjoin join <(aws ec2 describe-volumes | jq -r '.Volumes[].Attachments[] | .InstanceId + " " + .VolumeId' | sort) <(aws ec2 describe-instances | jq -r '.Reservations[].Instances[] | .InstanceId + " " + ( .Tags[] | select(.Key == "N
メソッド名をシンプルにするために、 知っておくと便利な英語のprefixとsuffix - codic ブログ
メソッド名などをネーミングする際に、知っておくと便利な、接頭辞と接尾辞をリストアップしてみました。どのように元の単語の意味が変わるかのルールを知っておくと、よく使う単語をベースにボキャブラリーを増やすことができるので、覚えておいて損はないと思います。 使う場合は、当たりを付けて実際の使用がないか、Googleなどで調べてみてください。 1. pre-, post- / 事前〜、事後〜 per-は、元の意味に “事前に、前に”、post-は “事後に”という意味が付け加わえます。汎用性が高いのでとても便利です。afterやbeforeの代替になるかもしれません。 // 事前テストする function testBefore(); ↓ function pretest(); // 事後処理する function executeAfter(); ↓ function postexecute();
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/ryot_a/items/2a8d8c0f71dcc657784c
JUnit - ふなWiki