第6回elasticsearch勉強会「Elasticsearch 日本語スキーマレス環境構築と、ついでに多言語対応」資料
Elasticsearch 日本語スキーマレス環境構築と、ついでに多言語対応
第6回elasticsearch勉強会「Elasticsearch 日本語スキーマレス環境構築と、ついでに多言語対応」資料
elasticsearch 1.4.0.Beta1のリリース
※この記事は次のブログを翻訳したものになります。 原文：elasticsearch 1.4.0.beta1 released 本日、Lucene 4.10.1をベースにした、Elasticsearch 1.4.0.Beta1をリリースしました。 Elasticsearch 1.4.0.Beta1からダウンロードできます。 また、すべての変更点に関してもこちらをご覧ください。 1.4.0のテーマは*resiliency(復元性、弾力性)*です。 resiliencyとはElasticsearchをより安定し信頼性のあるものにすることを意味します。 すべての機能が正常に機能している場合は信頼することは簡単です。 予想外のことが発生した時に難しくなります：ノードでout of memoryの発生、スローGCや重いI/O、ネットワーク障害、不安定なデータの送信によるノードのパフォーマンス低下など。
CentOS 6.5 (Vagrant)に fluentd + elasticsearch + kibana をセットアップする
fluentd経由でmongoDBにログを突っ込んだりしているのですが、可視化したいなーっていう流れがあるので、最高にナウい感じの fluentd + elasticsearch + kibana をセットアップしてみました。 まずは試しなのでVagrantを使って仮想環境でセットアップしてみました。 kibanaってjsで動いてるのかー。 環境 Mac OSX 10.9 ゲストOS CentOS 6.5 Elasticsearch Elasticsearchは言わずと知れた全文検索エンジンですね。国産全文検索エンジンにGroongaというものがありますが、世界的にはElasticsearchがナウいとのことです。 yumからインストールしたいので、リポジトリを追加します。
複数のDockerサーバで独自ネットワークを構築する「Weave」を試す！ | さくらのナレッジ
Dockerはコンテナ型の仮想化ソフトウェアで、一台のサーバの中にコンテナを複数立ち上げることができます。そのためDockerサーバ1台で何でもこなせそうに思いますが、やはり大きなシステムになると複数のサーバ内で動作するDockerコンテナ同士を連携させたいと思うのではないでしょうか。 そうなると問題になりそうなのがネットワークです。リンクを使う方法もありますが、より大きなネットワーク構造を作り上げるのにはWeaveが使えそうです。WeaveはDockerコンテナ向けの仮想化ネットワークソフトウェアになります。 用意するもの Dockerが動けば良いのですが、他にも幾つか必要なのでCoreOSは向かなそうです。今回は Ubuntu Server 14.04 LTS 64bit を使っています。さくらのクラウドでサーバを立ち上げる際に、アーカイブとして Ubuntu Server 14.04
Chefを使ってインフラ環境構築を自動化しよう！ - PR TIMESデザイナー&エンジニアブログ BREAK TIMES
こんにちは。PR TIMESエンジニアの落合です。 前回の記事(Chefを使ってサーバー構築運用！ PR TIMES導入編！ - BREAK TIMES)で、 Chefの簡単な概要と、導入方法を簡単に解説させていただきました。 今回は、具体的なChefの活用法と構築方法をご紹介させていただければと思います。 PR TIMESにおけるChefの活用について 現在PR TIMESでは、開発環境、ステージング環境、プレビュー環境、本番環境が存在しています。 それぞれ、開発環境・ステージング環境には、WEBとDBが入っており、プレビューと本番環境では、 WEBとDBで別のサーバーを使用しています。 これらを上記の図のように、Windows上の作業マシンからknife-soloを実行して、 本番への適応を行えるような仕組みの構築を進めています。 それでは、実際にどのように、構築を進めているかをご紹介
Chefを使ってサーバー構築運用！ PR TIMES導入編！ - PR TIMESデザイナー&エンジニアブログ BREAK TIMES
こんにちは。PR TIMESエンジニアの落合です。 主にWEBアプリケーション開発を担当しているのですが、 最近は開発環境構築や、インフラ周りも担当しています。 前回は開発環境自動化というネタで話させてもらいましたが、 今回は、Chefで開発環境を開発したお話をさせてもらいます。 vagrantを使用する事によって、簡単に環境を共有する事は出来ますが、 Peclなどのライブラリを開発していく上で追加した場合、 毎回指示書（手順書）などを作成して情報の共有を図る必要がありました。 そこで、Chefの登場です！ Chefとは？ Chef社が開発している「インフラフレームワーク」とか「構成管理ツール」と言われるツールです。 通常サーバーを構築する場合、OSのセットアップからネットワーク設定や、ミドルウエアのインストール、各種設定やチューニングを行います。 またその際、設定手順書も同時に作成してい
Amazon CloudFrontのトレンドをCloudWatchで監視する | DevelopersIO
ども、大瀧です。 初期費用なしのCDN(Content Delivery Network)サービス、CloudFrontを皆さん使っていますか? Webサイトを運用するときには「実際にどの程度アクセスが来ているのか」、「エラーは発生していないか」などをチェックすることになると思います。CloudFrontにはUsage Reportというアクセス数およびエラーリクエスト数を表示する機能があるのですが、1時間単位と粒度の荒い情報しか出すことができませんでした。 本日、CloudWatch(AWSの監視サービス)がCloudFrontに対応し、粒度の細かい情報の確認とアラーム設定ができるようになりました。 Amazon CloudFront Now Publishes Six Operational Metrics to Amazon CloudWatch こちらの機能を使い、CloudWat
はじめてのJavaScriptフレームワーク選び
対象読者 jQueryなどを使っているJavaScript開発者 JavaScriptを使った複数人でのプロジェクトに参加している方 JavaScriptを使ってサーバ等と連携したフロントエンドの開発をしている方 必要な環境 この記事では、AngularJSを使用し、Chrome（36.0）、IE11、Firefox（31.0）、Safari（7.0.5）の環境で確認を行っています。 JavaScript開発の歴史 フレームワークを説明する前に、10年ほど前から現在までのJavaScriptが歩んできた流れが分かると、どうして今、JavaScriptにもフレームワークが必要になってきているのか、または開発者はフレームワークに何を求めているのかが多少は見えてくることと思います。 2005年くらいまではJavaScriptは利用者や開発者から避けられていた技術で、たとえ使われても、非常に簡単で
「ZooKeeperによる分散システム管理」を読もう、という話 - たごもりすメモ
Zookeeperは現代の分散システムに不可欠なミドルウェアで、メタデータの管理、更新通知、リーダー選出といった問題を解決する。自分でZookeeper APIを叩く人は少ないかもしれないが、今やHadoop Namenode HA*1もYARN ResourceManager HAもHBaseもZookeeperを要求する。とにかく使う必要がある、という人は今や多いのではないだろうか。 こういったソフトウェアが何故必要なのか、どういった役割を持つのかについて、明快な回答を返せる人はあまり多くないのではないだろうか。Zookeeperは必要性を喧伝され、あちこちで使われ、しかしいまだに、何台で動かす必要があるのか、どのように運用されなければならないのか、ということをまとめて学べる資料などは多くない。 ということで、この本を読もう。 「2.2.1 Zookeeperのクォラム」。個人的には、
MEANスタックは破壊的か
最近、MEANがイイという話をチラホラと耳にする。先日も次の記事がはてブで話題になっていた。 MEAN(MongoDB, Express, AngularJS, Node.js)スタックが優れている理由 - Mozilla Open Web Day in Tokyoを終えて - albatrosary's blog この記事の冒頭では、MEANはLAMPに変わる技術として紹介されているが、果たしてそれは正しいのだろうか。（この記事では、LAMPを例にとりつつJavaがどうのという記述があるので、恐らくはLAMPではなく既存のリレーショナルデータベースを用いたアーキテクチャ一般について述べたいのではないかと思う。）MEANについて少し思うところがあるので、今日はMEANの可能性について書き綴っておこうと思う。ただし、私自身MEANスタックと呼ばれるシロモノは使ったことがなく、構造を理解した上
はじめてのsystemdサービス管理ガイド | DevelopersIO
はじめに MarketplaceでCentOS 7 AMIがリリースされましたね！(ex. Amazon EC2 CentOS 7 AMIファーストインプレッション) ということで、これはもう本格的にsystemdを学ばないとあかん、という危機感に駆られた次第です。systemdは"system and service manager"なので、電源やロケールなどのシステム部分の管理も可能ですが、差し当たってEC2で使う上で最低限押さえとかなければいかないのはサービス管理になるでしょう。そこでsystemdを操作するためのコマンドであるsystemctlを使って、サービスを管理する方法についてまとめました。 systemdサービス管理 systemdでは、これまでサービス起動スクリプトで定義されていたものがUnitという形で定義されますので、サービスの管理=Unitの管理となります。 有効化
Railsでよく使う便利なGemまとめ - 惰眠と論理と指揮棒と
2014-10-09 Railsでよく使う便利なGemまとめ Ruby Ruby On Rails Railsでよく使う便利なGem 一つ一つは細かく説明しませんが、よく使ってる便利系Gemをつらつらと awesome_print consoleの出力を綺麗にしてくれる デバック時にいい感じ！ awesome_print無し awesome_print有り paranoia 論理削除の手助けをしてくれる uniqバリデーションで、論理削除されたものを対象に含めたくないならこれも入れとくといい paranoia_uniqueness_validator rails_config 定数を管理するGem 環境ごとに読み込む定数を変更できるので便利 使い方とかはこちらにまとまってます Ruby - Railsで定数を環境ごとに管理するrails_config - Qiita Ruby - R
fluent-plugin-bigquery の設定 - Qiita
BigQuery側で「1リクエスト500行まで」という制限があるので500とする。 500ちょうどにしておくとエラーになることがあるという情報があるので、300程度にしておくとよいかもしれない(コメント欄参照)。 buffer_chunk_limit チャンクごとの最大バイト数。 BigQuery側で「1リクエスト1MBまで」という制限があるので1000000とする。 1MBちょうどにしておくとエラーになることがあるという情報があるので、768k程度にしておくとよいかもしれない(コメント欄参照)。 buffer_queue_limit プラグイン側でいくつのチャンクをメモリに保持しておくか設定できる。 デフォルト値は1024となっている。 小さすぎるとキューが溢れてエラーとなってしまうので、メモリ量と相談して大きめの値にしておくとよい。 1チャンクの最大サイズが1MBなので、デフォルトの1
ITインフラ 業務自動化現状確認会を催しました #infra_auto | こえむの編集後記
昨日、「ITインフラ 業務自動化現状確認会」という勉強会を催しました。前々からゼミナール形式の勉強会を開いてみたいと思っていまして、ちょうど @kuwa_tw さんとある話をしているときに流れで「一緒にやりましょう！」と話しかけた事で実現しました。 人が集まるか心配したのですが、ふたを開けてみれば自動化に造詣が深い10人の方にお集まりいただきました。Togetter「ITインフラ 業務自動化現状確認会 (2014.10) #infra_auto」に模様もまとめています。 僕の発表内容 社内向けに開発した”hb-agent”という構築自動化・ドキュメント自動生成ツールについて紹介しました。 勤務先のハートビーツはMSPとして、お客様のサーバを預かり、構築・運用・障害対応・チューニングを一手に引き受けています。その中で、これまで培ってきたノウハウがたくさん存在します。一方、IaaSをはじめとし
Ansible コーディング規約 (の例) - Qiita
(これは http://tdoc.info/blog/2014/10/09/ansible_coding.html の転載です) edX がgithub上でAnsibleのコーディング規約を公開しています。 このリポジトリは GNU AGPLv3です。翻訳の場合でもおそらく大丈夫だと思いますので、ここで翻訳して公開してみます。 一般 YAMLファイル すべてのyamlファイルは2スペースのインデントで、 .yml を拡張子に 付けてください。 変数 jinja変数の形式を使ってください。 $var ではなく {{ var }} です。 jinjaの変数名の前後に空白を入れてください。 {{var}} ではなく {{ var }} です。 環境独自で上書きされる必要がある変数名は全部大文字としてください。 ロール内で完結する変数名は全部小文字としてください。 ロール内で定義する変数名は、先頭
BigQueryをpythonから利用する。 - Qiita
BigQueryをpythonで使う。 BigQueryはGoogleの提供しているとても早いデータ分析環境だ。なんでもデータを何千台のマシンに分散して処理しているそうで、まさにGoogleにしかできそうもない。 縁がありBigQueryを評価する機会に恵まれた。触ってみたら結構早かった。pythonから触ってみる方法を試したので共有したい。 事前準備 BigQuery単体で使えるようにしておく。 Billingを設定しないと使えないかもしれない。 BigQueryAPIのアクセスは有効にしておく。 2015-09-14 修正 下の方法を取らずとも、 というライブラリが出ているようです。 参考の為下の記述を残します。 環境整備 ubuntu13.10で試した。 pythonで使うには以下のようなライブラリを入れる。pipは事前に入れておくこと。 sudo pip install --upg
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[和訳] ソロからゼロへ: Chef Clientローカルモードへの移行 #opschef_ja #getchef_ja - クリエーションライン株式会社![[和訳] ソロからゼロへ: Chef Clientローカルモードへの移行 #opschef_ja #getchef_ja - クリエーションライン株式会社](https://cdn-ak-scissors.b.st-hatena.com/image/square/3576b0b6208b91787eecff8e7914dcf893335a64/height=288;version=1;width=512/https%3A%2F%2Fwww.creationline.com%2Ftech-blog%2Fcms_x3GWkuX%2Fwp-content%2Fuploads%2F2013%2F01%2Fcl-logo.png){kind=logo}