FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ
chefからansibleに乗り換えた5つの理由｜TechRacho by BPS株式会社
1年くらいchefを使ってサーバ構築をしていたのですが、最近ansibleに乗り換えたので紹介記事を書いてみます 1. サーバ側に何もインストールする必要がない chefは管理対象ノードにchef-clientをインストールする必要がありますが、ansibleはPython 2.4が入っていて、sshでログインできればOKです。 chefもパッケージや,knife bootstrapコマンド等があるので始めやすいですが、何もする必要がないansibleの方が敷居が低いのかなと思ってます。 例えばsshでログインできれば、以下のコマンドを打てば10.0.10.1～10.0.10.3サーバの情報をとってくれます(カーネルバージョン,CPU,メモリ,ディスクサイズ,ディストリビューション等)。 この機能はchefで使われているohai相当のことをしてくれます。 echo 10.0.10.1 >
FluentdとAWSを使ったログの運用
16. fluentdの設定（1） # Input <source> type tail path /var/log/messages format syslog pos_file /var/log/fluentd/messages.pos tag messages </source> # Output <match messages> type forward send_timeout 60s recover_wait 10s heartbeat_interval 1s phi_threshold 8 hard_timeout 60s <server># <= 送信先サーバーの指定 name log_proxy host 192.168.1.1 port 24224 </server> </match> 18. fluentdの設定（2） # Input <source> type forwar
GitHub 時代のデプロイ戦略 - naoyaのはてなダイアリー
少し前までアプリケーションのデプロイと言えば capistrano などをコマンドラインから叩いてデプロイ、みたいなことをやっていたが、最近は少し様子が違うのでそのやり方、KAIZEN platform Inc. での事例を紹介する。 GitHub のイベントを契機に CI as a Service にデプロイを担当させる GitHub で Pull Request を送って開発するのが前提になっているのは以前にも紹介した。 最近は Travis CI や CircleCI などに代表される CI (Continuous Integration) as a Service があって、CI も自分たちで環境を構築しなくてもクラウドに任せることができる。KAIZEN では CircleCI を積極的に使っている。 これらの CI as a Service は基本的に GitHub と連携するこ
Dockerとは何か？どこで使うべきか？
この記事はDockerに関する実験的な記事や，Buildpackを使ってHeroku AppをDocker Containerとして使えるようにする“building”の開発などで知られるCenturyLink Labsの “What is Docker and When To Use It”の翻訳です． Dockerとは何か？Dockerをどこで使うべきか？についてよく見かける記事とは違った視点から説明されています． 翻訳は許可をとった上で行っています． Dockerとは何でないか Dockerとは何かを説明する前に，Dockerは何でないかについて述べる．Dockerの否定形は何か？Dockerの制限は何か？Dockerが得意でないことは何か？ DockerはLXCのようなLinux Containerではない DockerはLXCだけのラッパーではない（理論的には仮想マシンも管理でき
Dockerコンテナ管理ツールGearDを試してみた | DevelopersIO
ども、大瀧です。 Dockerコンテナをデプロイするツールが欲しいという理由でAWS OpsWorksとの組み合わせを以前のエントリーで紹介しましたが、今回は別のアプローチでデプロイを行うGearDを試してみました。 GearDとは GearDは、Red Hat社が開発するDockerコンテナを管理するCLIツール兼エージェントです。 最近、ITニュースサイトのPublickeyで紹介された、Project Atomicのコンポーネントの1つです。Project Atomic自体はRHELベースの軽量Linuxディストリビューション(Atomic Host)を前提とするものですが、GearDは独立した造りになっており、Fedora 20およびRHEL 7-Beta(EPEL経由なのでサポートなし)で動作します。 ブログ記事 : GearD: The Intersection of PaaS
Docker Meetup Tokyo #2 を主催＆話してきた #dockerjp - Happy New World
帰ってからブログを書くまでが勉強会です。 というわけで、Docker Meetup Tokyo #2で、私の方からは今からでも間に合うDocker基礎+Docker0.9/0.10概要を話しました。 スライド: http://www.slideshare.net/mainya/dockerdocker09-010 Asciinemaのデモ: https://asciinema.org/a/7392 感想 機材トラブルもありましたが、なんとか開催出来たのはGoogle社及びMeetupスタッフの手厚いサポートのお陰です。本当にありがとうございました。 日経ソフトウエアの記事の執筆＆Dockerブログの翻訳＆HomeBrewアップデート＆Meetupイベントと、重なりすぎてて大変忙しかったですが、周りの人の助けも借りて無事乗り切れました。 自分の発表もまだまだ未熟であり改善点も多い（この記事書
fluentdの効果的な活用例と安定運用のポイント
fluentdの効果的な活用例と安定運用のポイント：今さら聞けないfluentd～クラウド時代のログ管理入門（3）（1/3 ページ） 効率良く、意味のあるログ管理を実現するツールとして注目されている「fluentd」。最終回では、実際の利用シーンを想定し、より効果的なfluentdの利用法を紹介します。 第1回、第2回でfluentdを使って基本的なログ管理が実現できるようになったのではないでしょうか。fluentdはプラグインの組み合わせにより更に効果を発揮します。最終回では、実際の利用シーンを想定し、より効果的な利用法を紹介します。 fluentdの具体的な活用例 実際の利用シーンを想定した2つのfluentdの活用例を紹介します。 大量のログを分析し、「意味のある情報」として管理する タグデータを効果的に活用し、ログデータのフィルタリング管理を行う 1.大量のログを分析し、「意味のあ
Docker でデータのポータビリティをあげ永続化しよう - Qiita
こんにちは、Docker 0.91 が出ましたね。 CoreOS でのデータの置き場所をどうすべきか考えていた時に、CoreOS-devで出ていた話です。 なので知っている人は知ってるかも知れません。 全てにおいて使えるパターンではないのですが、運用形態のひとつとして紹介します。 （もちろん、Dockerはどんどん進化しているのでこのパターンは陳腐化する可能性もあります） データの永続化の問題 Docker で悩ましいのはデータの永続化をどうするか？というとこでしょうか. 例：mysql のコンテナを立ち上げる -v オプションをつけて mysql のデータを永続化していますね。 さてこれはこれでよいのですが、Docker の旨みを活かせていませんね。 Docker の特徴はコンテナであり、コンテナにするとポータビリティがあげられるわけです。 上記の方法だと Volume でホストにべった
LINE Serverの開発とリリースプロセス « LINE Engineers' Blog
皆さんお元気ですか?LINEサーバー開発室でサーバ開発を担当している崔珉秀と申します。 この記事ではLINEのサーバーの開発とリリースプロセスについて述べたいと思います。 LINEの開発者はどんな形で開発しているのか、サービスに変更事項をどのように適用しているのか、お互い協力してより良い開発環境を得るためにどんな努力をしているのかをお伝えする機会になったらいいなと思います。 ここで述べるリリースプロセスは、LINEのサーバ開発の流れとソース管理システムの運用方法、そして本番環境に変更事項を適用するまでの過程です。 LINEのServer Applicationはその役割とシステムの構成によって複数のServer Applicationに分かれて構成されています。 例えばNetwork通信及びProtocolなどを担当するApplication、messagingやsocial graph
クックパッドのデプロイとオートスケール、1日10回デプロイする大規模サイトの裏側（後編）。JAWS DAYS 2014
クックパッドのデプロイとオートスケール、1日10回デプロイする大規模サイトの裏側（後編）。JAWS DAYS 2014 大規模なオンラインサービスを支えるためのオートスケールと、サービスをすばやく進化させていくための迅速なデプロイ。クックパッドはこの2つをクラウド技術の組み合わせによって両立させています。 同社のインフラ責任者である成田氏がその仕組みやルールを、Amazonクラウドのユーザーコミュニティ主催のイベントJAWS DAY 2014で解説しました。 （本記事は「クックパッドのデプロイとオートスケール（前編）。JAWS DAYS 2014」の続きです） オートスケールはAmazon Auto Scalingを使わないと判断 今日の本題であるオートスケールの話をしたいと思います。 オートスケールとは一般に、トラフィックが増えたらサーバを増やしましょうね、という作業を自動化するものです
JAWS DAYS 2014 Immutable Infrastructure パネルディスカッション - stanaka's blog
JAWS DAYS 2014のImmutable Infrastructure パネルディスカッションでモデレーターをしましたのでそのまとめです。満員でしたので、ご覧になった方々にはありがとうございました! 事前に勉強も兼ねて、次のメモを書いておいた( https://gist.github.com/stanaka/9547623 )のですが、このパネルでは個人的にも議論してみたかった話も含め、6名のパネリストに以下の質問をさせてもらいました。 IIを突き詰めていくと、どんどんPaaSに近づいているのでは? IIを実現する上で、なにが一番の課題となるか? Statefulサーバーはどのように扱うべきか 最後に一言 冒頭の最初のIIを突き詰めるとPaaSになっていくのでは？という話では「技術的にどんどん新しいハード、ツールは出てくるので、ニーズはPaaSとIaaSの間を揺れ動くことになると思
式年遷宮Infrastracture · さよならインターネット
August 11, 2013 Immutable Infrastracture について / apatheia.info こちらのエントリーを読んでふと思いついたので書きました。 式年遷宮 / 伊勢神宮 今年、伊勢神宮は20年に一度の式年遷宮の年なのだが、 このシステム、今のインターネットのインフラストラクチャの モデルとして結構参考になるのではないだろうか。 さすがに20年間無停止で動いているサーバは その存在自体が重要文化財になってしまうが、例えば、１つのシステムを ロードバランサ、スイッチ、サーバ、ミドルウェア、ログ集約サーバなど 完全に冗長化しておき、１週間毎に冗長化されたシステム、A、Bをそれぞれ入れ替える。 このアーキテクチャを採用した場合、 アプリケーションの大規模な改修が発生した場合にも スタンバイ側となっているインフラストラクチャ側で スナップショットのようなものを取得
Chefを読んで実行するための全知識 - Qiita
このドキュメントでは、Chefを実行して、インフラを作成したい人が、既存のレシピがあるのを前提に、Chefの概要を理解するためのドキュメントです。Chef-soloの構成のみに対応した記述になっています。理解が間違えているところとかあればご指摘ください。 1. Chefの概要 1.1. Chefとは シェフは、インフラストラクチャーをコードに変換するための自動化プラットフォームです。仮想環境でも、物理環境でも、クラウドでも使う事ができます。インフラストラクチャを自動化することで、プロダクトのマーケット投入を早めたり、スケールや複雑さに対応したり、システムを安全に保ちます。 1.2. Chefの仕組み Chefはサーバーをセットアップして、希望の状態にするための「クックブック」「ノードオブジェクト」というDSL(設定ファイルっぽいもの)をローカルのワークステーションで作成します。それらのDS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bitbucketの使い方
Infrataster - Infra Behavior Testing Framework #oedo04
#ChefConf 2014
Serf という Orchestration ツール #immutableinfra
私の Docker TIPS - Qiita
クックパッドのデプロイとオートスケール、1日10回デプロイする大規模サイトの裏側（前編）。JAWS DAYS 2014
