【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 この状態でS3に入っていた場合、分析に使うには一旦このデータをどこかのサーバに取り出し、分析用に加工して、もう一度データを貯め直す必要があります。 Kinesis Firehoseは細かいロジックやエージェント処理を抜きにしてS3やRedshift,Elasticsearch Service等にデータを流し込めるの
あなたのApache設定ファイルを劇的に読みやすく改善する12の方法 · DQNEO日記
はじめに Apacheの設定ファイル、ちゃんと書けますか？一つ一つ意味を理解していますか？ http.confを開いた瞬間に「うっ頭が頭痛」になったことはないでしょうか？ yumやaptでApacheをインストールして、設定ファイルをちょろっと編集しただけでお茶を濁したことはないでしょうか？ でもいつまでもその状態ではいけません。そろそろ本気で勉強して無駄のない設定ファイルを書くときが来たのです。 2015年のWebサーバ界におけるApacheの立ち位置についておさらい 2015年現在、静的コンテンツの配信やリバースプロキシの役割はその用途に特化したWebサーバを使うのが主流になっています。具体的にはNginxがデファクトスタンダートになっています。 Apacheにもイベント駆動型で動くmpm eventというモジュールがあり、これを使えば高速に多数の接続をさばくことができます。 人間とウ
Apacheのログから応答速度分布やエラー状況を分析する（原始的な方法） - TeraDas（テラダス）
遊びで Apache のログを分析した時のメモです。 Google Analytics や Chartbeat などのブラウザ側解析ツールも便利ですが、サーバの健全性を確認するには、Apache のログ解析もまだまだ不要とは言えないと思います。 awk の力技で解析するので、あまり巨大なデータでは無理がありますが、個人サイトに毛が生えたくらいまでなら十分使えるでしょう。 記事最後の参考ページをパクってちょっといじっただけですが、自分用の備忘録って事で。 なお、参考ページの方は、ステータスコード 500/200 の比率を出すワンライナー等なども作っておられます。 Apacheのログに処理時間を出力する設定まずは、Apache のログに処理時間が出力されていないと話が始まりません。 httpd.conf なりで combined 形式の最後に %D (処理時間をマイクロ秒で）を追加した Log
イーライセンスシステムズ、AWSから大量アクセスできる負荷テストサービスを開始
イーライセンスシステムズは2013年3月29日、Webサイトのレスポンスを計測してボトルネック分析レポートなどを提出するサービス「CloudBench」（写真）を提供開始した。サービスの特徴は、AWS（Amazon Web Services）のインスタンスを複数立てて、ここから大量のWebアクセス負荷をかけられる点である。 AWS上の仮想マシン群からユーザーのWebサイトにアクセスしてレスポンスを計測する。負荷テストツールとしてオープンソースの「Apache JMater」を使う。同時アクセス数を段階的に増やしながらレスポスなどを計測することで、性能のボトルネックなどが分かる。これにより、Webサイトのチューニングやサイジング（容量設計）に役立つ。 いくつかのサービスメニューを用意している（価格は税別）。性能測定の対象となるWebサーバーを3台までに限定した基本サービスは、10万円で提供す
Apache 2.4.1のスループット評価（旧ApacheとNginxとのベンチマーク比較）
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 久々のApache HTTP Server 2.4.1という安定版がリリースされたので、早速ベンチマーク評価を行う。今回はevent_mpmのExperimentがとれて、晴れてデフォルトMPMになったのでそれを使ってみたい。 日本一（ひょっとすると世界一）早いApache 2.4.1 event_mpmのレビューを意識してみた。 はじめに 個人的にも、event_mpmが採用されたことに最も注目している。event_mpmは非同期型のIO処理をしていて、nginxに近いアーキテクチャをとっている。厳密には、nginxの非同期と比べた場合、nginxは徹底的にノンブロッキング（accept4を使う等）してworkerスレッドで次々と並列処理し
Amazon ELBをうまくつかうには、KeepAliveを有効にしよう。Timeoutは60秒よりだいぶ長くしよう。その背景。
Amazon ELBをうまくつかうには、KeepAliveを有効にしよう。Timeoutは60秒よりだいぶ長くしよう。その背景。 鯖管のメモ帳: AWSのELBでHealthyHostCountが0になるという記事の中で ■AWSのELBとApacheを使う際の注意点 ・Timeoutは120以上が推奨 ・ApacheのKeepAliveは有効にすべし。ELBとの接続効率があがる。 という形ですでにやるべきことは書いてあるのが、なぜそうなるか。。(いそがしい人は後は読まなくてok！) 根本的な理由としては、ELBはTCPを単にリレーしているのではなくて、アプリケーションレイヤのプロキシであることによるものが大きい。ELBはバックエンドのEC2との間で無通信の場合でも60秒はセッションを維持する。 ELBはTCP Persistent Connectionを提供し、webサーバとの間のTCP
Apacheのアクセスログにユーザ情報を追加する
こんにちは、中川です。 日々の運用をしていると、サービス運用の担当者から「管理画面で、あの操作はだれがやったか調べられませんか？」なんて質問を受けることがあります。 しっかりと操作ログをとるようなシステム要件でないとApacheのログを追うしかありませんが、通常はIPアドレスやブラウザ程度しか調べようがありませんよね。。。 しかし、初期開発であらゆる操作ログをしっかりシステムに組み込む余裕なんてないという場合もあります。そんな時のために事前にやっておくとちょっと便利で、非常に簡単なTIPSを。 ------------------------------------------------- ■追記 dandaso様 よりコメントいただきました。 確かにApacheへのログ用途ですので、apache_noteを利用するのが適切ですね。 dandaso様ご指摘ありがとうございます。 apac
ローカルポートを食いつぶしていた話 - download_takeshi’s diary
ここのところ、お仕事で管理しているシステムで、夜中に負荷が急上昇する事象が発生しており、夜な夜な対応に追われていました。 （このブログ書いている今も、負荷がじわじわ上昇中なんですが・・・） で、いろいろと調査した結果、ようやく糸口がわかってきました。 結論から言うと、ローカルポートなどのネットワーク資源を食いつぶしていたようです。 以下、調べていってわかったことなどのメモです。 トラブルの事象 運用しているのは Apache2.2 + mod_perl2 なwebサーバで、リスティング広告システムの配信系です。 リスティング広告の配信のシステムって一般的にロジックが複雑でいやーな感じなんですが、このシステムもご他聞に漏れずかなりのひねくれ者で、しかもトラヒックは結構多めです。システム全体で、日に1000万〜2000万クエリくらいかな。幸か不幸か、このご時勢においてもトラヒック的には成長し続
サイトやブログの運営でよく使いそうな.htaccessの設定のまとめ
ウェブサイトやブログの運営でよく使いそうな便利な.htaccessの設定を紹介します。 こういうまとめは定期的にあがってきますが、やっぱり必要なのでシェアします。 10 useful .htaccess snippets to have in your toolbox [ad#ad-2] 下記は各ポイントを意訳したものです。 URLからwwwを削除 hotlinkingの防止 feedをfeedbunnerにリダイレクト カスタムエラーページ ダウンロードファイルの処理 PHPのエラーのログ URLからファイルの拡張子を削除 ディレクトリのファイルリストを見せない ファイルを圧縮して軽量化 文字コードの指定 URLからwwwを削除 SEOなどの理由で、URLからwwwを削除して使うことがあるかもしれません。このスニペットは、あなたのウェブサイトにwww付きでアクセスしてきてもwww無しに向
Railsの画面生成を10倍高速化する方法 - 辺境の日々 (旧:世界線航跡蔵)
RailsでPageキャッシュをより広く活用する方法を考えてみました。以下、ちょっと長く前置きが続きます。 Rails遅杉 Railsは遅い。何が遅いって、Rubyが遅くてRoutingが遅くてRDBとRHTMLが遅い。RDBが遅いのは大抵のWebアプリケーションでは変わらない話、で、だからRailsなんかが評価される余地があるんだよね。RubyやRHTMLの遅さは柔軟性の代償として受け入れよう。なにしろRDBがもともと遅いんだから。ただ、Routingは無駄に高機能だったりして頭にくる。Rhino on RailsのSteve YeggeもRoutingは黒魔術だと言っていたし。私はActionPackの全てが黒魔術だと思うけど。 そういう訳で、RoutingをCで書き直すのはドリコムのみなさんがいつかやってくれると期待するとして(可能なら手伝いたいけどね)、当面の対応としてはキャッシュ
とってもやさしいリバースプロキシVarnishの使い方 - ￢￢日常日記
RubyのウェブアプリケーションフレームワークRamazeがとってもとっても素敵なので、ただいま実験としてささいなものを作成しております。HTTPdには今話題のthinを使おうかな、と思っているのですが、こうなると考えなければならないのがリバースプロキシですよね。"reverse proxy rails" あたりで検索すると真っ先にapacheの設定方法が出てくるわけですが、なんでもapacheというのもどうかな、と思いました。設定が煩雑になりますしね。そこでリバースプロキシである varnish を試してみました。varnishに関するドキュメントはあまり多くないのですが、varnish はとっても簡単なので素晴しいと思います。せっかくですから、varnishに関する設定方法などを簡単にまとめておきたいと思います。なお、私はサーバであっても ubuntu を使っておりますので（手抜き！）
YAPC::Asia Tokyo - pekeqのブログ
講演のPodCastはこちら。http://yapc.g.hatena.ne.jp/jkondo/20060329 こちらの方のサマリーがかなり詳しくて、前半遅刻した私には大変助かりました。http://d.hatena.ne.jp/mskgc/20060329 例によって興味のあったところだけサマリーします。 mixi.jp: ChangeLog mixiの歴史 2003年12月から開発スタート、1人で3ヶ月。 2004年2月にオープン 初期 新しい機能を追加しまくり。 サーバの負荷なんか気にしなくて良かったあの頃。 一ヶ月後 1万ユーザ、60万PV/day 人が増えるのはうれしいけど、スケールアウトする方法をどうしよう… 一年後、二年後 600人 → 21万人 → 200万人 いま 300万人以上。15,000新規ユーザ/day。 うち70%がアクティブユーザ（定義：3日以内に1回以上
ずんWiki - mod_rewrite
2012-03-21 bash 2012-02-23 TODO/3 2011-10-28 FrontPage 2011-06-30 plum3.x 2011-03-31 vim 2011-03-21 MyMenuBar MySQL GNU Screen Ads 基本 † RewriteEngine on して、変換する条件がある場合は RewriteCond を並べて、RewriteRule で実行する変換を書く。 RewriteCond や RewriteRule には沢山オプションがあり、それにより効果も色々変わるので慣れるまでは複雑怪奇。 でも分かってしまえばこれほど何でも出来る道具は無いってくらいいろんなことが rewrite だけで出来るようになる。 ↑ クッキーを見てリダイレクトさせる。 † /auth-area/ 以下のアクセスで、login というクッキーが無い場合はログイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache + mod_php compared to Nginx + php-fpm « blog @ a2o.si
https://jp.techcrunch.com/2015/06/16/20150615ibm-pours-researchers-and-resources-into-apache-spark-project/
kok网页版-kok网页版（中国）
新卒インフラエンジニア２年目
Web高速化 || パフォーマンスチューニングBlog: インターオフィス
MSN Japan - ニュース, 天気, メール (Outlook, Hotmail), Bing検索, Skype
https://devcentral.f5.com/Default.aspx?tabid=120&articleType=ArticleView&articleId=2352