これからはじめるKafkaリンク集 | 外道父の匠
お久！2017年前半頃から少しずつ触り始めたKafkaですが、運用に至るまでに必要な基本情報をまとめてみました。年明けのブログ欲衰退を吹き飛ばすにはリンク集に限ります。メモをブログ用に置換するだけなのだ！ Kafkaで何をやるかによっては全然足りないでしょうが、まぁ静かなブームっぽいので、触ろうとする人たちはたいてい自分でなんとかするマニアばっかりでしょう。自分も、やるべきことは大体やったけど、シリーズ化するかは未定ですたい。 Official Apache Kafka Documentation Apache Kafka 日本語訳 Index – Apache Kafka – Apache Software Foundation FAQ – Apache Kafka – Apache Software Foundation Book Kafka: The Definitive Guide
Apache 2.4系でのモダンなアクセス制御の書き方
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 これまでのApache2.2系以前でのアクセス制御の書き方は賛否両論でした。僕はあまり好きじゃありませんでした。 過去のアクセス制御に関しては、以下の記事がとてもわかりやすくまとめられていると思います。 こせきの技術日記 – Apacheのアクセス制御をちゃんと理解する。 ここで、以下のように言及されています。 こんなバッドノウハウ、本当はどうでもいいと思う。Apache 3.0では、かっこいいDSL(VCL)で書けるようにする構想があるらしいのでがんばってほしい。 ということで、2.4系ではDSLとはいかないまでも、Require*というディレクティブを使ったモダンな書き方ができるようになったので、それを2.2系以前のアクセス制御の記述と比
.htaccessによるリダイレクト徹底解説 | Cherry Pie Web
詳しい内容はスライドを見ていただくとして、.htaccess を使ってリダイレクトを行う際に、つまづきやすいポイントをいくつか取り上げて、ブログ記事として整理しておきたいと思います。 Redirect permanent と、RewriteRule はどう使い分けるのか 実は、私がずっと疑問に思っていたのはこれなんですね（笑） たとえば、サーバー移転の時のリダイレクトの書き方は Redirect permanent / http://example.com/ と、 RewriteEngine On RewriteRule ^(.*)$ http://example.com/$1 の2通りの書き方があるわけですが、ググってもたいてい1つ目の書き方が書かれているだけで、リダイレクトの内容が難しくなるといきなり RewriteEngine On とか出てきて、なぜ2通りの書き方があるのかという疑
一時ファイルとdentry cacheとメモリ - blog.nomadscafe.jp
わりと長い間悩んでいたんだけど、最近解決したのでメモ。 サービスで利用しているsmalllightの画像変換サーバが、Apacheが使っているメモリ以上のメモリを使用し、Swapしたりメモリ枯渇でサーバがダウンするなどのことが何度かありました。 ↑メモリの動きはこんな感じ いろいろ調べた結果「dentry cache」なるものがメモリ多くを占めていることがわかりました。dentry cacheはディレクトリやファイル名とinodeとを結びつけに使われるキャッシュです。smalllightでは画像を変換する際に一時ファイルを作成するので、その情報が残るようです。 手元で再現させる 本番で使っているサーバはCentOS5系ですが、手元のVagrant上のCentOS6(ファイルシステムはext4)で、再現させてみました。 use Parallel::Prefork; use File::Tem
Directive Quick Reference - Apache HTTP Server Version 2.2
Please note This document refers to the 2.2 version of Apache httpd, which is no longer maintained. The active release is documented here. If you have not already upgraded, please follow this link for more information. You may follow this link to go to the current version of this document. The directive quick reference shows the usage, default, status, and context of each Apache configuration dire
Apache httpd 2.4系をバックエンドに置く場合のクライアントIPアドレスの扱いとハマりどころ - 人間とウェブの未来
nginxやその他のリバースプロキシをフロントにおいて、バックエンドにApache httpdを置くという構成をとることがあります。 その場合に何も対処しないと、アクセスログやアプリが認識するクライアントIPアドレスがリバースプロキシのIPアドレスになってしまうので、モジュールを入れることでそれを対処していると思います。 バックエンドに置くApacheを2.4系でクライアントIPアドレスの変換を試していたのですが、どうもハマりどころが幾つかあったので、今回のエントリではそれを共有しておこうと思います。 クライアントIPアドレス変換モジュール バックエンドのApacheで受け取るクライアントIPアドレスを、リバースプロキシのIPアドレスから実際のクライアントIPアドレスへと適切に変換するモジュールで代表的なものを以下に列挙します。 モジュール名 Apache対応バージョン 特徴 mod_rp
R と Treasure Data で Web サーバのアクセスログ解析 - Data science & Software development
この記事では、Apache HTTP Server で稼働している Web サーバへ Fluentd (td-agent) を導入し、Treasure Data でアクセスログを収集し、R で収集したデータのアクセスログ解析を行うまでの手順を解説します。 Treasure Data (トレジャーデータ) とは Treasure Data は Cloud 型 DWH (Data Warehouse) サービスの一つで、Cloud 上で SaaSとしてビッグデータの格納、処理を利用できるサービスです。 （Treasure Data 社では BigData-as-a-Service と呼んでいます） 同様のサービスでは、Amazon Web Services の Amazon Redshift や Elastic MapReduce 等がありますが、Treasure Data の特長で、バッチで
mod_wsgiでアプリごとにvirtualenv環境を設定する - cl.note
環境は以下。 ubuntu 10.04 amd64 apache2 2.2.14 mod_wsgi 3.3 python 2.7.2 (pythonbrew) flaskでやってみます。 前準備 まずpythonbrewでvirtualenvで環境をつくる。 $ pybrew venv create -p 2.7.2 --no-site-packages test $ pybrew venv use -p 2.7.2 test (test)$ pip install flask適当にアプリを置く。 ~/app/test/app.wsgi import sys, os sys.path.insert(0, os.path.abspath(os.path.dirname(__file__))) from main import app as application ~/app/test/mai
Big Sky :: 突然の死に備える Apache モジュール書いた。
サーバを運用していらっしゃる方であれば、サービスの停止は死に値します。 大事な事なのでもう一度言います。 サーバを運用していらっしゃる方であれば、サービスの停止は死に値します。 サーバ管理者は皆、突然の死に備えるべきです。 そんな過酷な場面に立ち向かうサーバ管理者の皆さんの苦労を少しでも軽減する為に、apache モジュールを書きました。 mattn/mod_suddendeath - GitHub 突然の死! https://github.com/mattn/mod_suddendeath まずコンパイルしてインストールします。 apxs -ci mod_suddendeath.c -lhttpd -lapr-1 そして apache を再起動します。 サービスが動作しているディレクトリの .htaccess に以下を書き込みます。 SetHandler suddendeath すると
Monitで自作デーモンを監視する方法｜TechRacho by BPS株式会社
今日はプロセス監視ツールMonitで、自作のデーモンプログラムの死活監視と、死んじゃったら(+おかしくなったら)再起動してもらうという仕組みを構築する方法をご紹介したいと思います。 まず、自作プログラムですが、どこか適当なところに自分のプロセスIDを記録するファイル(pidファイル)を作ってもらう必要があります。今回作業したマシンはUbuntu Linuxでしたので、/var/run/hoge.pidのような感じで、プロセスIDを格納しただけのファイルを置いておきます。 Monitくんは、このファイルの場所を教えておき、このファイルに記録されているIDのプロセスが死んでいたり、メモリを以上に消費していたり、CPUを100%使っていたり、といった条件で再起動を行わせるよう設定できる便利ソフトです。 手順 Ubuntu Linuxにはパッケージ管理システムaptがあるので、以下のようにしてイン
PythonでWebアプリ開発入門のススメ Flask/MongoDB - mizchi log
TwitBlogin! http://twitblogin.com/ とか作ったことだし、そこそこ開発環境整って、今なら思いつく限りのサービスはさっくり実装できそうだったのでPython初心者向けに書いておく。 少しでもPythonユーザが増えれば幸い。 対象は Python の基本的な構文程度はわかるけど、具体的に何から手をつけていいかわからない人 目次 Apache/WSGI/MongoDBの環境構築 flask [ Sinatra風ウェブアプリケーションフレームワーク] pymongo [ MongoDBラッパー ] werkzeug [Web Application デバッガ] jinja2 [ HTMLテンプレートビルダー ] pyquery [ jQuery風HTMLパーサ ] nose [ TDD ] 細かいライブラリの使い方とかPython本体の言語仕様とかは適当にぐぐって
クローラを作る技術と設計 (毎週のハンズオン勉強会資料)
3. XPathXML や HTML の任意の位置を取得するための式XPathエンジンがあれば、 XPathを指定して HTML 上の値を簡単に持ってこれる 4. XPath<?php$url = 'http://www.nicovideo.jp/';libxml_use_internal_errors(true);$doc = new DOMDocument();$doc->loadHTML(file_get_contents($url));libxml_clear_errors();$xpath = new DOMXPath($doc);foreach ($xpath->query('//a') as $node) { echo $node->textContent . "";}
Ubuntu/apache2 - TOBY SOFT wiki
はじめに † apache2のインストールについて 大体、ここに書いてある通りです。 わからない時は、ここを参考にしてください。 HTTPD - Apache2 Web Server http://doc.ubuntu.com/ubuntu/serverguide/C/httpd.html Ubuntuのページにも書いたのですが、server版で作業してます。 Desktop版でもある程度一緒のはずですが、違うところは読み替えてください。(とはいえ、Portable Ubuntu 9.04(coLinux)でも一応は確認しました) webサイトの確認は、Windowsから行っているのでスクリーンショットがWindowsでも誤解ないようにしてください(; ´д｀) ↑ インストール † インストール時のSoftware selection に LAMPをセレクトしておくと、インストールされて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
