タグ

hyrumのブックマーク (733)

  • Apache, Cache-Control, 304, 大型サイトで静的ファイルを無駄なく配信 | バレで昼寝

    以前にも書きましたが私は某ポータルサイトのシスアド、兼プログラマをしています。月々1億から3億ページビューを裁いていますが、システムの一番大きなコストはトラフィックです。 100MBit専有とまでなると月40万は軽く行きます。そこでとにかくページビューをあげながらもトラフィックを減らそうと日々努力しています。この記事の目的はハウジングサービスからアマゾンのクラウドフロントに移行した成功例(または失敗例)について書いていきます。 まず、第一回は既存のシステム(静的ファイル用のサーバ)について簡単に説明します。長年、経験を積みながら行った設定です。あくまでも、サーバのスペック、サイトの用途によっても違ってきます。 OS: Gentoo HTTP Server: 最近lighttpdからまたApacheへ ※lighttpdはものすごくライトウェイトだが、バグの対応が遅い、ガンバレMade

    hyrum
    hyrum 2010/01/01
  • 絶対パスでとってしまった tar アーカイブを相対パスに展開する - ablog

    Solaris では pax コマンドを使うと、絶対パスでとってしまった tar アーカイブを相対パスに解凍できる。 書式) pax -rvs ',^/,./,' -f hoge.tar 試してみる。 ディレクトリを作成して、 % mkdir -p tmp/{a,b,c} % find tmp tmp tmp/a tmp/b tmp/c 絶対パスで tar アーカイブを作成して、 % tar cvf tmp.tar /export/home/oracle/tmp a /export/home/oracle/tmp/ 0K a /export/home/oracle/tmp/a/ 0K a /export/home/oracle/tmp/b/ 0K a /export/home/oracle/tmp/c/ 0K pax コマンドで相対パスに展開して % pax -rvs ',^/,./,'

    絶対パスでとってしまった tar アーカイブを相対パスに展開する - ablog
    hyrum
    hyrum 2009/12/28
    pax -rvs ',^/,./,' -f hoge.tar
  • 人は俺を「recentfマスター」と呼ぶ - http://rubikitch.com/に移転しました

    Emacsを使ってるみんな、recentfというパッケージを知っているかい? 「最近使ったファイル」を上から順に並べていってすぐに切り換えられるようにするヤツだ。最近使ったものを一番上の見易い位置に置いておくのは超整理法の手法で、すこぶる便利だ。知らない人はすぐに使おう。 ただ、デフォルトのrecentfのインターフェースはどうしようもなく使いづらい。ダイアログとかごちゃごちゃになってるし。たかだか超整理法の実装に1360行もあるってどういうことなの?そのまま使っていても、いまいち便利さに気付かないかもしれない。こんなのは空気のようなツールであるべきで、使い方を覚えるようなものではない。 anything.elから最近使ったファイルにアクセスする そこで、anything.elの出番だ。auto-install.elを使って M-x auto-install-batch anything

    hyrum
    hyrum 2009/12/25
  • 知らない人は損してると思うMacの使い方 :【2ch】ニュー速クオリティ

    Speech機能、マウスオーバーで使える辞書機能、Sound FlowerとAU Labで、AU-Pluginsを使って遊べる、録音できる、Quartz Composer、SafariでファビコンをDockにドラッグでジャンプ台のアイコンが作れる、

    hyrum
    hyrum 2009/12/23
  • FormValidator::LazyWay で検証ルールをまとめよう - JPerl Advent Calendar 2009

    FormValidator::LazyWay で検証ルールをまとめよう - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな? どうも、亀仙人になって鼻血ブーしたい vkgtaro です。ご機嫌いかがですか。亀仙人が最初なのかどうか知らないけど、鼻血を吹くというマンガ表現はすごく好きです。おっと、hacker track でした。 ということで僕もハッカーではないけれど、自分がメンテナンスしてるモジュールの中から一つ紹介させてもらいますね。 今日は FormValidator::LazyWay で検証ルールをまとめちゃいます。 フォームの検証 web アプリケーションを作っていると、どのページでも出てくる入力項目ってあると思います。 会員登録時のパスワード項目とログイン時のパスワード項目とユーザ情報変更時のパ

  • Gmailチームが明かすHTMLアプリケーション起動の高速化テクニック TechTalkManiacs

    などという煽り気味なタイトルをついつけてしまいたくなる記事がGoogleCodeBlogに掲載されていました。 最初のほうはごく普通にJavaScriptを使ったRIAアプリケーションはどうしても起動が遅くなるため、それをどう減らすか、というテーマにそって書かれています。 方法として挙げられているのは、最初にすべてを読み込まず、モジュール単位で分割して遅延ローディングすること。ただし、それだけだと回線速度が遅く不安定なモバイル環境では問題が生じるためHTML5のキャッシュ機能を利用するといいとのこと。 遅延ローディングのためのさまざまな手法の得失や、例えばユーザーデータを読み込むときには動的ロードしない、というようにユーザーの操作を妨害しないよう留意することなどについても述べられていてそれだけでもノウハウとして十分に有意義なのですが、決め手として最後に出てくる方法がすごいです。 その方法と

    Gmailチームが明かすHTMLアプリケーション起動の高速化テクニック TechTalkManiacs
  • linuxで httpd が使ってるメモリ総量を調べる話 - kazuhoのメモ置き場

    Perl等のLLでウェブアプリケーションサーバを書いていると、普通はマルチプロセスモデル (apache なら prefork とか) で運用することになると思う。で、それらがどれだけメモリを使っているか、っていうのはチューニングにおいて重要になってきたりする (んじゃないかと思う) けど、そもそもメモリの総使用量をどうやって測定するのか。 20:20追記: PSSを使ってワンライナーで測定するのが簡単 (コメント欄参照)。kosakiさんありがとうございます。 $ sudo perl -le 'for my $p (@ARGV) { open my $fh, "< /proc/$p/smaps" or die $!; map { /^Pss:\s*(\d+)/i and $s += $1 } <$fh> } print $s' `pgrep plackup` 914325以下は初回投稿時

    linuxで httpd が使ってるメモリ総量を調べる話 - kazuhoのメモ置き場
    hyrum
    hyrum 2009/12/22
  • mod_proxyのProxyPassReverseの意味がようやく理解できた - うまいぼうぶろぐ

    気がする! なぜProxyPassReverseにbalancer://~~ を設定できないのか *1 なぜProxyPassReverseにajp://~~ を設定できないのか なぜbackendがhttpとajpの場合で、ProxyPassReverseに設定するURLが異なるのか などなど。今まではmod_proxyする機会がほとんどなく適当にお茶を濁していたので、世間の人から相当遅れているとは思いますが、せっかくなので自分用まとめ。思いついたことをつらつらとメモっているからかなり冗長ですが。 追記 20100907 http://ftp.riken.jp/net/apache//httpd/CHANGES_2.2 apache 2.2.12 から、balancer:// のURLにもProxyPassReverseが使えるようにmod_proxyがパワーアップしていました。 *)

    mod_proxyのProxyPassReverseの意味がようやく理解できた - うまいぼうぶろぐ
    hyrum
    hyrum 2009/12/21
  • apache :: ドットから始まるファイル、ディレクトリにアクセス禁止 [Tipsというかメモ]

    .htaccess .secret.txt .svn 等のドットから始まるファイル、ディレクトリにアクセス禁止 #403 Forbidden RedirectMatch 403 /\. ちなみにディレクトリのみに限定したければ #403 Forbidden RedirectMatch 403 /\..*/ どこぞのサイトには以下のように Directoryディレクティブ でいけると書いてあったが、 私の環境では 500 Internal Server Error が発生して動作しなかった。。 <Directory ~ "/\..+/"> Order Deny,Allow Deny from All </Directory>

    hyrum
    hyrum 2009/12/21
  • codereposのメンテ - Yappo::タワシ

    ちょっとbotさんのアクセスが激しすぎるので AddHandler send-as-is asis SetEnvIf User-Agent "msnbot/2.0b" denied_robots SetEnvIf User-Agent "Slurp" denied_robots SetEnvIf User-Agent "Baiduspider" denied_robots ProxyPreserveHost On RewriteEngine On RewriteCond %{ENV:denied_robots} ^1$ RewriteRule ^/.* /503.asis [NC,L] してみた。 負荷が急激に下がった。 botのアクセスを弾くんじゃなくて一時的に控えてもらいたいので503を返しといてる。 fornt serverにはガンガンアクセス来てるが coderepos の方にはア

    hyrum
    hyrum 2009/12/18
  • 軽度肥満の私をたった 3 ヶ月で 13.3kg 痩せさせた 5 つの方法と 3 冊の本 - にぽたん研究所

    時はさかのぼること約一年ほど前。 秋冬の美味しい味覚に舌鼓を打ち続ける日々を過ごしていたとある日、ある方の結婚パーティーにお誘い頂きました。 パーティー当日、1 年に 2、3 回程度しか着ることのないスーツに袖を通している途中、ふとスーツがだいぶキツいことに気付きました。 着られないことはない…。だけどパンパン…。ベルトを通してみると留められない…。かなり腹を引っ込めてようやくベルトが留められたものの、かなり息苦しい…。 この時、普段乗ることの少なくなった体重計に乗ってみたら 体重は 74kg、体脂肪率は 24% でした…。 身長は 169cm なので BMI は 25.9。 日肥満学会的には「肥満 1 度」、WHO 的には「前肥満」扱い。 平たく言えば小太りです。 自分自身の体型の変化に興味を示さずに過ごしていたことを後悔しつつ、「これからは毎日体重計に乗る」ということを心に誓い、とり

    軽度肥満の私をたった 3 ヶ月で 13.3kg 痩せさせた 5 つの方法と 3 冊の本 - にぽたん研究所
    hyrum
    hyrum 2009/12/18
  • googleでyahoo.co.jpを検索すると、twakuwakulandという怪しげなサイトがトップに来ます - ウェブ検索ヘルプフォーラム

    Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode

    hyrum
    hyrum 2009/12/14
  • 第1回 トラブルコールを楽しむのだ | gihyo.jp

    はじめに 『インフラエンジニア』という表現は、筆者にはあまり馴染みがないのですが、ここでは運用を主とするサーバおよびネットワークエンジニアという前提で、「⁠インフラエンジニアとは何か?」について語ってみたいと思います。 まずインフラエンジニア(違和感)のお仕事は、予測可能な、というか計画できるものと、(⁠悪い意味で)予測はできるけど計画なんて立てられない、というものに分けることができます。 前者は、インストールだったりセットアップだったりゆとりのあるチューニングだったりするわけですが、後者はトラブル対応だったりゆとりのないチューニングだったりします。前者はまあSE的な要素もあるし、この場では期待されていないだろうなあ、と思うのではしょりますが…。 …何が言いたいかというと、この連載ではインフラエンジニア(違和感)の直面するトラブル対応について、具体例や心構えやメリット(?)やデメリット(?

    第1回 トラブルコールを楽しむのだ | gihyo.jp
    hyrum
    hyrum 2009/12/12
  • No.722

    小説やコミックなどをスキャンした画像を、あれこれ編集するツールを公開しています。 ※ツールの転載禁止/雑誌での紹介禁止/要望やサポート等は基的にお断りします。 なお、WebやBlogでの紹介などは自由に行ってかまいません。 ※基的に自分で使ってる機能のみ開発しています。MeTilやeTilの開発が停止してるのは、自分で使わない機能に興味が沸かないだけのことです。 ChainLP v0.40-17 ■何をするもの? 連番画像や圧縮画像を指定サイズにリサイズして、画像だけのLRF、PDF、ePub、Mobi、または連番ファイルを作成します。 また、青空文庫形式のテキストファイルをソースとして入力し、縦書きの画像またはフォント埋め込みPDFにすることもできます。 「ChainLP40b17.zip」をダウンロード ※ePubとMobiの出力はオマケ機能です。とくにMobiは画質が悪くなるので

    No.722
    hyrum
    hyrum 2009/12/06
    ChanLP
  • Google App Engineで開発するスケールするアプリケーション(前編)

    はじめに 「人類が使うすべての情報を集め整理する」 この壮大なミッションを掲げ設立されたGoogleは、そのミッションを遂行するべく、マシン・ネットワークなどのインフラ環境に莫大な金額を投資し、独自の技術を開発し続けています。Googleは検索エンジンだけにとどまらず、Gmail、Google Calendar、Google Maps、Google Analystics、Youtube、Google Apps、Google Earthなど、いまや全世界のユーザーが使用するサービスをリリースしており、その扱うデータ量、アクセス数は天文学的な数になることが予想されます。Googleはそれらのデータ量、アクセス数を高速にさばき、なおかつ耐障害性の高いスケーラブルな大規模分散システムを構築しています。 そんな中、2008年4月にGoogle App Engineがリリースされました。Google

    Google App Engineで開発するスケールするアプリケーション(前編)
    hyrum
    hyrum 2009/12/06
  • 「CocProxy」という便利なツールを知っていますか? : LINE Corporation ディレクターブログ

    こんにちは。ブログビジネス部 石野です。 livedoor Blogやクリップ、Readerの担当ディレクターです。 今日は「CocProxy」というツールをご紹介します。 同僚のプログラマーに教わったのですが、便利です。 コーディングにも携わるディレクターにはぜひ知っておいてほしいツールです。 CocProxyとは ブラウザからのリクエスト先をローカルファイルに置き換えてくれるプロキシです。 (一見取っつきにくそうですが) デバッグ時にその環境を用意をするまでの手間をなくしてくれる、時間短縮してくれるツールです。 メリット Ajaxを使っているなど、デバッグ環境を用意するのが大変な場合もプロキシの切り替え1つで済みます。 また、確認するために編集したファイルをサーバへアップロードして…といった手順をスルーできます。 amachangさんのこの記事を見て「名前は知っていたけど」という方も、

    「CocProxy」という便利なツールを知っていますか? : LINE Corporation ディレクターブログ
    hyrum
    hyrum 2009/12/04
  • 見落としがちなLinuxのWEBチューニング | Act as Professional

    WEBコンテンツ配信にLinuxを使うのは一般的になりましたが、CentOSやUbuntuをはじめ、大抵のディストリビューションが低スペックなマシンでも動くような初期設定になっています。 トラフィックの上限でもない CPUリソースの枯渇でもない HDDのIOが遅い問題でもない コンテンツが重くなる(接続できない) というケースで、見落としがちなLinuxのネットワーク周りのチューニングについてです。 iptables関連 iptablesを使用している場合、下記のパラメータを注意して下さい。 /proc/sys/net/ipv4/ip_conntrack_max ip_conntrackに記録できる最大値です。65536あたりが初期設定になっているかと思います。これだとパケットの取りこぼしがすぐに起きてしまいます。1コネクションあたり約350バイト消費するので、実装されているメモリに応じて

    見落としがちなLinuxのWEBチューニング | Act as Professional
  • 1台構成のHadoopを30分で試してみる(CentOS + Cloudera)

    (参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・CentOS5かCentOS6のLinux環境1台(ここではCentOS5.6とCentOS6.0を使いました。CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います) ・インターネット接続 ・Sun社Javaパッケージ(パッケージファイルをインターネットから取得) ・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール) 作業手順 0. 準備 0-1. Sun社Javaパッケージの取得 http://java.sun.com/javase/downloads/にて、 Java SE 6の[Download]ボタンを押して出る「Java SE Downloads」のページから必要なもの

    1台構成のHadoopを30分で試してみる(CentOS + Cloudera)
  • はじめての EPEL | Carpe Diem

    RHEL, Centos 向けに EPEL というボランティアベースの拡張パッケージが提供されているリポジトリがあることを知りました。 EPEL とは、次のようなリポジトリです(About EPEL から意訳)。 エンタープライズ Linux 用の拡張パッケージ(略して EPEL)は、Fedora プロジェクトからのボランティアベースの貢献によって作成された Red Hat Enterprise (RHEL) 向けの高品質な追加パッケージのリポジトリで、CentOS あるいはその他同等の Linux 互換になっています。Fedora は RHEL の上流であり、EPEL 向けの追加パッケージは Fedora リポジトリを起源にしており RHEL 向けに提供されています。 ということで、高品質な追加パッケージが提供されている便利なリポジトリです。 以前、rpmforge というサードパーティ

    hyrum
    hyrum 2009/11/29
  • Apache を daemontools で管理する - kazuhoのメモ置き場

    自作のサーバプログラムに、いちいち setuid とか setsid とかログローテート機能とか実装するのめんどくさいわけで。だから daemontools を使って管理してるわけですが、だったら、いっそ全部のデーモンを daemontools で一括管理したい。 ちょうど、reverse proxy をセットアップする機会があったので、apache を daemontools で管理する方法を備忘録をかねてメモ。 % cat /service/httpd/run #!/bin/sh APACHE_ROOT=/usr/local/apache-2.2.14 exec 2>&1 exec pgrphack $APACHE_ROOT/bin/httpd -DNO_DETACH -DFOREGROUND -c "ErrorLog /dev/fd/1" -c "Include /var/httpd

    Apache を daemontools で管理する - kazuhoのメモ置き場
    hyrum
    hyrum 2009/11/28