DSASのファイル転送システムをオープンソースで公開します : DSAS開発者の部屋
DSASのファイル転送システムを、オープンソースで公開します。 その名は、makuosan（まくおさん：通称「まくお」）っていいます。 名前は冗談っぽいですが、内容はわりと真面目です(^^; MAKUOSANプロジェクトサイト Webサイトの運用に欠かせない作業のひとつに、「デプロイ」という作業があります。 これは、新しいプログラムやデータなどをWebサーバに設置して利用できるようにす ることを指していますが、サイトの規模が大きくなってWebサーバの台数が増えると、 それに比例してファイル転送にかかる時間も長くなっていきます。 一般的な話として、サイトの規模が大きくなるほど運用コストは増大しますが、 その要因のひとつとして「デプロイ時のファイル転送に時間がかかる」という 点がありました。そこで、できるだけ運用コストを抑える（作業者の負担を減 らす）ために、独自のファイル転送システムをこしら
Tangent Software: mod_layout
2003-05-31 21:14:40 About (rss)mod_layout is an Apache module that provides both a Footer and Header directive to automagically include output from other URIs at the beginning and ending of a Web page. It can be used to wrap documents for a standard look and feel for a site (or to insert banners on any given document in a site). Currently known to support mod_perl, PHP and Apache JServ. Should sup
はてなブログ | 無料ブログを作成しよう
祖母の白寿のお祝い 先日、満99歳(数えで100歳)になった祖母の白寿のお祝いをやった。 さすがに身体のあちこちに不具合が出てきており、そろそろ本格的に外出も難しくなってきたので祖母と一緒に家族で集まれるのはたぶんこれが最後だろう。 下は0歳から上は99歳までいるので、移動と諸々…
HAC に使える feature selection を試す (nakatani @ cybozu labs)
プチ間空きましたが、「IIR の「効果的な」階層的クラスタリング」の続き。 「次回は feature selection で次元を落とすのを試してみるべき」と書いたとおり、feature selection(特徴選択)を行ってみます。 要は「２５文書しかないのに 8000 語とか多すぎる。文書増えてったらガクブル。よし減らそう。全部必要な訳ないしね。でも、どうやって？」という話です。 IIR では、Chapter 13 にて feature selection を扱っており、 また Chapter 18 では LSI(latent semantic indexing)、乱暴に言えば固有ベクトルを求めることでその空間が本来持っている次元数(階数)を導いている。 しかし、Ch.13 の内容は Bayesian のような「教師有り分類」の場合の feature selection しかカバーして
JaikuEngine is now open source!
Yesterday, we flipped the switch and moved Jaiku to App Engine. Today, we are open sourcing the Jaiku code base under the Apache License 2.0. The code is available as JaikuEngine on Google Code Project Hosting as of now. Anyone can set up and run their own JaikuEngine instance on Google App Engine. So, developers, start your JaikuEngines. As Google will no longer be actively developing jaiku.com,
MySQLの内部構造
[InterDB] [著者HP] 以下の文章は、PostgreSQLに続き、MySQLについて纏めた調査結果の一部です。 前回同様、手間を省くため、調査結果をフィルタプログラムを通して機械的にHTML化するだけにしました。よって、表などが読みにくいかもしれませんが、ご容赦ください。 なお、この調査結果はMySQL全機能リファレンスという書籍になりました。 [MySQLの基礎知識] MySQLとは MySQLの概要 データベースシステムの構造 データベースシステムへのアクセス方法 テーブル型 [MySQLの内部構造] プロセス構造 メモリ構造 問い合わせ処理 プランナ エクゼキュータの処理 データベースディレクトリの構造 MyISAM型 InnoDB型 トランザクションの隔離レベル ロック PRIORITYオプションとINSERT DELAYED文 ク
nanoa.cgiというのをurlに入れたくない → RewriteRuleでやってみる - （ひ）メモ
RewriteRule ^(.*)$ /~danjou/nanoa/nanoa.cgi/$1 [PT] Soffritto::Journal 自分はこんな感じでやってます。 RewriteRule ^/(pasteme)/([[:alnum:]-]+) /nanoa/nanoa.cgi/$1/?id=$2 [PT] RewriteRule ^/(pasteme|qrcode)/?$ /nanoa/nanoa.cgi/$1/ [PT] /pasteme/ を /nanoa/nanoa.cgi/pasteme/ にマップ /pasteme/PASTE_ID を /nanoa/nanoa.cgi/pasteme/?id=PASTE_ID にマップ /qrcode/ を /nanoa/nanoa.cgi/qrcode/ にマップ あと、uri_forはオーバーライドってます。 sub rewrit
モジュールの Apache 1.3 から Apache 2.0 への移植 - Apache HTTP サーバ
This is a first attempt at writing the lessons I learned when trying to convert the mod_mmap_static module to Apache 2.0. It's by no means definitive and probably won't even be correct in some ways, but it's a start. The easier changes ... Cleanup Routines These now need to be of type apr_status_t and return a value of that type. Normally the return value will be APR_SUCCESS unless there is some n
マスタリングPerl
本書は、Perl構文の基本を指南する『初めてのPerl』、再利用可能なPerlソフトウェアを作成する方法を教える『続・初めてのPerl』に次ぐ3番目の書籍として位置付けられるものです。このシリーズ完結編の役割を担っていて、Perlを意のままに自由に操るための方法を伝授します。優れた技を集めたトリック集ではなく、Perlプログラミングについての考え方を説いています。つまりプログラマが日々直面するデバッギング、メンテナンス、設定といった現実の問題を扱えるようになるための解説書なのです。Perlマスタになるために、もしくは解決策を見つけ出す方法を知る、あるいは問題を発見する方法を知る先達（案内人）になるために読むべき書物でしょう。 まえがき はじめに 1章 Perlマスタになる 1.1 Perlマスタになるとはどういうことを意味するのか 1.2 本書の対象読者 1.3 本書の読み方 1.4 本書
さらにMySQLを高速化する7つの方法
MySQLを高速化する10の方法という記事がとても好評だったようである。記事を読んで頂いた皆さん、ありがとう。 この記事に対する便乗（？）でWeb屋のネタ帳: PostgreSQLを高速化する16のポイントという記事を書いて頂いたようだが、そちらの方もかなり人気だったようである。他人が作ったソフトウェアに改良を加えるというフリーソフトウェアやオープンソースソフトウェアの精神も基本は便乗であるので、便乗については大いに賛成したいというかむしろ取り上げてくれてありがとう！！と思うわけであるが、ここでさらに俺はこう考える。 と。 Web屋のネタ帳さんの記事では16のポイントが紹介されているが、漢（オトコ）のコンピュータ道の記事は10の方法だったのであと6つ足りない。オトコは数で勝負！！というわけで今日はネタを振り絞ってさらに7つのMySQL高速化テクニックを紹介しよう。 1. インテルコンパイラ
mod_access_tokenをPHPから使ってみる - maru.cc@はてな
mod_access_tokenとは ウェブサイト上の画像やファイルに有効期限を指定して、ユーザーに一時的なダウンロードを許可する、ライブドアで独自開発したApacheモジュールです。このモジュールをApache Webサーバに組み込むことにより、画像やファイルをウェブ上で公開するときに有効期限をつけることができるようになり、Webアプリケーションと組み合わせる事で公開範囲の制御を行なう事が可能になります。 ソースコードはこちらから入手できます。 modaccesstoken - Secure downloading module for Apache2 - Google Project Hosting livedoor ラボ「EDGE」 開発日誌 : 「mod_access_token」の配布開始と「EDGE src」公開のお知らせ - livedoor Blog（ブログ） ファイルのア
livedoor ラボ「EDGE」 開発日誌 : 「mod_access_token」の配布開始と「EDGE src」公開のお知らせ - livedoor Blog（ブログ）
こんにちは、EDGE担当の櫛井です。 ■ mod_access_token ウェブサイト上の画像やファイルに有効期限を指定して、ユーザーに 一時的なダウンロードを許可する、ライブドアで独自開発したApache モジュールです。このモジュールをApache Webサーバに組み込むことに より、画像やファイルをウェブ上で公開するときに有効期限をつける ことができるようになり、Webアプリケーションと組み合わせる事で 公開範囲の制御を行なう事が可能になります。 ソースコードはこちらから入手できます。 modaccesstoken - Google Code ■ EDGE src 昨年８月に開始した、livedoor ラボ 「EDGE」ですが、このたび公開する 「mod_access_token」が通算で１０個めのプロジェクトとなりました。 そこで、 ・今後もオープンソース系のプロジェクトの充実を
最強のMySQL HA化手法 - Semi-Synchronous Replication
MySQL 6.0で搭載される予定の機能の一つに、Semi-Synchronous Replicationというものがある。コイツを使うととんでもなく凄いHA化ができるので、今日はその方法を紹介しよう。 まずはSemi-Synchronous Replicationの機能説明から。そもそもSemi-Synchrounousってナニ？どうして完全な同期でもなく非同期でもなくSemi-Synchronousなの？という疑問をまずは解消したいと思う。さっそく次の図を見て欲しい。 これはSemi-Synchronous Replicationの動作を図で表したものである。図だけではなんだかよく分からないと思うので、以下に各ステップの詳細を説明する。 アプリケーション（クライアント）からトランザクションをCOMMIT要求を出す。 バイナリログを更新する。 ストレージエンジン（テーブル）を更新する。
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
NginxJa - Nginx Wiki
Nginxのリリース情報 最新の安定バージョン: Nginx 0.6.32 (2008年7月7日) 最新の開発バージョン: Nginx 0.7.21 (2008年11月11日) 旧バージョンの最新安定版: Nginx 0.5.37 (2008年7月7日) Nginxのニュース New module: nginx_mp4_streaming_lite from Jiang Hong to allow to seek to a certain time within H.264/MP4 files when provided with a "start" parameter in the URL. Module news: mod_zip 1.1 from Evan Miller now supports pause/resume and download accelerators (6 A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mod_log_rotate のススメ | Carpe Diem
オープンソースソフトウェアの育て方
United States
Hadoop＋Hive検証環境を構築してみる
