ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
Git - Book (日本語訳)
The entire Pro Git book, written by Scott Chacon and Ben Straub and published by Apress, is available here. All content is licensed under the Creative Commons Attribution Non Commercial Share Alike 3.0 license. Print versions of the book are available on Amazon.com. The version found here has been updated with corrections and additions from hundreds of contributors. If you see an error or have a s
A successful Git branching model を翻訳しました
Vincent Driessenさんの "A successful Git branching model" を翻訳しました。 元記事はこちら： http://nvie.com/posts/a-successful-git-branching-model/ （翻訳の公開と画像の利用は本人より許諾済みです） このブランチモデルの導入を補助してくれる、git-flowというGit用プラグインがあるそうです。 翻訳の間違い等があれば遠慮なくご指摘ください。 A successful Git branching model この記事では、私のいくつかのプロジェクト（仕事でもプライベートでも）で約一年ほど導入して、とてもうまくいくことがわかった開発モデルを紹介する。しばらく前からこれについて書くつもりだったんだが、今まですっかりその時間を見つけられずにいた。ここでは私のプロジェクトの詳細については書
Tails - Home
Tails is a portable operating system that protects against surveillance and censorship. Avoid surveillance, censorship, advertising, and viruses Tails uses the Tor network to protect your privacy online and help you avoid censorship. Enjoy the Internet like it should be. Your secure computer anywhere Shut down the computer and start on your Tails USB stick instead of starting on Windows, macOS, or
Vagrant - naoyaのはてなダイアリー
先日 Vagrant を触ってみたら便利すぎて鼻血が出ました。しばらく見ないうちに色々進んでるもんですねえ、いやはや参っちゃいました。 Vagrant は仮想マシンの VirtualBox のフロントエンドに相当する、ruby で書かれたツールです。vagrant コマンドなどを使ってコマンドラインから簡単に新しい VM を作れる。 % gem install vagrant % vagrant box add centos http://developer.nrel.gov/downloads/vagrant-boxes/CentOS-6.3-x86_64-v20130101.box % vagrant init centos % vagrant upこれだけで CentOS の Linux box をローカルマシン内に立ち上げることができる。*1 *2 なにこれすごい。 % vagra
wgetとcurlの根本的な違い - ctrlshiftの日記
UNIXの代表的なダウンローダにwgetとcurlがあります。 たいていの場合どんなOSでも、どちらかのソフトがインストールされているのではないかと思います。 しかし、この2つのダウンローダの機能は、一見似ているようにも見えますが、実はそれぞれに特徴が見られるので、今日はそれについて解説してみます。 wgetの特徴 wgetのスペルは「片手でもコマンドできる」ということもあって、多くの人から気に入られています。 そんなwgetの特徴として、最も際立っているのが、クローラとして動作可能という点です。 オプションで-rを付加してやることで再帰的に動作し、-lでその深さを指定することができます。 また、-Aや-Rを利用すれば、ダウンロードする拡張子のホワイトリストとブラックリストを指定することも可能です。 つまり、特定のサイト内に散らばって存在するファイルを、拡張子によって指定ダウンロードできる
mod_rewrite を利用したリバースプロキシ環境の作り方 - livedoor Blog（ブログ）
こんにちは、 最近愛用のMacbookが外観も中身もボロボロになってきて悲しいkyannyです。 ライブドアでは、画像やCSSファイルやjavascriptファイルなどの静的なコンテンツを配信するウェブサーバとウェブアプリケーション本体が稼働するアプリケーションサーバを別々のホストで運用する、いわゆるリバースプロキシ環境を構築しています。今回は、このリバースプロキシ環境の作り方を解説します。 リバースプロキシとは リバースプロキシとはプロキシサーバの一種で、クライアントに対してファイアウォールの中にあり外部のネットワークから直接アクセスできないサーバへのアクセスを提供する機能です。これ以外にも、複数のバックエンドサーバを用意して負荷分散をしたり、プロキシサーバでキャッシュを併用することでバックエンドサーバへのリクエストを減らしたりと、様々なシーンで活用できるため、大規模なウェブサイトを構築
12.04でpt2再インストール(httpサーバー版に変更)
Ubuntuを12.04にした関係でpt2周りがおかしくなったのを機に 最新版を入れなおしてみました。 また、今までとは違う派生パッケージを入れてみました。 今まではhttp://hg.honeyplanet.jp/pt1/の新本家を使っていたのですが httpサーバーとしてリアルタイム視聴もできるhttpサーバー版を採用。 (例によってpt2周りはシミュレーションだったりb-casなしだったりの情報とします) まずは既に入っていて邪魔しそうなものをアンインストール arib25(方法が正しいかは不明) $ sudo updatedb $ locate arib25 にて表示されるarib25関連ファイルを削除する pt1のdriver $ rmmod /lib/modules/`uname -r`/kernel/drivers/video/pt1_drv.ko Ubuntu10.10以降
gitlabhq/installation.md at master · gitlabhq/gitlabhq · GitHub
Installation from source This is the official installation guide to set up a production GitLab server using the source files. To set up a development installation or for many other installation options, see the main installation page. It was created for and tested on Debian/Ubuntu operating systems. Read requirements.md for hardware and operating system requirements. If you want to install on RHEL
gitでsshのポート番号を指定する – 黒川仁の文具堂ブログ三昧
黒川仁の文具堂ブログ三昧 このブログでは、金沢市在住のプログラマ/サーバエンジニア 黒川 仁がWeb技術っぽい記事を書いています。 ssh経由でgitを利用するときデフォルトの22番ポートで運用している場合は ホスト名 repo.example.comでユーザ名がuserだとすると git clone user@repo.example.com:repos/app.git とすればよい。 ローカルマシンとユーザが同じであればさらに git clone repo.example.com:repos/app.git とユーザ名を省略できる。 マニュアルにある書式はこう書いてある。 An alternative scp-like syntax may also be used with the ssh protocol: ・[user@]host.xz:path/to/repo.git/ 22番
ApacheのSegmentation faultはgdbで簡単に特定（mod_mruby編）
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Apacheのデバッグの方法は多く紹介されていて、例えばgdbを使ってみましょうと紹介されている記事も多いです。しかし、操作の仕方が多岐に渡っていて、なんとなく敷居が高く感じて使わないという人も多いかもしれません。 例えば、Apache周りのエンジニアが一番気になるのは、Segmentation faultだと思います。そこで、今回は自分がSegmentation faultの原因を特定する時の一番手っ取り早い、gdbを使った方法を紹介しようと思います。gdbを使っていない人にとって、gdbって少し敷居が高いんじゃないかなぁ、と思っている人も多いかもしれませんが、今回の方法であればだれでも気軽にできると思います。 まずはバグを作る 今回は、自
iptablesの設定
iptablesの設定 [サーバの実験室 Redhat/Fedora] 作成 : 2005/01/27 修正 : 2011/05/05 "サーバの実験室"の検索 iptables パケットフィルタリング、NA(P)Tを設定するためのパッケージ。 環境によってはカーネルの再構築が必要になるが、Fedora Core 3では不要。 参考になる文書 netfilter.orgのチュートリアル。 あと、manpage。 インストール FTPサイトまたはFedoraCore3 CD Disk1からRPMパッケージをもらってきて、インストール。 # rpm -Uvh iptables-1.2.11-3.1.i386.rpm yumを使ってもよい。 # yum install iptables chkconfigユーティリティで、サーバ起動時にサービスが開始するよう設定する。 # chkconfig i
うざい国からのアクセスを全て遮断
うざい国からのアクセスを全て遮断 どこぞの国からの攻撃がうざったい鯖缶さんのためのページです。 ■ フィルタを作成するためのシェルスクリプト(バッチファイル) 2007/07/01 単純にCIDR表記に置き換えることのできないデータに対応しました。多謝 世界の国別 IPv4 アドレス割り当てリスト 。 (アドレス数が768個と書かれていて一対一ではCIDR表記に置き換えられないもの、およびサブネット境界を跨いでいるもの) *NIXシステム用 (Linux iptables環境およびFreeBSD ipfw環境、Windows環境向け; perlが必要) Windowsシステム用 (Windows 2000/XP/2003/Vista対応) ■ 上記のシェルスクリプト／バッチファイルの使いかた (Windowsのみ) まずは このページ を参考にしてパケットフィルタリングを有効化します。 A
B串から完全匿名串へ
0、初めに 串、つまりProxyサーバになんらかの興味を持っている人か、UNIX系のシステムを使って自宅鯖を構築している人であれば、１度ぐらいSquidと言うソフトを聞いた事があると思います。SquidはProxyサーバソフトとしてもっとも有名、かつ使われいているソフトで非常に高速に動くProxyサーバソフトです。 ここではそのProxyを評価Bの使えない串からProxyだとわからない串へ成長（？）させる手順を自分の防備録を兼ねて御紹介します。尚、匿名串そのものを探しに来た方の御希望に沿うような情報は無いと思われますので、もし匿名串そのものをお探しの方は他をあたる事をお勧めします。 1、必要な物 ブラウザ（IEよりNetscapeを推奨） 診断君 squidの動いているサーバ ※人の動いているサーバを勝手に弄るのはやめましょう。 ※ここでは2.5 STABLE9-7を使って説明しています。
Install Firefox 26 on Fedora 20/19, CentOS/Red Hat (RHEL) 6.5
Updated: 2023-07-02 :: Published: 2011-11-16 :: JR :: 3 min read (450 words) Mozilla Firefox 26 is released and this is guide, howto install Firefox 26 on Fedora 20/19/18/17/16, CentOS 6.5/6.4/6.3/6.2/6.1/6 and Red Hat (RHEL) 6.5/6.4/6.3/6.2/6.1/6 using YUM. Firefox 17 ESR (Extended Support Release) is currently available on CentOS 6.5/5.10 and Red Hat (RHEL) 6.5/5.10 own repos, so with this guide
Remi's RPM repository
Download mirrors - Full content AT: http://mirror.digitalnova.at/remi/ - full mirror (Austria, IPv4) AU: http://remi.conetix.com.au/ - full mirror (Australia, IPv4, IPv6) AU: https://remi.mirror.digitalpacific.com.au/ - full mirror (Australia, IPv4, IPv6, rsync, https) AZ: http://mirror.yer.az/remi/ - full mirror (Azerbaijan, IPv4) BE: http://remi.mirrors.cu.be/ - full mirror (Belgium, IPv4, IPv6)
DNSの仕組みの基本を理解しよう
いきなりだが、2001年はDNS（Domain Name System）にとっては、当たり年ともいえる年だった。ニュースなどでも取り上げられているが、「日本語」や「多言語」ドメインという大きな構造変化がシステム全体に押し寄せ、ブロードバンド環境の広がりは、個人がドメインを取得して運用するための足掛かりともなった。 本連載では、ドメインの運用など、これからDNSと付き合おうとしている方々を対象に「DNSの概念や運用の考え方」を明らかにしていこう。ただし「BIND」など、DNSに関する具体的な製品の設定方法については触れない。詳しくは以下の記事もぜひ参考にしてほしい。 DNSはなぜ必要か？ 最初に、「DNSとは何か」を説明するために、「なぜDNSが必要になるのか」を考えてみよう。それには、歴史的経緯から考えるのが分かりやすい。 DNSはご承知のとおり、IPアドレスとホスト名をマッピングして相互
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.machu.jp/posts/20130112/p01/
http://www.mysqlpracticewiki.com/index.php/MySQL%E3%82%B5%E3%83%BC%E3%83%90%E3%81%8C%E6%B6%88%E8%B2%BB%E3%81%99%E3%82%8B%E3%83%A1%E3%83%A2%E3%83%AA
unixlife.jp