FTPサーバー構築(vsftpd) - CentOSで自宅サーバー構築
Webサーバーへのファイル転送用にFTPサーバーを構築する。 ここでは、CentOS標準のFTPサーバーであるvsftpdを採用する。 なお、ユーザ名、パスワード、CGI等に書かれたパスワード情報等の盗聴による不正入手対策として、SSLによる暗号化通信を行えるようにする。 また、管理者ユーザ以外は自身のホームディレクトリより上層へはアクセスできないようにする。 [root@centos ~]# vi /etc/vsftpd/vsftpd.conf ← vsftpd設定ファイル編集 # Allow anonymous FTP? (Beware - allowed by default if you comment this out). anonymous_enable=NO ← anonymousユーザ(匿名ユーザ)のログイン禁止 # Activate logging of uplo
RAID 構成のサーバで Linux を大量インストールする時の簡略化検討
ちょうど年末年始を跨いでサーバのリース契約満了にともないサーバの入れ換え作業なんてのをやっています。ここ最近も相変わらずムーアの法則通りマシンの処理速度は２年で倍になっています。近い将来にトランジスタが原子レベルにまで小さくなるそうです。いやはや凄いですね。さて、ウチの会社の場合は３年のリース契約でマシンをそろえることが多いのですが、単に固定資産を持たないための会社の方針って側面以外にもハードの進歩の速度にもあっているかなぁ〜と感じています。 で本題。今回導入した新マシンは Dell 1950 です。 毎度毎度リースの更改にあわせてサーバの再構築をするわけなのですが、この作業が猛烈に面倒です。当たり前だけど構築以外にも動作のテストとかあるんだけど、これまた面倒。台数が増えるほど面倒。というわけで、いろいろなブログでも紹介されているとおり実際にはインストールは１台だけ行って動作テストも全部ク
[ニュース] はてななどの各社担当者が自作サーバーのノウハウを紹介
はてなやサイバーエージェントなど、5社の担当者が自作サーバーに関するメリットやデメリット、ノウハウなどを紹介する「自作サーバカンファレンス」が11月25日に開催された。 自作サーバーのメリットといえば、コストダウンがもっともわかりやすいメリットだったが、最近ではベンダー製サーバーの価格低下やクラウドサービスも充実し、コスト面では以前ほどの価格差はなくなってきている。しかし、「まだまだ自作サーバーの可能性は豊富にある」ということで、はてななど自作サーバーを利用するITベンチャー5社が自社の導入例をもとにメリット・デメリット、ノウハウなどを紹介するカンファレンスを開催した。 カンファレンス冒頭に登壇した、株式会社はてなで執行役員を務める田中慎司氏は「はてなでは設立当初から自作のサーバーを使ってきているが、ここ最近を見ると他社でも自作サーバーを使用するケースが出てきている」とコメントした。 また
実行中のアプリケーションを外から観察するコマンド。 - こせきの技術日記
strace システムコールをトレース。カーネルと何を話しているか。 strace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 straceを使ったデバッグ - SourceForge.JP Magazine : オープンソースの話題満載 Linuxカーネルの作り出す世界 − ＠IT自分戦略研究所 - ふつうのLinuxプログラミング 青木峰郎 システムコールとライブラリ関数 − ＠IT自分戦略研究所 システムコール・ライブラリルーチン - UNIX の部屋 ltrace 共有ライブラリの呼び出しをトレース。*.soと何を話しているか。 ltrace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 ltrace で共有ライブラリの関数呼び出しをトレースする - bkブログ 404 - エラー: 404 - Linux JF ƒ‰ƒCƒuƒ‰ƒŠ‚ÌŠ
データベースを用いたセッションデータ管理について - LukeSilvia’s diary
Web アプリケーションとは切っても切れないセッション機構。DB ベースでセッション管理を行なって得られた知見と、それを元に考察した結果をまとめてみます。 セッションデータの特性 DB で管理される他のデータに比べ、セッションデータはかなり特殊です。主な特徴は次のような感じ。 データが増加するのが速い 定期的な削除が必要 頻繁に更新される リクエスト毎に読みに行く必要がある このデータを読めないとアプリケーション全体にアクセスできない アクセス頻度が高いということです。あと、1つ目の特徴からセッションデータについては意識的に管理してやる必要があります。 現在の環境 アプリケーションの領域が少し特殊で、セッションデータがやたらたまります(ユーザ数何百万のサービスとかそういうのではないです)。 RDBMS MySQL 4.0.22 ストレージエンジン InnoDB レコード数 6千万 テータサ
MOYO Laboratory
このサイトは趣味で作成したコンテンツやソフトウェア、サービスなどを公開および検証するための 実験場です。恒久的なサービスを提供するものではなく、また十分な裏づけや検証を行っていないものも 含まれているため、利用は自己責任の元でお願いします。特に秘匿性の高い情報に関してはこのサイトでは 扱わないようお願いします。このサイトを利用した事で発生した利用者の不利益に関しては免責させて頂きます。 このサイトに送信されたフォームの入力内容、ファイル、アクセスログなどの情報を、公的機関による 権限の行使なく二次的に利用することはありません。 OS Linux2.6.22.5-31-defaultunknown Java VM java version "1.6.0_07" Java(TM) SE Runtime Environment (build 1.6.0_07-b06) Java HotSpo
Linux チューニング - Ext3 のパフォーマンスを最大化させる
じつは自宅サーバのロードアベレージが上がり続けています。分析の結果、ボトルネックは I/O 処理でした。CPU は Athlon64 X2 4400+ ですが、まだまだ当分この CPU で間に合いそうです。HDD は当時は 7200 回転で最速だった HITACHI Deskstar T7K250 SATA2 250GB を RAID1 構成にしたのですが、今思えば速度優先で RAID0 にしておけば良かったと少しだけ後悔。 I/O がボトルネックに成っている理由ですが、Drk7jp が公開しているサービスの全てがキャッシュファイルを利用した高速化手法を取っているのですが、単純にそれらファイルの write 処理が追いついていません。常に何らかのプロセスで I/O 待ち状態が発生しているような状況です。抜本的な解決方法としては disk を高速なものに交換する以外ありません。 というわけで
複眼中心 : Xp on Mac (XOM) How to 日本語訳
Tats Shibata (柴田竜典, シバタツ) has 20+ years of experience in database technology, performance engineering, and pre-sales. As a Senior Manager and Head of Japan Data Solutions Architecture at Amazon Web Services Japan, he leads a team of database and analytics technical experts who provide solution architecting for AWS customers across various industries.
CentOSで自宅サーバー構築
ルーター経由接続によるインターネット常時接続環境である(当サイトはIIJmioひかりによるインターネット常時接続環境) 固定または非固定のグローバルIPアドレス環境である(当サイトはGMOとくとくBBの固定グローバルIPアドレス環境(逆引きも可能)) ※メールサーバーを構築する場合は逆引き可能な固定グローバルIPアドレス環境が望ましい(非固定グローバルIPアドレスや、固定グローバルIPアドレスでも逆引きしたホスト名とメール送信元ホスト名が異なる場合にメール受信を拒否するメールサーバーがまれに存在するため) OSのインストール時を除き、サーバーの操作はWindowsからコマンド操作で行なう ■コンテンツ ※ホスト名やドメイン名、IPアドレスは各自の環境に置き換えること ※各目次に表記してあるバージョンは、当サイトで確認をとったCentOSのバージョンを示しており、そのバージョンでないとできな
ヤフーがyimg.jpを使う本当のワケ - 最速配信研究会(@yamaz)
ヤフーの画像はなぜyimg.jpドメインなのか？ サイト高速化の手法とヤフーの失敗例 でヤフーがなぜドメインを変えて画像サーバを運用しているかが書かれている.「静的なコンテンツに対してクッキーフリードメインを使うことによって速度向上を狙う」というのが理由とあって,これはこれでもちろん正しいのだけれど,これはどちらかというと副次的な理由で本当の理由は違う. クッキーフリードメインを使うことで悪意あるFlashコンテンツなどから自社ドメインのクッキーを守るためというのが本当の理由で,これはあちこちで使われているテクニックだ.Flashコンテンツは外部の業者さんに作ってもらったり,広告の入稿素材として入ってくるので,信頼できないデータとして取り扱う必要があり,万一まずいデータがアップされることがあっても大丈夫にしておく必要がある. 最近ユーザからの任意のコンテンツを受けつけて同一ドメインで配信し
FreeNASで家庭内LANにストレージを簡単に追加する | OSDN Magazine
FreeNASはネットワーク接続ストレージ（NAS）サーバとして十分な機能を備えた、FreeBSDベースのコンパクトかつ強力なオペレーティングシステムである （偶然だが、SourceForge.netでも今月の注目プロジェクトとして取り上げられている）。私のようなLinuxユーザは各デバイスを表すのに使われるBSD用語に戸惑うかもしれないが、そうした些細な点にさえ気をつければ何の問題もなくインストールして使えるはずだ。FreeNASは企業での利用に実力を発揮するだけでなく、普通のSOHOユーザでも十分に活用できる使いやすさも備えている。ここでは、rsyncによるバックアップ用およびFTPサーバとして簡単に使えるNASデバイスを、個人用のLANに追加する方法を紹介する。 まずは、NAS専用機として使えるマシンが必要になる。古くなったPCがちょうどよいだろう。本当に必要になるのは、イーサネット
自宅サーバ構築に当たって、あなたのベストな選択肢は？ | スラド Slashdotに聞け
昨日は「自宅利用のNAS」についてのストーリーがありましたが、NASやファイルサーバに限らず、自宅サーバ全般についてのご意見をお聞きしたく、タレコみました。 現在、自宅サーバを立ち上げようとしています。目的は「自分の覚え書き用wiki」「Subversionサーバ」「新しいソフトのテスト用」などです。ゆくゆくは部分的に外部公開することもあるかもしれませんが、当面は公開するつもりはなく、LAN内のみで使おうと考えています。 今の所、市販のNASを改造して対処するか、あるいは安いマシンを購入しようかと検討しているのですが、まだ決定には至っていません。 そこでみなさんにお伺いしたいのですが、こうした目的の自宅サーバ構築に「これがベストだ」と考えられる選択肢には、どのようなものがあるでしょうか？ サーバを語るに当たってはもちろん、HDD容量、処理性能、価格、信頼性、静音性など、様々な観点があるかと
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
容量の大きすぎるハードディスクを使わないほうが良い理由：ITpro
最近のハードディスクはどんどん大容量化が進み、小さな容量のものの入手がだんだんと難しくなってきて悩んでいます。このことを他の人に話すと、大抵は「え？大は小を兼ねるので大容量なものを使えばいいのでは？」という返事が返ってきます。しかし、必要以上に大容量のハードディスクは、いろいろと不便が多いのです。今回はその理由について述べてみたいと思います。 フォーマットやRAID再構築に時間がかかる 例えば80GBと1TBのハードディスクでは、実に12.5倍もの容量差があります。いろいろな要素を省いて単純に考えると、フォーマットやRAID再構築も12.5倍の時間がかかるということになります。仮に80GBのハードディスクを使ったRAIDの再構築に3.5時間かかるとすると、1TBのそれは、諸要素を除いて単純計算すると44時間もかかることになりそうです。フォーマットやRAID再構築は結構時間がかかりますので、
第1回 クラスタリングを5分で完全理解
クラスタリングとは “クラスタ”とは“群れを成す”とか“房になる”といった意味です。コンピュータ用語でいう，クラスタリングとは，複数のコンピュータを房のようにつなげる，といった意味になります。すなわち，複数のコンピュータを接続し，全体で1台のコンピュータであるかのように振る舞わせる技術です。 クラスタリングの目的は，大きく2つに分類できます。 (1) 拡張性，高速性：接続するコンピュータの台数を増やして，性能の向上を図る (2) 高可用性：1台が停止してもシステム全体が止まることはなく，処理を継続させる (1)を実現する技術としては，「HPC(High Performance Computing)」や「ロードバランサ（負荷分散）」というキーワードが挙げられます。 本連載では，(2)の高可用性を実現するクラスタリング技術を対象とします。この高可用性を実現するためのソフトは(1)の技術と区別し
ブレード＆仮想化 稼動編「ソフト代まで考えてなかった」 (1/5)
稼動を開始できるようになったブレードサーバ。それにしても省スペースで、冗長性もリーズナブルに確保できた。次はいよいよシステムのインストール、そして仮想化だ！ イジって分かったブレードの、スゴイところをレポート。 先回の5時間の死闘により、ようやくブレードサーバが使えるようになった。ストレージ・モジュールに差し込んだSATAのHDDは1ブレードに2台づつSASゾーニングで割り付けられ、ブレードサーバ内に差し込んだSAS拡張カードによりRAID1（ミラーリング）を構成し、ブレードからはSASのHDDとして見える状態になっている。 ここまでくれば、普通に10台のPCサーバがあるのと同じだ。今回導入したブレードのCPUは4コアのXeon Quad Core E5405だ。このブレードに仮想化して格納しようとしている古い世代の1CPU1コアので考えれば、10枚のブレードで48コア（計算が合わないのは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.lpi.or.jp/linuxservertext/
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
System Monitoring with Xymon - Wikibooks, open books for an open world