第29回 Reactorで非同期処理をやってみよう（1） | gihyo.jp
はじめに WebサービスのAPIをコールするような、ネットワークを介した通信処理は、今日では頻繁に行われています。 ローカルマシンのみで完結する処理と比べると、通信が必要な処理は多大な時間が必要になります。相手サーバへの接続、相手サーバ側での処理、相手サーバからの受信など、何もすることなくただ待つだけの時間が存在します。 この無駄な時間の間に他の処理ができるならば、トータルの処理時間を大幅に短縮することが可能になります。これを実現するためにスレッドがよく使われています。しかしマルチスレッドプログラミングはいろいろと注意を払う点も多く、使いにくさを感じている方も多いのではないでしょうか。 今回はReactorパターンという、マルチスレッドとは違ったアプローチで非同期処理を実現してみたいと思います。 複数のwebサーバからHTML文章を取得してみる 同期処理 ひとまず非同期処理を忘れて、シーケ
I/Oを多重化するためのシステムコール(select, poll, epoll, kqueue) - $shibayu36->blog;
サーバ周りの勉強していると、たまにselectとかepollとか言葉が出てきて、理解できてなかったので調べてみた。 I/Oの多重化 例えばサーバ周りの実装を、特に何も考えずにやると、I/Oでブロッキングが発生し、一つのクライアントとしか通信できないということが起こります。これを解決するために fork threads I/Oの多重化 非同期I/O といった方法があります。 この中のI/Oの多重化を実装するためのシステムコールとして、select, poll, epoll, kqueueなどは実装されているようです。 少し調べてみると、次のような記述のような機能をそれぞれが実装するようです。 プログラムで複数のファイルディスクリプタを監視し、 一つ以上のファイルディスクリプタがある種の I/O 操作の 「ready (準備ができた)」状態 (例えば、読み込み可能になった状態) になるまで待つ
Webアプリケーションエンジニアに知っていて欲しいインフラの知識 - blog.nomadscafe.jp
過去に何回か、Webアプリケーションエンジニア向けのインフラ勉強会があったらいいなぁとtwitterにつぶやいたことがありますが、じゃぁ実際どんな内容が良いのか、あまりまとまっていませんでしたので、整理してみました。 まぁ「Webアプリケーションエンジニアに知っていて欲しいインフラの知識」と言いながらWebアプリケーションの運用の仕事をしている自分でも専門にやっている方からみて完璧に答えられる自信はありません。ただ今の世の中ググれば答えは見つかるので「概要は知っている」そして「詳細を調べる方法を知っている」ぐらいで問題ないと思っています。 ネットワークにおけるレイヤ2,3,4,７の概要 TCP/IPの通信開始、通信終了時の状態遷移の把握 IPアドレス、セグメント、スタティックルーティング、NAT CPUのトレンド HDDの構造 RAIDレベル、RAIDカードのBBUの役割 SSDの特徴 ハ
インフラエンジニアであるか見分ける10の質問への回答 - smellman's Broken Diary
インフラエンジニアであるか見分ける10の質問をダメなインフラエンジニアが回答してみました。 1. 今まで自身で構築したサーバの種類と、その構築方法について説明せよ Application Server, Web Server, Database Server, File Server Application ServerはWeb Serverと共有しているケースが多い、主にPassengerを使ったケース。冗長化するケースが多いので、大体pound使ったりする。 Database ServerとFile Serverも何故か共有することが多い。File Serverと言っても大体Application で利用するファイルの共有がメイン。 DRBDでデータベース領域を共有化しておいて、Heartbeatで監視というのが大体のパターン。そろそろpeacemakerに浮気をしたい所存であります。
Geekなぺーじ : IPv4とIPv6の違い
ここでは、プロトコルに起因するIPv4とIPv6の違いを扱っています。 デュアルスタック環境に伴う問題点などは今回は範疇外です。 IPv4のアドレスは32ビット、IPv6のアドレスは128ビットである点が最も大きな違いです。 ただし、IPv6のアドレスのうち上位64ビットがネットワークアドレスとして利用されるため、実際には「128ビットという無限のアドレス」というのは運用上は事実ではなく、インターネットの43億倍の数倍(ネットワーク数なので正確には言いにくいため)ぐらいです。 IPv4では「198.51.100.254」のような表記ですが、IPv6では「2001:db8:aaaa:bbbb:cccc:dddd:eeee:1」のように「:」で区切る表記になります。 「::1」のように、ゼロを省略することも可能です。 IPv4では通信の種類は、ユニキャスト、ブロードキャスト、マルチキャストの3
浸透いうな!
DNSの引越しをしたけどうまく切り替わらない。なかなか浸透しない。業者に問い合わせると「DNSの浸透には数日かかることもあります。お待ちください」と言われた。 、、、という話をよく聞きますが、「浸透」(伝播、伝搬、浸潤、反映などとも呼ばれる)ってなんでしょう? DNSの設定を変更するのは「浸透」という謎の現象に託す神頼みのような作業なのでしょうか。 2011.10.16 追記:「浸透」と言っている例 DNSの仕組み まず、DNSの仕組みと、特にキャッシュの動作について解説します。...と思いましたが、とっても大変なので省略します。ただ、権威サーバに登録された情報が世界中のキャッシュサーバに配信されるなどという仕組みは DNS には存在しません。浸透という人はそう思っているようですが。(こんなふうに) 「浸透」という言葉で騙されていませんか? 事前に変更したいDNSのレコードのTTLを短くし
IPv6アドレスについて知っておくべき10のこと
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 12月10日更新：本記事の項目4と項目6について、IPv6分野の最新状況を追記した。詳しくは各項目を参照されたい。 ここ数年、IPv6は徐々に主流の技術になりつつある。しかしIPv6はIPv4と大きく違っているため、多くのITプロフェッショナルは、IPv6への移行と言ってもどこから手を付けていいかわからないのが現状だ。この記事では、IPv6のアドレッシングの仕組みを理解するのに役立つ、10のポイントを紹介する。 1．IPv6アドレスは128ビットの16進数 われわれが見慣れているIPv4は、4つの10進数からなっており、これが合わさって32ビットのアドレスを構成する。しかしIPv6アドレスは、IPv4のアドレスとは似ても似つかない。IP
iptables設定 - ku ryze denik ●〜*
via http://fedorasrv.com/iptables.shtml とても素敵な設定例です。ありがとう↑の人！。 （１）ファイアウォール設定スクリプト作成 mkdir /root/iptables cd /root/iptables/ chmod 700 /root/iptables vi iptables.sh #!/bin/bash #---------------------------------------# # 設定開始 # #---------------------------------------# # インタフェース名定義 LAN=eth0 #---------------------------------------# # 設定終了 # #---------------------------------------# # 内部ネットワークのネットマス
LANの盗聴とその予防
LAN内の盗聴とその予防 04kc104 山下泰介 指導教員 坂本 直志 目次 1.はじめに 1.1 盗聴被害 1.2 被害予想の具体例 2.基礎知識 2.1 パケット 2.2 Ethernet 2.3 スイッチングハブ 2.4 ARP 2.5 IP 2.6 DHCP 2.7 中間者攻撃 3.盗聴手口と対策 3.1 ARP Spoofing(ARP Poisoning) 3.2 ARP Spoofing対策 3.3 ICMP Redirect 3.4 ICMP Redirect対策 3.5 DHCP spoofing 3.6 DHCP Spoofing対策 3.7 Port Stealing 3.8 MAC Flood 3.9 Port Stealing, MAC Flood 対策 3.10 盗聴対策まとめ 4.その他の盗聴防止方法 4.1 プロミスキャスモードのホストを発見する 4.2
Geekなぺーじ : IPアドレスにまつわるチョイネタ
IPv4アドレスの例としては、上記IPv4アドレスを使えばいいわけですが、世の中を見ると結構好き勝手なIPv4アドレスを例として利用している事例が多いというのが現状ではないかと思います。 私が初めてこれを知ったのは、kazuさんのブログの「あどけない話：例として推奨されているドメイン名とIPアドレス」を読んだときです。 それまでは、知らなかったので、適当なIPv4アドレスを使ったサンプルを書いてしまってました。 申し訳ありません。。。 余談ですが、kazuさんは、私が「技術的に一生追いつけそうにない」と思っている凄い人の一人です。 こういった凄い方々を色々と見ていると、私が自分のサイト名に「Geek」という在らぬ単語を入れてしまったことを悔いていたりします。 以前から書き続けていますが、私は「ギーク」なんかじゃないです。サイト名は気のせいです。すみません。。。 というか、そういう「凄い」と
これだけは知っておきたい ネットワークの常識 - sanonosa システム管理コラム集
この本には以下の特徴があります。 ・（なぜか世の中であまり見かけない）中級～上級を目指す方向けの入門本です。 ・多くの初心者向けの本みたいに重要なことを端折って書いたりしていません。ただし正確性を重視したため、文章はやや硬派と言えます。 ・ネットワークエンジニアと呼ばれる人が知っていないといけない事項をもれなく詰め込んでいます。プロトコルやフレーム、パケットというレベルはもちろんのこと、IPv6、BGP、トランジット、およびピアリングなども本書でカバーしています。 書店でよく見かけるネットワークの本は、中小企業の社内システム程度を想定したやさしい内容のものばかりです。しかしそういった本しか読んでいない人は多分知識不足で実際の現場では使い物になりません。 そこで本書では、ネットワークの入門書で勉強した人が次に読む本として構成しました。また現役のネットワークエンジニアの方も、自身が足りない知識
そうだ、DNSを調べよう。 - しょんぼり技術メモ
なんかYahooにつながらないネタがHOTなので。 基本 DNSの調査を行うときは、digコマンドが便利です。詳しくはぐぐれ。 $ dig A 調べたいホスト名 @使用するDNSサーバが(Aレコードに対する)基本形です。担当するネームサーバなども知りたいときは、AではなくANYを指定します。 例： $ dig A d.hatena.ne.jp. @8.8.8.8 ; <<>> DiG 9.3.6-P1-RedHat-9.3.6-4.P1.el5_4.2 <<>> A d.hatena.ne.jp. @8.8.8.8 ;; global options: printcmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 50817 ;; flags: qr rd ra; QUERY: 1, ANSWER:
自宅サーバのインフラ設計書を公開します - @int128
自宅サーバのインフラ設計書を公開します。 Design paper of the home server（抜粋） 昨夜にTwitterで公開したら予想外に反響があったので、ちゃんとエントリに残すことにしました。クラックされるおそれがあるので、細かい部分は公開できないことをご了承ください。 内容はこんな感じ。 要件概要 機器仕様 ネットワーク設計 ソフトウェアスタック設計 共通基盤設計 サーバ詳細設計 上記にバックアップ設計や運用管理まわり*1を加えれば、インフラの設計書はだいたいこんな感じではないかと思います。 インフラの要件定義は難しい 一方で、インフラの要件定義は十分に標準化が進んでおらず、会社やチームによって文化がかなり違います。特に受託開発（SI）の場合は、お客様の中にインフラに詳しい人がいなくて調整に苦労することも多いと思います。費用と可用性のトレードオフの部分はなかなか伝わりづ
大規模インフラの監視システム | GREE Engineers' Blog
こんにちは。インフラチームの ebisawa です。 今回はグリーのインフラにおける各種機器の監視がどのように行われているのかご紹介させていただきたいと思います。一般にサーバの監視というと、システムダウンを検出するための死活監視を意味する場合と、ネットワークトラフィック等のモニタリングのことを意味する場合とがあります。今回の監視は特に後者についてのお話です。大規模なインフラの監視には、やはり特有の課題があります。 どんなツールを使っているのか グリーではサーバの各種リソース使用状況をモニタリングしてグラフ化するためのツールとして、Cacti を利用しています。Cacti は、大変有名なツールなので皆様ご存知かと思いますが、バックエンドの RRDtool で作成したグラフを閲覧するための使いやすいユーザーインターフェイスを備えています。 http://www.cacti.net/ ツールの使
小悪魔女子大生のサーバエンジニア日記
ECC版SSL証明書インストール体験記その4 02.08.13 / 未分類 / Author: aico / Comments: (0) では、いよいよ発行されたECC証明書をインストールしましょう！ 実はECC版SSL証明書は現在、ブラウザ・OSによっては対応していないものも多いので、 対応していないものはRSAの証明書を読むように、ECCとRSAのハイブリッド構成をすることが出来ます。 そしてなんと、ECCの証明書を申請するとRSAの証明書も一緒にもらうことが出来ます(ベリサインさん太っ腹！) なので今回はECCとRSAのハイブリッド構成を組みつつ証明書のインストールを行います！ まずはベリサインのサイトで中間証明書を確認しましょう。 発行されたCRT、中間証明書、秘密鍵は必ず対になっている必要があります。 対になっていないとエラーになってしまいます。。 小悪魔ブログは最初、中間証明書
日々是横着 - 「サーバ」に対する誤った認識
最近、常時接続というのが当り前になり、自宅サーバを立てることを 勧めるような書籍や Web ページが非常に多く出てきているので、 自分でもサーバを立ててみたいと思っている人を多く見受けます。 しかし、サーバを立てる際に気をつけるべきことを全く認識せずに 立てようとしている例も非常に多く見受けられます。 ここは、インターネットに公開するサーバを立てる際に一般の方が 勘違いしがちなこととそれに対する(私の個人的な)回答を、 世の中に溢れる「自宅サーバ立てよう！」系の書籍/Web ページには あまり書かれない 「自分でサーバを立てるのは大変だからやめよう！」 という視点で行い、 サーバ運営の現実をしっかり認識して頂くための ページです。 対象とする読者は基本的に 「サーバを自分で立てようと思っている人全員」で す。特に 「あまりコンピュータに詳しいわけじゃないけど、 なんだか自分で立てられるって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.asial.co.jp/816
Amazon.co.jp: 小悪魔女子大生のサーバエンジニア日記 ――インターネットやサーバのしくみが楽しくわかる: aico (著), 株式会社ディレクターズ (著), 村井純 (監修): 本
http://blogging.from.tv/wp/2010/11/07/4405
3 Minutes Networking