Linuxのしくみを学ぶ - プロセス管理とスケジューリング
「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」公開ページ こちらのページはSoftware Design誌 2009年12月号の記事「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」の公開ページです。 「ハイパーバイザの作り方」も公開中ですので、こちらも是非ご覧ください。 公開中の記事 HTML PDF ePub mobi Kindle 原稿データ 全ての原稿データはgithub上で公開されています。 Pull RequestやIssuesを通じて文章の誤り訂正や解説の追記、各フォーマットの表示の改善などのコントリビューションを受け付けています。 改善された記事は随時このページにアップロードしていきます。 記事に関するご質問 記事を読んで何かわからなかった点があったり、疑問に思ったことがあれば以下の連絡先に問い合わせてください。 Twitter: @syuu
Part1 今こそ「基本設計」のスキルを見直す
システムの構造や実装方針を決定し，アプリケーションの機能，データ，画面などを定義する「基本設計」。ITエンジニアの「コア中のコア」と言えるスキルだが，「最近弱体化している」と指摘する声が増えている。今こそすべてのITエンジニアが，ユーザーの高品質，短納期の要求に応えるために，「基本設計」のスキルを改めて見直すべきだ。 「ベテランのエンジニアは基本設計の一般的な手順は理解しているが，高度化・専門化した実装技術を駆使したアーキテクチャの設計でとまどう。一方，若手エンジニアは実装技術には詳しいものの，肝心の基本設計の基礎的な方法論を理解していないことが多い」――。 こうした悩みは，多くの開発現場に共通する。これは，基本設計そのものが難しくなっているからにほかならない（図1）。 メインフレーム時代は，ウォーターフォール型の開発プロセスと自社の製品の知識さえあれば基本設計をこなせた。しかし，システム
PostgreSQL Internals
本コンテンツは、2014年1月30～31日に筑波大学で開講された「情報システム特別講義D」における講義「Inside PostgreSQL Kernel」の内容を再構成、加筆・修正したものです。 はじめに 本コンテンツについて 本コンテンツへのフィードバックについて アーキテクチャ概要 PostgreSQLの構成要素 PostgreSQLの基本的なアーキテクチャ SQL文の処理される流れ トランザクション管理 トランザクション処理におけるACID特性 各レコードの可視性の管理 Atomicity（原子性）の実装 Consistency（一貫性）の実装 Isolation（分離性）の実装 トランザクション分離レベルの定義 Durability（永続性）の実装 チェックポイント メタデータ管理 pg_controlファイル OID/XID/TID システムカタログ MVCCとストレージ構造 テ
OpenSSH を使って簡易拠点間 VPN - comutt @ Hatena Blog
概要 少し業務とは違うところで、NAT配下のマシン同士で、拠点間のVPNもどきが必要になる場面がありました。 単純な Dynamic Port Forwarding で、 SOCKS プロキシを使う手もあったのですが、やはり、ローカルアクセス相当がしたいと。 調べてみると、 OpenSSH 4.3 から、 tun/tap デバイスを使ったレイヤー2およびレイヤー3のトンリングがサポートされていることがわかりました。 OpenSSH を使った簡易 VPN の構築 そこで、実際にやってみたので、メモ代わりに残しておいてみることにしました。 なお、今回はレイヤー2のトンネリングを行うことにしました。 今回の環境 拠点のサーバ側、およびクライアント側は両方とも CentOS 6.3 を使用しました。 また、ネットワーク構成は以下のものとします。 ネットワーク図 クライアント側での準備 鍵生成 鍵認
kernelチューニング
linuxサーバのOS全体に効くカーネルパラメータのチューニング箇所と その設定値、またその理由をまとめておく。 あくまで自分の環境ではこうした、というだけであり、 提供するサービスごとに検討が必要である。 どこをどう変更するのか、または変えないのか、その判断材料にはなるだろう。 ※ユーザ単位でシステムリソースに制限をかける場合をこちらを参照してほしい。 以下は/etc/sysctl.conf で設定するものとする。 ● 大規模サイト用チューニング kernel.pid_max 動作：pidの最大数 設定値：131072 理由：pidを枯渇させない vm.max_map_count 動作：mmapやmalloc時にメモリを仮想空間にマッピングできる最大ページ数 設定値：300000 理由：マッピングできなくなる事態を防ぐ net.core.somaxconn 動作：接続(ソケット)キューの
過負荷をかわす Apache の設定 : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の9日目です。 前回は php を動かしている Apache の手前にリバースプロキシを 置く必要性を解説しました。 今日は、 その前の php のプロセス数を絞る設定と合わせて、実際に Apache で 設定する方法を紹介します。 以降、 php を動かしている Apache の事をアプリサーバー、リバースプロキシ＋ 静的ファイル配信を行っている Apache の事をプロキシサーバーと呼びます。 基本設定 まずは基本的な設定のおさらいです。 アプリサーバー 並列数を絞るには MaxClients を設定します。アプリがどれくらいの時間を CPUの処理で使って、どのくらいの時間を外部リソース待ちに使っているかにも よりますが、だいたいCPU数の1.5倍〜2倍くらいが適当だと思います。 Hyp
データブロックサイズの変更と分析系クエリへの性能影響（SSD編）
PostgreSQL Advent Calendar 2012（全部俺）のDay 22です。 最近、PostgreSQL上でデータ分析処理をよく行うようになってきました。また、いろいろなところでSSDも使うようになってきました。 PostgreSQLとデータ分析とSSD、という組合せを考えた時、どのようにチューニングするのが望ましいのか、あるいはどのようなチューニングができるのか、個人的にはまだまだ試行錯誤中だったりします。 SSDはハードディスクと比べてブロックサイズが大きいという特徴があります。また、DWH系のデータベースでは大きいブロックサイズを使うとパフォーマンス上のメリットがある、と言われています。 今回は、SSD上でPostgreSQLを使ってデータ分析系の処理を行う時に、データブロックのサイズを変えるとクエリのパフォーマンスにどのような影響を与えるのか、実際にクエリを実行しな
大容量メモリに潜むメモリ枯渇問題最終回 ～Linux HugePageの薦め～｜技術ブログ｜レック・テクノロジー・コンサルティング株式会社
こんにちは。 前回までの内容で標準の4KBページを使用した場合、最大でSGA/512=PTE/1セッションであることがわかりました。サーバに搭載するメモリ容量に比例して許容する接続セッション数を増加させることが多く、思わぬ落とし穴として本連載ではPTEを取り上げてきました。 さて、今回は Oracle Database を使用して HugePage と 4KB(標準) を使用した場合にメモリ使用効率がどのように変化するのかを確認したいと思います。 検証用に使用する環境は、以下の通りです。 RHEL 5.6 (2.6.32) 64bit CPU: Intel Core i7-2600 CPU 3.40GHz メモリ：5GB Oracle Database EE 11gR2 (シングルインスタンス) SGA：3GB 大容量メモリ云々といっておきながらかなり貧弱な環境ですが、HugePageの検
ひとりごと: Java で Hugepage を使用する
2013年12月12日木曜日 Java で Hugepage を使用する JPOUG Advent Calendar 2013 の 12月12日のエントリです。 http://www.zusaar.com/event/1687004 Java で Hugepage を使う方法を紹介します。 Hugepage は、非常に大きなメモリ空間を使用するDatabaseでのみ使用されると思われがちですが、Database の専用技術ではないため Java で使うことも出来ます。 昨今の Java VM では数十GB以上のメモリを使用する環境もよく見るようになりましたので、ひょっとすると Java + Hugepage という組み合わせを使う機会に遭遇するかもしれません。 それでは、どのようにして Hugepage を使用するのかを紹介します。 ■Hugepageの設定を確認する まずは、
Active Directoryはなぜ必要なのか
本連載では「Active Directoryとは？」「なぜ、Active Directoryを使う必要があるのか？」などをあらためて考察し、より効果的に運用するための方法を探っていく。 連載目次 Active Directoryを使う理由とは？ 「十年一昔」とはよく使われる言葉だが、ITの世界における10年は十分過ぎるくらいに昔を指す。 2000年にリリースされたWindows 2000 Serverの目玉機能として登場した「Active Directory」は、現在までに多くの企業に導入されている。Windows Serverのアップグレードを繰り返しながら、10年以上経過しているところもあるのではないだろうか。初期導入からかなりの年月が経過したActive Directoryでは、最初に設計した担当者や運用管理者が入れ替わり、当初の設計意図とはかけ離れたものになっている可能性もある。
プレゼンテーション - hitode909の日記
プレゼン自分ではすべったことないから得意だと思ってるのでいつも気をつけてることをシェアします。これさえ守ればすべらないのだから楽。 目次 目次 最初にめちゃくちゃおもしろい話をする 箇条書きせず一行ずつページを分ける 絵をでかくする 新しいページ作ったらデフォルトのパーツを全部消す 先に言う 意見や疑問を述べる スターウォーズエピソード4を見る 最初にめちゃくちゃおもしろい話をする 聴衆は懇親会のことしか考えてないので、とりあえず最初におもしろい話をして、注意を引きつけるとよい。つかみはこれでオッケーだって言えればよいくらいの面白い話をしましょう。よくある技術ブログとか、技術雑誌だと、こんにちは、最近温泉に行って心身共にリフレッシュしました、ヒトデです、とか書いてあるけど、そんなの読んで喜ぶ人が本人と家族と親類以外にこの世にいたらおかしいから、そういうのじゃないとよい。 箇条書きせず一行ず
/proc/meminfoの情報をzabbixで収集してみる - Qiita
meminfoファイルの中身をzabbix_senderでまとめて送信してみた はじめに zabbixのメモリ関係のアイテムは、取得できるのがtotal、shared、free、buffers、cachedだけでちょっと大雑把(?) そこでmeminfoに記載の情報をzabbixで取得してみようかな、と思った。 で、ユーザパラメータ辺りを使って項目別のアイテムを設定すると、アイテムの取得タイミングが個々で微妙にズレるのが気になるのでzabbix_senderでやってみました。 というお話。 スクリプト #!/bin/sh if [ $# -ne 2 ] ; then echo "This script needs two argments." 1>&2 exit 1 fi zbxHOSTNAME="$1" zbxSERVER="$2" TIMESTAMP=`date +%s` TEMPFI
Zabbix Sender によるバッチ処理結果の監視 | Tricorn Tech Labs
以下、それぞれの比較についての説明です。 1. 監視ホスト名の任意設定 ZabSender の場合、バッチ処理実行ホストから情報を送った場合であっても、その情報を登録する先の監視ホスト名を別のもの (例えば日次バックアップなどであればバックアップ対象のホスト名) にすることが可能です。上図の例で言えば zabbix_sender コマンドを実行するのが bk というサーバであっても、バッチ処理成否を登録する監視ホストを web や mail に指定可能 ということですね（下図）。 一方 Zabbix Agent を用いる UserParam 1,2 の場合は監視ホスト名はバッチ処理実行ホストに固定されるため、アイテムやトリガーに個別に対象ホスト名を付与するなどの工夫が必要となります（下図）。 アイテム名を共通化できた方がテンプレート化も容易であり、管理上は ZabSender の方が便利と
Zabbix Senderで複数の値を一括登録 - ike-dai's blog
Zabbixの非常に役に立つ機能として、 Zabbix Senderというものがあります。 これは、Zabbix Serverから定期的にポーリング監視するのではなく、 監視される側から値をZabbix Serverに対して送りつけることができる機能です。 Zabbix SenderはZabbix Agentをインストールことで合わせてインストールされます。 rpmパッケージでzabbix agentをインストールした場合には、/usr/bin/zabbix_senderというパスでzabbix_senderがインストールされます。 基本的な使い方 基本的な使い方としては以下のようになります。 $ zabbix_sender -z "zabbix serverホスト名orIP" -p "zabbix serverポート番号" -s "ホスト名" -k "キー名" -o "値" 例えば、10
ZABBIX SNMPTrapﾀﾟﾄ� - Knowlege Database
traphandle default [SCRIPT NAME] ZABBIX､ﾋﾉﾕﾂｰ､ｹ､�SNMPTrapﾏ｢ｷﾈﾍﾑ･ｹ･ｯ･�･ﾗ･ﾈ(snmptrap.sh)､ﾘﾄ熙ｹ､�｡｣ ･ﾑ･ｹ､ﾏ･､･ｹ･ﾈ｡ｼ･�ﾀ隍ﾋｽ爨ｸ､ｿﾃﾍ､ﾋﾊﾑｹｹ､ｹ､�｡｣ snmptrapd.confﾀﾟﾄ�ﾎ� authCommunity log,execute,net private authCommunity log,execute,net public traphandle default /bin/bash /usr/local/zabbix/sbin/snmptrap.sh ｰﾊｾ螟ﾎﾀﾟﾄ熙ﾔ､､｡｢snmptrapd､ﾆｵｯﾆｰ､ｹ､�｡｣ ↑ 2. ZABBIX･ｵ｡ｼ･ﾐﾀﾟﾄ� † ZABBIX･ｵ｡ｼ･ﾐﾂｦ､ﾏSNMPTrapﾏ｢ｷﾈﾍﾑ･ｹ･ｯ･�･ﾗ･ﾈ(
Zabbix マニュアル [Zabbix]
This page does not exist, or has been moved! Here are some helpful links instead: Home Zabbix Overview Solutions Professional Services Technical support Training Program Partner Program Community About US Documentation Get started in 10 minutes - absolutely FREE Download Zabbix Zabbix is a professionally developed open-source software with no limits or hidden costs.
RPM Search
Search for rpms which contain given file name (1) e.g. libhistory.so New look for FTP search. Search for rpms by name. Search for rpms by name in FTP world resources (2) e.g. rpm-4*i386.rpm (1) Give exact file name. Search through information about files content with extension .i386.rpm . Default searched file list and provides tag. (2) Type as much letters from file name as you can. Minimum is 3.
オンラインマニュアル ページ移転のお知らせ：ミドルウェア：ソフトウェア：日立
日立オープンミドルウェアは、お客様の既存の財産を生かしながら、高い信頼性と柔軟性、自律性を備えたITシステムの実現を支えています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.someya-net.com/04-readingtext/
3 Minutes Networking