linuxにおけるメモリと関連コマンド（free, vmstat, top, sar） - 銀色うつ時間
linuxにおけるメモリの扱いを中心として、関連する統計情報の閲覧、監視ツールの見方についてまとめる。下に挙げた技評の2冊および学びの多かった記事を基にしています。 ページキャッシュ freeとかtopとかの説明に入る前に、まず、OSのキャッシュの話から始める。大規模なデータを扱う際、Linuxはキャッシュの仕組みによって効率的にメモリ管理を行うことで、ディスクへのアクセスを減らし、データアクセスを高速化している。これは「ページキャッシュ」と呼ばれる仕組みで実現している。 Linuxには仮想アドレスと呼ばれる機能を提供している。論理的なアドレス（リニアアドレス）をOSが提供することによって、各プロセスはメモリ（あるいはスワップ）の物理的なアドレスを気にすることなく扱うことができるようになる。この際、Linuxはメモリ領域をアドレス単位ではなく１つのまとまったブロックとして提供しており、その
2015年Webサーバアーキテクチャ序論 - ゆううきブログ
2023年03月31日追記：この記事を基に、@sadnessOjisanさんより、コードレベルにより踏み込んだ、かつ、グリーンスレッドベースの新しいWebサーバアーキテクチャも含めて整理された記事 Webサーバーアーキテクチャ進化論2023 | blog.ojisan.io が公開されました。 主に新卒のWebエンジニア向けに、古典的なWebサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介します。 この辺りの話題がWeb界隈で流行っていたのは数年以上前というイメージですが、Webサービスは相変わらずWebサーバの上で動いているので、流行り廃り関係なく学ぶべき内容だと思っています。 また、HTTP/2がいよいよRFC化し、既にh2oやtrusterdなどのHTTP/2のサーバ実装があり、今後Webサーバアーキテクチャを再訪することが増えるような気がしています。 ところが、We
マルチスレッドのコンテキスト切り替えに伴うコスト - naoyaのはてなダイアリー
また Linux カーネルの話です。 Linux では fork によるマルチプロセスと、pthread によるマルチスレッドでの並行処理を比較した場合、後者の方がコストが低く高速と言われます。「スレッドはメモリ空間を共有するので、マルチプロセスとは異なりコンテキストスイッチ時にメモリ空間の切り替えを省略できる。切り替えに伴うオーバーヘッドが少ない。」というのが FAQ の答えかと思います。 が「オーバーヘッドが少ない」と一言にいわれても具体的にどういうことなのかがイメージできません。そこで Linux のスレッド周りの実装を見て見ようじゃないか、というのが今回のテーマです。 3分でわかる(?) マルチプロセスとマルチスレッド まずはうんちく。マルチプロセスとマルチスレッドの違いの図。以前に社内で勉強会をしたときに作った資料にちょうど良いのがあったので掲載します。Pthreadsプログラミ
【ln -s】シンボリックリンクをちゃんと理解―絶対パス 相対パスでのリンク張り - tweeeetyのぶろぐ的めも
はじめに linuxコマンドのlnについてのおはなし 特に相対パスでのシンボリックリンクについて。 普通にシンボリックリンク シンボリックリンクはこんな説明が多い ln -s リンクされるfile(or dir)パス リンク名称ぜんぜんそうだね、と思ってたけど相対パスでのシンボリックリンク時につまづいた。 自分がよく使うのはこんな感じ ln -s /tmp/anydir1/anydir2 /home/hoge/anydir2理解してなかったのは相対パスでシンボリックリンクを貼るとき。 相対パスでのシンボリックリンク ファイルの構成がこんな感じだったとして。。。 # tree ./lntest/ ./lntest/ └── projectDir └── dirA ├── dirB ├── dirC │ └── dirD │ └── dirE ←ここにdirGへのシンボリックリンクを相
公開鍵でSSHに接続できないとき（おまけ：複数の公開鍵を一つのユーザーに設定する）
SSHが鍵認証されないとき、パーミッションを疑え。 – ブックマクロ開発に これがうっかり７７７になってた。ホームディレクトリが７７７だと永遠にauthorized_keysは無効化される。 気付くまでに30時間くらい試行錯誤して週末が消えた。 ああ…そうなのか… 結果的にこうしたら上手くいきました。 /home/usename [0755]/.ssh [0700]authorized_keys [0600] 一応、認証できているユーザーを参考にパーミッションのチェックもしていたはずなんですけど、場当たり的に変更してたせいで、一つを正しく設定したのに他の一つを間違って設定→混乱みたいなことやってました。最終的には「.ssh」ディレクトリのパーミッションが777になってました。間抜けすぎ。家族みんなで鍵掛けて最終的に開いてました的な。パーミションをいい加減に設定したらダメだね。 上手くいかな
シェルスクリプトで乱数を扱う - hyconの日記
シェル組込変数 RANDOM bashやzshなど一部のシェルでは特殊な変数 RANDOM があり、参照する毎に範囲の小さい整数を得ることが出来ます。 $ echo $RANDOM 30940 $ echo $((RANDOM % 100)) 22 jot(1) jot(1)は連番や乱数を出力するプログラムです。出力回数や範囲を指定出来るのでなかなか使い出はあります。deb系では athena-jot パッケージをインストールします。 $ jot -r 1 10 99 72 $ jot -r 10 1000 9999 8881 2834 3537 5889 7430 9962 4905 9548 3575 9762 awk awkの関数 rand() で0–1の範囲の実数の乱数を扱えます。srand() で乱数の初期化することを忘れずに。 $ awk 'BEGIN{srand();prin
SSHに公開鍵認証で接続する際に Too many authentication failures が出る
結論 ~/.ssh/config の設定に IdentitiesOnly yes を追記すれば解決しました。 # 例 Host 6vox HostName 192.168.0.xxx IdentityFile ~/.ssh/id_rsa_6vox User 6vox IdentitiesOnly yes # <- これ！ 原因 IdentitiesOnly yes の指定がないと、IdentityFile に記述しているファイルを見ずに、秘密鍵を上から順にチェックしていきます。 .ssh/conf に定義がいっぱい書かれていると、リトライを繰り返して、５回目くらいでサーバ側から切断されます。 ssh -v host_name で叩くとわかりやすいです。 指定していない秘密鍵で５回位失敗して切断されます。 指定してるんだけどな… Macだけ？sshの設定？ まとめ .ssh/config の
処理が遅い場合の調査
処理が遅い場合, 問題が, ディスク I/O, CPU能力, ネットワ−ク, メモリ不足, NFS 等のうちどこにあるかが問題になる.(いや,他にもありうるけど) ディスク I/O や ネットワ−クが問題になることが多いと思う. ネットワ−ク関連では, hosts ファイル や DNS に無登録のマシンだったり, NIS 参照に問題が出ていたり, また, 自分自身でなく NFS サ−バが遅いのが原因の例もあった. 機材の故障やケ−ブル不良で, ネットワ−クに大量のエラ−がでているのが 原因のことも多い. 複数の DNS サ−バを参照しているばあい, DNS サ−バの参照順が適切か考え直してみる. 使用する tool vmstat, free, top, netstat,tcpdump 等は普通に使えると思う. 負荷のモニタは procmeter が気に入っている. ネットワ−クの状況は I
topコマンドで覚えておきたい使い方14個 | 俺的備忘録 〜なんかいろいろ〜
topコマンドといえば、よくLinuxのパフォーマンス状態をモニタリングするために利用されているコマンドだ。 今回は、そんなtopコマンドで覚えておきたい使い方14個を紹介する。 なお、検証で使用したtopコマンドはCentOS 7 で利用している「procps-ng version 3.3.9」のものとなっている。 1.基本的な使い方 基本的には、オプション無しで以下のようにコマンドを実行する。 top top - 07:21:06 up 4 days, 17 min, 4 users, load average: 0.00, 0.00, 0.00 Tasks: 186 total, 1 running, 185 sleeping, 0 stopped, 0 zombie Cpu(s): 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
