DBサーバ向けLinuxチューニングを考える 〜 メモリオーバーコミット編 : DSAS開発者の部屋
Cでプログラムを書いていて大量のメモリを確保したくなったとき、大抵は mallocを使うと思いますが、その際には戻り値がNULLかどうかを判断してエラー処理に飛ばすと思います。しかし、Linux のメモリ管理サブシステムには「メモリ・オーバーコミット」という機構があり、実装されているメモリ以上の領域を確保できてしまいます。 #include <stdio.h> #include <stdlib.h> int main() { int i; char *p; for(i=0;i<65536;i++){ p = (char *)malloc(65536); if(0 == (long)p){ break; } } printf("SIZE=%dMB\n",i*65536/1024/1024); return(0); } swapoff したメモリ 1G のマシンでこれを実行するとこんな感じにな
Linux のオーバーコミットについて調べてみた
Linux のオーバーコミットのはなし ==================================== （これを書いたのは Linux 2.6.38 のとき） Linux カーネルは実メモリ以上にメモリをプロセスに割り当てることができる この仕組みをオーバーコミット (over-commit) と呼ぶ オーバーコミットでは，とりあえずメモリを `malloc` させて仮のアドレスを返しておき， 実際に使われる段になってはじめて実メモリを確保する． 実験 --------- ただ `malloc` し続けるだけのプログラムを作って実験してみる． このプログラムをメモリ 1 GB + スワップ 1 GB のホストで実行してみると， $ free -t total used free shared buffers cached Mem: 1022404 82992 939412 0 4
【RHEL】linuxメモリのfreeとmeminfoの関係を図解し利用率の計算方法を説明してみる - のぴぴのメモ
はじめに linuxのメモリ利用容量(空き容量)の考え方 linuxのメモリ利用容量/空き容量の計算方法 ■RHEL7 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL6 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 ■RHEL5以前 【freeコマンドとmeminfoの図解】 【計算方法】 freeコマンド表示例 /proc/meminfo表示例 蛇足 その1：無名ページとファイルページ その２：図解の内容のツッコミ その３：RHEL6の計算 その４：Inactiveを空き領域とすることは間違い。 はじめに linuxサーバを利用する上で何時も頭を悩ますものの一つが、メモリ利用状況の評価(メモリ利用率)ではないでしょうか。私も悩みます。そこで
サンプルで使って慣れる。ffmpeg の使い方。 - それマグで！
ffmpeg って色々出来るんだけど、オプションが慣れないとわからないというか。コンテナとかフォーマットとかコーデックとか色々あってね。ちょっと取っ掛かりが分かり難い。僕も色々やってみたけど、「習うより慣れ」でした。 ffmpegの基本 ffmpeg -i 入力ファイル名 その他いっぱいオプション "出力ファイル名.拡張子" です。最初は上記の構文だけ頭に入れておきます。ffmpeg は使いかたも概念もややこしいので、とりあえずパターンで覚えて、その後に理屈を攻めていけばいいさ 本エントリの目標 基本的な使い方を覚えて、２パスで高画質エンコード*1のオプションを暗記する。地デジのTSをエンコード出来るように。 ２パス エンコードまでやります。 ffmpeg で動画を変換してみる。 適当な動画を一本用意する。とりあえずニコニコ動画から、なんかFLVを一本ダウンロードして用意。 あんまり長いフ
Linux上でシェルが実行される仕組みを，体系的に理解しよう （bash 中級者への道） - 主に言語とシステム開発に関して
バッチのまとめTOPへ bash 初級者は，簡単なコマンドが並んだだけの小さなスクリプトを書くことができる。 しかしシェルの動作原理をよく理解しておらず， 一歩進んだことをやろうとするとつまずく。 シェルスクリプトの中級者になるためには， Linux上でシェルが動作する仕組みを体系的に理解しておく必要がある。 （１） シェルとコマンドについて （１−１） シェルとは，OSに命令を出すために，OSを包んでいる外膜である。 （１−２） Linuxログイン時には，そのユーザ用のログインシェルが起動する。 （１−３） ユーザが打ち込んだコマンドは，実行前に，bashによって整形される。 （１−４） コマンドの先頭の文字列は，実行可能ファイルか，またはbashの組み込みコマンドである。 （２） コマンド間の連携について （２−１） コマンド呼び出しとは，サブプロセスの生成である。 （２−２） 親プロ
LinuxでNICを入れ替えたら、udevで引っ掛かった: Once-in-a-Lifetime Chance
自宅のLinuxサーバのNICを入れ替えたら、NICが有効にならなかった。 モジュールはロードされているのに、 # ifconfig eth0 up としても、デバイスがないと言われてしまう。 # dmesg | grep eth で調べたら、以下のような行が表示された。 udev: renamed network interface eth0 to eth1 つまり、NICは一つしかないのにeth1に割り付けられていたのだった。 これは、udevはNICのMACアドレスとeth*を紐付けているため、以前に使っていたNICが eth0として記録され、新しいNICがeth1とされてしまうためである。 その記録は、 /etc/udev/rules.d/70-persistent-net.rules に保存されているので、eth0を指定している以前のNICの情報を削除し、 新しいNICをeth0
RHEL7/CentOS7でipコマンドをマスター - めもめも
何の話かというと RHEL7/CentOS7では最小構成でインストールすると、ifconfig、route、netstat、arpなどのネットワーク関連のコマンドが使えません。これは、次のコマンドで「net-tools」パッケージを導入すると解決します。 # yum -y install net-tools しかしながら！ RHEL7/CentOS7では、net-toolsを「deprecated（廃止予定）」としており、今後は、iproute2パッケージに含まれる「ip」「ss」などのコマンドを使用することが推奨されています。 ・お客さんのRHEL7サーバーのメンテを頼まれたらnet-toolsが入ってなかった！ ・「えー。まだifconfigつかってんのー。」と若い同僚に冷たい目で見られた！ ・などなど といった事態に備えて、RHEL7/CentOS7を導入した際には、iproute2
RHEL6.1 を使い倒す Resilient Storage(GFS2)
Resilient Storage はRHEL6のAdd-onパッケージの1つで、GFS2とCLVM、Clustered Samba(プレビュー版)が含まれている。 RHEL5まではAPサブスクリプション上でクラスタと一体化して提供されていたが、RHEL6からはGFS2が単独のアドオンになった。 大まかな機能は以下のように振り分けられる。 CLVM・・・複数サーバ間で共有されるLVM2 GFS2・・・複数サーバ間から同時にアクセスできるファイルシステム Clustered Samba・・・複数サーバ間でCIFSのロック状態等を共有できるGFS2を前提としたSamba Samba & ctdb ・・・gfs2上で稼働するクラスタSAMBA(ctdb) ざっくり言えば Resilient Storage はプレビュー版ということはあるけど、IsilonのようなスケールアウトNASを実現するため
SSL証明書をSHA–1からSHA–2に更新する際にはご注意を！ | さくらのナレッジ
現在SSL証明書の署名アルゴリズムがSHA–1からSHA–2へと変更になる過渡期となっています。今後はSSL証明書の新規取得や更新を行う際にはSHA–2の証明書を取得することになると思いますが、いつも通りの慣れた作業と思っていると、思わぬところでハマるかも知れません。 今回は実際に更新作業をした経験を踏まえて取得/更新作業の注意点について簡単にまとめてみました。 そもそもなぜSHA–2に移行する必要があるのか？ 署名アルゴリズムがSHA–1の証明書は非推奨となり、ゆくゆくは廃止となる流れとなっています。基本的にSHA–1の証明書は2017年1月1日以降使えなくなると考えてよいでしょう。そして2016年12月31日までにSHA–2に移行する必要があります。 詳細はここで説明すると長くなりますので、次のようなSSL証明書の発行元のサイトの解説を参照してください。 SHA–1証明書の受付終了とS
cURL - How To Use （マニュアルページ日本語訳）
This page is a Japanese translation of the manual page of the command line tool 'curl'. (more about this page) curl.1 man ページ 名前 curl - transfer a URL curl - URL 転送 書式 curl [options] [URL...] 説明 curl is a tool to transfer data from or to a server, using one of the supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE). The command is designed to work without use
Welcome to the RPM repository on rpmfind.net
Welcome to the RPM repository on fr2.rpmfind.net rpm2html automatically generates Web pages describing a set of RPM packages. The Rpmfind tool allows automate the search of packages from the RPM Database or maintain your system up-to-date in a more automated way. The goals of rpm2html are also to identify the dependencies between various packages and to find the package(s) providing the resources
SysVinit to Systemd Cheatsheet - Fedora Project Wiki
This is a document to help system administrators who need to understand what commands in systemd replace their old workflow in sysvinit. If you want general information on systemd, refer to systemd. Note on 'service' and 'chkconfig' commands The 'service' and 'chkconfig' commands will mostly continue to work as expected in the systemd world, this guide is how to use the native systemctl replacemen
シェルで変数のインクリメントに expr を使うと100倍遅い件
シェルプログラミングにおいて、ループカウンタなどをインクリメントするとき、どのようにしますか？ いきなりですがサンプルから。 #!/bin/bash COUNT=0 while [ $COUNT -lt 1000 ]; do # 何かの処理 COUNT=`expr $COUNT + 1` # COUNT をインクリメント done expr コマンドを使う？ シェルプログラミングの入門記事などを見ると、変数のインクリメントに上記のような COUNT=`expr $COUNT + 1` を用いているものが多くあります。 しかし、この書き方は とても遅い です。空のループを1000回繰り返すだけでも手元の mac (Core i7) で約2秒もかかってしまいました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blog | 俺的備忘録 〜なんかいろいろ〜
RHEL7/CentOS7 NetworkManager徹底入門