Linuxサーバがディスク容量不足になった！何か消さねば！ってなった時にどう対処するか - 元RX-7乗りの適当な日々
とりとめもなく書いてみる。主にルーキー向けです。 サーバの運用とかやっていると、不定期ではあるが、たまにタイトルのようなディスク容量が逼迫する話題に直面します。 まぁ、それが起こるのは一旦良いとして、みんなこういう時、どうやって調べているのだろう？ とりあえず、僕がどうやってるか書いてみます。 何はともあれ現状確認 みんな大好き"df"コマンドです。細かい説明は省きますが、各パーティション・ファイルシステムごとにディスクの使用状況を確認。 # df -h Filesystem サイズ 使用 残り 使用% マウント位置 /dev/sda3 130G 88G 36G 72% / /dev/sda1 494M 23M 447M 5% /boot tmpfs 12G 0 12G 0% /dev/shm正確とは言いませんが、だいたいどのパーティションにどのくらい容量が空いているかが確認できます。 ど
デブサミ2014「サーバプロビジョニングのこれまでとこれから」講演メモ #devsumi - 元RX-7乗りの適当な日々
期待通り、面白い話だったのでメモを残しておく。 「サーバプロビジョニングのこれまでとこれから」 宮下 剛輔 氏 mizzy @gosukenator paperboy&co. テクニカルマネージャ サーバプロビジョニングとは プロビジョニングは3つのレイヤがある。 orchestration application service orchestration configuration system configuration bootstrapping cloud or vm image launch os install あまり厳密に捉えすぎる必要はない。とのこと。 Bootstraping 今日は割愛 Configuration ミドルウェアのインストールとか設定とか いわゆる構成管理ツール CFEngine, Puppet, Chef, Ansibleなど 会場は、Chef利用者多
複数のWebサーバでSSLセッションキャッシュを共有してSSL処理を高速化(Apache + mod_ssl + mod_socache_memcache) - 元RX-7乗りの適当な日々
HTTPS(SSL利用)サイトがSEO的に優遇されるトレンドで、世間的にもHTTPS接続でサイト運用するサービスが増えてきています。 これが、ハイトラフィックサイトになってくると、このフロントエンドでSSL処理させることが負荷的にもなかなか辛いのです。 で、Apache 2.3以降では、Shared Object Cache Providerとして、memcachedが選択できるようになっています。 この仕組みを利用して、Apacheとmemcachedを並べることで、各サーバでユーザのSSL Session Cacheを共有しながらHTTPSリクエストを負荷分散できる構成を作ってみました。 WebサーバでSSLオフロード 常時SSLを利用したWebサイトを運用するために、SSLアクセラレータといったアプライアンス製品だとか、ソフトウェアだとApacheやNginxのSSLモジュールを使う
MySQLのホストキャッシュ - 元RX-7乗りの適当な日々
MySQL 5.5 のホストキャッシュに関するメモ。 詳細は以下ドキュメントに全て書いてある。(英文) MySQL :: MySQL 5.5 Reference Manual :: 8.12.5.2 DNS Lookup Optimization and the Host Cache シーケンス 新しいクライアントから接続があると、サーバはそのIPアドレスからホスト名がホストキャッシュにあるかチェックする。 無ければ、サーバはホスト名を解決することを試みる。 まず、IPアドレスからホスト名をチェックし、そしてホスト名からIPアドレスをチェックする。で、その結果をオリジナルのIPアドレスと比較し、同じであることを確認した後、ホストキャッシュに格納する。 キャッシュが一杯の場合は、最も長い時間使われていないエントリが破棄される。 名前解決 OSがサポートしている場合、スレッドセーフな geth
tracerouteの色々 - 元RX-7乗りの適当な日々
インターネットのネットワークに多少なりと興味がある方なら、指定の目的地までの経路探索をしてくれる、みんな大好きtracerouteコマンド。 そんなtracerouteの色々をメモしておきます。 tracerouteの仕組み 既に多くの解説サイトがあるので、そちらに譲りますｗ tracerouteはTTLを1ずつ増やしながらパケットを送信することで、経路情報を取得する。 TTLとはパケットの生存期間を表し、ルータを1つ経由することに1ずつ減算される。 ルータはTTLが2以上のパケットが届いた場合、TTLの値を1だけ小さくし次のルータへ転送する。 TTLが1のパケットが届いた場合、届いたパケットを破棄しICMP time exceededパケットを送信者に返す。 tracerouteはまず、TTLを1にセットしたパケットを送信する。最初のルータに届いた時点でTTLがゼロになり、ICMP ti
AWS Command Line Interface(awscli)を使ってみた - 元RX-7乗りの適当な日々
今更な話題ではありますが、Pythonで作られたAWS Command Line Interface(aws-cli: 従来のJavaで動いていたEC2 API Toolsとは別物)を入れて動かしてみました。メモ的な感じで残しておきます。 aws-cliは、pipで管理できるし、これ1つで複数のAWSサービスを扱うことが出来て、かつレスポンスもJSONとかで返ってくるので、なかなか便利です。 $ aws autoscaling ec2 importexport sns cloudformation elasticache opsworks sqs cloudsearch elasticbeanstalk rds storagegateway cloudwatch elastictranscoder redshift sts datapipeline elb route53 support
AWSの上位ネットワークまわりについて - 元RX-7乗りの適当な日々
昨日から、色々調べ始めています。今日はAWSの上位ネットワークまわり。特に東京リージョン(Asia Pacific (Tokyo) Region)。 現時点の情報のスナップショットとしてログがわりに残しておきます。 ASN (AS番号) まず、以下のサイトで調べてみると、、、 http://bgp.he.net/search?search[search]=Amazon&commit=Search この通り、Amazonが取得しているASNは10個ほど見受けられますが、中身を見ていくと、このうちAS16509にほぼ集約されていることがわかります。 AS16509に接続されているBGPのPeerの数は現時点で、v4が158、v6が10となっています。(公開情報のみ) Peerの内訳は以下のリンク先から確認できます。 http://bgp.he.net/AS16509#_peers ざっくり確認
AWSのPublic IPアドレスの一覧 - 元RX-7乗りの適当な日々
たまに調べるのでメモ的に。2013年5月24日時点でのAWSの公開情報です。尚、ソースはAWSのフォーラム。 Amazon EC2 後述のネットワークで割り当てられているパブリックIPアドレス(EC2分のみ、CloudFrontは除く)ですが、スクリプトを書いて計算してみたら、"4,177,920"個という数字が出てきました。 実際に使われている数は、ネットワークアドレスやら何やらで、もうちょっと少ないとは思いますが、約417万個ものグローバルIPアドレスを保有しているといった計算になります。 US East (Northern Virginia) 72.44.32.0/19 (72.44.32.0 - 72.44.63.255) 67.202.0.0/18 (67.202.0.0 - 67.202.63.255) 75.101.128.0/17 (75.101.128.0 - 75.10
Linuxのサーバをリモートから強制的にOSリブートする - 元RX-7乗りの適当な日々
先日、諸々の都合で遠隔にあるテスト環境のサーバ(Linux)のカーネルパラメータを弄っていたのですが、ちょっと設定(メモリまわり)がイキすぎてしまいｗ、コマンド実行というかforkできなくなってしまった(Cannot allocate memory...)。 んで、shutdownコマンドも実行できなくなったので、直そうと思ったのですが、色々弄った＆時間がなかったこともあり、一旦OSを再起動しちゃいたいな、と(汗 が、遠隔にあるサーバなので、物理的な電源スイッチON/OFFができない(厳密には出来る環境ではあったのですが、このサーバはそこに入ってなかったｗ)。ので、SysRqキーを送ることにした。 やり方 少し無理矢理感はありますが、 # echo b > /proc/sysrq-triggerを実行すると、強制的にリブートがかかります。 ただし、ファイルシステムのsyncとかumount
seqコマンドの色々なオプション - 元RX-7乗りの適当な日々
seqコマンドは、数値を規則的に増加/減少させるコマンド。 $ seq 1 5 1 2 3 4 5単純に増加させたり、、、 $ seq 10 -2 0 10 8 6 4 2 0増減幅を指定して減少させたり。 そんなseqコマンドにオプションがあることを知りました。 "-s" 区切り文字を指定する "-s"オプションを使うと区切り文字が指定できる。 $ seq -s , 1 5 1,2,3,4,5例えば、カンマ区切りにしたい場合は↑のような感じ。 ちなみに余談ですが、、、 $ seq 1 5 | paste -s -d , 1,2,3,4,5このオプションを使わなくても、pasteコマンドを併用すれば実現できなくもない。 "-w" 桁数を揃えて表示 "-w"オプションは、数字の桁数を揃えるために、頭をゼロ(0)で埋めて表示してくれる。 $ seq -w 0 10 100 000 010 02
ヤマト運輸の配送状況は、実はGoogleから検索できる - 元RX-7乗りの適当な日々
東日本は、余震が多く落ち着かない日々が続きますが、皆様いかがお過ごしでしょうか。 今更ですが、ヤマト宅急便の荷物追跡(配送状況の問い合わせ)が、実はGoogleからも出来ることを知りました。 ↑のように検索すると、 ヤマト [お問い合わせ伝票番号]と、Googleの検索窓に入力することで、宅配状況が確認できることがわかります。 ↑実際に入力してみると、こんな感じで配送状況が確認できるリンクが出てくるので、クリックすると、、、 この通り、クロネコヤマトの"荷物お問い合わせシステム"に接続され、該当伝票番号の配送状況が表示されます。 というわけで、ヤマト運輸で荷物が(送られている or 送られてくる)場合、荷物の配送状況を確認したい場合は、Googleから「ヤマト (伝票番号の数字)」を入力して検索しましょう！ Googleの特殊な検索機能 こんな感じで、Googleでは色々な(特殊な)検索機
超便利なワンライナーを、コマンドラインで検索できるgemパッケージ「cmdline-fu」 - 元RX-7乗りの適当な日々
Linux等のコマンドラインで使える便利なワンライナーを、世界中のみんなで共有しちゃおうという「Command-line-fu」というサイトが素敵！ All commands 以前、100SHIKIさんでも、以下のように紹介されていました！ Command-line-fuではLinuxなんかのコマンドラインで使えるワンライナー（一行プログラム）を投稿・共有できる。 自分がよく使うワンライナーを保存しておいて使うも良し、他の達人の技を盗むも良し、の素晴らしきサービスである。 ちょっとのぞいてみただけでも「へー、一行でここまで出来るんだ・・・」という小技があってかなり勉強になる。 コマンドラインで使える超絶便利なワンライナーを投稿・共有できる『Command-line-fu』 | 100SHIKI で、サイトで新しく投稿されたワンライナーをブラウザで眺めたり、サイトでキーワード検索したり、RS
bashの"&"と"&&" - 元RX-7乗りの適当な日々
ちょっと前、職場の人に、「(以下の)このエントリが役立った、ありがとう！」とお礼をいただきました。(わざわざ、ありがとうございました。恐縮です。) cronで30秒毎など、秒単位で処理を実行したい場合 - 元RX-7乗りの適当な日々 で、今更ですが、気付けばそこそこの数のブクマがついていたので、コメントを見させていただくと「正確には30秒毎ではなく、コマンド実行時間+30秒になる。」といった記載がいくつかありました。 あれ？そうなん？なんか自信なくなってきた。 ちなみに↑の(cronの)書き方は以下のような感じ。 * * * * * command & sleep 30; command 実行時間も含める(実行後の終了ステータスを見て、次コマンドを実行する)のは"&&"だと思ってたのですが、何か間違っているのかしら。 1つ目の処理(コマンド実行)は"&"でバックグラウンドに移って、すぐにs
LAN内で使用中のIPアドレス(pingで応答があるノード)を簡易に調査するワンライナー(Linux編) - 元RX-7乗りの適当な日々
昨日、書いたメモエントリ。 LAN内で使用中のIPアドレス(pingで応答があるノード)を簡易に調査するワンライナー(Windows編) "Windows編"と書いたからには、"Linux編"も書いておこうかと思いまして、bash版を。(どこでも実行できる様、ポータビリティ重視ｗ) $ for a in `seq 1 254`; do ping -c 1 -w 1 192.168.1.$a > /dev/null && arp -a 192.168.1.$a | grep ether; doneちょっと長いですが、こんな感じかしら。(ブロードキャストパケットを拒否するノードがいたので・・・。) ファイル等ログ出力したい場合は、リダイレクトを付けて実行してください。 詳解 シェルスクリプト 作者:Arnold Robbins,Nelson H. F. Beebe出版社/メーカー: オライリー
FreeBSD on Amazon EC2を動かしてみる - 元RX-7乗りの適当な日々
先日、Amazon EC2上で稼動可能なFreeBSDのAMIが公開されました。 バージョンは、FreeBSD 9.0-CURRENTのみ、"For t1.micro instances only!"という、まだバグも含まれた実験段階のものということ。 が、動くものが公開されたということは非常に喜ばしいことですね。 参考 Announcing FreeBSD on EC2 http://journal.mycom.co.jp/news/2010/12/16/040/index.html AWS Management Consoleで確認/起動してみる 早速、"AWS Management Console"のAMIの画面にて「FreeBSD」で検索すると、↓のようにavailableなFreeBSDのAMIが表示されます！ 尚、AWS Management Consoleの利用方法については
psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
難解プログラミング言語「Brainfuck」(Brainf*ck)で遊んでみた - 元RX-7乗りの適当な日々
会社の主席エンジニアな人にランチの雑談で「Brainfuck」を教えてもらったので遊んでみた。 Brainfuck（ブレインファック）は難解プログラミング言語のひとつ。なお名称に卑語が含まれるため、Brainf*ckなどと表記されることがある。 Brainfuck - Wikipedia 開発者Urban Mullerがコンパイラがなるべく小さくなる言語として考案した。 実際、Mullerが開発したコンパイラのサイズはわずか123バイト（キロバイトではない!）、インタプリタは98バイトとなっている。 Brainfuck プログラムは非常に可読性・記述性が低いため実用性は期待できないが、それでもチューリング完全な（チューリングマシンで実行可能なあらゆるプログラムが記述できる）言語であり、理論上はC言語などの普通のプログラミング言語と同等の表現力を持つ。その簡潔から多くの派生言語を生み出すこと
Pythonでpitを使う - 元RX-7乗りの適当な日々
pit => アカウント情報や設定を管理するためのツール。 勉強会で晒すソースコードに、ID情報を入れたくなかったので。 インストール $ sudo pip install pit もしくは、(pip使っていないなら) $ sudo easy_install pitこんな感じでインストール。 (まだ、easy_installやpipが入っていなければ・・・「Ubuntu の Python で easy_install や pip を使いたい場合 - 元RX-7乗りの適当な日々」) 設定 $ EDITOR=vi python↑のような感じで使うエディタを環境変数(EDITOR)に食わせつつ、Pythonのインタラクティブシェルを起動。(事前にexportしてあるなら、エディタの指定は特に不要です。) >>> from pit import Pit >>> hoge = Pit.get('ho
Chefで利用できるインタラクティブシェル"Shef" - 元RX-7乗りの適当な日々
"Chef"は、Ruby製のシステム管理ツールで、サーバOSでのインストール・設定・各サービスの状態管理等、諸々のシステム構築や運用作業を自動化してくれるツールです。(Puppetの仲間ですね) え？Chefって何よ？って方は、以下をご参考に。 システム管理ツールChefのチュートリアル(RailsConf2009レポート) - クックパッド開発者ブログ Chef - Automate IT Infrastructure | Chef で、Chefには"Shef"と呼ばれるインタラクティブシェルが付属していて、recipe(chefで扱う、サーバのあるべき状態を記述する設定ファイル)をちょっぴりローカルで試してみたい時とかに使えます。今日はその紹介。 chef-clientのインストール Chefのクライアントがインストールされていれば、すぐにでも使えると思います。 一応、これから試してみ
irbでシンタックスハイライトやキー補完を実現するWirble - 元RX-7乗りの適当な日々
今更なRubyネタですが、irbでシンタックスハイライトやキー補完を使うには、以下のようにWirbleをgemでインストールすればよい。 $ sudo gem install wirble 次に、"~/.irbrc"を編集して以下を追記します。 require 'rubygems' require 'wirble' Wirble.init Wirble.colorize これだけで、以下のように、irbでのシンタックスハイライトやTabによるキー補完が実現できます。 プロンプトをデフォルトに戻すには Wirbleデフォルトのちょっと味気ないプロンプト(">> ")をデフォルトのものに戻す方法は、コチラで紹介されていました。 "~/.irbrc"の"Wirble.init"の部分を以下のようにオプション指定した形で編集すればOK。 Wirble.init(:skip_prompt => :D
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
