シェル操作課題 (cut, sort, uniq などで集計を行う) 設問編 - Yamashiro0217の日記
この記事は弊チームの新人の方にシェル操作に慣れてもらうために作った課題である。 皆様のチームの新人にやってもらってもいいですね。 あとで解答編を書く。 もちろん他の方も解いてもらって構わない。 というか僕の解答以上の解答がきっとあるはずなので、それを教えて欲しい。 はてブで解答でも面白解答お待ちしてます。 さて本題。 Webアプリケーションを作っていると偉いさんとか、いわゆる企画の人とかから 「ちょっと○○がどうなってるかログから数字だせない？」 とさらっとお願いされたりする。 そこで「いや、ちょっと手が空いてなくて（こっちは忙しいんだよ糞がっ）」と答えたくなるかもしれないが、 そこは「じゃあさくっとやっておきますよ！僕にかかればちょろいっすよ！」と答えらればかっこいい。 （あまりさくっとやりすぎるとそういう細々依頼がたくさんくる諸刃の剣） 例えば以下のようなログファイルがあったとする。
Linuxのメモリ上のキャッシュを解放する - 元RX-7乗りの適当な日々
いつも思いだすのに時間がかかるというか、ググるのでメモ。 例えば、ベンチマークとかをとっていて、残ったキャッシュを奇麗さっぱりに消したい時とかに使う。 Linuxのメモリで保持しているキャッシュをクリアするには、以下を実行する。 # sync # echo 3 > /proc/sys/vm/drop_caches 値の意味としては、、、 1： ページキャッシュを解放 2： dentry、inode を解放 3： ページキャッシュ、dentry、inode を解放 以下を参考に。 /proc/sys/vm/drop_caches (Linux 2.6.16 以降) このファイルに書き込みを行うことで、クリーンなキャッシュ、dentry、 inode をメモリ上から外し、そのメモリを解放する。 ページキャッシュを解放するには、 echo 1 > /proc/sys/vm/drop_caches
findコマンド使うときは、「prune」オプションを意識することが大事だという話し - カイワレの大冒険 Third
findコマンドってすごく便利でxargsとかexecと合わせると色々できちゃうんですが、その分リスクも背負うので、リスクヘッジしておきましょうというお話し。 あるディレクトリ配下にこんなファイルがあったとします（適当でごめんなさい）。 # lla drwxr-xr-x 6 root wheel 204 3 21 2011 ./ drwxr-xr-x 51 root wheel 1734 5 23 01:07 ../ drwx------ 4 root wheel 136 8 12 2010 cores/ -rw-r--r-- 1 root wheel 4912297 10 16 2011 log.nmbd -rw-r--r-- 1 root wheel 5123798 3 21 2011 log.nmbd.old -rw-r--r-- 1 root wheel 198900 10 16
使えるとちょっと便利なSSHのTIPS
こんにちは、牧野です。久々の、9か月以上ぶりのブログです。。 仕事では、ここ1年近くずっっとインフラ関係のことをやっていました。 今日は、SSHに関するTIPSを紹介します。 １. 特定のサーバーにSSHログインする時に、特定の設定を使用する ホームディレクトリ/.ssh/configファイルに設定を書いておくと、特定のサーバーにログインする時に、自動的に特定の設定を使うようにできます。 SSHのオプションをサーバーによって分けたい時に入力が楽になります。 以下は、xxx.yyy.zzz.aaaでアクセスする時に使う秘密鍵をid_rsa_testに設定しています。 .ssh/config Host xxx.yyy.zzz.aaa IdentityFile /home/asial/.ssh/id_rsa_test ２. ホストキーをチェックしないようにする LinuxからサーバーにSSH接続
新さくらのVPSでWebサーバを構築するテンプレ
先日リニューアルされた「さくらのVPS」でWebサーバ（LAMP）を構築した際の基本設定をテンプレートとして公開します。参考になればいいなと。 管理者アカウントの作成 # useradd -G wheel userName # passwd userName # vi /etc/pam.d/su -- 以下の行のコメントアウトを外す # auth required pam_wheel.so use_uid -- # visudo -- 以下の行のコメントアウトを外す # %wheel ALL=(ALL) ALL -- SSH設定 # mkdir /home/userName/.ssh # chown userName. /home/userName/.ssh クライアント側で公開鍵を作成し、サーバに公開鍵を転送 -- $ ssh-keygen -t rsa $ scp .ssh/id_rs
［3］Linuxカーネルの“巨大なロック”が原因と判明
大規模サイトの性能改善作業とは、どういうものなのか――。リクルートの中古車情報サイト「カーセンサーnet」を全面リニューアルした体験を基に、その実態をレポートする。第1回、第2回はミドルウエアのチューニングを行った。後半はLinuxカーネルに原因があると判明するまでの調査に進む。様々なツールを組み合わせて追跡していった。 中古車情報サイト「カーセンサーnet」の性能試験が本格的に始まって10日目。試験の開始当初は、ブラウザーの表示に10秒もかかるなど目標性能に遠く及ばなかった。しかし前回までで紹介したように、ファイル共有システム「NFS」の設定変更、Webサーバー「Apache」のパラメーター修正、PHPアプリケーションの見直しによって、性能は劇的に向上した。 リクルート入社3年目の私は、今回の性能検証プロジェクトのリーダーとして、得意分野を持つチームメンバーと一緒に対策を進めていた。カッ
CentOS で行なっておきたいセキュリティ設定: ある SE のつぶやき
はじめに Linux のセキュリティ設定ってなかなかまとまったものがないので、いろんなサイトを参考にしながら設定をまとめてみました。想定はWeb サーバーで、使用している Linux は CentOS 6.2 です。 設定内容は以下のようになります。 全パッケージのアップデート リモートからの root ログインを無効にする 公開鍵暗号方式を使用した SSH ログイン設定 iptables 設定 SSH ポート番号の変更 不要なサービスを停止 ログ監視設定 ファイル改ざん検知ツール設定 ウィルス対策ソフト設定 Apache の設定 全パッケージのアップデート 最初に以下のコマンドを実行して、全パッケージを最新の状態にする。 # yum –y update 後は脆弱性が発見された時、または定期的にパッケージのアップデートを行う。 リモートからの root ログインを無効にする リモートからメ
シェルスクリプトを書く際に気を付けていること8箇条 - カイワレの大冒険 Third
エンジニアという職業柄かシェルスクリプトを書くことはちょくちょくあるのですが、自分なりに気を付けていることを備忘録＆自分への戒めも含めて、簡単に書いてみたいと思います。 変数は大文字 シェルスクリプト書いていれば変数の出番は至るところであるでしょう。その際、可読性を増すように、変数は大文字を使っています。 RET=`cmd1`みたいに。好みの問題もあるでしょうが、分かりやすいので。 クオテーションは選ぶ クオテーションにはシングルだったり、ダブルだったり色々ありますが、使い分けておいたほうがよいでしょう。 変数の展開がないようであれば、シングルクオーテーションのほうがスマートでしょうし、展開があるのならダブルクオーテーションを使えばと。 ダブルクオーテーションを使うのにも意味があって、変数は「$RET」のようにクオテーションで囲まなくても動作はたいていするのですが、 echo "${RET
~/.ssh/config で簡単に複数ホストへのSSH接続を管理する - すぱぶらの日記
ssh で鍵やユーザ名を複数のホストで使い分けないといけない場合、それら設定を覚えておくのは面倒です。 それらホスト毎の設定は ~/.ssh/config で簡単に管理することができます。 複数の鍵を管理する場合 identity, id_rsa などのファイル名で保存しますが、これでは複数の鍵を置くことができないので、 test.org の場合、「id_rsa.test.org」 hoge.in の場合、「id_rsa.hoge.in」 など、ホスト名や用途名の prefix, suffix を付けて管理しています。 どの鍵をどのような用途で利用しているのかが分かればファイル名は何でも構いません。 ~/.ssh/configを記述する Host test.org HostName test.org IdentityFile ~/.ssh/id_rsa.test.org User test
サーバ監視に超使える〜topコマンドのまとめ:phpspot開発日誌
サーバ監視に超使える〜topコマンドのまとめ サーバを運用しているとよく使うtopコマンドですが、標準のtop以外にも色々便利なものがあるのでまとめてみました。 ボトルネックといえば、ネットワーク、ディスクIO、スワップ、CPU、メモリといったものが関連しますが、ツールで視覚化することでより分かりやすい対策がとれますね。 htop こちらも、通常のtopよりもさらに多数の情報を表示してくれるツール。 CPUやメモリの状態が視覚的にグラフで表示されていたり、複数CPUがある場合もそれぞれに利用率を表示してくれてわかりやすいです。 pstreeで表示するようなツリー+topコマンドのような表示も t を押せば切り替えられます。 公式サイト上にある128コア積んだマシンのhtop結果が面白い。 次のようにすべてグラフで表示されているため、128コアあったとしても瞬時に負荷が把握できますね。 io
DNS キャッシュについての考察 | Carpe Diem
比較的アクセスのあるウェブサーバがあって、そのウェブサーバから結構な回数で Web API をたたいています。ご存じのとおり、Linux では DNS をキャッシュしてくれないので、Web API をたたくために毎回 DNS へのアクセスが発生して、DNS の負荷がすこし上がってきたので、ウェブサーバに DNS キャッシュを入れてみることにしました。 今回の用件は、次のとおりです。 Web API でたたくときにドメインを、それぞれのウェブサーバでキャッシュしたい おもに外部ドメインをキャッシュするので、DNS ラウンドロビンにはできれば対応したい ということで、いろいろと調査したり、友人からアドバイスをもらったところ、Unbound、Dnsmasq、caching-server、の三つの選択肢があることが分かりました。それぞれ、CentOS 5.7 x86_64 の環境で、試していました
perfの使いかた
概要 Linuxのパフォーマンス解析ツールであるperfの使いかたの紹介 背景 個人的にperfよくできてると思うので紹介したいというのと、 パフォーマンスカウンタの読み方ってあんまり知られてないみたいなので、 それの解説を書きたい。 構成 perf について説明したあと、パフォーマンスカウンタの読みかた、見かた、を説明する。 perfとは何か Linuxに付いてくるプロファイラ。 man perf によると、 NAME ---- perf - Performance analysis tools for Linux と、書いてある。名前がひどいのでなんとかしてほしい。 perf の特徴 個人的には、手軽に使えるのが素晴らしいと思う。 2.6.31以降カーネルに標準で付いてる。(Ubuntuだとlinux-tools-common(TODO:あとで確認)で入るはず) 特殊な設定が必要無く、
さくら VPS + CentOS のチューニングや高速化で以前試せなかった設定
はじめてのさくら VPS + CentOS の初期設定からチューニングなどの作業まとめで一般的なサーバーの設定方法を紹介しましたが、さくらのVPS の設定の中で APC の入れ方や nginx の入れ方などは試せなかったので追記としてメモしておきます。 今回も以下の記事を参考にさせて頂きました。ここに全てがあるので私の記事では作業をシンプルに紹介していきます。ここに書いてない物についてはこの記事で書いてみます。 ウェブ開発者のための、1時間でできるLAMP環境構築術（CentOS編） – さくらインターネット創業日記 CentOS 5.6 へアップグレードする さくら VPS はこのブログを書いている現時点で契約した状態だと CentOS 5.5 がインストールされています。そのため CentOS を 5,6 にアップデートします。 まず自分の環境が CentOS 5.5 なのかを調べます
（今さら） vmstat の結果に時間をつけてファイルに出力する - あしのあしあと
なんか、以前のプロジェクトでも、同じことをやった。なんで vmstat の結果に時間をつけてファイルに出力しなければならなかったかは忘れたが、、パフォーマンステストのエビデンスに必要だったのだろう。sar*1なんて高級なコマンドは知らなかったし。まぁ、そもそもLinuxではなかったし。 こんな簡単そうなことなのだが、けっこうはまった。 次を実行すれば、3秒おきに結果がコンソールに出力される。オプション -n は、ヘッダを何度も出力しないようにするためのもの。ファイルに出力しなくてよいなら（またはコンソールのログをとっておけばよいなら）、これで終わり。 # vmstat -n 3 | awk '{ print strftime("%Y/%m/%d %H:%M:%S"), $0 }' 3秒おきに10回出力してみる。もちろんうまくいく。 # vmstat -n 3 10 | awk '{ pri
linux | デジタル料理人
自分の作業メモっす。「えーわからなかったのー！？」みたいな事は言わないでください・・・。 最近すっかりJavascriptしか触ってなくて・・・。 で、自宅で作業をする環境をきちんと整えるべく作業中。 とりあえずMac自体をいじると大変なこ
(新人向け) Unixオペレーションの注意点 - Magical Diary
主に新人向けとして、Unixサーバで作業をする際の注意点を書いておく。 ここに書いてある内容は絶対的なものではないし、会社や現場ごとにルールがあるので、適宜ルールに合わせて実践すれば良い。 ログを取れ 何をやったか、何をやらなかったか、というエビデンスのためにログは必ず残しておく。SSHクライアントによっては毎回自動的にログ取得する設定が可能なので、設定しておくと良いだろう。 作業後に問題が発生した場合に作業内容を確認するためにも使うため、必ずログは取得しておくこと。 (追記) 当たり前だが、コマンドとその出力をペアで取ることに意味がある。 set -x (set verbose) しろ ログを取得しても、コマンドラインを編集した際には以下のように非常に見づらいものとなってしまう。(がんばれば解析することは出来るが…) ESC[0mESC[27mESC[24mESC[JESC[1myasu
「喫茶店プログラミング」のための環境構築(VMwarePlayer + CentOS5.5+Apache2.2.3+MySQL5.5.8+PHP5.3.5+Ruby1.8.7+おまけ) - blog@sotm.jp
ソフトウエア Windows 7 Home Premium (64bit)VMware Player 3.1.3 build-324285Tera Term 4.67 作る物 CentOS # cat /etc/redhat-release CentOS release 5.5 (Final) # uname -a Linux localhost.localdomain 2.6.18-194.32.1.el5 #1 SMP Wed Jan 5 17:52:25 EST 2011 x86_64 x86_64 x86_64 GNU/Linux Apache # /usr/sbin/httpd -v Server version: Apache/2.2.3 Server built: Aug 30 2010 12:28:40 MySQL # mysql --version mysql Ver 1
さくらVPSにLAMP環境を整えてみる。 | hideichi.com
最新板はこちら、 2016年版 0からはじめるsakura vps、lamp構築 初心者のサーバー構築備忘録です。 よくあるLAMP環境を目指しているつもりです。 自分用なので、基本的に不親切です。 なんか間違えてたら、容赦なくコメントお願いします。 書き捨て歓迎！！ 目次 1、とりあえず、iptables、updatesd、yum-cron、不要な実行を止め 2、Apacheのインストール 3、PHPのインストール 4、httpd設定ファイル編集 5、php.iniの設定 6、MYSQLのインストール 7、phpMyAdminインストール 8、おまけ、gitインストール 参考サイト 1,000円を切る低価格で登場、「さくらのVPS」をチェック――サーバー構築編 http://sourceforge.jp/magazine/10/10/04/0020218 さくらインターネットの980円V
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
誰得コマンド＆オプション35連発
x.com
