プログラマーが「ネットワーク怪しくない？」と思った時に覚えておくと便利なことまとめ - LIVESENSE ENGINEER BLOG
インフラエンジニアの中西です。 最近プログラマーからこのような話を耳にします。 「ネットワークって難しい/よくわからない」 最近ではAWS,GCPをはじめとするクラウドサービスが充実しているのでWeb界隈のエンジニアはなおさら気にするシーンが少なくなったように思います。 今日は最低限これだけ覚えていたら有事の際にちょっとは役に立ちますよという話が出来たらなと思います。 書式統一のため sudo を省略しています。ご容赦下さい。 コマンド編 ping ping です。疎通確認を行う時のコマンドです。 さすがに分かると聞こえてきそうですね。 例えば、192.168.1.1 というサーバに通信を確認したい場合はこうです。 $ ping 192.168.1.1 繋がる場合はこうなります。 $ ping 192.168.1.1 PING 192.168.1.1 (192.168.1.1): 56 d
Linuxパフォーマンス調査などで使うコマンドメモ - Qiita
パフォーマンスなどの調査をする時に利用する便利コマンドメモ。 これないぞ、あれないぞなどあると思いますがとりあえず本などを参考にまとめたものをピックアップしています。 参考 [24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 絵で見てわかるシステムパフォーマンスの仕組み CPU使用率やメモリなど全体の概要把握 top デフォルトでは3秒ごとにOSで利用しているプロセスの数や状態、またOS全体のシステムリソース状況が分かります。 パフォーマンスが悪い場合にOS全体としてどのリソースの利用が多いのか(CPU負荷なのかメモリ利用率が高いのか)などの判断に有用だと思われます。 top - 22:36:56 up 28 min, 2 users, load average: 0.00, 0.02, 0.
rm -rf でやらかした時すかさず実行する復元コマンド(Linux編) | aucfan Engineers' blog
初めまして、新卒入社の桑折(@2k0ri)と申します。 入社から今日まで約３ヶ月間、研修およびOJTを受けさせて頂いておりました。 その初OJTのステージング環境で、デプロイ先ディレクトリのシンボリックリンクを消すつもりが デプロイディレクトリを中身ごとrm -rfする という重度のやらかしをしでかしました。 30秒うちひしがれた後、ググって extundeleteというコマンドを見つけてからの 自分が行ったリカバリーの手順を残します。 なお、このコマンドはext3/ext4フォーマット専用になります。 1. サーバーへのアクセスを出来る限り抑えるように周知 最近のLinuxのデファクトFSであるext4フォーマットは、rmされたデータの跡地に 待ったなしで容赦なく新しいデータが書き込まれていきます。 そのため、何よりもまず失われたデータが上書きされないように、 該当サーバーでやらかしたこ
コマンドラインで入力ミスった時に、「fuck」と打ち込めば自動修正してくれるツールがスゴイ！
コマンドラインで作業をしていると、タイプミスや誤入力でエラーが表示されて「イラッ」とした経験を持つ方もいるかと思います。 こんな時、海外ならば「Fuck!(クソッ)」という汚い言葉使いになってしまうでしょう…。 ところが、それを逆手にとって「fuck」とそのまま入力するだけで、誤ったコマンドを自動修正して再実行してくれる便利ツール「The Fuck」が公開されていたのでご紹介！ 使い方！一体どのように使うのか、いくつか事例が掲載されているので見ていきましょう。 例えば、何らかのツールをインストールしようとして、管理者権限「sudo」を付け忘れてエラー…、みたいなよくあるパターン。 $ apt-get install vim E: Could not open lock file /var/lib/dpkg/lock - open (13: Permission denied) E: Una
Stop using tail -f (mostly)
Stop using tail -f (mostly) 12 Mar 2015 I still see a lot of people using tail -f to monitor files that are changing, mostly log files. If you are one of them, let me show you a better alternative: less +F The less documentation explains well what this +F is all about: Scroll forward, and keep trying to read when the end of file is reached. Normally this command would be used when already at the e
第145回 manのさまざまな使い方 | gihyo.jp
ここ数年でUbuntuの知名度もあがり、Web上にはさまざまなUbuntuの情報やノウハウが蓄積されてきました。検索エンジンを使えば、Web上の膨大な情報から手軽に情報を集めることができるため、わからないことがあるとついググってしまいがちです。しかし、Web上にある記事が、自分のシステムについて正しく解説をしているという保証はどこにもありません。それよりも自分のシステムに用意されたマニュアルの方が信用できるというものです。伝統的なUnixシステムにはmanpageと呼ばれるオンラインマニュアルが用意されています。システムにインストールされているコマンドの使い方や設定ファイルの記述方法は、このマニュアルページを参照することでだいたい解決ができるようになっています。 そこで今週のレシピは、伝統的なUNIXマニュアルのさまざまな読み方を紹介します。ググる前に一度manに目を通してみると、幸せにな
Unixデーモンの仕組み
Home Subscribe Unixデーモンの仕組み 12 March 2015 おはこんばんちは!! 尾藤 a.k.a. BTO です。 みなさん、Unixデーモンよく使ってますよね。 Webエンジニアなら、Webサーバ、メールサーバ、DBサーバ、cronなどがよく使われるのではないでしょうか。 24時間365日黙々と働き続けるUnixデーモン達。 身近な存在だと思いますが、実はどういう仕組みで動いているのかご存じない方も多いのではないでしょうか。 先日、オトバンクでUnixデーモンの仕組みについて勉強会をやったので、その内容をまとめます。 デーモンとは では、デーモンとはいったい何なのでしょうか。 Unixライクシステムにおいて、バックグランドで動作して様々な処理を実行してくれるプロセスがデーモンです。 デーモンには明確な定義はありませんが、だいたい次のような条件を満たすプロセスが
Linux/UNIXで容量の大きいファイル&ディレクトリを調べる | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXを使っていると、あるパーティションの容量(たとえば、/var/logなど)がいっぱいになってしまうことがある。 そういった時は、dfコマンドなどで各パーティションの容量を確認し、そのパーティション内で容量が大きくていらないファイルやディレクトリを削除したり、別のパーティションに移動させる対処が必要になる。 今回は、そんな容量の大きいファイルやディレクトリを確認する方法について記述する。 1.容量の大きいファイルを調べる Linuxの場合、「-S」オプションを付与することでファイル容量の大きい順に出力する。 Linuxの場合 ls -lhS 調べたいディレクトリ なお、HP-UXなどの古いOSでは「-S」オプションが存在しない。 そのため、sortコマンドと組み合わせる事で同様の出力を求める。 HP-UXなどの場合 $ ls -l 調べたいディレクトリ | sort -n
findコマンドの論理演算子を復習 | それなりブログ
findコマンドは、-type f や -name ‘hoge’ などの様々な条件を使うことが出来ますが 加えて AND や OR や NOT の論理演算子も使うことができます 今までテキトーに使ってたので復習しました AND文は評価式を -and または -a で結合します まず、動作確認用に以下のようにファイルを配置します $ tree . |-- dark-chaos |-- dark-neutral |-- dark-row |-- light-chaos |-- light-neutral |-- light-row |-- neutral-chaos |-- neutral-neutral `-- neutral-row 動作確認してみましょう $ find . -name '*light*' -and -name '*row*' ./light-row ファイル名に ‘lig
第102回 ImageMagickでコマンドラインから画像加工 | gihyo.jp
今回は、コマンドラインから画像加工を行えるImageMagickを取り上げます。画像加工ならGIMPやF-Spotを使えばいいのに、“なぜコマンドラインから？”と思われるかもしれませんが、コマンドラインならではの利点もあります。 例えば、数百枚の画像に同じ処理を施す場合、GIMPで1枚1枚手作業で処理するのに比べて、コマンドラインやスクリプトから一括で処理した方が、時間も労力もかかりません。 ImageMagickは数多くの機能を備えていますが、その中からデジカメで撮影後の写真を加工する用途を中心に紹介していきます。 ImageMagickのインストール インストールは、[アプリケーション]-[アクセサリ]-[端末]を開いて以下のコマンドを実行します。 $ sudo apt-get install imagemagick ImageMagickのドキュメントをインストールする場合は、以
Cool, but obscure unix tools
Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. A little collection of cool unix terminal/console/cu
grepコマンドで覚えておきたい使い方14個(+3個) | 俺的備忘録 〜なんかいろいろ〜
LinuxやUnixを使っていく上で、どんなに経験が浅くても一度は利用するgrepコマンド。 今回は、このgrepコマンドで覚えておきたい使い方について紹介する。 なお、ここで扱うgrepコマンドはLinuxのものをベースに記述している。商用UNIXやBSD等の場合、オプションなどが異なる事があるので注意。 1.基本の使い方 まずは基本的な使い方から。 テキストファイルから特定の文字列を含む行のみ出力する。 grep 検索したい文字列 検索したいテキストファイル ワイルドカードを用いる事で、複数のファイルを指定してgrepを行う事も出来る。 コマンドの出力結果から検索する場合は、「|(パイプ)」を利用する。 コマンド | grep 検索したい文字列 2.複数の条件でor検索する 複数の条件で検索を行う場合、eオプションを付与する。 grep -e 検索したい文字列1 -e 検索したい文字列
digコマンドやdrillコマンドの使い方を教えてください
digコマンドとdrillコマンドの出力は、それぞれ以下のようになる。バージョン情報の出力有無や、空行によるセクション区切りの有無の差があるが、基本的に同様のフォーマットとなっている。なお、下記の例では権威DNSサーバーの設定状況を直接確認しているため、非再帰検索を示す“+norec”（digコマンドの場合）や“-o rd”（drillコマンドの場合）オプションを付けていることに注意されたい。 % dig +norec @ns1.jprs.co.jpjprs.co.jp mx ; <<>> DiG 9.10.1 <<>> +norec @ns1.jprs.co.jpjprs.co.jp mx ; (2 servers found) ;; global options: +cmd ;; Got answer: ;; ->>HEADER<<- opcode: QUERY, status: NO
ncコマンドでファイル転送するときにpvコマンドで進捗を表示する - Glide Note
ファイルを送受信するときに暗号化する必要が無い場合は 高速なのでncコマンドを多用しているんですが、進捗表示の方法を毎回忘れてググっているので自分用にメモ。 送信側 3000ポートを転送に使う場合。
細かすぎて伝わらないPerlと$0変数 - コマンド名偽装 - ろば電子が詰まつてゐる
先日、moznion氏の「実行中のプログラムの進捗度を手っ取り早く確認したい」という面白い記事を読みました。 これに影響されて、Perlと$0のウンチクを id:lesamoureuses に語ったところ地味にウケが良かったので、さらに調子に乗って、細かすぎて伝わらないPerlと$0の関係について語ります。なお、本稿の実用性はあまりありませんが、ちょっとだけあります。 概要 上述のmoznion氏のブログは、Rubyで$0をいじるとpsコマンドで見えるコマンド名が変わって便利、という話でした(「アッアッ」)。 Perlでも同様に、$0をいじることでpsコマンドで見えるCOMMAND値を変えることができます(なお時折勘違いする人がいますが、元のファイル名は変わりません。psコマンドで見える値だけです)。ただしこれはOSによって結構動作が違うので、以下しばらくLinux(CentOS)限定の話
第53回 sshの活用 | gihyo.jp
第40回において、ターミナルを利用したファイルのやりとりとしてssh/scpコマンドを紹介しました。sshはリモートマシンにログインを行ったり、リモートマシン上でコマンドを実行したりするためのプログラムです。今回はsshに関するTipsを紹介します。 公開鍵の登録 ssh-keygenで生成した公開鍵をリモートマシンの~/.ssh/authorized_keysに追加することで、公開鍵を利用した認証が行えるようになることは第40回で紹介しました。公開鍵を登録するためには公開鍵ファイルをscpコマンドなどで転送し、authorized_keysファイルの末尾に書き込む必要がありますが、これを自動で行ってくれるスクリプトがssh-copy-idです。ssh-copy-idはopenssh-clientパッケージに含まれるため、特にインストールを行うことなく使用することができます。 使い方は以下
第2回 知っておきたいスケールアウトの基礎知識 その1 | gihyo.jp
サービスを初めてから高負荷になるまで さて、今回からは具体的に、個人でサービスを初めてからシステムを増強していくまでの課程を説明していきたいと思います。 まずサービスを始める際は、手っ取り早さやコストの問題などから、複数のユーザと共有のレンタルサーバから始めるケースが多いですが、ある程度の人気が出てくるとアクセスに耐えきれなくなり専用サーバを借りるというパターンになると思います。 ここまではわかりやすくシステムを増強することができるのですが、専用サーバで耐えきれなくなってきた際はそれ以降はどのようにすればよいのでしょうか？ その負荷はホンモノか？ まず、サーバの負荷が高いといっても現象はさまざまです。負荷が高いといった現象は具体的に発見されるのは、「ユーザから見たレスポンス」から発見されることが多いはずです。 ここで単純に「サーバを増強しなければ！」と判断はせずに、何が原因でパフォーマン
AWKのススメ - クックパッド開発者ブログ
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
第220回 Ubuntuでモバイルシェル「Mosh」を使う | gihyo.jp
Moshというソフトウェアが最近話題になっています。moshと言えばR6RS準拠のSchemeインタプリタを連想する方も多いと思いますが、今回紹介するのは同名の別ソフトウェアです。 Moshとは、端末をリモートで操作するためのソフトウェア、簡単に言ってしまえばSSHの代替となるソフトウェアです。今週のレシピでは、SSHよりも高速で、接続のローミングができるMobile Shell、略してMoshを紹介します。 Moshのインストール Ubuntuでは、12.04のUniverseリポジトリにMosh 1.1.3のパッケージが用意されています。また10.04、10.10、11.04、11.10の各リリースにも、backportsリポジトリにMosh 1.1.1がバックポートされています。つまりUbuntuならば、ソースビルドや野良パッケージなどに頼らずとも、Moshを簡単に使いはじめることが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラエンジニアとしてよく使うコマンド集 - Qiita
