linuxのテキスト編集（vi, sed, tr, grepなど＋xargs）まとめ - Qiita
linuxなどで使うテキスト編集コマンドの使い方で、これさえ知っていればOKというもののまとめ（vi, sed, grep, sort, uniq, cut, join, tr, nkf, diff）。 後半は特に必要とはいえないため適当。重要なのはvi, sed, grepまでかな。 複数のファイルを扱う場合に使うxargsコマンドについても説明する。 ※（数指定）のついているものは、コマンドの前に数を指定することで指定された数だけ該当する操作を行える。 （6hで6字分左に移動） コマンドモードと入力モード コマンドモード→入力モード i: カーソルの直前に挿入（insert） I: カーソル行の最初に挿入 a: カーソルの直後に挿入（add） A: カーソル行の最後に挿入 o: カーソルの下の行に挿入 O: カーソルの上の行に挿入 入力モード→コマンドモード: ESC 移動 （ちょうど
Apache ログを awk と uniq だけで集計する - Qiita
Apache の生ログをワンライナーで解析するパターン集。 例えば以下のようなリクエスト別のアクセス数など。 $ grep 01/Feb/2016:01 access_log | awk -F '"' '{print $2}' | awk '{print $2}' | sort | uniq -c | sort -n -r 69 / 48 /en/ 35 /css/base.css 23 /favicon.ico 23 /img/example.jpg grep 'May/2016' /var/log/httpd/access_log | awk '{print $4}' | cut -b 2-12 | sort | uniq -c # 日別 grep '01/May/2016' /var/log/httpd/access_log | awk '{print $4}' | cut -b 2
Linuxの背後にある精神
Linus Torvalds / 青木靖 訳 2016年2月 (TED2016) クリス・アンダーソン 奇妙な話です。あなたのソフトウェアであるLinuxは何百万というコンピュータの中にあり、インターネットのかなりの部分を動かしています。さらに実際に使われているAndroid端末が15億台くらいあって、その１台１台にもあなたのソフトウェアが入っています。これはすごいことで、その開発本部ともなれば、さぞ大層な施設なんだろうなと思っていたので、この写真を見たときはびっくりしました。これがその — Linux世界本部なんですよね？(笑)(拍手) リーナス･トーバルズ 大したものには見えませんよね。この写真の中で最も興味深く、多くの人が反応する部分は、あのトレッドミル・デスクです。私の仕事場で一番興味深いものですが、私はもう使っていません。この２つは関連していると思います。私の働き方として、外的な
Linuxのジョークコマンド11個をまとめてみた | 俺的備忘録 〜なんかいろいろ〜
Linuxで使えるジョークコマンドってどんなのがあるんだろう？ ということで、ちょっと調べてまとめてみた。 はっきり言って実用性は皆無なので、間違ってもメインのサーバやマシンには入れちゃダメだぜ！ 1.sl ジョークコマンドとして定番。実行すると、AAのSL列車がコンソール上を走り抜ける。 インストールは以下。 debian系の場合 apt-get install sl Redhat系の場合 yum install sl 実行した結果がこちら。 一応、オプションが4個ほどついてるのでその紹介。 -a …小さい人？が助けを求めるようになる -l…SLが小さくなる -F…SLが画面上の方に移動するようになる -e…SLが走っている最中に「Ctrl + C」で離脱できるようになる オプションは組み合わせて使うこともできる。 2.cowsay AAで表示されるウシに、引数で記述した内容を喋らせると
xargs -P が激しく便利なのでメモ - おともだちティータイム
xargs の -P オプションを使うとプロセスを複数起動して処理を並列に行なうことが出来る。 例 例えば、 1 万枚の JPEG 画像を全て 800x800 に収まるように効率良くリサイズしたい。 まず私はこのようなコマンドを考えた。 convert --geometry 800x800 *.jpg しかし zsh に怒られた。 zsh: argument list too long: convert 引数が全て展開されるためこのような事が起きる。 私は xargs を使って処理することを思い付いた。 ls | xargs -I{} convert --geometry 800x800 {} c_{} 処理は行なわれるが非常に遅い。 しかも CPU を全く使っていないことが分かり、私は処理を並列的に行なう事を考えた。 そこで xargs の -P オプションの出番である。 P の後に並列
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
ステートフルパケットフィルタを使ったサービスの公開
・外部からの接続パケットは基本的にすべて破棄 ・内部からの接続パケットは基本的にすべて破棄 ・ループバックアドレスに関してはすべて許可 ・メンテナンスホストからのping、メンテナンスホストへのpingを許可 ・メンテナンスホストからのssh（TCP 22）を許可 ・サーバからメンテナンスホストへのsshは許可しない サーバに接続する端末をメンテナンスホストとして固定して、そこからのssh接続のみを許可するようにします。ssh以外に、運用上サーバの死活を監視する目的でpingコマンドを使用する可能性があるため、ICMPを許可します。 テンプレート1の内容を説明します。適宜、以下のリンクでリストを表示させるかテンプレートをダウンロードしてください。 テンプレート1の解説 3、4行目でメンテナンスホスト（trusthost）とサーバ（myhost）のIPアドレスを指定します。これらの値は何度も
技術メモ帳 - pgrep, pkill を使用してプロセスを殺す
最近、会社でシェルの操作方法について教えているのだが、 pgrep / pkill / skill / pidof といった 便利なプロセス操作系コマンドを知らない人が実に多い。 プロセスを殺すというのは、よくある作業なので 今回はコレについて書いてみる。 たとえば、これらのコマンドを知らない人が、 指定した名前のプロセスを kill する手順はだいたい 以下のようなものになることだろう。 $ ps aux | grep プロセス名 | grep -v 'grep' # コマンドの出力結果から pid を目で確認 12345 ... .. hoge .. .. $ kill 12345 この作業は非常に面倒で退屈だ。 もし殺さなければならないプロセスがたくさんあったときは どうするのだろうか。 おまけに、grep コマンド自身が候補に含まれてしまう事があるのだが、 grep -v grep
これぐらいやっとけ 〜Linuxサーバのセキュリティ設定〜 - nabeの雑記帳
管理中のサーバで行っているセキュリティ設定を公開します。本当はこういうことを公開するのはよろしくないのですが、脆弱サーバが氾濫している現状そこが踏み台となってsshアタックされるのも迷惑極まりないので、最低限やっとけという内容でまとめました。*1 起動サービスと概要 iptables/Firewallの設定 iptablesの中身 limit-burstについて hashlimitについて hosts.allow/hosts.deny(TCP Wrapper)の設定 sshdの設定 その他の設定 Apacheの設定 Postfixの設定 Dovecotの設定 まとめ はてブさんは #の切り分けやめてくれないかな……。 起動サービスと概要 Apache (www) sshd smtp/pop bind (DNS) ntpd いくつかの注意点。 sftpで十分なのでftpdは使わない。WinS
(新人向け) Unixオペレーションの注意点 - Magical Diary
主に新人向けとして、Unixサーバで作業をする際の注意点を書いておく。 ここに書いてある内容は絶対的なものではないし、会社や現場ごとにルールがあるので、適宜ルールに合わせて実践すれば良い。 ログを取れ 何をやったか、何をやらなかったか、というエビデンスのためにログは必ず残しておく。SSHクライアントによっては毎回自動的にログ取得する設定が可能なので、設定しておくと良いだろう。 作業後に問題が発生した場合に作業内容を確認するためにも使うため、必ずログは取得しておくこと。 (追記) 当たり前だが、コマンドとその出力をペアで取ることに意味がある。 set -x (set verbose) しろ ログを取得しても、コマンドラインを編集した際には以下のように非常に見づらいものとなってしまう。(がんばれば解析することは出来るが…) ESC[0mESC[27mESC[24mESC[JESC[1myasu
超便利なワンライナーを、コマンドラインで検索できるgemパッケージ「cmdline-fu」 - 元RX-7乗りの適当な日々
Linux等のコマンドラインで使える便利なワンライナーを、世界中のみんなで共有しちゃおうという「Command-line-fu」というサイトが素敵！ All commands 以前、100SHIKIさんでも、以下のように紹介されていました！ Command-line-fuではLinuxなんかのコマンドラインで使えるワンライナー（一行プログラム）を投稿・共有できる。 自分がよく使うワンライナーを保存しておいて使うも良し、他の達人の技を盗むも良し、の素晴らしきサービスである。 ちょっとのぞいてみただけでも「へー、一行でここまで出来るんだ・・・」という小技があってかなり勉強になる。 コマンドラインで使える超絶便利なワンライナーを投稿・共有できる『Command-line-fu』 | 100SHIKI で、サイトで新しく投稿されたワンライナーをブラウザで眺めたり、サイトでキーワード検索したり、RS
約700項目のHTML／スクリプト言語リファレンスを公開
日経LinuxとITproは、総計約700項目のHTML／スクリプト言語リファレンスを公開しました。「HTML」（295項目）、「CSS」（73項目）、「Dynamic HTML」（98項目）、「JavaScript」（295項目）、「Perl」（125項目）あわせて698項目。各項目にサンプルコードを掲載しており、コピーし貼り付けてすぐにお使いいただけます。JavaScriptは「この用例を実行する」という文字をクリックすれば、その場でサンプルコードを実行してみることもできます。 ファンレンスを使いこなすための記事や、「JavaScript入門」「Perlの使い方入門」「CSSの基本」「Linuxコマンド道場」「シェル・スクリプト工房」といった入門記事もご用意しました。 これらのリファレンスはここ2～3年かけて作成してきたものです。そのため一部に内容の古いものもありますが、順次更新してい
Linux楽しすぎわろたwwwwww - ブラブラブラウジング
1 :VIPがお送りします:2010/09/28(火) 15:05:10.95 ID:I+zJt+x80 windowsいらないwwwwwww 4 :VIPがお送りします:2010/09/28(火) 15:06:08.35 ID:GteRPow00 すぐあきるよ 17 :VIPがお送りします:2010/09/28(火) 15:15:51.70 ID:h6o6M8yP0 うぶんちゅたん！ 29 :VIPがお送りします:2010/09/28(火) 15:37:39.46 ID:Ly36zr1v0 mypaintでお絵書きだ!! 32 :VIPがお送りします:2010/09/28(火) 15:43:14.50 ID:bp+1sqFw0 5年前にlinuxを色々入れたりしてみたんだけど 今はどれくらい進化したの？Fedoraとかまだあんの？ 33 :VIPがお送りします:2010/09/28(火)
Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
自宅環境のバックアップにBaculaを導入 - edy::diary
今まで自宅環境のバックアップは windows用フリーソフト cron + tar + ssh + rsync でやっていました。 バックアップにssh(1)を使うのは小学生までという記事を見つけ、 いつも「もっといいやり方は無いものか？」と思っていたので 勉強がてらやってみることに。 個人的には対応するOSがとても多かったのが非常にポイント高かったです。 以下、自分的なまとめ。 Baculaとは？ 公式サイト ネットワーク越しにUnix系OSからWindowsまで バックアップ出来るソフトウェア。バックアップ対象の サーバ、データ保管サーバ、管理・制御サーバの 3つで連携しバックアップを行います。 バックアップの対象 自宅サーバー (Fedora10) Thinkpad(Windows Vista) デスクトップ (WindowsXP) バックアップを置く環境 自宅サーバに接続した外付H
JavaScript is not available.
Something went wrong, but don’t fret — let’s give it another shot.
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
なぜ，/var や /etc が /etc や /cfg というディレクトリ名ではないのか？ - NO!と言えるようになりたい
Unixを使っていると，/usr が全然ユーザー用じゃなくどう見てもシステムのための物だったり，/etc が事実上設定ファイル置き場となっていたり，/var がログファイル置き場となっていたりと，名が体を現していなくて奇妙な感覚を覚える．もっと分かりやすい名前の付け方があったんじゃないかと，Unixユーザーならば誰もが思うはずだが，これに対する解答がredditに投稿されており，その内容が非常に面白かったので，軽く翻訳してみた． Anyone know why /var and /etc weren't named something like /etc and /cfg? http://ja.reddit.com/r/linux/comments/cpisy/anyone_know_why_var_and_etc_werent_named/c0ua3mo 昔々，システム7が使われていてU
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CentOS 5 - 統合バックアップツール Bacula - Baculaインストール : Server World