joinコマンドが便利過ぎて生きるのが辛い - Y's note
Linuxシステムプログラミング 作者: Robert Love,ロバートラブ,千住治郎出版社/メーカー: オライリージャパン発売日: 2008/04/16メディア: 大型本購入: 5人 クリック: 181回この商品を含むブログ (29件) を見る 結合 Unix/Linuxの標準コマンドで2つのファイルの共通keyで連結することができます。共通keyでの結合にはjoinコマンドを利用します。joinによりSQLのinner joinに近いことがコマンドだけで出来てしまいます。今までテキスト処理をコマンドで行う事が少なかったのでjoinの活用方法を知りませんでしたが、今回調べた内容を記録します。似たコマンドとしてpasteというものもあり、こちらは同じ行数の内容を単純に結合します。そちらについても簡単に紹介します。 join join前にsort joinコマンドを利用する場合は2つのファ
xargs -P が激しく便利なのでメモ - おともだちティータイム
xargs の -P オプションを使うとプロセスを複数起動して処理を並列に行なうことが出来る。 例 例えば、 1 万枚の JPEG 画像を全て 800x800 に収まるように効率良くリサイズしたい。 まず私はこのようなコマンドを考えた。 convert --geometry 800x800 *.jpg しかし zsh に怒られた。 zsh: argument list too long: convert 引数が全て展開されるためこのような事が起きる。 私は xargs を使って処理することを思い付いた。 ls | xargs -I{} convert --geometry 800x800 {} c_{} 処理は行なわれるが非常に遅い。 しかも CPU を全く使っていないことが分かり、私は処理を並列的に行なう事を考えた。 そこで xargs の -P オプションの出番である。 P の後に並列
CentOS で行なっておきたいセキュリティ設定: ある SE のつぶやき
はじめに Linux のセキュリティ設定ってなかなかまとまったものがないので、いろんなサイトを参考にしながら設定をまとめてみました。想定はWeb サーバーで、使用している Linux は CentOS 6.2 です。 設定内容は以下のようになります。 全パッケージのアップデート リモートからの root ログインを無効にする 公開鍵暗号方式を使用した SSH ログイン設定 iptables 設定 SSH ポート番号の変更 不要なサービスを停止 ログ監視設定 ファイル改ざん検知ツール設定 ウィルス対策ソフト設定 Apache の設定 全パッケージのアップデート 最初に以下のコマンドを実行して、全パッケージを最新の状態にする。 # yum –y update 後は脆弱性が発見された時、または定期的にパッケージのアップデートを行う。 リモートからの root ログインを無効にする リモートからメ
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
本当は速いImageMagick: サムネイル画像生成を10倍速くする方法 - 昼メシ物語
一般的に ImageMagick のサムネイル画像生成は遅いとされており、パフォーマンスが求められるシーンでは Imlib2 などのより高速な画像処理ライブラリが使われることが多いです。 Imlib2 の高速さについては、以前「Imlib2でImageMagickより3倍高速かつ美しいサムネイル画像の生成 - 床のトルストイ、ゲイとするとのこと」という記事で紹介しました。この記事のベンチマークにおいて、Imlib2 によるサムネイル画像の生成は、 ImageMagick の3倍程高速でした。 しかし、 ImageMagick は Imlib2 より画質がよく、高機能で使いやすく、今も頻繁にメンテナンスされており、とてもよく出来ています。その点 Imlib2 は、2004年からメンテナンスされておらず、セキュリティホールが見つかっても、各Linuxディストリビューションがそれぞれパッチを当て
最近知ったLinux/UNIXの小技 - harry’s memorandum
最近知って結構ショックを受けた。 touch hoge.txt と似たような機能。*1 $ > hoge.txt $ ls -l hoge.txt -rw-r--r-- 1 root root 0 Jul 10 03:15 hoge.txt lessでtail -f ができる。 $ sudo less +F /var/log/messages SSHでリモートサーバに対して色々 リモート先のファイルをsortして比較。パスフレーズなしにするか、ssh-agentを使用するかしてください。 $ diff <(sort /home/user/.bashrc) <(ssh user@hostname "sort /home/user/.bashrc") リモートサーバのファイルを編集 $ vim scp://user@hostname//home/user/.bashrc sambaのコマンドで
インストールと設定
Cent OS 4.5 のインストール. 不要なサービスの停止, OSのアップデート, 追 加のソフトウエアのインストールを行ないます. 参考情報: Linux の Web ページ (1) 事前に決めておく事項 ホスト名 自由につける IP アドレス 固定 IP アドレスか DHCP になる。 固定 IP アドレス: サーバマシンとして使うなどの場合は、外部ネットにつなぎ、IP アドレスを固定的に割り当てる。 DHCP: DHCP クライアントとして設定する。 ネットワークアドレス ネットワークアドレスは、IP アドレスから自動的に決まる。 (以下、ネットワークアドレスは「XXX.YYY.ZZZ」のように書く) Root パスワード 一般ユーザとして使うときのユーザ名とパスワード 上記に書いた設定は、間違って入力した場合でも、 あとで、修正できるので、あまり悩まないように。 (2)
LinuxのファイルI/Oチューニングに使える「Iotop」 - GIGAZINE
ファイルI/Oがパフォーマンスのボトルネックになっていることはなんとなくわかるが、具体的にはどうなっているのかを知りたい場合、通常はvmstatやiostatなどを使うわけですが、この「Iotop」を使うと、いわゆるtopコマンドのような感じで表示してくれるので、ケースによってはかなり状況を把握しやすくなり、非常に役立ちます。 詳細は以下。 Iotop's homepage http://guichaz.free.fr/iotop/ 中身はPythonで書かれており、Python2.5以上とLinuxのカーネル2.6.20以上で動作します。 画面はこんな感じ あと、ディスクI/O関連は以下のページも参考になります。 Linux I/O のお話 write 編 - naoyaのはてなダイアリー Linuxチューニング 第2部第3回 ハード・ディスクをチューニング（その1）：ITpro
manを実行すると "WARNING: old character encoding and/or character set" とエラーを吐く時の対処 · Real Beat
Home manを実行すると以下のようなエラーになることがある。 XXX XXX WARNING: old character encoding and/or character set XXX いろいろ調べた結果、libiconvが悪さしていた。/usr/bin/iconvではなく、/usr/local/bin/iconvを見に行っていたのが原因だった。/usr/local/bin/iconvのファイル名を変更したら治った。 Tweet
Marvell、電気コンセントにつなぐ超小型Linux PCを発表
壁面の電気コンセントにつなぐことで、電力線をネットワーク化するアダプタというものをすでに利用したり耳にしたりしたことがある読者もいるかもしれない。こういった製品はNETGEARなどが製品を販売している。これと同じ形状でありながら、コンピュータと同じ機能を果たすものがあったら、どうだろうか。 Marvell Technology Groupは米国時間2月24日、新タイプのPC「SheevaPlug」と「Plug Computing」の取り組みを発表した。同社が目指しているのは、高性能で超コンパクトなうえに環境にも優しく、壁面の電気コンセントにつなぐだけで利用できるコンピュータを作ることである。 Marvellによると、SheevaPlugは消費電力がホームサーバとして利用される一般的なPCの10分の1以下であるため、コンセントに常時つないでおくことができるという。また、形状やサイズは電力線ア
CentOSサーバー構築マニュアル.com
CentOSとは、RHEL(Red Hat Enterprise Linux)との完全互換を目指したフリーのLinuxディストリビューションです。 CentOSサーバー構築マニュアル.comは、CentOS5,CentOS6,CentOS7で安定した自宅サーバーの構築手順を紹介しています。 初心者から上級者の方まで、コマンドを入力するだけで安定した自宅サーバーを構築することができます。 VPSに対応しています。 CentOS7 サーバー構築手順 初期準備 インストール前の初期準備 独自ドメイン取得 DNS情報設定 ダイナミックDNS取得 DNS情報設定 OSインストール CentOS7 インストール WindowsクライアントからTera TermでSSHログイン 初期設定 CentOS7 インストール後の設定 Tera Termで公開鍵認証 RPMforge EPEL ELRepo Re
Ubuntuで外部ディスプレイを活用する方法 (デュアルディスプレイとか回転表示とか) - 元RX-7乗りの適当な日々
モバイルノートPCは非常に持ち運びに便利ですが、液晶ディスプレイの解像度が小さいケースが多く、宅内で作業する時なんかは大きいディスプレイを使いたくなるかと思います。 で、マルチモニタというか、外部ディスプレイ出力をあれこれするとき、最近は"/etc/X11/xorg.conf"をモリモリといじらなくても良いんですね。 最近、"XRandR"を使えば、Xの再起動もいらずに簡単に様々なディスプレイの設定が出来ることがわかりました。 ここに、そのメモを残しておくことにします。 尚、試した環境は、Ubuntu 8.04 (Hardy Helon) on ThinkPad X61です。 とはいっても、少しだけ"xorg.conf"を設定 デュアルヘッドを有効にするべく"/etc/X11/xorg.conf"の"Screen"セクションに仮想ディスプレイサイズを入れておきます。このサイズは2画面の合計
My Linux Diary : Fedora8 サーバにRAID1を導入
C言語 & Java (13) English (27) Life (56) Linux (55) PC (13) Perl (4) PHP (23) Ruby (4) Study (25) Travel (45) アルバイト (10) スポーツ (6) 仕事 (1) 大学 (37) 本 ＆ 映画 ＆ ドラマ (13) 経済 (5) 車 (12) 陸マイル (6) [Linux] Fedora8サーバにRAID1を構築した時の記録です． HDD2台（200GB，120GB）でLVMを構築中の現在の構成を 新しいHDD2台（250GB，500GB）でRAID1+LVMに変更します． LVMも複数のHDDをひとつにまとめることができるなど RAIDと似たような機能を持ちますが， LVMはディスク管理の簡略化を目的としており 信頼性向上を目的とするR
yum に RPMforge リポジトリを追加する
CentOS 4.4 では標準で多くのソフトウェア・パッケージが用意されていますが、それでもユーザのニーズにすべて答えられるわけではありません。そこで、多くの有用なサードパーティ・パッケージを供給している RPMforge のリポジトリを yum に追加する方法を紹介します。 yum の設定 新規に RPMforge リポジトリを rpm でインストールします。 CentOS 4.5 の場合 [root@host1 ~]# wget http://dag.wieers.com/packages/rpmforge-release/rpmforge-release-0.3.6-1.el4.rf.i386.rpm [root@host1 ~]# rpm -Uhv rpmforge-release-0.3.6-1.el4.rf.i386.rpm CentOS 5 の場合 [root@host1 ~
I, newbie » ssh(1)を使い倒す
sshを使いこなしていないひとを見るとイラっとする。パスワード認証大好き(もう21世紀ですよ)、パスフレーズ入れるのが面倒(keychain使えよ)、放っといたssh接続が切れて「また切れた!」(screen使えよ)とか。 ()は~/.ssh/configにおける同等の設定。詳しくはssh(1)とssh_config(5)を参照のこと。 一定期間ごとにパケットを送って、無通信時間経過によりセッションが切断されるのを回避する。 > ssh -o 'ServerAliveInterval 60' host.example.org (ServerAliveInterval 60) ssh-agentのforwardingを有効にして、login先のホストでもパスフレーズの入力を省略する。 > ssh -A host.example.org (ForwardAgent yes) remoteのコン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
pblo
http://www.tangiku.net/wiki/index.php?CentOS%A4%C7%A5%BD%A5%D5%A5%C8%A5%A6%A5%A7%A5%A2RAID
bne.jp
汝の隣人のブログを愛せよ | LOVELOG