Linux/UNIXでsed or awkを使ってファイルの特定列だけ置き換える | 俺的備忘録 〜なんかいろいろ〜
LinuxやUNIXで、区切り文字で句切られているファイルの、特定の列だけ値を置き換える場合は、sedかawkを用いる事で楽に行う事ができる。 sedで行う場合 sedで特定列のみ置き換える場合は、以下のようにコマンドを実行する。 sed '{s/"区切り文字"[^"区切り文字"]*}/"区切り文字"置換後の文字/置き換える列-1} 対象ファイル 例えば、「,(カンマ)」で句切られたファイルの3列目を「hige」に置き換える場合だと、以下のように記述する。 sed '{s/,[^,]*/,hige/2}' 対象ファイル [root@localhost ~]# cat /tmp/test.file aaaaa,11111,super,66666661 bbbbb,22222,wonder,66666662 ccccc,33333,dorderar,66666663 ddddd,44444,a
CentOS7
ホーム CentOS7 VulsRepoのインストール CentOS7 Vulsのインストール CentOS7 OpenVAS(GVM)のインストール CentOS7 Webminのインストール CentOS7 Userminのインストール CentOS7 Cockpitのインストール CentOS7 Nginxでリダイレクト処理 CentOS7 NginxでCGI(Perl) CentOS7 NginxでPHP CentOS7 NginxでSSL証明書の設定(SNI含む) CentOS7 Nginxでバーチャルホスト CentOS7 Nginxのアクセス制限 CentOS7 Nginxの基本インストール CentOS7 ディスク容量チェック CentOS7 WordPressのインストール CentOS7 RainLoopのインストール CentOS7 PHPListのインストール Ce
そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
あなたの知らない最近のLinuxデスクトップ環境4選 - Days of Speed(2015-12-11)
この記事は1年以上前の古い記事です。現状に即していない記述の場合があります。あらかじめご了承ください。 _ この記事はLinux Desktop Advent Calendar 2015の11日めの記事です。 Linux Desktop Advent Calendar 2015を見ていて、最近作られたLinuxデスクトップ環境が紹介されていないのでサラっとまとめました。 Gif動画は「Linuxデスクトップ環境を Gifに記録する - Qiita」で紹介されていたbyzanz-windowを使ってみました。 Budgie Budgie | Solus Project: https://solus-project.com/budgie/ solus-project/budgie-desktop: https://github.com/solus-project/budgie-desktop
Linuxデスクトップ環境を Gifに記録する - Qiita
Windowsや MacOSXだと Licecapやその他様々なツールで作業などを Gifで記録することができるのですが, Linuxだとそのようなツールがあまりありません. 動画形式で記録しそれを gifに変換というのがわりといろいろなところで書かれている印象ですが, そうやって作成した Gifは綺麗でないわりにファイルサイズがやたらでかいものとなることが多いです. Linux環境にまともなものないんかいと思っていたところに見つけたのが byzanzです. これで作成した Gifはサイズが小さめなわりに品質は高く Githubの README.mdにも問題なく貼れます. インストール Debian系は以下のとおりです. (注: 古い Ubuntuだと PPAから取得する必要があります)
最新のzfsonlinuxをUbuntuにインストール、アップデートする方法 - 情報技術の四方山話
AI、IoT、ヤマハルータ、VPN、無線LAN、Linux、クラウド、仮想サーバと情報セキュリティのよもやま話 最新のzfsonlinuxをUbuntuにインストール、アップデートする方法 いつもアクセスありがとうございます。匠技術研究所の谷山 亮治です。 今回は「最新のzfsonlinuxをUbuntuにインストール、アップデートする方法」の紹介です。 ■Ubuntu Linuxのバージョン $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 14.04.3 LTS Release: 14.04 Codename: trusty ■アップデートとバージョン確認手順 # apt-add-repository --yes ppa:zfs-native/stable
Linux共有ライブラリの簡単なまとめ - wagavulin's blog
Linuxで共有ライブラリ（*.so）を作るようになったのでちょっと勉強してみた。今までは使うだけだったので、以下のようなことは知っていた。 作るときはgccの-sharedオプションを使う。 使うときはgccの"-lライブラリ名"でリンクするライブラリを指定する。 リンク時のライブラリ探索パスは-Lオプションで指定する。 実行時のライブラリ探索パスは/etc/ld.so.confに書いてあるディレクトリ。環境変数LD_LIBRARY_PATHでも指定可能。 ライブラリを作るときは、.cから.oを作るときに-fPICをつけるといいらしい。 新しくライブラリを入れたときはldconfigするといいらしい。 逆に今まであまり知らなかったこと。 ほとんどのライブラリはlibhoge.so, libhoge.so.1, libhoge.so.1.1のように3つくらいのファイルがあり、libhoge
ext4 ファイルシステムの予約ブロック数を調整する - maruko2 Note.
ext4 ファイルシステムの予約ブロック数を調整する 提供：maruko2 Note. 移動： 案内, 検索 ディスクを ext4 でフォーマットすると、デフォルト設定では全容量の 5% が予約ブロックになる。 そのため、大容量ディスクを ext4 フォーマットすると、かなりの容量が予約ブロックとして確保されてしまう。 例えば 2TB のディスクの場合、予約ブロックは 100GB になる。 予約ブロック数を確認する方法 tune2fs コマンドを -l オプションを付けて実行する。 tune2fs -l /dev/md0 -l 指定したファイルシステムの情報を表示する。 EXT4 ファイルシステムの様々な情報が表示される。下記の例では、予約ブロック数（Reserved block count）が 71794662 で、ブロックサイズ（Block size）が 4096 byte (4KBy
Linux サーバーを強固にする
原文 は、2015 年 8 月 5 日に掲載されました。 著者は、家にファイル サーバーを 1 台と、サイト、メール サーバー、およびクラウド ストレージ サーバーとして 3 台の Live サーバーを持っています。 ホーム サーバーのセキュリティについては、外部と接続していないため、それほど心配していません。しかし、他の 3 台については、適宜保守をしています。サーバーを構築したいと考えている Linux 初心者が注意すべき点について、本文献で説明します。 必要なものをインストールする サーバーを構築する時、だいたいの人は、「40GB の SSD だから、欲しいサービスをなんでもインストールできる」と考えがちです。間違いではありません。しかし、そう簡単ではありません。どんなに強固なサーバーでもどこかに弱点があり、パッチが当たっていない部分があるため、乗っ取られる危険があります。 ですから
Linux上でネットワーク回線速度を計測する手段について整理してみた | DevelopersIO
ちょっとした小ネタです。 ネットワーク環境調査に於いてネットワークの『回線速度を調べたい』という局面があるかと思いますが、Windows環境ではブラウザ経由で簡単に結果が得られる一方、Linux環境では『あれ、そもそも何が出来る／どうやれば出来るんだろう？』と少々思案してしまいました。情報を幾つか漁ってみたところ、Linux環境でも回線速度状況を把握する術が幾つかある事が分かりましたので備忘録的に整理しておこうと思います。 目次 環境準備 Speedtest-cli iperf dstat ping まとめ 環境準備 当エントリではAmazon Linux AMIを使った環境で回線速度を調べる環境が必要になった場合、という状況を想定してみたいと思います。直近最新のAmazon Linux AMIで環境を構築し、yumコマンドでパッケージ各種を最新の状態に整えておきます。 $ sudo yu
NFS のマウントオプションの hard と soft について調べたメモ - ablog
NFS のマウントオプションの hard、soft について調べたメモ(Linux限定)。 まとめ hard の動作 NFS サーバが応答するまで書込を永遠に繰返す。 アプリケーションはI/Oを発行した後、完了待ちでスリープし続ける。 hard と intr を併用するとシグナルを送ってI/Oを停止することができる*1。 kill -s SIGINT or SIGQUIT or SIGHUP <PID> soft の動作 retrans で指定された回数書込に失敗すると、I/Oを発行したアプリケーションにエラーを返す。 どちらが良いか 整合性が求められるデータを読み書きに使う場合は hard にすべき。 不完全な書込*2や読込*3が発生する可能性があるため。 実行可能ファイルを置く場合も hard にすべき。 実行可能ファイルのデータをメモリに読込中やページアウトされたページを再読込中に、
Linux用ウイルス対策ソフトまとめ(ClamAV, ESET, Avast, AVG, Comodo, Avira, Bitdefender, Panda, F-PROT, Dr.Web)
(2015/6/1追記)※ ・「ソフォス、無料版 Linux アンチウイルス製品を個人向けに提供開始」 ソフォスが法人向け有償版の一部機能を省いたバージョンを個人向けに無料で提供するようです。（私はインストールを試していません) https://www.sophos.com/ja-jp/press-office/press-releases/2015/05/sophos-av-for-linux-free-edition.aspx ※この記事を更新して最新状態を維持する予定はありませんが、気が付いた情報があれば追加します。 (以下、2014/5に投稿したオリジナル) 各社の個人向けLinux用ウイルス対策ソフトをUbuntu14.04(64bit)にインストールし起動できるか確認した（細かい動作は試していない）。情報は調査時2014/5のもの。 手軽なのはClamAV。CUIで良ければAV
YAMAHAのVPNルータとOpenSwanを繋ぐ - 白”雪姫”の雑なエンジニアブログ
まず、参考にしたのは http://www.compnet.jp/archives/3849 このサイト RTX1100等のRTXシリーズはお仕事始めてからちょくちょくいじることがあったルータなので中身を知っている。 とりあえず、書いたある通り設定してみる。 tunnel select 1 description tunnel OpenSwan-VPN ipsec tunnel 10 ipsec sa policy 10 1 esp 3des-cbc sha-hmac ipsec ike encryption 1 3des-cbc ipsec ike esp-encapsulation 1 off ipsec ike group 1 modp1024 ipsec ike hash 1 sha ipsec ike keepalive use 1 on dpd ipsec ike local
RTX と Linux を IPsec で接続 (Openswan) | COMPNET
拠点間 WAN 接続にインターネット VPN を利用する場合、IPsec を使うことがよくある。 IPsec を使ったインターネット VPN の構築では、VPN の両端の機器を同一にすることがほとんどだろう。 筆者の場合だと YAMAHA の RTX シリーズ ルーターを IPsec VPN の両端にすることが多い。 たまには変わったことをということで、IPsec VPN の片側端を Linux に、他方端を YAMAHA RTX シリーズ ルーターにして構築を試みることにした。 Linux のデストリビューションはいつもの如く Ubuntu にして IPsec の実装に Openswan を使う。 RTX シリーズ ルーターは RTX1100 だ。 検証環境 検証した環境は以下の通り。 検証の目標は、Linux と RTX シリーズ ルーターの間に IPsec で VPN セッションを張
記憶力の悪い人でも頑張って覚えた方がハッピーになれるかもしれないzshのショートカット - Qiita
TL;DR 必要最低限のものだけ覚えときたい人向け それでも忘れた時のリファレンス的な ショートカットキーと、*とかエイリアス的なもの 明らかにコマンドっぽいのは除外 はじめに ぼくは記憶力が人よりだいぶ弱いのが悩みの種なんですが、そんな貴重な記憶リソースを消費してでも覚えて使ってあぁ幸せだなぁという気分になれるショートカットがあります。とはいえ明日にはもう忘れてるかもしれないので、未来の自分のためのリファレンスとして記事にまとめておこうと思います。 「あれ、あのショートカットなんだったっけ」ってなったときに、ここの目次をみて「ああそれそれ」って思い出せるようにするのがこの記事の目標です。 ほぼ全部bashでも使えます。 間違ってるよ、これも覚えといた方がいいかもよ、などのコメント大歓迎です！ 偉大な先人たち この記事にあるのはあくまでも記憶する領域に困ってて必要最低限これだけ覚えとくとい
SYNを受け取っているのにSYN-ACKを返さない件 - FLINTERS Engineer's Blog
こんにちは！@kakeyangです！ 久しぶりの投稿です。 なぜなら、、、沖縄の八重山諸島に旅行に行ってましたのです！ 楽しかったなぁ（遠い目） 今回は、開発で経験した通信障害の原因とその対策を公開します。 原因がLinuxカーネルの設定だったので、結構苦労しました。。。 障害概要 異なるネットワーク内（片方は弊社ネットワーク）の物理サーバ間（弊社が受信側）でインターネット越しにソケット通信を行う。 毎回ではないが1割程度の割合で、送信側でconnection timeoutを観測。 受信側にはapacheのログが残っていなかったので、webサーバには届いていない。 送信側でtracerouteすると、確かに弊社ネットワーク内には入っている。 弊社ネットワーク内のF/Wから物理サーバの間のどこかで通信が途絶えているっぽい！ というところまではすぐに判明しました。 調査内容 データセンターと
NICでVLAN毎にQoS(帯域上限)を設定する方法(Linux) - Blog
VLAN毎にQoS(帯域上限)をNICで設定する例を説明します。 例えば40GbEネットワークを検討する場合、ある特定のトラフィックが帯域を使い切ってしまうことが懸念され、10GbE複数本を統合するのに躊躇してしまう、というような場合、QoS設定をしておくことで帯域をトラフィック毎に使い分けることができます。（実際には非常に速いオールフラッシュストレージ等を接続しない限り、40Gbpsを使い切ることはめったにないと思いますが、運用上安心できると思います） ※Mellanox NICの場合の例 構成例： OS : Ubuntu14.04LTS NIC : Mellanox ConnectX-3Pro (40GbE) Dual Port Driver : MLNX OFED 2.2-1.0.1 MTU=1500 byte (デフォルト) QoS設定例： VLAN=10 (IP address=
「SELinuxのせいで動かない」撲滅ガイド - Qiita
はじめに 注意事項 この記事は何らかの理由でSELinuxを利用しなければならない時に発生する、意図せずプログラムが動かなくなる問題を解決するための手段を書いたものである。 作業対象のOSは作業中いつでも停止可能であるものとする。SELinuxの設定作業中に停止不可能とか無茶なので。 また、すべての操作はrootユーザで行っている。SELinuxは「管理者による強制的なアクセス制御」なのでrootユーザが操作しなければならない。 内容は主にCentOS 7で確認し、CentOS 6やFedora 22も一部確認に使用している。 SELinuxの管理で使用する各種のコマンドは初期からインストールされているものは少なく、またコマンド名がそれを含むrpmパッケージ名と一致しないものが多い。 このような場合はyum install *bin/<コマンド名>でインストールすることができる。Fedor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ipmitoolで最低限覚えておきたいコマンド - Qiita
もうLDAPにさよなら？SSHログインの公開鍵をGitHubから取得する方法 | ten-snapon.com
