Linux におけるファイル I/O の基礎
すべてがファイルというモデルの Linux (Unix) において、ファイル I/O (以降単に I/O と書く) を知っておいて損はない。 この記事では、基本的なファイルと関連する I/O について、対応する Linux システムコールも併せて説明する。 次回はこれらを実際に Linux 上で確認する予定。 ファイル Unix におけるファイルとは、普通「通常ファイル」のことを指し、バイトがリニアに並んだデータ (byte stream) のことである。 ファイル内のバイトは読み書きが可能で、指定されたバイトから開始する。この開始バイトはファイル内の「位置」と考えることができ、ファイルポジションまたはファイルオフセットという。 通常ファイルとは別に、スペシャルファイルというファイルとして表現されたカーネルオブジェクトがある。Linux では、スペシャルファイルとしてデバイスノード・名前付
【Linux】100万ファイルくらいあるディレクトリのファイルのリストを高速に表示したい - 地方エンジニアの学習日記
概要 ファイル名のリストだけ高速に欲しいみたいな場合に大量にファイルがあるディレクトリでlsを打って返ってこないみたいなのが地味にストレスになったりするので高速に済ませる手段が無いかを調べてみた。 1ディレクトリに100万ファイル程度 計測前にecho 3 > /proc/sys/vm/drop_cachesを都度実行し10回程度計測 計測 ls -l めっちゃ遅い real 0m24.052s user 0m5.668s sys 0m8.071s straceをしてみるとこんな感じ。-lをつけるとメタデータを取りに行くのでこれが遅いらしい。sysが長い % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 44.6
Linux eBPFトレーシング技術の概論とツール実装 - ゆううきブログ
eBPF（extended Berkley Packet Filter）という用語を著者が初めてみかけたのは、2015年ごろだった。最初は、eBPFをその字面のとおり、パケットキャプチャやパケットフィルタリングを担うだけの、Linuxの新しいサブシステムであろうと認識していた。しかし、実際にはそうではなかった。 システム性能の分析のための方法論をまとめた書籍Systems Performance 1 の著者で有名なBrendan Greggが、Linuxのネットワークサブシステムとは特に関係ない文脈で、古典的なシステム性能計測ツールでは計測できないことを計測するツールを作っていた。その計測ツールがeBPFという技術によって実装されていることを知ったときに、eBPFに興味をもったのだった。また、eBPFは、システム性能を調べる用途以外にXDP（eXpress Data Path）と呼ばれるプ
sudo su とかしてる人はだいたいおっさん
sudo su と sudo -s はほぼ同じ。実行されるシェルが異なることがある。 sudo su - と sudo -i もほぼ同じ。環境変数のクリア的な意味だと sudo su - の方が強い。 以下は別に読まなくてもいい。 su 別のユーザーでシェルを実行するコマンド。自分は「す」とか「えすゆー」とかと呼んでる。 元は super user とか switch user とか substitute user の略だったらしい。 デフォルトでは root になるが、引数でユーザー名を指定するとそのユーザーになる。 新ユーザーのデフォルトのシェルとして設定されているシェルが実行される。 入力するパスワードは新ユーザーのパスワード。 ~% su Password: (rootのパスワード) root@hostname:/home/tmtms# id uid=0(root) gid=0(r
Systemd
Page Scrolling Vertical Scrolling Horizontal Scrolling Wrapped Scrolling
年収1000万円を要求するインフラエンジニアが知っておくべき最低限のLinuxディストリビューション - Qiita
はじめに なんか某所に面接に来た年収1000万円以上希望のインフラエンジニア候補に、Linuxのどのディストロ使ってるか聞いたら「ディストロってなんですか？」と聞き返して来たという話をきいたのでオラびっくらこいてQiitaに記事書き始めちまったぞ。 使ったことはなくてもいいから名前と特徴くらいは知っていて欲しいディストリビューションを列挙する。ディストロの系列ごとに書いたので、列挙順は重要度順ではない。が、2019年現在絶対に知ってないとマズイalpineだけは先頭に置いた。 busybox系 Alpine Linux 公式: https://www.alpinelinux.org/ Wikipedia: https://ja.wikipedia.org/wiki/Alpine_Linux パッケージマネージャー: apk 最小構成だと約5.6MBという圧倒的小ささで、dockerコンテナ
Bash: .bashrcと.bash_profileの違いを今度こそ理解する｜TechRacho by BPS株式会社
こんにちは、hachi8833です。社内Slackで見かけたmorimorihogeさんの以下の書き込みで目から鱗が落ちました。 ~/.bashrcで何かを出力してしまうと、rsyncなどのsshパイプで問題が生じることがあるそうです。 参考: 知らないとrsyncでもハマるシェル初期化 - Qiita これをきっかけに、できるかぎり一次情報を元になるべく一般的になるようにまとめてみました。 シェルスクリプト（.bashrcや.bash_profileなども含む）はあまりに自由に書けてしまい、LinuxディストリビューションやmacOSによって作法がまちまちだったりするので、外してはいけないポイントがどこかを知りたかったのでした。 対象はbashとsh（Bourne Shell）に限定します。また、デスクトップGUIの設定ファイルについては最小限にとどめます。 bashのmanページ 元記
半年前の自分に教えたい systemd のハマりどころ
https://connpass.com/event/130986/
IBMがLinuxのRed Hatを340億ドルで買収へ ハイブリッドクラウド強化 - ITmedia NEWS
米IBMは10月28日（現地時間）、Linuxデュストリビューター大手の米Red Hatを買収すると発表した。買収総額は約340億ドル（約3兆8038億円）で、取引は2019年下半期に完了の見込みだ。 買収完了後、Red HatはIBMのハイブリッドクラウドチーム下の独立ユニットとして存続する。Red Hatのジム・ホワイトハースト社長兼CEOはIBMの幹部チームに参加し、IBMのバージニア（ジニ）・ロメッティCEO直属になる。 この買収により、両社は「クラウドへのオープンなアプローチを提供し、複数のクラウドにわたる前例のないセキュリティと可搬性を実現」し、IBMを「1兆ドル規模の成長市場であるハイブリッドクラウドのトッププロバイダーにする」としている。 IBMにとって過去最大規模の買収になる。米CNBCによると、米国のテクノロジー業界としても、2001年のAOLとTime Warnerの
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化 Facebookは、Linuxバイナリの内部配置を最適化することによりCPUのキャッシュ効率などを向上させ、実行速度を改善する「BOLT」をオープンソースで公開しました。 BOLTは「Binary optimization and layout tool」の略とされています（もしかしたら、より速く走るという意味でウサイン・ボルト氏にかけているのかもしれません）。 BOLTは言語やコンパイラに依存せず、ソースコードも不要 BOLTのおもな効果は、Linuxバイナリの実行状況をperfコマンドで取得し、高頻度で実行されている部分などを判別した上で、そうした部分がCPUキャッシュにヒットしやすいようにバイナリの内部配置を改善することなどで実行速度を向上させることと
systemdのめっちゃ嬉しい機能をダラダラと説明する
2018/06/07〜2018/06/08 あたりにtwitterでつぶやいたsystemdのうれしいシーンまとめ Package管理と相性がよい sysvinitのスクリプトちょっといじってulimit文足したあとにパッケージupdateしたら消えたりしたことがある人はsystemdならその不幸はもう起きない systemdは設定ファイルが /usr, /etc, /run くらいにバラけて配置されるのでパッケージが提供するのをカスタマイズで変更するのは簡単にできるしパッケージシステムの更新などと相性もいい。 バラバラだと作業が煩雑になりがちなので関連コマンドが充実 パッケージのデフォルト、/etc/での設定、/run/の自動生成された設定などをまとめてunitを表示してくれる systemctl cat unitをカスタマイズするときに適切なファイルを編集してくれる systemctl
[小ネタ] mkdir したディレクトリに cd する方法 9 選 +1 (BASH) ※追記あり | DevelopersIO
$ mkdir /very/_very/Very-long/directory_name/20170915 なんて操作をしたあと、そのディレクトリにcdしたい場合ってまれによくありますよね。 どんなやり方があるか考えてみました。 1. コピペする そのまんまですが、これをやりたくなくてこの blog を書いてます。 2. TAB 補完で頑張る これも無いわけではないですが、間違えたりすることを考えると正直あんまりやりたくないです。 3. 上矢印キーで前コマンドを呼び出し、右矢印キーで先頭に戻ってmkdirをcdに書き直す よく見る方法ですが、もうすこし少ない手数でできないでしょうか。 4. 上矢印キーで前コマンドを呼び出し、Ctrl-Aで先頭に戻ってCtrl-Dx5 のあとにcd BASH のキーバインドはデフォルトだと emacs モードなので、このやり方が出来ます。 でもまだちょっと手
![[小ネタ] mkdir したディレクトリに cd する方法 9 選 +1 (BASH) ※追記あり | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fe7b8c53126aa60512b58b0d0cce02a7b7a36ab4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2017%2F09%2Feyecatch-bash.jpg)
Linux 脆弱性の検証 Dirty COW (CVE-2016-5195) - Qiita
Linuxの勉強中にCOWを調べていたら、こんな脆弱性の情報を見つけたので、AWSのゲストOSで試してみました。 結論から言うと、脆弱性が再現されました。（一般ユーザーがrootユーザーのファイルを書き換えてしまうことを確認） 【情報元】 ①脆弱性の内容 https://dirtycow.ninja/ "A race condition was found in the way the Linux kernel's memory subsystem handled the copy-on-write (COW) breakage of private read-only memory mappings. An unprivileged local user could use this flaw to gain write access to otherwise read-only mem
grepコマンドの詳細まとめました【Linuxコマンド集】
grepはファイル中の文字列に対して正規表現を使って検索し表示するLinuxコマンドだ。 このページではgrepの基本操作を解説する。Linuxコマンドの中では使用することが多いコマンドだ。 ぜひ、この機会に使い方を理解してしまおう。 grepコマンドの基本 grepコマンドの基本動作 grepはファイル中の文字列を検索するコマンドだ。使い方は、次のとおりシンプルなものになっている。 $ grep 検索正規表現 ファイル名 grepでファイル内の文字を検索するにはこれだけだ。 例えば、workディレクトリ内のファイルすべての中からaという文字を検索する場合は、次のコマンドだ。 $ grep a work/* aの文字があるファイルとそれぞれの該当箇所が表示できた。 上記grepコマンドを試すなら下のコマンドをLinux上で実行すればすぐに再現可能だ。以下も同様。 mkdir work ec
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SadServers - Linux & DevOps Troubleshooting Interviews
徳丸 浩 on Twitter: "これは本当にオススメ。トレーニングなので、Linuxのインストールからやるのがよいです。Exploitが刺さるだけで楽しいですが、なぜそれが成立するかまで追いかけるとさらに勉強になります。 https://t.co/tHyQuPSvjw"
あなたはps -ef派なのか、auxf派なのかをちょっとだけまとめてみた | ten-snapon.com
Engadget | Technology News & Reviews
topコマンドの使い方 - Qiita
あなたの知らない less の世界 - Qiita
