クラウド時代のLinuxエンジニアにとって欠かせないOSの知識やコマンド群を、どう学ぶか［PR］
ITエンジニアとしてシステムの開発や運用などにかかわるとき、OS（オペレーティングシステム）の基本的な知識はあらゆる場面で求められます。そのOSの代表がLinuxでしょう。 クラウドではLinuxが事実上の標準OS 例えば、クラウドを使いこなそうとするとき、Amazon Web Servicesをはじめとするほとんどのクラウドで事実上の標準的なOSとして使われているLinuxの知識は欠かせません。 アプリケーションの開発や運用においても、コマンドラインを使う場合には、それはLinux環境もしくはLinux/Unix環境を模したものであることが一般的です。 いま注目されているDockerコンテナやKubernetesといったコンテナ技術の登場は、Linuxの重要性をさらに高めています。DockerコンテナそのものがLinuxのテクノロジーを基盤として作られたものだからです。 こうしたLinu
LinuxコミュニティはRustを受け入れた
私が最近注目しているプログラミング言語がある。Rustだ。Rustとは、錆のことである。何が錆なものか。JJだ。 RustはMozillaが開発しているプログラミング言語である。恥ずかしいことに私はRustの存在をつい最近まで知らなかった。私がRustの存在を知ったのはkernelvmでのことである。発表をustで聴いたあと自分で調べるとなるほどこれは私の望んでいた言語だと思った。そしてそれは、Linuxコミュニティが望んでいた言語でもあったのだ。 昨今、Go言語なるものが流行っている。猫も杓子もDockerの実装言語として採用されているためだ。しかし、Goは私のテイストに合わない。プログラミング言語というのは、異性のようなもので、一目見ただけで良いとか悪いとか感じるものである。これがまさにテイストということであり、言語にこだわりがないなんて人は、「誰でも良い」と言ってるようなものである。
Windows 10のファイルエクスプローラがWSL機能を統合。Linuxを示すペンギンアイコンが登場
Windows 10のファイルエクスプローラがWSL機能を統合。Linuxを示すペンギンアイコンが登場 マイクロソフトはWindows 10の先行利用者向けバージョンとして配布されているInsider Preview 19603で、ファイルエクスプローラにWindows Subsystem for Linux（WSL）との統合機能を組み込んだことを明らかにしました。 具体的には、WSLがインストールされた状態でファイルエクスプローラを開くと、WSLを示すアイコンとしてLinuxのマスコットであるタックス（Tux）アイコンが表示され、WSLのLinux環境下にあるファイルをファイルエクスプローラから簡単にアクセスできるようになっています。
いまさら聞けない「OS」「カーネル」「GPL」とは？ Linux関連用語をおさらい
関連キーワード OS | Linux 「UNIX」から進化した「Linux」は、データセンターインフラを低コストで安全に運用する手段をユーザー企業に提供する。だがそのオープンソースアーキテクチャのために習得が難しいこともあり、CLI（コマンドラインインタフェース）の知識も必要になる。 単純に言うと、LinuxはOSだ。だがLinuxの機能やライセンスはMicrosoftやAppleのOSとは異なる。Linuxで何ができるかを理解するためには、Linuxのさまざまなコンポーネントと関連用語について知っておくことが役に立つ。 目次 用語1．OS 用語2．カーネル（会員限定） 用語3．GNU General Public License（GPL）（会員限定） 用語4．ディストリビューション（後編で紹介） 用語5．ブートローダー（後編で紹介） 併せて読みたいお薦め記事 「Linux」についてもっと
Linux Kernel Teaching — The Linux Kernel documentation
Linux Kernel Teaching¶ This is a collection of lectures and labs Linux kernel topics. The lectures focus on theoretical and Linux kernel exploration. The labs focus on device drivers topics and they resemble "howto" style documentation. Each topic has two parts: a walk-through the topic which contains an overview, the main abstractions, simple examples and pointers to APIs a hands-on part which co
サーバーのメモリが少しずつ圧迫される原因と対策を調べてみた - Qiita
サーバーのメモリが slab_cache で占有される サーバーのメモリが数日で slab_cache に占有されるので原因と対策を調査した。 メモリの使用状況の調査 meminfo meminfo を見ると Slab のメモリ使用量が確認できる。 SReclaimable と SUnreclaim を足すと Slab になる。 $ cat /proc/meminfo | grep "Slab\|claim" Slab: 1654520 kB SReclaimable: 1631304 kB SUnreclaim: 23216 kB slabtop slabtop コマンドをたたくと top コマンドのように Slab の内訳が表示される。 dentry が最も多いようだ。 --once は1回出力で終了するオプション。 --sort=c はキャッシュサイズ順にソートするオプション。 sl
CとRustで一から作るマイクロカーネルOS
マイクロカーネルは浪漫に溢れる非常に作りがいのあるソフトウェアです。この記事は，「マイクロカーネルベースのOSの一から作ってIaaSで動かす」ことを目標に作ったマイクロカーネルベースのOS Resea（りーせあ）の設計と実装について軽くまとめた物です。 ソースコードはGitHubにあります。 マイクロカーネルとは Linuxのようなモノリシックカーネルでは色んな機能がカーネル空間で動きますが，マイクロカーネルではユーザプロセスたちが互いに通信しながらOSを作り上げます。プロセス・スレッド・仮想メモリ管理，プロセス間通信，タイマーといった必要最低限の機能だけをカーネルが担います。デバイスドライバやファイルシステムといった残りの機能は，独立したユーザプロセスとして動きます。たとえデバイスドライバが暴走しても他のコンポーネントを壊すことはないのです。マイクロカーネルは信頼性が高く，疎結合で美しい
低レイヤの知識の重要性は今後も変わらない - 小崎資広に聞くLinuxカーネル開発の裏側 - エンジニアHub｜Webエンジニアのキャリアを考える！
低レイヤの知識の重要性は今後も変わらない - 小崎資広に聞くLinuxカーネル開発の裏側 Linuxは、世界でもっとも広く使われているソフトウェアのひとつであり、多くのエンジニアの仕事に密接に関わっています。では、Linuxそれ自体は、どのように開発されているのでしょうか。Linuxの中枢である、Linuxカーネルの開発者のひとりである小崎資広さんに、知られざる開発の裏側を聞きました。 オペレーティング・システムLinuxは、世界でもっとも広く使われているソフトウェアのひとつであり、オープンソースというカルチャーが生み出した、大きな大きな結実です。サーバー用OSとしてはデファクトと呼べるほどの普及を見せており、それだけにLinuxの動向がもたらす影響は広範にわたります。こうした前提があるなかで、Linuxそれ自体は、どのように開発されているのでしょうか。 今回、お話を聞いた小崎資広（こさき
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす｜ハイクラス転職・求人情報サイト AMBI（アンビ）
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす Webアプリを動かして負荷をかけると、OSのプロセスという観点ではどのように見えるのでしょう？ それを通して運用やトラブルシューティングではどういったことが分かるのでしょう？ Linuxカーネルの開発者でもある武内覚（sat）さんによる解説です。 こんにちは、sat（@satoru_takeuchi）と申します。 コンピュータが誕生してから現在まで、最終的にエンドユーザが意識するアプリケーション開発はどんどん楽になっています。先人たちのたゆまぬ努力の結果、アプリ開発者はOSや、そのさらに下にあるハードウェアのことをほとんど意識することなく開発ができるようになりました。 しかし、「作ったアプリが、OSレベルでどのように動いているか？」が今一つピンと来なくて、モヤモヤしていないでしょうか。それ
Big Sky :: sudo の特権昇格バグはなぜ起こったのか
« Microsoft Word を Markdown に変換するコマンド「docx2md」を作った。 | Main | VimConf 2019 を終えて » Linux の sudo に root 権限を奪取できるバグが見つかった。 Linuxの「sudo」コマンドにroot権限奪取の脆弱性。ユーザーID処理のバグで制限無効化 - Engadget 日本版 この脆弱性は、sudoコマンドのユーザーIDに-1もしくは4294967295を指定すると、誤って0(ゼロ)と認識して処理してしまうというもの。0(ゼロ)はrootのユーザーIDであるため、攻撃者は完全なrootとしてコマンドを実行できることになります。 https://japanese.engadget.com/2019/10/14/linux-sudo-root-id/ 既に Ubuntu 等にはパッチが配布され始めているらしい
実行してはいけないLinuxコマンド(6) Ubuntu Serverで『Fork爆弾』を実行 | マイナビニュース
Fork爆弾『 :(){ :|:& };:』とは? Linuxに限らず、UNIX系のオペレーティングシステムで実行してはならないとされるコマンドや処理に「Fork爆弾」がある。これはひたすらプロセスをfork(2)する処理を行うことで、処理のほとんどをプロセスの生成やコンテキストスイッチに費やさせたり、新しいプロセスの生成を困難にさせたりして、システムを正常に利用できない状況にすることを指す。サービス妨害攻撃(Denial-of-service attack)の一種とも言える。 Fork爆弾は実行が簡単なことでも知られており、Bashであれば「:(){ :|:& };:」と入力するだけで実行できる。今回はこのコマンドを実行してみる。 Ubuntu Serverで『:(){ :|:& };:』を実行 では、早速Ubuntu Server 18.04 LTSで『:(){ :|:& };:』を実
ptraceシステムコール入門 ― プロセスの出力を覗き見してみよう！ - プログラムモグモグ
他のプロセスを中断せずに、その出力をミラーリングして新しくパイプで繋ぐ、そんなことはできるのでしょうか。 straceやgdbといったコマンドは一体どういう仕組みで動いているのでしょうか。 ptraceシステムコールを使い、プロセスが呼ぶシステムコールを調べて出力を覗き見するコマンドを実装してみたいと思います。 ptraceシステムコール Linuxを触っていると、いかにプロセスを組み合わせるか、組み合わせる方法をどれだけ知っているかが重要になってきます。 パイプやリダイレクトを使ってプロセスの出力結果を制御したり、コードの中からコマンドを実行して、終了ステータスを取得したりします。 プロセスツリーやプロセスグループを理解し、シグナルやnohupコマンドを使ったりします。 プロセスの扱いに慣れると疑問に持つのがstraceやgdbの仕組みです。 プロセスの実行しているシステムコールを出力し
Linux認定資格をめぐる主導権争いのまとめ | LPI-Japan vs. LPI日本支部 - orangeitems’s diary
Linuxの資格、LPIC インフラシステムエンジニアの共通言語とも言えるLinuxですが、この技術の習熟度を測るための資格としては長い間LPICという資格がデファクトスタンダードでした。資格手当対象の資格にもなっている会社も多いのではないでしょうか。 LPIC資格試験とは、Linux Professional Institute (LPI) というNPO法人によって運営されている資格試験です。LPIはホームページによればカナダのオンタリオ州に本社を構え、20の支社を世界に構えています。世界的に共通の資格試験を展開していてLPIC資格試験をある国で取得すれば世界で通用するグローバルな資格試験です。 さて、このLPIC資格試験ですが、日本国内において話が怪しくなっているのです。 これまで、LPIC資格試験の日本国内での運営は、LPI-Japanという特定非営利活動法人が行ってきました。LPI
ファイルシステムサイズの拡張時にデータベースアクセスがスローダウンする問題の解決 - Cybozu Inside Out | サイボウズエンジニアのブログ
はじめに こんにちは、技術顧問のsatです。 サイボウズでは、ファイルシステムサイズ拡張時にデータベースアクセスがスローダウンするという問題に長年悩まされてきました。本記事では運用本部の藤田と深谷がこの問題を解決した流れについて報告いたします。問題を解決するために2人はLinuxカーネルを修正しました。修正は社内に閉じたものではなく、執筆当時の最新 Linuxカーネルであるv4.17にマージされています。 問題 以下の操作の後にデータベースへのアクセスが一時的にスローダウンする ブロックデバイスのサイズを拡張する 上記デバイス上にあるファイルシステムのサイズを拡張する 原因 linuxカーネルはブロックデバイスのサイズ変更(縮小および拡張)時に、当該デバイス上にあるファイルシステムのページキャッシュ(後述)を無効化する*1 解決方法 ブロックデバイスのサイズ拡張時にはページキャッシュを無効
Linuxのloadavgが約7時間ごとに上昇する現象の原因 - Mackerel お知らせ #mackerelio
Mackerelチームのエンジニアのid:itchynyです。 「mackerel-agentを入れるとloadavgが7時間ごとに上昇する」 先日、このような問い合わせを複数のお客さまから受けました。私も実験してみたところ、確かに再現しました。EC2 t2.microにmackerel-agentを入れて簡単なログ監視とプロセス監視を設定し、数日放置しました。 確かに、約7時間ごとにloadavgが上昇しています。この周期のcronの設定はしておらず、またmackerel-agent内部でも7時間ごとに行う処理はありません。しかし、プラグインを多く入れるほどloadavgのピーク値も上がります。 本エントリーでは、この現象の原因について説明します。 loadavgが上昇する原因を調べるには、まずloadavg自体がどう計算されているかを知る必要があります。 まずは、Linuxがloada
Linuxがifconfigやnetstatといった昔からおなじみのネットワークコマンドを置き換える本当の理由 - YAMDAS現更新履歴
Chris's Wiki :: blog/linux/ReplacingNetstatNotBad もはや Linux で ifconfig や netstat といった昔からある（つまり Unix 由来の）ネットワークツールを非推奨にして、ss や ip といったものに置き換えているという話をワタシが知ったのは……記憶を辿ると、どうやら山形浩生経由らしい。 この方針に対し、古手のシステム管理者には、なんで安定して動いているものを置き換えなければならないのかとイライラする向きもあるのだが、それが必要な理由について解説している。 まず一つには、/proc 配下のいろんなファイルを読む ifconfig や netstat は、iproute2 の一部であり netlink ソケットを利用する ss や ip よりもコマンドの実行が非効率というのがある。これが大規模なシステムだと問題になるとい
【linux】カーネルパニックの種類 | 発生方法 | 対処
1. カーネルパニックとは カーネルパニックとは、カーネルで致命的なエラーが発生し、OSの稼動が完全に停止した状態の事を言います。OSを継続して稼動さえることは不可能であり、再起動するしかありません。エラーの原因を調査するために、カーネルパニック時にはメモリダンプ(カーネルダンプ、クラッシュダンプ、コアなどと呼ぶ場合も有ります)を出力することが可能です。メモリダンプとは実メモリの内容をファイルに出力する機能のことを言います。OSがsyslog (シスログ) に書き出す余裕もなくクラッシュするのでメモリダンプは唯一の解析の手がかりとなることもあります。OSを再起動すると、メモリダンプが /var/crash/<IP アドレス-YYYY-MM-DD-mm:ss>/vmcore にコピーされます。(diskdumpの場合) 参考：diskdumpの設定方法 2. カーネルパニックの種類 カーネル
本の虫: OpenBSD、1985年に追加されたIntelの最新の誇大広告された機能を使わないことにより脆弱性を華麗に回避
OpenBSD、1985年に追加されたIntelの最新の誇大広告された機能を使わないことにより脆弱性を華麗に回避 “We didn't chase the fad of using every Intel CPU feature” | Hacker News 'Re: CVE-2018-8897' - MARC 前回の記事であるIntelの古いマニュアルを誤読したために生じた脆弱性では、IntelのCPUがスタック切り替えるためにss/spレジスターをアトミックに更新する汚いハックとして、ssレジスターが変更された直後の1命令は割り込みが遅延される古い仕様があるが、多くのOSはこの古い仕様を把握していなかったため、ssレジスターを変更した直後の1命令でカーネルモードに入り、かつハードウェアブレイクポイントが設定されたことにより割り込みを起こせば、カーネルモードに入った直後にカーネルのコード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
4章 Linuxカーネル - 割り込み・例外 4