低レイヤーを学ぶための技術書をまとめてみる - Qiita
半年前から低レイヤーに関する勉強をしている。 その中で読んだ技術書の感想、そしておすすめの読む順番をここにまとめてみる。 OS 30日でできる! OS自作入門 おすすめ度：80（満点100） 一言：自作OSの初心者向け 自作OSでまず初めに候補に挙がるのがこの本。2006年に出版された本ではあるが、OSの根幹を理解するにはとても良い。最初からアセンブリでメモリ操作をがっつり書くため、アセンブリの経験やレジスタ周りの知識が無いと挫折してしまうかも知れない。そこを乗り越えれば楽しくOSを実装していける。 コンピュータシステムの理論と実装 ―モダンなコンピュータの作り方 おすすめ度：95 一言：一からOSを作って学べる本格的な指南書 論理回路と呼ばれるレベルからメモリやCPUを作っていき、アセンブリ言語やアセンブラの開発、そして独自言語とそのコンパイラ、OSまで開発する。CPUなど各要点の考え方
『詳解 Linuxカーネル』を一周読んだ感想・事前準備・そしてその先... - 完全に理解した.com
オライリーの『詳解 Linuxカーネル 第3版』を一周読んだので、 書籍の概要 読んでみた感想 事前に読んでおくべき本 この本を読んだ先はどうなっているか を書いていきます。 書籍の概要 『詳解 Linuxカーネル 第3版』は、Linux の解説書として、いわゆる低レイヤを学ぶためのおすすめ書籍によく挙げられます。 合計 1024 ページという分厚さであり、ある程度の前提知識も求められる、少しハードルが高い本です。 内容としては、 プロセス メモリ管理 ファイルシステム といった Linux の重要な要素について、関係する概念や、構造体の具体的な構成、ソースコード内の関数の処理などが手厚く書かれています。 解説はボトムアップ的に構成されており、ハードウェア依存の内容に始まり、ハードウェアに全く依存しない内容で締め括られます。 第 3 版は Linux 2.6 が対象で、2021 年 7 月
初めて読むMASMはとっても良い本。 - big-eyed-hamster’s diary
私の所属する研究室内では、Linuxカーネル読書会なるものをやっている。教材は詳解Linuxカーネルの第3版。この本は-読んでみると分かるが-x86依存の話が非常に多い。スケジューラの話のあたりになると、Gnu Assemblerなどという暗号（！）でガシガシ書いてあるので、もう訳がわからない。この辺のソースコードの様子は、id:naoya さんのLinux カーネルのコンテキストスイッチ処理を読み解くを見ていただければ分かると思う。そうなってくると、必然的にx86の副読本を買わねばならぬ、となるわけだが、x86を知らない人がいきなりはじめて読む486―32ビットコンピュータをやさしく語るを読むと、多分多くの人が挫折してしまうだろう。というか、私がした。確かに良い本(だと思われる)んだけれど、前提知識が足りないと、所々でつまってしまって、読むスピードが落ちて、あああ、、、僕はダメな子だ、、
「IBM COBOL for Linux on x86」発表。x86サーバ上のRHELやUbuntu Serverでz/OS互換のCOBOLコンパイルや実行を可能に
米IBMはx86サーバ上のLinux環境でCOBOL言語のコンパイルや実行を実現する「IBM COBOL for Linux on x86 1.1」を発表しました。 IBM COBOL for Linux on x86 1.1は、「IBM COBOLコンパイラファミリー」の最新製品として、IBM Enterprise COBOL for z/OSおよびIBM COBOL for AIXとの互換性を備えています。 また、Enterprise COBOL for z/OSと同じ最適化技術がIBM COBOL for Linux on x86 1.1に用いられ、コンパイラの基本的なバックエンドも共有されているため、高速な処理が実現できるとのこと。 TXSeriesのマルチプラットフォームに対応。Db2 for Linux/UNIX/Windowsに対応。Db2ファイルシステムはシーケンシャル、イ
Go言語とコンテナ
長かった本連載も今回が最終回です。 この連載では、プログラムがコンピュータ上で動くときに何が起きているのかを、Go言語のコードを通して覗いてきました。 今回は、その締めくくりとして、コンテナについて紹介します。 現在広く利用されているコンテナ技術であるDockerのコアは、Go言語製のlibcontainerというライブラリです。 このライブラリを使って自作のコンテナを仕立ててみます。 今回の原稿にあたっては、仮想化周りでsyohexさんに細かく指摘をいただきました。ありがとうございました。 仮想化 コンテナの話に入る前に、コンテナと目的がよく似た技術である仮想化について説明します。 仮想化は、コンテナよりも先に広く使われるようになった技術ですが、 歴史的にさまざまなソリューションがあり、どのような仕組みか、どのようなメリットがあるか、どのような制約があるか、どこにフォーカスするかで分類の
Linux Hardware Reviews & Performance Benchmarks, Open-Source News - Phoronix
Latest Linux Hardware Reviews, Open-Source News & Benchmarks 51 Minutes Ago - Free Software - Sovereign Tech Fund - Add A CommentGermany's Sovereign Tech Fund has been making sizable investments into various Linux desktop projects, the Rust-based Coreutils implementation, libmicrohttpd, PHP, a systemd bug bounty, and other prominent open-source software that could benefit from greater financial re
実践的低レイヤプログラミング
はじめに 学校で習わないが(習う学校もある)、現実に必要になるプログラミング技術に、低レイヤプログラミングなどと呼ばれるものがある 厳密な定義は聞いたことがないし、おそらく存在しないとは思うが、大体のみんなの共通認識として、 「高級プログラミング言語を使わないプログラムを書き、OSで抽象化されないデバイスの機能を使う」といったような認識があると思う。 筆者の経験から言わせてもらうならば、低レイヤプログラミングに関する知識は、プログラミングにおいてあらゆる場面で、常に、少しずつ役立てられる知識だと言えると思う。 普段はRubyやPHPなどを書いてる人であったとしても、メモリが足りなくなった場合や、デバッガを使っている場合、性能が足りなくなった場合など、 厳しい環境におかれた時に低レイヤプログラミングに関する知識が必ず役に立つ場面が来ると信じている。 また、役に立つかどうかは置いておいても、「
Linuxカーネルを読む前にやったこと - komukomo’s diary
「カーネルのコードがよくわからない。Linuxカーネルに関する本を読んでもいまいちしっくりこない。」 から、「読めば理解できそう..!」 になるまでにやったことのまとめ。 はじめに 低レイヤの話がわかるようになりたかった。 カーネルの中身が知りたかった。 とりあえず本を読もうと思い詳解 Linuxカーネル 第3版を読んだが知識がなさ過ぎてよくわからない。 知らない用語だらけで都度調べればなんとなくはわかる気もするが、いまいち頭に入ってこない。 今思うとそもそもCPUの話なのかカーネルの話なのかさえよくわからない状態で読んでいたような気がする。 そんな状態を克服するためにやったことをまとめておく。 学習前 学習前の自分の知識はこんな感じだった。 知っていた データ構造とアルゴリズム 論理回路 C言語（研究室で数値計算に使える程度。構造体やポインタくらいならわかる。） よく知らなかった OSが
CPU使用率100％のWebサーバをOSのチューニングだけでCPU使用率20%まで改善する - 人間とウェブの未来
こんばんは、 @matsumotoryです。 hb.matsumoto-r.jp 上記エントリにおいて、プロセスの大量メモリ確保に伴うページテーブルサイズとベージテーブルエントリ数の肥大化によるcloneやexecveの性能劣化とCPU使用時間の専有問題、および、それらの解決方法についてシステムコールレベルで確認しました。 そこで今回は、システムコールやそのカーネル内部の処理の性能、というよりは、より実践的な環境であるApache httpdとmod_cgiを用いて、phpinfo()を実行するだけのCGIに対してベンチマークをかけた時にどれぐらいCPUのidleが空くか、システムCPUの使用量が変わるかを、前回示した解決方法の1つであるHugePagesを使うかどうかの観点で比較してみましょう。 特定条件下のWebサーバ環境のシステムCPUに起因する高負荷問題から、システムコールやカーネ
Ryzenにまつわる2つの問題 - 覚書
NOTE1: 2017/8/12に2つ目の問題について更新しました。ついに両方の問題が解決しました。 NOTE2: 2つ目の問題についてはすべての経緯をまとめた書籍があります。 4月にRyzenを積んだデスクトップマシンを買いました。その上で日課であるカーネルビルド&テストをした*1ことをきっかけに、2つの問題が発生しました。先代のCore i5を積んだマシンでは起きなかった現象です。 このエントリは自分用のメモがてら、新しいことがわかれば随時更新していきます。後者については9月に開催されたkernelvm北陸にて、本ブログには書かれていない解析の詳細などについて発表してきました。 Ryzen segv battle from Satoru Takeuchi www.slideshare.net 環境 ハードウェア CPU: Ryzen 1800X Motherboard: ASUS PR
Ryzenで発生しているSEGV問題、原因はCPUのキャッシュ？ | スラド
AMDの新CPU「Ryzen」でLinuxカーネルやgccをビルドするとセグメンテーション違反が発生する場合がある問題が確認されている。これはRyzen SEGV Battleと呼ばれて流行中だが、EIRAKU氏によるとSEGVの発生原因はインストラクションポインタから64バイトズレた位置の命令を実行してしまうことだそうだ。 この問題についてはsatoru_takeuchi氏による「Ryzenにまつわる2つの問題」という記事が詳しいが、再現性が低く、また確実な対処方法も判明していないという状況であった。 EIRAKU氏はBitVisorというハイパーバイザで検証を行い、call命令を起点にインストラクションポインタから64バイト手前にある命令を実行してしまう現象を確認したそうだ。この現象の結果、ズレた位置にある命令が不正なアドレスにアクセスしセグメンテーション違反や一般保護違反が起こってい
RYZENでLinuxを動かす
前回はLGA1151で使っていたSSDをそのまま繋いでDebian8を動かしたのですが、さすがにそれじゃダメだろうということでOSを入れ換えることにします。 ただもうkernelコンパイルする歳ではないので、2017/03末の時点でkernel 4.10がパッケージで提供されているディストリビューションを探したところ、UbuntuがPPAで提供してくれてるので、Ubuntu 16.04 LTS Serverを入れることにします。 で、ネタにするからには何らかのベンチマークを取る必要があるわけですが、最近ほんと見なくなったUnixBenchを使います。この辺は個人的な趣味です。 環境はこんな感じ。 RYZEN 7 1700 + Debian8(kernel 3.16.0-4) + SMT有効RYZEN 7 1700 + Ubuntu 16.04(kernel 4.4.0-71) + SMT有
CPU使用率は間違っている | Yakst
Netflixのパフォーマンスエンジニアである筆者からの、topコマンドなどで表示されるCPU使用率(%CPU)は、いまや本当の使用率を表しておらず、チューニングなどのための指標として使えないという指摘。なぜそうなってしまったのか、何を見れば本当のCPU使用率がわかるのかをわかりやすく解説した記事。 私たちみんながCPU使用率として使っている指標は非常に誤解を招くもので、この状況は毎年悪化しています。CPU使用率とは何でしょうか？プロセッサーがどのくらい忙しいか？違います。CPU使用率が表しているのはそれではありません。私が話しているのは、あちこちで、あらゆる人たちに、あらゆる監視製品で、あるいはtop(1)でも使われている、"%CPU"という指標のことです。 あなたの考えているであろうCPU使用率90% : 実際 : "stalled"(訳注 : 以下ストールと言う)とは、プロセッサーが
Linuxプロセスとカーネル読解のとっかかり - Qiita
概要 Linux Kernelを読み解くためのとっかかりとしてLinuxのプロセスの理解(SoftwareDesign2014年8月号の特集参照)に焦点をあててみたいと思います。プロセス、スレッド、CPUについての話の後、最新カーネルのダウンロードからちょっとした中身の確認までやります。サンプルコードもありますが、サービス影響のあるサーバでは実行しないでください。 プロセスとスレッド プロセスとは Linux上で動いているプログラム スレッドが無い時はプロセスが実行単位 スレッドとは Linuxプロセスにおけるスレッド 「1つのプロセスの中で複数の実行単位を持てるように機能拡張したもの」(SoftwareDesign2014年8月号) CPUにおけるスレッド 「最小の処理単位」 プロセス2が終わった後に処理できるプロセス3がある例 スレッドを利用しない場合(左図) プロセス2の処理が終わる
Linux x86_64のメモリアドレッシング - Qiita
前述のように、Linuxはセグメンテーションを使いません、x86ではIntelのマニュアルで言うところの「3.2.1 Basic Flat Model」を利用します。また、そもそもx86_64の64bitモードではセグメンテーションが使えません。セグメンテーション機構はLegacy-modeと書かれているので、実行時に指定できるアドレスの範囲より物理メモリのサイズが大きかった8086の名残みたいな機能なのでしょう、きっと。 しかしながら、どのユーザプログラムも他のプロセスがどの部分の物理メモリを使っているか意識したくないので、各プロセスはそれぞれ仮想的なアドレス空間で動作します。ページング機構によって物理アドレスとリニアアドレスのマッピングを管理することで、それを実現しています。 ページングの仕組み メモリをページフレームという一定サイズの領域に分割します。そして、ページフレームとそこに格
Raspberry Pi 3はまだ"真の力"を発揮していないだけ - ワタナベ書店
Raspberry Pi3 Model B ボード＆ケースセット (Element14版, Clear)-Physical Computing Lab 出版社/メーカー: TechShareメディア: エレクトロニクスこの商品を含むブログ (2件) を見る Raspberry Pi 3にnode.jsをインストールするとき、3からARM8のCPUを使っているから、node.jsのサイトからARM8対応のパッケージを持ってくればいいよねと思っていたが、調べてみるとそうでは無かった。 Raspberry Pi 3でのCPU情報(Raspbian) pi@raspberrypi:~ $ lscpu Architecture: armv7l Byte Order: Little Endian CPU(s): 4 On-line CPU(s) list: 0-3 Thread(s) per core
Well Known Linux Kernel Developer Recommends Against Buying Skylake Systems - Phoronix
Show Your Support: Did you know that you can get Phoronix Premium for under $4 per month? Try it today to view our site ad-free, multi-page articles on a single page, and more while the proceeds allow us to write more Linux hardware reviews. At the very least, please disable your ad-blocker. Well Known Linux Kernel Developer Recommends Against Buying Skylake Systems Written by Michael Larabel in L
Linuxカーネルを新しいCPUに移植する - 豆腐の豆腐和え
この記事はLinuxアドベントカレンダー2015 21日目に大遅刻した記事です。ごめんなさい 皆さん、ご家庭に「作ってみたはいいけれど、動くOSがなくて困ってる！」っていうCPUはありませんか？もしそんなCPUがあればLinuxを移植してみてはどうでしょう？？ この記事ではLinuxを新しいCPUへ移植する話をします。 前書き なぜLinuxを新CPUに移植する話をしているかというと、学科の同期数名で、FPGAで作ったCPUにLinuxを移植するということを5月ごろから細々と進めているからです。(もっとも院試やら卒論やらで本格的に作業できるのは実際には来年の2月以降です。。)これは以前自作CPUにxv6を移植したやつの第2段階ですね。 まだ新CPUのもろもろが出来上がっていませんので、現在は本番の移植のための勉強としてx86アーキテクチャのミニマムな再実装をやっているところです。本記事は今
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
窓の杜
GitHub - garasubo/T-Visor: Real-time hypervisor for ARM
