2018年8月14日 Linux 4.18がリリース ―AMDGPUサポートの拡充、BPFILERフレームワークなど | gihyo.jp
Linux Daily Topics 2018年8月14日Linux 4.18がリリース ―AMDGPUサポートの拡充、BPFILERフレームワークなど Linus Torvaldsは8月12日（米国時間）、「Linux 4.18」のリリースを発表した。全部で8本のリリース候補（RC）版、通常より1週間長い開発期間を経ての正式リリースで、Linusは「通常のスケジュール通り、先週（8/5）に出すこともできたかもしれないが、この1週間はとてもおだやかで、僕たちはいくつかの（ネットワークや仮想ファイルシステムなどに関連する）マイナーアップデートを実施した」とコメントしている。 Linux 4.18 : Linus Torvalds Linux 4.18は前バージョンのLinux 4.17から1万3,000を超えるファイルが変更されており、古いコードの大幅な削除が行われ、全部で約10万行ほ
dockerでNignxのリバースプロキシとwebアプリをlinkしたローカル開発環境を作る - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
前に仕事で作ったdockerを使ったwebアプリの開発環境の覚書です。 実環境はAWSで動いていて、ALBがhttpsでリクエストを受けてALBとwebアプリはhttpで通信します。このような構成をdockerで作りたかったわけです。 簡単な概要はこんな図になります。 ALBのところをNginxのリバースプロキシに置き換えて作りました。 Nginxのリバースプロキシはこんな設定です。 server { listen 443; server_name www.webapp-test.local; ssl on; ssl_certificate /etc/nginx/server.crt; ssl_certificate_key /etc/nginx/server.key; location / { proxy_set_header Host $host; proxy_set_header X
Linux:パフォーマンスに影響あるデバッグオプションがどれだけ影響あるか試してみた - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
なんとなくやってみた系ですね。 今回はCONFIG_DEBUG_OBJECTSのところです。 CONFIG_DEBUG_OBJECTS_FREEがkmalloc/kfreeをヘヴィにつかうような場合にパフォーマンス劣化するよーなんていってます。 まずはCONFIG_DEBUG_OBJECTSの項目を全部無効にした場合。 この時点でもロック周りに時間取ってますね。 hackbenchを引数 10 process 20000 で実行してる時の様子がこんな感じです。 次にCONFIG_DEBUG_OBJECTSの項目を全部無効にした場合。 起動した時点でかなりの時間をロックで使ってます。 そして、hackbenchを同じく実行するとこうこうなります／(^o^)＼ このときはこんな感じになっていてもうどうにもならない感がありますね。 説明に書いてあるとおり、ほんと遅くなりますね。 ( ´ー｀)ﾌｩ
MacでUNIX V6を動かしてみよう - by shigemk2
ヒソヤカにごにょごにょ。 導入 笛吹きプログラマ Mac OS X LionでUNIX V6を動かす http://simh.trailing-edge.com/software.html からunix v6のdisk imageを貰ってくる。 適当な場所に展開。 ここまではいい。 $ simh-pdp11 起動 このコマンドの所在も内容もわからないので、とりあえず brew install simh する。 とりあえずコマンドはおーけー。 で、 Voila, voila :: V6Unix install on SIMH $ pdp11 PDP-11 simulator V3.9-0 sim> set cpu u18 Disabling XQ sim> att rk0 unix0_v6_rk.dsk sim> set cpu u18 sim> att rk0 unix0_v6_rk.ds
UNIX V6コードリーディング備忘録 その１
はじめてのOSコードリーディング UNIX V6で学ぶカーネルのしくみが面白すぎたので備忘録。 今回は2章 プロセス、3章 プロセスの制御、7章 ブロックデバイスサブシステム、9章ファイルシステムを対象に書いていきます。 読み方 上記の書籍＋ソースコードを以下からダウンロードしてIntelliJとかで開いて関数や変数を検索しながら読むのが良いです。ダウンロードするのはv6root.tar.gzです。 Index of /Archive/PDP-11/Distributions/research/Dennis_v6 $ mkdir v6 $ wget http://minnie.tuhs.org/Archive/PDP-11/Distributions/research/Dennis_v6/v6root.tar.gz $ tar xzf v6root.tar.gz -C ./v6 また実際に
週刊? Linux Kernel Patch Watch 20180413 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
まえがき 週刊Railsウォッチというrailsを中心とした記事がとても良い感じで、これのカーネル版あったら嬉しなということで自分でやってみました(*´Д｀) どれくらいのボリュームでとか、毎週ちゃんと書くのかは全く不明でございます。 我々にはWelcome to LWN.net [LWN.net]やLinux Hardware Reviews, Open-Source Benchmarks & Linux Performance - Phoronixがあるし、基本的にこれらを読めば事足りる気はしますが。まあ、小ネタを拾っていこう的な感じです。 読むpatchについてはマージされるかどうかは別として、気になったものとかを取り上げようと思います。 今週のpatch sl*bでコンストラクタ使う場合にスラブオブジェクトの取得時に__GFP_ZEROフラグ使わない [PATCH v2 2/2]
xv6のメモリ管理周りのコードリーディング - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
xv6のページング周りをちょっと見てたので記録をφ(..)メモメモ 参照したドキュメントはbook-rev10.pdfです。 book-rev10.pdfのP21、 Figure 1-2にxv6のメモリレイアウトがあります。 仮想アドレスの0から0x80000000がユーザー空間で、0x80000000〜0xFFFFFFFFがカーネル空間ですね。カーネル空間のうち先頭の0x100000バイトはBIOSの領域となってます。 カーネルのアドレス空間はvm.cにあるkmap構造体で管理してます。 static struct kmap { void *virt; uint phys_start; uint phys_end; int perm; } kmap[] = { { (void*)KERNBASE, 0, EXTMEM, PTE_W}, // I/O space { (void*)KERN
Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識 読みました - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
著者の武内さんより「[試して理解]Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識」を献本いただきました。ありがとうございますm( )m 武内さんはQiitaなどでもわかりやすいカーネルの解説記事を書かれているので、記事を読んだことが有る方も多いかと思います。そして、今回「試して理解]Linuxのしくみ ~実験と図解で学ぶOSとハードウェアの基礎知識」というOS・ハードウェアのしくみを手を動かして学ぶコンセプトの本を書かれました。 gihyo.jp 本書の「実験と図解で学ぶOSとハードウェアの基礎知識」というコンセプトはOSの解説本にしては珍しいと思います。しかし、何かを学ぶ上で実際に手を動かしたほうが勉強になるということを考えるとこのコンセプトは良いですよね。 また、図解の部分も丁寧に解説されています。第5章の仮想記憶、ページングの図解などはここまで細く説明されている文
string_get_size()でサイズのお手軽表示 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2017の22日目の記事です。 カーネルのコードを書いていてサイズを表示したい時にstring_get_size()を使うとお手軽に2進接頭辞（KiBとか）とSI接頭辞(KBとか)を使ったサイズの文字列を作ることができます。 関数のプロトタイプはこうです。 void string_get_size(u64 size, u64 blk_size, enum string_size_units units, char *buf, int len); sizeとblk_sizeは使い分けが有ります。バイト数を扱いたい場合はsizeにバイト数、blk_sizeには1を指定します。ブロックデバイスやページなどを扱う場合などはそのサイズをblk_sizeに指定して、それがいくつあるかをsizeで指定します。 たとえば、1024という数字を2進接頭辞
弄りながらなんとなく学ぶLinuxのスラブアロケーター - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2017の1日目の記事です。Linuxのスラブアロケーター仕組みを多少弄りながら学んでみます。 スラブアロケーターとはなんぞやというところはSlab allocation - Wikipediaを参照してください。スラブアロケーターはSolaris5.4で最初に実装されたようです。 Linuxカーネルプログラミングで動的にメモリを確保するのに使用するkmalloc()もスラブアロケーターを使用しています。 目次 Linuxのスラブアロケーター SLAB SLUB SLOB 各スラブアロケーターのまとめ 実装 スラブ用のページ 弄ってみる 最低限必要な準備 実装開始 データ構造 ロック 初期化 kmem_cache_create() スラブオブジェクトのアロケート スラブオブジェクトのfree 実験 ボトルネック この後 Linuxのスラ
「Linux 4.14」カーネルがリリース--最新のLTS版
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 編集部 2017-11-14 10:58 Linuxの生みの親であるLinus Torvalds氏が米国時間11月12日、最新の「Linux 4.14」カーネルをひっそりとリリースした。しかし、このリリースは大きな注目を集めるはずだ。Linux開発者らは、4.14がLinuxカーネルの次の長期サポート（LTS）版になることを過去に発表している。このことは重要である。なぜなら、LTS版Linuxカーネルのサポート期間が6年間に延長されたからだ。そのため、IoTやスマートフォン、組み込み型Linuxデバイスの開発者は、それらのOSが2023年までサポートされるという安心感の下で機器を構築することができる。 さらに、新しいLinuxセキュリティ開発ツール群のおかげで、Linuxはかつてな
Linuxネットワークドライバの開発 - Handwriting
この記事はLinux Advent Calendar 2016 9日目の記事です。 遅刻してしまい申し訳ございません。。。 とある事情があって1ヶ月半ほど独自NICのLinux向けのネットワークドライバを開発していた。 今回はARM用のデバイスドライバを開発した。NICはXilinx社のFPGAであるZYBOを用いて開発した。 まだ十分に実用段階というわけではないが、ひとまず独自NIC経由でのpingやiperfが通ったので、後学のために知見を残しておきたい（誰得だ、という感じだが）。 ソースコードはまだ公開されていないが、そう遠くないうちに公開する予定（たぶん）。 はじめに Linuxのデバイスには キャラクタデバイス - バイト単位のデータ通信 (e.g. シリアルポート) ブロックデバイス - ブロック単位のデータ通信 (e.g. ディスク) ネットワークデバイス の3種類がある。ネ
カーネルのバージョンアップ
■はじめに 現在使用しているカーネルでは、サポートされている機能が限定されており、新機能を使用するために、どうしてもカーネルのバージョンアップを行ないたいという場合があると思います。しかし、カーネルとは、OSの中核で、バージョンアップの影響は、システム全体に及びます。 そこで、カーネルのバージョンアップについては、必要性を十分に検討し、自己責任のもとで行なう必要があります。なお、バージョンアップの際には、付属のドキュメントに多くの重要事項が記載されていますので、よく読んでから行なってください。 ■ソースファイルの入手 まず、カーネルのアップデートを行なうためには、ソースファイルを入手する必要があります。ソースファイルは、さまざまな場所から入手可能ですが、ここでは、いくつかのサイトを紹介します。 ◆ftp://ftp.kernel.org/pub/linux/kernel/ ◆ftp://f
技術顧問に聞いてみた──小崎資広さん、武内覚さんインタビュー - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。コネクト支援チームの風穴（かざあな）です。 この度、あの小崎資広さん、武内覚さんに、サイボウズの技術顧問に就任していただくことになりました。 小崎さんは、日本を代表するLinuxカーネル開発者の一人です。また武内さんも、Linuxカーネル開発者として知る人ぞ知る存在で、最近では、AMD Ryzenプロセッサの問題を追究したことでも注目を集めました。 ということで、さっそくお二人にお話を伺ってきました。 サイボウズSREチームのメンバーと（前列左から4人目が小崎資広さん、同5人目が武内覚さん） ──そもそも、このお話の経緯は？ 小崎さん（以下、敬称略）：山本さん（編注：山本泰宇、サイボウズ執行役員・運用本部長）から、「技術顧問になっていただけませんか？」とオファーをいただきまして。 ──それまでは、山本とは知り合いでした？ 小崎：以前、2、3回、お会いしたことがあり、お名前は認識
Raspberry Piでカーネルモジュールを作成 | ある計算機屋さんの手帳
はじめに 2017年3月、Raspberry Pi2に搭載しているARM Cortex-A7の特権レベルで動作するプログラムの作成方法について調べました。 ARMのシステム制御コプロセッサ(CP15)は、プロセッサが実装している機能のステータス参照や制御を行うものです。CP15を操作するほとんどの命令は、特権レベルで実行しなければなりません。 Linuxが動作している場合は、次のようになります。 非特権モード : アプリケーション用の動作モードで、ハードウェアに直接アクセスできません 特権モード : カーネル用の動作モードで、あらゆるハードウェアにアクセスできます すなわち、Linux上の一般的なアプリケーションソフトは特権レベルの命令を使用できません。特権レベルで動作するプログラムは、カーネルに組み込むことになりそうです。 カーネルとカーネルモジュール 私は、Linuxのカーネルのソース
CPU使用率100％のWebサーバをOSのチューニングだけでCPU使用率20%まで改善する - 人間とウェブの未来
こんばんは、 @matsumotoryです。 hb.matsumoto-r.jp 上記エントリにおいて、プロセスの大量メモリ確保に伴うページテーブルサイズとベージテーブルエントリ数の肥大化によるcloneやexecveの性能劣化とCPU使用時間の専有問題、および、それらの解決方法についてシステムコールレベルで確認しました。 そこで今回は、システムコールやそのカーネル内部の処理の性能、というよりは、より実践的な環境であるApache httpdとmod_cgiを用いて、phpinfo()を実行するだけのCGIに対してベンチマークをかけた時にどれぐらいCPUのidleが空くか、システムCPUの使用量が変わるかを、前回示した解決方法の1つであるHugePagesを使うかどうかの観点で比較してみましょう。 特定条件下のWebサーバ環境のシステムCPUに起因する高負荷問題から、システムコールやカーネ
低レベルアクセスへの入り口（1）：io.Writer
今回は、Go言語がOS直上の低レイヤーを扱いやすくするために提供している io.Writer インタフェースの紹介をします。Go言語がシステムプログラミングを簡単に行える言語でありつつも、それなりに少ない記述量で比較的高速で、それでいて多くのことが達成できるのは、これから説明するようなインタフェースにより、低レイヤーが扱いやすい構造になっているからです。インタフェースと、インタフェースに対して提供されるさまざまなサービス関数が、Go言語の安い、早い、うまいの秘密です。 io.WriterはOSが持つファイルのシステムコールの相似形 前回の記事では "Hello World!" プログラムの関数呼び出しをデバッガーでたどり、最後にシステムコール syscall.Write() が呼び出されているようすを見ました。OSでは、このシステムコールを、ファイルディスクリプタと呼ばれるものに対して呼び
Linux Device Driver
�$B%U%l!<%`?d>)$G$9$,!"�(B<A HREF="index_jp.html">�$B0l1~8+$k$3$H$O$G$-$^$9�(B</A>�$B!#�(B
memory cgroupとpageのLRUめも - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
カーネルは4.1系です。 include/linux/mm_inline.hにLRUへの登録・削除処理の実装があります。 static __always_inline void add_page_to_lru_list(struct page *page, struct lruvec *lruvec, enum lru_list lru) { int nr_pages = hpage_nr_pages(page); mem_cgroup_update_lru_size(lruvec, lru, nr_pages); list_add(&page->lru, &lruvec->lists[lru]); __mod_zone_page_state(lruvec_zone(lruvec), NR_LRU_BASE + lru, nr_pages); } static __always_inlin
Linux kernel を読むための準備
仕事で kernel のソースが見る機会が度々ありそうなので、MAC上でソースをいつでも追えるように準備しておく。 準備といっても大したものではなく、 kernel ソースのダウンロード tag の作成 vim の設定 ぐらい。tag については、GNU GLOBAL などもあるが、とりあえず ctags で。 kernel source の取得 github ではなく tar ball からの取得。複数のリリースを取得するにはこちらの方が簡単そうだったので。 mkdir -p ~/src/kernel curl https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.2.4.tar.xz | tar zx -C ~/src/kernel/ tag の作成 linux kernel の Makefile には、tag を作成するターゲットが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
