A journey into the Linux scheduler
Two years ago more or less I started my journey in Linux. I was scared at first and I didn’t know where to start from. But then I decided to buy a book - and what a book! - in order to follow a path. Along the way, I integrated the material with up-to-date documentation from kernel.org and source code. In the meantime, I started to learn C a bit so that I also could have played with what I was lea
新しいLinux namespaceである「CPU Namespace」について - inductor's blog
はじめに この記事は、以下のlwn.netの記事を抄訳したものです。 lwn.net CPU Namespaceのご紹介 これはCPU namespaceのインターフェスとそのメカニズムを証明するための初期プロトタイプです。 現状におけるCPUリソースの制限方法 Linuxカーネルでは、タスクのCPUリソースを制御するために2つの方法を提供します。 cgroup cpuset: 該当のグループにアタッチされた単一または複数のタスクの集合に対し、CPUリソースを制限するためのメカニズムです。 syscall sched_setaffinity: CPUの集合に対して特定のタスクをピニングするためのシステムコールです（訳注: NUMA利用時の条件下などにおいてよく利用される手法）。 また、カーネルはシステムにおいて利用可能なCPUリソースを閲覧可能にするために3つの方法を提供します。 sys/
Intel oneAPIを入れるとClangが死ぬかもしれない
はじめに TL;DR. Intel oneAPIとClangは競合する可能性があります iccが無償になって，yumやaptで簡単に入るよって書いてる記事が増えてきました． 気軽な気持ちで入れられるような顔をしていますが，これは罠です． setvars.sh とかいうクソスクリプトがシステムの環境変数設定をぶち壊す可能性があります． 自分のマシンなら良いですが，何も考えずに共用のマシンにインストールするのは考え直してください． この記事は以下2つの記事の続きです．何のためにインストール記事なんて書いたかって，実はこの記事をちゃんと書きたかったからです． Intel oneAPIのIntelコンパイラやDPC++についてちょっと調べた Intel oneAPIのUbuntuへのインストールとToolkitのサイズでかすぎ問題 20210829追記 LLVMベースの新しいコンパイラはicx/i
GNU/Linux (x86/x86-64) のシステムコールをアセンブラから呼んでみる - CUBE SUGAR CONTAINER
今回は、表題の通り x86/x86-64 の GNU/Linux でシステムコールをアセンブラから呼んでみる。 システムコールは、OS (ディストリビューション) のコアとなるカーネルがユーザ空間のプログラムに向けて提供しているインターフェースのこと。 なお、アセンブラの実装に関しては以下の二つを試した。 NASM (Netwide Assembler) GAS (GNU Assembler) アセンブラには INTEL 記法と AT&T 記法という二つのシンタックスがある。 NASM はデフォルトで INTEL 記法を、GAS はデフォルトで AT&T 記法を使うことになる。 使った環境は次の通り。 $ uname -sr Linux 4.15.0-65-generic $ nasm -v NASM version 2.13.02 $ as -v GNU assembler versio
Windows 10 Insider PreviewのLinux GUIアプリ実行サポート、現時点ではHaswell世代以降のCPUが必要 | スラド Linux
やや旧聞となってしまったが、Microsoftが先週Windows Insider ProgramのDevチャネルで提供開始したWindows 10 Insider Preview ビルド21364では、Windows Subsystem for Linux(WSL)にLinux GUIアプリサポート機能(WSLg)の最初のプレビュー版が搭載されている(Windows Insider Blogの記事、 Windows Command Lineの記事、 Readme,md)。 Devチャネルの最近のビルドでは「Windows の機能の有効化または無効化」でWSLを有効にしていなくても「wsl」コマンドが使用できるようになっている。そのため、管理者として起動したコマンドプロンプトやWindows PowerShell上で「wsl --install -d <Linuxディストリビューション名>
バックアップの圧縮形式を変更して CPU 使用率を改善する - Pepabo Tech Portal
はじめまして。技術部プラットフォームグループの sugy です。 私は主に弊社で運用しているカラーミーショップというサービスのインフラ周りの担当をしています。 本記事では、カラーミーショップのバックアップサーバでデータ圧縮形式を変更して CPU 使用率を改善した話を書きます。 経緯 カラーミーショップではサービス利用者の方々の大切なデータをお預かりしているのですが、システムの可用性の確保のためにそれらのデータのバックアップを行っています。しかし、しばらくバックアップサーバの CPU 使用率が高い状態が継続していました。この状態が更に進むとバックアップ処理が完了する前に次のバックアップ処理が開始されてしまい慢性的なリソース不足になる懸念がありました。 バックアップデータは各サービス提供用サーバから、バックアップ用サーバにデータを同期した後、アーカイブ・圧縮して AWS S3 に転送・保管する
私がBlenderのためにLinuxにした理由｜Histone
BlenderはLinux上が一番速いMacメインだった私がBlenderのためにWindowsに移行。その後しばらくしてLinuxに移行しました。その理由は、 ・BlenderはLinux上が一番パフォーマンスが良い ・ベストパフォーマンスを引き出すのにMacという選択肢は（今の所）無い からです。 LinuxでのBlenderのパフォーマンスに関する事は以前にも少しこちらのnoteで書きました。↓ 最近新しいRyzen5000シリーズやAppleシリコン搭載Macが登場したりした事もありますし、今回は新しい情報を踏まえつつ、前回書き足りなかった部分をもう少し詳しく書いてみます。 Blender Open Dataを見てみると「BlenderはLinux上が早い」は単なる私の憶測や妄想、あるいは特定OSファン的バイアスではありません。実際に同じマシン上でレンダリング速度を検証してみた結果
VM環境のCPU仮想化はどうやって実現しているのか ハードウェア仮想化支援機構の仕組み
Arm入門勉強会とは、macOSがArmに移行したこの機にArmアーキテクチャでのプログラミングについて入門するソフトウェアエンジニアのための会です。今回主催の@nullpo_head 氏が、Armの仮想化支援機構について、その仕組みから深く説明します。前半は「現代のハードウェア仮想化支援機構」について。全２回。 ハードウェア仮想化支援とは何か 佐伯 学哉氏：入門セッション3つ目は『Armの仮想化支援機構』についての入門セッションです。どうぞよろしくお願いします。 本発表のスタートとゴールです。VMwareとかQemuとか使ったことあるけど仮想マシンの仕組みなんも知らんというところがまずスタートになっています。 1個目のゴールは、最近のVMのざっくりした仕組みとハードウェア仮想化支援とは何かということがわかること。そしてその話のあとに実際にArmの仮想化支援機構の概要を説明し、Armの仮想
たった1万円台のRISC-V CPU搭載＆Linuxの動作に対応したお手頃コンピューターボード「BeagleV」
現代のコンピューターのほとんどがx86やARMといったクローズドなアーキテクチャを採用する中で、プロセッサ業界に革新をもたらす鍵として注目されているのが、オープンソースの命令セット・RISC-Vです。そんなRISC-Vを搭載し、Linuxの動作にも対応した119ドル(約1万2400円)のコンピューターボード「BeagleV」が発表されました。 BeagleV https://beagleboard.org/static/beagleV/beagleV.html x86やARMはプロセッサのアーキテクチャとして多くのシェアを勝ち取っていますが、利用するためには高額なライセンス料を支払う必要があり、プロセッサ市場への新規事業者の参入障壁となる点などが問題視されてきました。オープンソースのRISC-Vは誰でも無料で利用できるため、普及すれば他業界や研究機関によるプロセッサ開発の垣根を下げ、安価な
JVM in Linux containers, surviving the isolation | BellSoft Java
Alpaquita Cloud Native PlatformThe Cloud-native platform that provides the convenient way to create performant and secure Cloud solutions for your applications. Pricing We offer competitive and flexible pricing for large-scale development projects, and long-term support roadmaps. When failing to optimize cloud costs, companies can overspend up to 70% Read our report to learn more
第45回 Linuxカーネルのコンテナ機能 ― cgroupの改良版cgroup v2［6］ | gihyo.jp
昨年12月に前回の記事を書いて以来、世の中の状況がすっかり変わってしまいました。 筆者も4月以降はほとんど会社に出勤することなく、自宅で仕事をしています。自宅の物置のように使っていたスペースを片付け、少しずついろいろなものを買い揃え、自宅でもまずまず快適な環境で仕事ができるようになりました。同様に、これを機に自宅でも快適に仕事ができるようにいろいろと買い揃えた方も多いのではないでしょうか。残念ながら、自宅の環境が快適になったからと言ってこの記事の公開ペースが速くなるということはありませんが。:-p さて、年末に書いた記事ではケーパビリティの話を3回に渡って説明しました。今回はそのケーパビリティシリーズの前に紹介していたcgroup v2の話題に戻って、その機能を紹介していきたいと思います。 cgroup v2とCPUコントローラ この連載の第37回で書いたように、cgroup v1は自由度
Linus Torvalds: "I Hope AVX512 Dies A Painful Death" - Phoronix
Linus Torvalds: "I Hope AVX512 Dies A Painful Death" Written by Michael Larabel in Intel on 11 July 2020 at 08:39 PM EDT. 116 Comments Linux creator Linus Torvalds had some choice words today on Advanced Vector Extensions 512 (AVX-512) found on select Intel processors. In a mailing list discussion stemming from the Phoronix article this week on the compiler instructions Intel is enabling for Alder
BPF Performance Toolsを読んだ感想 - go_vargoのブログ
BPF Performance Toolsを読んだので、感想ブログです。 先に感想を言っておくと「最高」でした。 BPF Performance Toolsとは？ NetflixでKernel・パフォーマンスにかかわるチューニング・アーキテクチャを専門にしているBrendan Greggさんが書いた本です。BPFのiovisorというTracing分野の第一人者でもあります。 www.brendangregg.com 2019年12月に発売したばかりなので、BPFの分野では最新の本でしょう。他の著書に有名な本として(日本語版の)「詳解システム・パフォーマンス」があります。 BPF Performance Toolsは「詳解システム・パフォーマンス」第二弾と言えるかもしれません。ちなみにページ数は880Pあり、Kindleで表示される読み終わるための平均的な時間は「27時間30分」で、大作R
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす｜ハイクラス転職・求人情報サイト AMBI（アンビ）
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす Webアプリを動かして負荷をかけると、OSのプロセスという観点ではどのように見えるのでしょう？ それを通して運用やトラブルシューティングではどういったことが分かるのでしょう？ Linuxカーネルの開発者でもある武内覚（sat）さんによる解説です。 こんにちは、sat（@satoru_takeuchi）と申します。 コンピュータが誕生してから現在まで、最終的にエンドユーザが意識するアプリケーション開発はどんどん楽になっています。先人たちのたゆまぬ努力の結果、アプリ開発者はOSや、そのさらに下にあるハードウェアのことをほとんど意識することなく開発ができるようになりました。 しかし、「作ったアプリが、OSレベルでどのように動いているか？」が今一つピンと来なくて、モヤモヤしていないでしょうか。それ
)
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
Linux メモリ管理を理解したい - Qiita
Linux カーネルのメモリ管理方法について、勉強したことをまとめる。 メモリ管理はハードウェアに強く依存するため、x86_64 かつ OS起動後に 64bitプロテクトモード に移行したあとに話を絞る。また、OS は CentOS7.6、カーネルは次のバージョンを利用する。 ]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) ]# uname -a Linux localhost.localdomain 3.10.0-957.21.3.el7.x86_64 #1 SMP Tue Jun 18 16:35:19 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux 概要 ノイマン型アーキテクチャ コンピュータの基本的な構成のひとつ。次の図が参考になる。 ほぼ全てのコンピュータが、このアーキ
Monitoring Linux Processes using Prometheus and Grafana – devconnected
Whether you are a Linux system administrator or a DevOps engineer, you spend a lot of time tracking performance metrics on your servers. You may sometimes have instances that are running very slow without having any real clues of what the issues might be. You may have unresponsive instances that might block you from running remote commands such as top or htop on them. You may have a simple bottlen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AMD、LinuxのNUMA性能を約15%高める400行未満のコード
GitHub - tkmc/486: 『はじめて読む486』のサンプルプログラム集です。
CPU Steal Time 入門 - Qiita
