本日の買い物：Lemur Pro
System 76のLinuxラップトップ、Lemur Proを購入した。 購入 Linuxが使える軽いラップトップはないものかと検索していて、これを見つけた。良さそうだけれども、日本からは買えないだろうと思ったら日本向けの発送をしていることに気づき、ほぼ衝動的に注文した。 発注したのが金曜日の夜。月曜日に「クレジットカードの請求元情報のなかにパスコードをいれたので、それをフォームに記入してほしい」とメールが来る。正しい購入者かの確認ということなのだろう。火曜日朝にクレジットカード会社のWebサービスで確認して入力すると、注文の状態が組立中に変わる。金曜日にUPSで発送される。UPSなので土日は届かないだろうと思っていたら、今回は自動的に国内配送がヤマト運輸に切り替わっていて、日曜日に受け取った。注文から届くまでほぼ一週間だった。 Open the box 箱が大きい。でも良くできている。
Linux Kernel 5.15リリース。LTS版、新しいNTFS対応ドライバ、インカーネルSMB 3サーバ、不揮発性メモリへのスワップアウトなど新機能
Linux Kernel 5.15リリース。LTS版、新しいNTFS対応ドライバ、インカーネルSMB 3サーバ、不揮発性メモリへのスワップアウトなど新機能 Linuxカーネルの最新版となるLinux Kernel 5.15が10月31日付けで正式にリリースされました。 Linuxカーネルは毎年「Longterm Maintenance Kernel」と呼ばれる長期リリース版（いわゆるLTS版）が登場します。2019年は11月に登場したバージョン5.4が、2020年は12月に登場したバージョン5.10がLongterm Maintenance Kernelに設定されました。 今年は今回のLinux 5.15がLongterm Maintenance Kernelとなり、少なくとも2023年10月までメンテナンスが行われることが表明されています。 Linux Kernel 5.15では新しいN
新しいLinux namespaceである「CPU Namespace」について - inductor's blog
はじめに この記事は、以下のlwn.netの記事を抄訳したものです。 lwn.net CPU Namespaceのご紹介 これはCPU namespaceのインターフェスとそのメカニズムを証明するための初期プロトタイプです。 現状におけるCPUリソースの制限方法 Linuxカーネルでは、タスクのCPUリソースを制御するために2つの方法を提供します。 cgroup cpuset: 該当のグループにアタッチされた単一または複数のタスクの集合に対し、CPUリソースを制限するためのメカニズムです。 syscall sched_setaffinity: CPUの集合に対して特定のタスクをピニングするためのシステムコールです（訳注: NUMA利用時の条件下などにおいてよく利用される手法）。 また、カーネルはシステムにおいて利用可能なCPUリソースを閲覧可能にするために3つの方法を提供します。 sys/
Linuxのfree コマンドの見方とオプション ~availableやbuff/cacheの定義~
メモリの状態確認コマンド freefree コマンドはメモリの利用状態を確認することができます。 例えば以下のように表示されます。(数値の単位は KiB= 1024 Bytes) [root@localhost ~]# free total used free shared buff/cache available Mem: 3868920 197528 3402296 8680 269096 3444844 Swap: 839676 0 839676ヘッダ (total, used, free, shared, buff/cache, available) のそれぞれの関係は下図の通りです。 このコマンドで、メモリの空き状況を確認したいのであれば、free を見るよりも available を見ましょう。 というのも、Linux の特性として「空きメモリを無駄にしない」という設計思想の元
【Ruby】LinuxとRubyとCoW - 地方エンジニアの学習日記
hiboma.hatenadiary.jp こちらのアンサー記事を書いてみますw なぜ CoW の話が出てきたのか なぜCoWを気にしたのかを話すとまず社内で動かしているAPIサーバがメモリ利用過多となってアラートがなったのが話のスタートでした。サービス自体はUnicornを使って動いています。 メモリ利用過多となったときに調べる手法は言語ごとに様々ですが私はRubyの経験がほぼなくプロファイラなども使ったことがありません。この状況でできることは/procを見るくらいしかなかったので/proc/$pid/smapsを見始めました。そこで始めたのがメモリ共有率の計算でした。 以下のツールを書いてUnicornの親子プロセスのメモリ共有率を確認するとなんと40~60%程度となっていて「え！？」ってなったのが始まりでした。プロセスの生存期間が長いのかと思ったのですが起動時間も出すと数分前に起動し
Microsoft、社内向けLinux「CBL-Mariner 1.0」の「June 2021 Update」を公開
Microsoftは2021年7月8日（米国時間）、社内向けLinuxディストリビューション「CBL-Mariner 1.0」の「June 2021 Update」を公開した。 CBL-Marinerはクラウドインフラとエッジ製品、サービスに向けた一貫したプラットフォームとなるように設計されており、Linuxカーネルのアップデートに合わせて最新の状態に保たれている。 Microsoftは、「SONiC」「Azure Sphere OS」「Windows Subsystem for Linux」（WSL）といったさまざまなLinux関連技術への投資を拡大しており、CBL-Marinerに関する取り組みもその一環だと述べている。 加えて、CBL-Marinerの公開はオープンソースの取り組みと、Linuxコミュニティーに対する貢献の一環と位置付けられている。さらにMicrosoftは、CBL-
メモリのデフラグはどうやって動いてる？ Linux Kernelの「Compaction」にみる断片化解消の仕組み
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。齊加氏は、Linux KernelコードからCompaction機能の仕組みや工夫点を調査した結果について発表しました。 メモリの虫食い状態を緩和するデフラグメンテーション 齊加匠氏：「Deep Dive into the Linux Kernel メモリ管理におけるCompaction機能について」というタイトルで株式会社エヌ・ティ・ティ・データの齋加が発表します。 自己紹介です。所属は株式会社エヌ・ティ・ティ・データで、業務はアプリケーション開発です。OSは関係ないんですが、アプリケーション開発をしていて、主にSpringを使っています。好きなものはGolangやArch Linuxです。かねてよりメモリ管理に興味があって、Linux Kernelのメモリ管理につ
Linuxカーネル開発における「Rust」採用の動き、グーグルとISRGがさらなる後押し
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Linuxのカーネルモジュールは現在、そのほとんどがC言語を用いて開発されているが、最近新たに「Rust」を主要言語の1つとして追加するという提案が出されていた。そして米国時間6月17日、この提案を後押しする形となる発表が、無料の証明書発行サービス「Let's Encrypt」を運営しているInternet Security Research Group（ISRG）とGoogleによってなされた。 Linuxカーネルの開発言語としてRustを採用することを目指すイニシアチブの主な目的は、カーネル内からメモリー関連のセキュリティ脆弱性を一掃するというものだ。Linuxカーネルはインターネットのインフラを支える重要なパーツであり、サーバーか
2021年4月15日 パニックお断り―Linus、"Rust for Linux"の盛り上がりに釘を刺す | gihyo.jp
Linux Daily Topics 2021年4月15日パニックお断り―Linus、"Rust for Linux"の盛り上がりに釘を刺す 開発者の間で人気上昇中のRustだが、Linuxカーネル開発においても1年ほど前からメインラインでのRustサポート―新たにデバイスドライバを記述する言語としてRustを認めるよう求める声が強くなりつつある。3月にはカーネル開発者のMiguel Ojedaが最初の"Rust for Linux"となるパッチをlinux-next（次期カーネルへのマージを希望するパッチが集められたGitリポジトリ）にポストし、Stephen Rothwellによってマージされた。 kernel/git/next/linux-next.git - The linux-next integration testing tree Ojedaはさらに一歩踏み込んだステップとし
Goで開発した配信サーバーのメモリ使用量問題に向き合う - Mirrativ Tech Blog
こんにちは。ストリーミングチームの松本です。 Mirrativのストリーミングチームは、低遅延配信や、通知ぼかしというような機能を追加するため、配信のorigin serverの前段にtranscoder serverというものを導入してきました。 tech.mirrativ.stream tech.mirrativ.stream transcoder serverはGoによる内製のミドルウェアであり、主に映像の変換を行う目的で作られました。現在は配信プロトコルの変換（既存プロトコル -> 低遅延プロトコル）などを行っています。また、実際にはサーバー上のDockerコンテナ内で動作しています。 transcoder serverを展開していくにあたり、メモリ使用量が常に増え続ける問題が起きていたため、その際に直面したGoの実メモリ使用量に関する話を書きたいと思います。 メモリ使用量の増加問
ESXi on RPi4 (ESXi Arm Edition) - あとがきのようなもの
VMware FlingsでESXi Arm Edition がリリースされました ESXi Arm Edition | VMware Flings https://flings.vmware.com/esxi-arm-edition flings.vmware.com これを使用するとARMアーキテクチャーのハードウェア、Raspberry PiなどでESXiを実行することができます。 さっそく手持ちのRaspberry Pi 4 (RPi4)にインストールしてみました。 スクリーンショット 検証機：Raspberry Pi 4 Model B（8GB RAM） 使用したイメージ、バージョン UEFIで起動 インストール手順 ゲストOSインストール Fedora CoreOS (aarch64) Red Hat Enterprise Linux 8.3 beta ARM64 所感 スクリ
動かしながらゼロから学ぶLinuxカーネルの教科書
価格：2800円＋税 発売：2020年9月10日 Linuxの心臓部にあたるカーネルについて理解を深め、Linuxを本格的に学んでいこうという人のための「初めて読むLinuxカーネルの専門書」です。 サーバーOSとしてのLinuxを学ぼうとしても、Linuxの専門書は難しく、ステップアップに手ごろな本が見つかりづらいのが現実です。 そこで本書では系統立てた章立てと、いくつもの実験を盛り込んだ構成にすることで、Linuxの中核となるカーネルの仕組みを分かりやすく丁寧に解説しました。OSとしてのLinuxがどのように動いているのかが分かります。 1章と2章では基礎となる部分を大きくページを割いて紹介。3章ではLinuxカーネルのソースコードから実際に動く状態に組み立てる「ビルド」の操作を紹介します。4章以降では、3章までに学んだ知識や手法に基づき、Linuxカーネルの仕組みを解説していきます。
Linuxカーネルが難しい？Rustで実装しよう！. 「カーネル開発者になりたい！」 | by FUJITA Tomonori | nttlabs | Jul, 2020 | Medium
「カーネル開発者になりたい！」 クラウドネイティブ世代の皆様は、何を言っているのか理解できないと思いますが、一昔前は、Linuxカーネル開発の魅力におぼれたエンジニアがたくさんいました。クラウドファースト時代に、誰もやってないだろうと、軽い気持ちで試すと、今もひっそりと生息しているカーネル開発者に、一晩中、指導をうけるはめになりかねません。前例のないRustなら安心です。 RustでLinuxカーネルモジュールが実装できるRustでカーネルモジュールを実装する利点Rustへの愛だけが理由ではなく、カーネル開発にRustを用いると、様々なバグを減らすことができそうという利点があります。例えば、動的なメモリ管理で、うっかり、解放を忘れるとか、解放した後に使ってしまうと、往々として、辛いデバッグになります。 Rustで実装した簡単なカーネルモジュールRustのカーネルモジュール開発フレームワーク
Linux メモリ断片化 (外部フラグメンテーション) の概要と解消方法 - Qiita
■ 記事概要 Linux OS におけるメモリ断片化 1 ( 以降、断片化 ) について、調査したことのまとめ。 ■ 要約 断片化していると、空きメモリが十分あるにも関わらず、メモリ確保に失敗することがある。 断片化の影響を受けるのは、DMA ( Direct Memory Access ) のように物理メモリ領域を直接参照する必要があるもの ( 仮想メモリを使える場合は、物理メモリ領域が連続している必要がないため影響なし )。 断片化のレベルは /proc/buddyinfo や /sys/kernel/debug/extfrag/unusable_index から確認可能。 明示的に断片化を解消する方法は、OS 再起動と、# echo 1 > /proc/sys/vm/compact_memory がある。 ■ 物理メモリ領域について 断片化の話の前に物理メモリ領域について整理する。
Dockerファイルがビルドできなかったのでコンパイラをいじめる - Qiita
TL;DR ある環境でビルドできたDockerfileが別の環境でビルドできなかったのは、メモリ制限のせいだった はじめに 理研シミュレータというシミュレータがあります。 RIKEN-RCCS/riken_simulator これは、「京」の次のスーパーコンピュータ「富岳」が採用しているアーキテクチャ「Fujitsu A64FX」のシミュレータです。Gem5というアーキテクチャシミュレータがあり、それにARM AArch64を実装したものです。 これを使うと、AArch64のプロセッサレベルでのシミュレートができるのですが、ビルドに結構手間がかかります。なので、その「手間」をまとめたDockerファイルを作りました。 kaityo256/aarch64env Dockerファイルはこんな感じです。 FROM ubuntu:18.04 MAINTAINER kaityo256 ENV USE
メモリダンプと模様が見える男｜kamezawa.hiroyuki
10年以上前の昔話であり、そんなこともあったのねという話。あるいはエンタープライズサポートってそんなことやってるのねという話。 カーネルメモリダンプLinuxカーネルをエンタープライズに使おうとした企業、富士通やIBM、日立といった企業がこぞってカーネルに入れようとした機能がカーネルがパニックした時に「なぜコケたのか」調べるための機能であった。その最たるものがメモリダンプだった。この機能はカーネルパニックが起きた後のメモリをディスクに吐き出す。この吐き出されたメモリイメージをダンプと呼び、これをデバッガに食わせて原因調査をする。 カーネルデベロッパはパニックが起きたら再現条件を探して理詰めでバグを探すのが得意だが、顧客先でパニックが起きたら「再現させてくれ」とは中々言えないのでこの機能はサポートには重要だった。そして、ダンプ調査の技を持つエンジニアも居た。 地雷型メモリ破壊パニック色々と調
大規模システムでの Linux のメモリ管理
(This post is also available in English.) この記事は Linux memory management at scale を 著者の Chris Down さんの許可 を得て Hiroaki Nakamura が日本語に翻訳したものです。 原文のライセンス は CC BY-SA 4.0 であり、翻訳のライセンスも同じく CC BY 4.0 とします。 cgroup2 プロジェクトでの私の仕事の一部として Linux システムのリソース管理についてエンジニアと話すことに多くの時間をかけてきました。 これらの会話を通じてどんどん明らかになってきた 1 つの事実は多くのエンジニアは、シニア SRE たちでさえも、 Linux のメモリ管理についていくつかのよくある誤解を持っていて、そしてそれが彼らがサポートするサービスやシステムが本来確実に稼働したり効率的
低レイヤの知識の重要性は今後も変わらない - 小崎資広に聞くLinuxカーネル開発の裏側 - エンジニアHub｜Webエンジニアのキャリアを考える！
低レイヤの知識の重要性は今後も変わらない - 小崎資広に聞くLinuxカーネル開発の裏側 Linuxは、世界でもっとも広く使われているソフトウェアのひとつであり、多くのエンジニアの仕事に密接に関わっています。では、Linuxそれ自体は、どのように開発されているのでしょうか。Linuxの中枢である、Linuxカーネルの開発者のひとりである小崎資広さんに、知られざる開発の裏側を聞きました。 オペレーティング・システムLinuxは、世界でもっとも広く使われているソフトウェアのひとつであり、オープンソースというカルチャーが生み出した、大きな大きな結実です。サーバー用OSとしてはデファクトと呼べるほどの普及を見せており、それだけにLinuxの動向がもたらす影響は広範にわたります。こうした前提があるなかで、Linuxそれ自体は、どのように開発されているのでしょうか。 今回、お話を聞いた小崎資広（こさき
Windows Subsystem for Linux 2のメモリ管理を詳しく見る (1/2)
現在プレビュー中の20H1のビルド19013から、WSL2（Windows Subsystem for Linux 2）は、一旦確保したメモリでも不要になれば、きちんとWin32に返すようになった。今回はこのあたりを調べてみる。 WSL2におけるメモリ割り当て WSL2は、軽量ユーティリティ仮想マシン（Light Weight Utility Virtual Machine：以下、LWUVM）内で動作している。このため、ホストとなるWindows 10のメモリの一部を利用する。ただし、メモリ割り当ては、Hyper-Vでいう動的メモリ割り当てであり、上限を決めるものの、実際に使っている分のみを確保して、必要になれば上限までメモリを確保しようとする。 この上限は、WSL2側からは「実装メモリ量」のように見える。デフォルトでは、PC側のメモリの75％をWSL2の上限として割り当てているようだ。た
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバーのメモリが少しずつ圧迫される原因と対策を調べてみた - Qiita
