syncコマンドのデータ同期タイミングとI/Oエラー検出
syncコマンドはストレージデバイスへのI/Oをキャッシュしているページキャッシュとバッファキャッシュのデータをデバイスに同期(以下「同期」と記載)します。このコマンドについては「syncは同期処理を開始するだけで完了を待たずに終了する」「syncを3回実行すると同期が完了する」などという話が有名です。本記事ではLinux環境においてsyncコマンドの終了時に同期がされるのかについて述べます。syncコマンドはGNU coreutilsが提供するものを対象とします。 本記事ではsyncコマンドによる同期のタイミングに加えてもう一つ、同期処理の実行中にI/Oエラーが発生した場合に、エラーを検出できるのかについても述べます。 まとめ syncコマンド実行後に同期は完了している。ただし仕様上はそうなると保証されていない。 同期中のディスクI/Oエラーは-fオプションを付ければ検出できる。 調査環
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
Eburyマルウェア、40万台のLinuxサーバーを侵害
10年前から金銭的利益を目的にLinuxサーバーを侵害し、今なお進化を続けるEburyマルウェア。ESET社の調査で明らかになったその手口を解説します。 10年前にESET社は「Operation Windigo（ウィンディゴ作戦）」というタイトルのホワイトペーパーを公開し、Linuxを攻撃するEburyマルウェアによって金銭的利益を目的としたキャンペーンが実行されていることを伝えました。ESET社は、Eburyのその後の進化と、Linuxサーバーのボットネットを収益化するためにEburyのオペレーターが使用している新しいマルウェア系統を解説したホワイトペーパーを公開しました。 ウィンディゴ作戦のホワイトペーパーを公開した後、Eburyの実行犯の1人が逮捕され、有罪判決を受けましたが、ボットネットの拡大は止まっていません。2014年と2017年にも報告していますが、OpenSSHバックドア
マルチスレッド環境でのtar - みつきんのメモ
最近ではCPUはマルチコアであることが多く、プログラムがマルチスレッドに対応している場合、 処理時間を大幅に短縮することができる。 意外と機会の多いtarコマンドによる圧縮伸長処理はデフォルトではシングルスレッドで動作するため、 マルチコアCPUの恩恵が受けられない。 tarコマンドがマルチコアCPUの恩恵を受けるための方法を調べた。 従来の方法 tar使用時の圧縮形式とオプションについては次の表のようになる。 圧縮形式 拡張子 圧縮 伸長 圧縮率 処理時間 備考 GZIP tar.gz cfz xf 低 速 BZIP2 tar.bz2 cfj xf 中 中 XZ(LZMA2) tar.xz cfJ xfJ 高 遅 1.22からサポート 大体、vオプションを含んで実行することが多いため、コマンドの実行例は次のようになる。 $ tar cvfz HOGE.tar.gz ./HOGE マルチス
OpenSSHに再び任意コード実行の脆弱性、確認とアップデートを
セキュリティ研究者のAlexander Peslyak氏(通称：Solar Designer)は7月8日(現地時間)、Openwallのメーリングリストに投稿した「oss-security - Re: CVE-2024-6387: RCE in OpenSSH's server, on glibc-based Linux systems」において、特定環境のOpenSSHから脆弱性を発見したと伝えた。これは7月1日に公開されたセキュリティ脆弱性「regreSSHion」のレビュー中に発見された脆弱性とされる(参考：「OpenSSHに管理者権限で任意コード実行の脆弱性、アップデートを | TECH+（テックプラス）」)。 oss-security - Re: CVE-2024-6387: RCE in OpenSSH's server, on glibc-based Linux system
元々は /usr は user の略に決まってるじゃん？ホームディレクトリを置く場所だったんだから - Qiita
Twitterとか見て「そうだったのかー」とか言うんじゃなくて、ちゃんと調べてみましょうよ。/usr は元々ユーザーのホームディレクトリをおいていた場所ですよ。/bin などを置いていたシステムディスクの容量が足りなくなったので別ディスクだった /usr 以下を使うようになっただけです。Unix System Resources とかそんな長い名前、後付けに決まってるでしょ？ 翻訳は面倒なので、DeepL（の少し手直し）です。 初期の Unix のドキュメントから URLと1972年という年から、おそらく Version 1 Unix (1971) のドキュメントだと思います。ここ 経由で見つけました。 12ページにこのようなものがあります。詳細はよくわかりませんがディレクトリ構造でしょう。 idata: / root 41. 140016 .byte 7,1 9f-.-2 41. <..
Omakub
Turn a fresh Ubuntu installation into a fully-configured, beautiful, and modern web development system by running a single command. That’s the one-line pitch for Omakub. No need to write bespoke configs for every essential tool just to get started or to be up on all the latest command-line tools. Omakub is an opinionated take on what Linux can be at its best. Omakub includes a curated set of appli
サーバ再起動しても cron で Web アプリを雑に立ち上げ
超楽にRubyで雑に書いたスクリプトをsystemdで管理したい！ - 宇宙行きたい で systemd がユーザ権限で使えることを知る。 開発環境用では nohup と cron の @reboot を使っていました。こちらもお手軽なので紹介。 @reboot とは crontab(5) に @reboot があれば使えます。その名の通りリブート時に一回だけ実行。Ubuntu なら利用可能。 $ man 5 crontab (省略) Instead of the first five fields, one of eight special strings may appear: string meaning ------ ------- @reboot Run once, at startup. @yearly Run once a year, "0 0 1 1 *". @annual
Linuxの生みの親リーナス・トーバルズが「XZ Utils問題」「オープンソース開発」「RISC-V」「AIの台頭」などについて語る
The Linux Foundationが2024年4月16日から18日にかけて開催したOpen Source Summit North Americaの中で、Linuxの生みの親でLinuxカーネル開発の優しい終身の独裁者としても知られるリーナス・トーバルズ氏が、Verizonのオープンソースプログラムオフィス責任者であるディルク・ホーンデル氏とともに、Linux開発と関連する問題について公開での議論を行いました。 Linus Torvalds on Security, AI, Open Source and Trust - The New Stack https://thenewstack.io/linus-torvalds-on-security-ai-open-source-and-trust/ Linus Torvalds takes on evil developers, ha
「Linux」で独自の音楽ストリーミングサーバーを構築するには
Jack Wallen （Special to ZDNET.com） 翻訳校正： 編集部 2024-04-18 07:45 筆者の1日のほとんどは音楽で満たされている。文章を書くときも、ジョギングをするときも、単純な作業をするときも、音楽がそばにある。オフィスにいるときは、ターンテーブルで音楽を再生する。オフィスにいないときは、いくつかの選択肢がある（スマートフォン、Googleのスマートスピーカー、ストリーミングサーバーなど）。 今回の記事で取り上げたいのは、ストリーミングサーバーである。筆者がホームネットワーク上にストリーミングサーバーをセットアップした最大の理由は、極めて大規模なデジタル音楽コレクションを所有しており、そこには、絶版になった録音や普通のストリーミングサービスではアクセスできない録音が多数含まれていることだ。したがって、Lord Groovy And The Psych
「Linux」で充実したゲーム体験を--対応プラットフォームが豊富な「Regata OS 24」
本記事の要点 「Regata OS 24」は、「Battle.net」「Ubisoft Connect」「Rockstar Launcher」「GOG Galaxy」などのゲームプラットフォームの優れたサポートを提供するOSの最新リリースだ。 この「Linux」ディストリビューションにより、Linuxでのゲームプレイが極めて簡単になる。 生産性を高める機能はあまり搭載されていない。 10年前には、Linux向けゲームがこれほどの注目を浴びるとは夢にも思わなかった。しかし、現実にそうなっている。まるでゲーマー向けの新しいLinuxディストリビューションが毎月登場しているかのようだ。 とはいえ、そうしたディストリビューションは新しいものばかりではない。たとえば「Regata OS」は、「openSUSE」をベースにブラジルで開発されたディストリビューションで、「Microsoft Window
Debianプロジェクト、バックドアが発見されたXZを悪意の改変を含まない過去のバージョンまで戻すことを検討 | ソフトアンテナ
2024年3月29日、圧縮ユーティリティ「xz-utils」にバックドアが発見されました。 xz-utilsはLinuxやmacOSで使われていて、バックドアがどのように利用されるのか詳細はまだ分析されている途中ですが、sshの認証システムに関連し、非常に重大なセキュリティ問題を引き起こすものだととらえられています。 現在、影響を受けるシステムでは、問題が発見されたバージョンxz 5.6.0/5.6.1を古いバージョンに戻したり、緊急パッチをリリースして対策が行われているようですが、より長期的には根本的な対策が必要となるのかもしれません。 例えば、Linuxディストリビューションの一つであるDebianプロジェクトは、悪意のコミッターが行ったxzへの変更を完全に含まない古いバージョンまで戻すことを検討しているようです。 この情報によると、バックドアを追加したとされるxzのメンテナJia T
XZ Utilsの脆弱性 CVE-2024-3094 についてまとめてみた - piyolog
2024年3月29日、Linux向け圧縮ユーティリティとして広く利用されているXZ Utilsに深刻な脆弱性 CVE-2024-3094 が確認されたとして、研究者やベンダがセキュリティ情報を公開しました。この脆弱性は特定の条件下においてバックドアとして悪用される恐れがあるものとみられており、当該ソフトウエアのメンテナのアカウントにより実装されたソフトウエアサプライチェーン攻撃の可能性が指摘されています。ここでは関連する情報をまとめます。 脆弱性の概要 xzとは主要なLinuxディストリビューションに含まれる汎用的なデータ圧縮形式で、今回問題が確認されたのはその圧縮・解凍ユーティリティであるliblzma(API)を含むXZ Utils。CVE-2024-3094が採番されており、Red Hatによって評価されたCVSS基本値はフルスコアの10。影響を受けたライブラリをリンクしているssh
WasmLinux: WebブラウザでLinuxカーネルとBusyBoxを動かす(エミュレーションなしで)
WebブラウザでOS動かしてどうすんだよ という根源的な疑問に回答が無いままとりあえずできちゃった。。 ※ コマンドが終了してもプロンプトが出ません。Enterを空打ちする必要があります (バグ) WasmLinuxは、WebAssembly "ネイティブ" なLinux環境です。カーネルもユーザーランドも、WebAssemblyのツールチェインでコンパイルされたWebAssemblyモジュール(をwasm2cでCにしたもの)です。 前回はカーネルしか動いていなかったんですが、今回はブラウザ上で ifconfig lo up して ping 127.0.0.1 したり top したり vi したりできます。BusyBox入ってるので。 ただしまだ実用性は皆無 です。Proof of Conceptって奴ですね。 前回の記事: 今回はMUSL libcを移植してBusyBoxが動くようになっ
Linuxカーネル 6.8ではネットワークが最適化されてTCPの同時接続パフォーマンスが約40％向上する見込み
記事作成時点で開発中のLinux 6.8カーネルでは、ネットワークに関する部分にいくつかの重要な改良が加えられており、多数の同時接続を伴うTCPパフォーマンスが最大40％向上しているとのことです。 [PATCH v8 net-next 0/5] Analyze and Reorganize core Networking Structs to optimize cacheline consumption - Coco Li https://lore.kernel.org/netdev/[email protected]/ Linux 6.8 Network Optimizations Can Boost TCP Performance For Many Concurrent Connections By ~40% - Phoronix https://www.phoronix.com/ne
POSIXシェルスクリプトではwhichではなくcommand -vを使うべき理由（＋シェルスクリプト版which） - Qiita
重要 2022-01-30 追記 この記事で解説していた警告の出力は 2022-01-21 に取り消されました（参照 Revert deprecation of which）。そのため Debian which が GNU which に変わることは（少なくとも近い未来では）ないと思います。しかしながら which を使うよりは POSIX で規定されている command と type を使う方を推奨します。 はじめに which コマンドはシステムにインストールされてるとは限りません。実際に最小構成でインストールされてない環境として CentOS があります。一方 command -v は POSIX 規定されているので POSIX に準拠したどのシェルでも問題なく使えます。シェル上では which コマンドを使っても良いと思いますが、シェルスクリプトでは command -v を使う
netstatやlsofでLISTENしているアドレスポートが IPv6と表示されてもIPv4でアクセスできる罠 - Qiita
netstatやlsofでLISTENしているポートを調べることはよくあると思いますが、 LISTENしているアドレスポートが IPv6形式で表示されてもIPv4でアクセスできる罠があるので、その説明をします。 罠の説明 例えばCentOS 6.7にてhttpdをyumから入れて、httpdをスタートさせた後に、netstatを実行すると以下の様に表示されます。 # netstat -natp | grep LISTEN tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1084/sshd tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1165/master tcp 0 0 :::80 :::* LISTEN 2316/httpd tcp 0 0 :::22 :::* LISTEN 1084/sshd tcp 0 0 ::1:25 :::
WasmLinux: LinuxカーネルをWebAssemblyにする
LinuxカーネルがWebブラウザで動いたらどう考えても面白い んだけど、そこに至るまではなかなか難しい道のりになる。その第一歩として、Linuxカーネルのユーザーランド版であるLKL( https://github.com/lkl/linux )をWebAssemblyにコンパイルして、wasm2cでC言語に変換した上、Visual Studio 2022でコンパイルしてWindows上で実行してみた。 まだWebブラウザでは動いていないが、思ったよりは簡単にWasmに移植できた(個人の感想です) ウケが良ければMUSL libc移植編 → デバイスドライバ活用編 → Webブラウザ上動作編と続ける感じで。。 EDIT: Visual Studioのスクリーンショットを撮りなおし。 memory-control はanonymousなmapしか救えないので、ここ数年スパンではエミュレーシ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GUI設定アプリを追加へ ～「Windows Subsystem for Linux」（WSL）の2024年5月改善／メモリの自動回収など、“実験的”として提供されていた機能の一部も既定で有効化
Linux Foundation Japanが「OpenSSFガイド」の日本語版を公開
