トーバルズ氏が考える、LinuxにおけるRustの居場所とは
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 村上雅章 野崎裕子 2021-03-31 07:30 Linuxはプログラミング言語Cの申し子のような存在だ。しかし時は流れ、状況は変わった。RustをLinuxのシステム記述言語として採用しようという動きが少しずつ支持を集めてきている。例を挙げると、Linuxカーネル開発者のための年次カンファレンス「Linux Plumbers Conference（LPC）2020」において、開発者らはLinuxのインラインコード部分でのRustの採用を真剣に議論していた。その議論は現在どうなっているのだろうか？筆者はLinuxの父と目されるLinus Torvalds氏と、Linuxの安定版カーネルのメンテナーであるGreg Kroah-Hartman氏から考えを聞いた。 これはRustに魅
PyTorchでGPUの計算時間を正しく計測する - まったり勉強ノート
測定結果 結果として、間違った測定方法だとCPUとGPUを比較すると「1883倍速くなりました！」という主張をしてしまうことになります。ちなみにGPUで1000倍なんて数字が出てきたら確実にどこか間違えています。実際、今回のケースでは本当は「約59倍速くなりました！」というのが正しい結果になります。 torch.cuda.synchronize()とtorch.cuda.Eventを使った場合の違い 今回torch.cuda.synchronize()とtorch.cuda.Event の2種類を紹介しました。場合によっては使い分けをしたほうがいいのでこの二つの違いを説明していきます。 torch.cuda.synchronize() を利用した場合、簡単なので測定しやすいのでいいので、ぱっと測定したい場合はこちらの方法が楽でよいかと思います。ただ、こちらの方法はkernel関数の発行と測
2021年3月18日 Rustを学ぶためのプロジェクト―Debian開発者、coreutilsパッケージをRustで実装中 | gihyo.jp
Linux Daily Topics 2021年3月18日Rustを学ぶためのプロジェクト―Debian開発者、coreutilsパッケージをRustで実装中 「開発者にもっとも人気がある言語」としてここ1、2年、さまざまな調査でランクインすることの多いRustだが、オープンソースプロジェクトの現場でもRustの人気は高く、Cで書かれたコンポーネントやプロダクトをRustで書き換えるプロジェクトも増えている。そうしたプロジェクトのひとつとして、Linux/UNIX系のオペレーティングシステムに必須のコマンドラインツールを集めた「coreutils（GNU Core Utilities）」をRustで書き換える「uutils/coreutils」がGitHub上で活動中だ。 GitHub - uutils/coreutils : Cross-platform Rust rewrite o
Docker Security - OWASP Cheat Sheet Series
Docker Security Cheat Sheet¶ Introduction¶ Docker is the most popular containerization technology. When used correctly, it can enhance security compared to running applications directly on the host system. However, certain misconfigurations can reduce security levels or introduce new vulnerabilities. The aim of this cheat sheet is to provide a straightforward list of common security errors and bes
「Linux 5.12 rc1に厄介なバグ」、トーバルズ氏が警告
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Linus Torvalds氏は、「Linux」カーネル5.12の1つ目のリリース候補版（RC1）を使うのは避けるべきだと、オープンソース開発者に警告を発した。 米オレゴン州が雪嵐に襲われ、Torvalds氏の自宅が週の半分以上停電したにもかかわらず、Linuxカーネルのバージョン5.12は予定通りリリースされた。Torvalds氏や何千人ものコントリビューターはバージョン5.12をスケジュール通りリリースしたものの、同氏は5.12のRC1は「double ungood」（非常に良くないもの）であり、ファイルシステムに致命的な問題を引き起こす可能性があるとあらためて呼びかけた。 Torvalds氏は、Linuxカーネルメーリングリストへ
ようこそ、Kubernetes沼へ。商用サービスSREの現場から | IIJ Engineers Blog
社会人生活の半分をフリーランス、半分をIIJで過ごすエンジニア。元々はアプリケーション屋だったはずが、クラウドと出会ったばかりに半身をインフラ屋に売り渡す羽目に。現在はコンテナ技術に傾倒中だが語りだすと長いので割愛。タグをつけるならコンテナ、クラウド、ロードバイク、うどん。 筆者がIIJでパブリッククラウドビジネスを率いていた2010〜2015年頃、今後のITインフラはしばらくIaaSを中心に回っていくのだと考えていたものですが、Docker, Kubernetesという爆弾が投下されました。10年、20年は続くと思われたIaaSの時代がまさか早々に色あせて見えるとは。相変わらずIT業界にも思いもよらないことが突然起こるものです。これだからIT業界はおもしろい。 本連載は、現在IIJでSREを率いている筆者がどのようにしてSREチームを立ち上げ、Kubernetes沼へ飛び込み、悪戦苦闘し
LinuxのGUIアプリケーションに対応するWSL2 (1/2)
開発者向けの主要プラットフォームであり続けるために LinuxのGUIアプリへの対応が必要？ Microsoftは、WSL2（Windows Subsystem for Linux 2）でLinux GUIアプリケーションに対応することを計画している。以下の動画は昨年9月に開催されたXDC 2020のセッションのものだ。 上のWSLGのデモビデオより。GIMPや裏のウィンドウのタイトルバーはLinux GUIアプリケーションのもので、Windows 10とは明らかに違う。ただ、GIMPなどのアイコンがタスクバーに表示されていることから、Windowsのデスクトップのウィンドウになっていることがわかる この改良はかなり大きなものと言える。以前紹介したWSL2のGPUコンピューティングへの対応も（「Windows 10のWSL2からGPUが使えるようになった」）、WSL2内でGPUによる描画（
catコマンドをつくってみる
まえがき この動画を見てたら自分もcat作りたくなったのでやってみました． 普通に作っても二番煎じなので，別の方法でやります． この記事はLinuxその2 Advent Calendar 2020の15日目の記事です． 環境 vagrant@ubuntu-focal:~$ uname -a Linux ubuntu-focal 5.10.0-rc3+ #2 SMP Tue Dec 15 01:20:55 JST 2020 x86_64 x86_64 x86_64 GNU/Linux commit hashは652db3de96a630e8051ffa921286000bb9ee2727です． ここのカーネルをいい感じにビルドしてます． 一般的な環境では動作しません． cat catとは，concatの略称であり，本来はファイル同士を連結させる為のコマンドであるという話もよく聞きます． 別に
第47回 非特権コンテナの可能性を広げるseccomp notify機能 | gihyo.jp
前回の連載が掲載されたあと、久々にコンテナの勉強会をオンラインで開催しました。2回に渡って、cgroupをテーマにカーネルの実装に踏み込んだ内容のお話が聞けました。私もcgroup v1の内部構造についてお話しました。動画は公開されていますのでぜひご覧ください。 さて、今年も気がつけばもう12月で、Advent Calendarの季節になりました。今年はいろいろなことがありましたが、今振り返るとあっという間だった気がします。今年もこの連載で毎年参加しているLinux Advent Calendarに参加します。この記事はLinux Advent Calendar 2020の15日目の記事となります。 この連載は、名前に「LXCで学ぶ」と付いているわりには、最近まったくLXCが出てきませんでしたが(^_^;)、今回は久々にLXCコンテナを使って機能の説明をしたいと思います。とは言ってもLXC
NetBSDを手探りで移植したときの話 - Qiita
この記事は自作OS Advent Calendar 2020 7日目の記事となります。 はじめに 現在のオープンソースOSは、たとえばLinux開発ボードであればボードベンダーから移植済みのLinux環境が提供されたり、たとえばNetBSDであればクロスコンパイル環境が整備済みでドキュメントも用意されていて、最低限の移植作業で移植が完了したりします。 ぼくがNetBSDを移植した当時(1993年)はそうではありませんでした。ドキュメントもなくいろいろ手探りで、それも一人でやらざるを得ませんでした。苦労話のことは置いておいて、技術的にどういう物が用意され何を調べてどういう手順で移植していったかを記録に残せればと思います。(って前置きした割に苦労話が多いような気がします、すみません) かなり昔の話なので、けっこう忘れてることも多く、微妙に記憶が間違っていたりすることも、順番が前後していることも
俺TUEEE系エンジニアが本番サーバーを0.1秒で落とした話
凄惨度：低 またやらかす確率：中 俺TUEEE系エンジニアとは ※ ここの章は独断と偏見がかなり入ってるのでネタとして読んでください 俺TUEEE系エンジニアとは、 「まあどんなセキュリティもオレには全然関係ないけど」(出典：BLOODY MONDAY) ウィザード級ハッカー(出典：ne0;lation) 等に代表されるようなある種の厨二的価値観を捨てきれずに社会人になってしまったエンジニアです。 俺TUEEE系エンジニアは基本的に虚栄心があって傲慢です。だいたい自分の開発環境に酔いしれてます。生産性を高めて、作業のスピードを上げ、他の人に一目置かれることを生きがいとしています。 まあざっくりいうと俺TUEEE系エンジニアとは、なんとなくハッカーを気取りたい、人と同じものを使いたくないエンジニアのことです。 俺TUEEE系エンジニアは、だいたい自分の作業用PC（クライアントPC）を完全にL
Linuxカーネルの起動時トレースの話 - Qiita
カーネル起動時トレース Linuxカーネルの起動処理は、様々なことが行われるのにそれをデバッグする方法はprintkだったり、逆にkgdbを外部デバッガから繋いだりと、結構な手間がかかっていました。カーネルが起動してしまえば、ftraceにperf, BPF, systemtapと複数の手段が使えるのに、起動時のデバッグは細かいことが出来ません。これは、起動時に指定できるオプションが大雑把になるのが大きな理由の一つでした。シェル芸ではないですが、1行プログラミングだけで様々なことをするのは大変です。 そこで導入されたのがExtra Boot Configuration (bootconfig)です。Bootconfigについては前回の記事を参考にしてください。 ここではカーネルコマンドラインのトレースオプションと、Bootconfigによって拡張されたBoot-time trace（CON
ZFS on Linuxから新生した「OpenZFS 2.0」リリース、pL2ARCやZstandard圧縮などを搭載
2020年12月1日、サン・マイクロシステムズによって開発されたファイルシステム・ZFSのオープンソース実装「OpenZFS 2.0」がリリースされました。プロジェクト名を「ZFS on Linux」から「OpenZFS」へと変更したメジャーアップデートで、LinuxとFreeBSDのサポート統合やL2ARCの永続化（pL2ARC）、Zstandard圧縮といった新機能を搭載しています。 Release OpenZFS 2.0.0 · openzfs/zfs · GitHub https://github.com/openzfs/zfs/releases/tag/zfs-2.0.0 (PDF)OpenZFS DevSummit 2019 https://drive.google.com/file/d/197jS8_MWtfdW2LyvIFnH58uUasHuNszz ZFSはSolaris
bpftrace 2020 - 睡分不足
(この記事はLinux Advent Calendar 2020 - Qiitaの2日目の記事です．前日はmasami256さんのTiny Core LinuxでLinuxのinitプロセスが実行されるあたりを調べるでした．) みなさんこんにちはこんばんは．bpftraceを使っていますか? (e)BPFといえば最近は専らCiliumなどネットワークが話題ですが，bpftraceはBPF*1を利用したトレーシングツールです．私は昨年からぼちぼち使い始めて，機能追加やバグ修正のパッチをいろいろと投げていた(130+)ら気づいたらコミッタになっていました．ということでbpftraceについては比較的よく知っていると思うので，今年にbpftraceに追加された主要な機能や変更点を紹介したいと思います． bpftrace知らないなぁという方はこちら(拙文です)を，bpftrace使ってないなぁとい
Tiny Core LinuxでLinuxのinitプロセスが実行されるあたりを調べる - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2020 - Qiitaの1日目の記事です。 Tiny Core Linux(以下tcl)を使ってLinuxのブートプロセスを見てましょう。Tiny Core Linuxは軽量ディストリビューションで最小のisoイメージだと11MBほどです😃 ブートプロセスを見ると言っても電源onからの流れではなくてinitプロセスの実行に関する部分です。 この記事ではバージョン11.1のCore-current.iso を利用しています。 www.tinycorelinux.net isoファイルの構成 まずはtclのisoがどんな感じで構成されていて、Linuxを起動させるのか確認しましょう。 isoファイルの構成はこのようになっています。 $ sudo mount -o loop Core-current.iso ./mnt $ tree ./
ソケットAPIが遅すぎる？新たなio_uringを試す！
新しいAPIが作られるたびに、私たちは、古いAPIを置き換えるだけで高速化という夢をみます。何度夢破れても、高速なAPIが追加されたと聞けば、試さずにはいられませんよね！ 今回は、Linuxカーネル5.1で追加されたio_uringを使って、Rustのasyncランタイムを実装し、gRPCサーバのベンチマークを実行してみました。 io_uringとはio_uringは、ファイルシステムとネットワークの非同期I/Oのために開発されました。同期よりも非同期のほうがおしゃれ、そういう雰囲気ありますよね！クラウドネイティブも、非同期にAPIを介して、なんかやってるやつですよね。 io_uringのインターフェイスは、高い性能を目指し、1）アプリケーションとカーネル間でのメモリコピーを避ける、2）複数のI/O要求を一度にカーネルに伝えることができる、という工夫がされています。 下図のように、アプリケ
My First Kernel Module: A Debugging Nightmare
This is the story of the time I wrote some code, deployed it to production, and ended up bricking the server it was running on by frying the kernel. Beautiful rendition of me frying the kernel This post is about perils of concurrency and race conditions. My code was nearly correct, but ultimately, there were two major synchronization bugs that killed it. This is a really long post that gets into t
eBPF - The Future of Networking & Security
Nov 10, 2020eBPF - The Future of Networking & Security Today is an exciting day for the Cilium community: Isovalent, the company behind Cilium, is announcing its $29M Series A financing round backed by Andreessen Horowitz, Google, and Cisco. This is a perfect occasion to take a deeper look into where eBPF-based networking is coming from and to understand what the excitement is all about. Two weeks
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redirecting
ベテラン技術者が新しい環境で大失敗した話
