AWSが拓いたLustreファイルシステム新時代 -1- | HPCシステムズ Tech Blog
はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から構成を決定する必要もあり、大容量(数百TB〜数PB)が前提となるため、クラウドに組み込むには面倒なわりに、多くのケースにフィットしないように思えます。実際、かなり以前からMarketPlaceにA
Linuxにおける新たなパケットフィルタリングツール「nftables」入門 | さくらのナレッジ
たとえば、かつてiptablesで設定していたIPv4に関連するパケットフィルタリング設定は、nftablesにおいては「ip」というアドレスファミリに紐付けたテーブルを作成することで設定できる。同様に、ip6tablesやarptables、ebtablesで設定していたものはそれぞれ「ip6」や「arp」、「bridge」というアドレスファミリに紐付けたテーブルで設定する。 「inet」「および「netdev」アドレスファミリはnftablesで新たに導入されたもので、まず「inet」はIPv4およびIPv6の両方を対象にした設定を行えるアドレスファミリだ。従来IPv4とIPv6の両方にまたがったフィルタリングルールを設定したい場合はiptablesとip6tablesの両方で同じようなルールを追加する必要があったが、nftablesではinetアドレスファミリで指定することで単一の設
今時のLinuxにおけるGPUエンコード事情2018
Docker / Kubernetesのネットワークアーキテクチャの解説と、代表的なCNIプラグインとしてFlannel、Calico、Canal、NSX-T Container Plugin (NCP) を取り上げ、それぞれの実装の比較しています。Japan Container Days v18.12 での講演資料です。
不揮発メモリ(NVDIMM)とLinuxの対応動向について(for comsys 2019 ver.)
不揮発メモリ(NVDIMM)とLinuxの対応動向について(for comsys 2019 ver.)
WireGuardによるマルチクラウド構成VPNの事例紹介
こんにちは、滝澤です。前回の記事『OctoDNSとGitLab CI/CDを利用した複数DNSプロバイダー構成の運用』に引き続き、社内事例を紹介します。 弊社ハートビーツではMSP（Managed Service Provider）サービスの可用性向上のために、社内基盤をマルチクラウド構成で運用しています。 複数のクラウド拠点のネットワークおよび事務所のネットワークとの間をWireGuardというVPNトンネルのソフトウェアで接続しています。 今回はこのWireGuardの利用事例を紹介します。 行っていることをまとめると次のようになります。 マルチクラウド構成（Azure, AWS, GCP）の各拠点と事務所のネットワーク間をWireGuardによるVPNで接続している。クラウド拠点間のレイテンシーはVPNルーター間で2〜4ミリ秒、分散システムのノード間で2〜6ミリ秒である。 ピア（対向
Docker 19.03新機能 (root権限不要化、GPU対応強化、CLIプラグイン…)
NTTの須田です。2019年7月23日に公開された、Docker 19.03の新機能をお伝えします。2018年11月8日にリリースされたDocker 18.09以来、8ヶ月ぶりのリリースです。 root権限不要化従来のDockerは、ホストのroot権限でデーモン(dockerd)を動作させる必要があったため、脆弱性や設定ミスを突かれると、ホストのroot権限を奪われる恐れがありました。 Docker 19.03では、非rootユーザでデーモンを実行できるようになりました(Rootlessモード)。 Rootlessモードを有効化することで、万一Dockerに脆弱性や設定ミスがあっても、攻撃者にホストのroot権限を奪取されることを防ぐことが出来ます。ただし、現時点ではcgroupを利用できないなどの制約があります。 RootlessモードのDockerは， curl -fsSL http
Docker v18.09 新機能 (イメージビルド&セキュリティ) – nttlabs – Medium
NTTの須田です．Moby (≒Docker)，BuildKit，containerdなど，コンテナ関連のオープンソースソフトウェアのメンテナ (開発委員．コミッタとも．)を務めています． 本記事では，2018年11月8日にリリースされたDocker 18.09の新機能を紹介します． BuildKitの正式統合Dockerfileからコンテナイメージをビルドする機能である，docker build の新しいバックエンドとして，BuildKitがDocker 18.06より実験的に採用されていましたが，Docker 18.09にて，正式な機能に格上げされました． BuildKitは，須田が2017年4月に提案した docker build並列化のpull requestを契機として，Docker社 Tõnis Tiigi氏の主導により，Moby傘下のオープンソースプロジェクトとして同年夏に発
User namespaces + overlayfs = root privileges [LWN.net]
Please consider subscribing to LWNSubscriptions are the lifeblood of LWN.net. If you appreciate this content and would like to see more of it, your subscription will help to ensure that LWN continues to thrive. Please visit this page to join up and keep LWN on the net. The user namespaces feature is conceptually fairly straightforward—allow users to run as root in their own space, while limiting t
Linux 4.10 で入った Overlayfs の redirect_dir 機能の動きを軽く追ってみた - TenForward
ちょっと前にリリースされたカーネルですが、4.10 で overlayfs に変更が入っていましたのでちょっと調べてみました。 Overlayfs についてはこちらをどうぞ (ちょっと古い記事なのでカーネルにマージされる前の仕様も説明しています)。 Linuxで学ぶコンテナ入門 第18回 Linuxカーネルのコンテナ機能［7］ー overlayfs (gihyo.jp) それとコンテナ勉強会のこの発表資料 ちょっとOverlayfsの実装、読んでみました (@akachochinさん) カーネルの変更と準備 4.10の関連するコミットは以下。 ovl: redirect on rename-dir ovl: allow redirect_dir to default to “on” ovl: allow setting max size of redirect ovl: show redi
電源を切っても消えないメモリとの付き合い方
メモリのように書けて永続化される次世代ストレージデバイスNVDIMMの扱い方を解説します これは2019年10月19日に行われる予定だった カーネル／VM探検隊＠北陸 5回目(台風の影響で中止) での発表資料です サンプルコード: https://github.com/Fadis/kernelvm_20191019_samples
device-mapper 解説
device-mapper 解説 日本電気株式会社 野村 淳一 2009年9月18日 © NEC Corporation 2009 Page 2 device-mapper 解説 ▐ はじめに ▐ device-mapper とは ▐ 各種 device-mapper ターゲットの機能 ▐ device-mapper の概念と構造 ▐ device-mapper を使う ▐ Request-based device-mapper の紹介 ▐ さいごに © NEC Corporation 2009 Page 3 はじめに © NEC Corporation 2009 Page 4 はじめに ▐ ハードディスクなどのストレージデバイスは高速化・大容量化の 一途をたどっていますが、拡張性や耐障害性、暗号化、バック アップなど機能面での重要性も増しています。 ▐ Linux では、このような機能拡
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Bluetooth scan doesn't detect any device on Ubuntu 21.10
GPU仮想化最前線 - KVMGTとvirtio-gpu -
Dockerfile を書くためのベストプラクティス解説編
Dockerfileを改善するためのBest Practice 2019年版
Resolving Large NVMe Performance Degradation in the Ubuntu 4.4 Kernel · Matthew Ruffell
Switch Debian from legacy to UEFI boot mode
極めて速いストレージとの付き合い方 - Speaker Deck
10分で分かるLinuxブロックレイヤ
Asus H87-PRO /usr/sbin/pwmconfig: There are no pwm-capable sensor modules installed