Linuxコンテナの解析：コンテナのイメージとエンジン - Qiita
コンテナプラットフォームの専門家であるTang Huamin氏が、Linux環境でのコンテナエンジンと名前空間について解説します。 著者：Alibaba Cloudのコンテナプラットフォームテクニカルエキスパート、Tang Huamin (Huamin)氏 Linuxコンテナは軽量な仮想化技術で、名前空間とcgroup技術に基づいて、カーネル共有シナリオでプロセスリソースを分離・制限します。本稿では、Dockerを例に、コンテナイメージとコンテナエンジンの基本的な説明を行います。 コンテナは、軽量な仮想化技術です。仮想マシン（VM）とは対照的に、ハイパーバイザー層を含みません。次の図は、コンテナの起動プロセスを示しています。 最下層では、ディスクにコンテナイメージを格納します。上位層のコンテナエンジンは、Dockerやその他のコンテナエンジンです。コンテナエンジンは、ディスク上のコンテナイ
［速報］Oracle Database＠AWSは12月から利用可能に、AWS CEOが基調講演に登場。Oracle CloudWorld 2024
［速報］Oracle Database＠AWSは12月から利用可能に、AWS CEOが基調講演に登場。Oracle CloudWorld 2024 米オラクルの年次イベント「Oracle CloudWorld 2024」がラスベガスで開幕しました。 1日目の基調講演に登壇した同社創業者兼CTOのラリー・エリソン氏は昨日発表した、AWS上にOracle Cloudのインフラを持ち込み、そこでOracle Databaseを稼働させる「Oracle Database＠AWS」がAWSで12月から利用可能になることを明らかにしました。 Oracle Database＠AWSは昨日発表され、今年（2024年）後半にプレビュー版が提供されると説明されているため、12月から利用可能になるのはプレビュー版と見られます。 「Oracle Cloud Infrastructureのデータベース、クラスタ、ハ
JavaがDockerコンテナ内でどのようにCPU数、メモリサイズを取得しているのかを調べてみる - CLOVER🍀
これは、なにをしたくて書いたもの？ 現在のJavaは、コンテナ環境下ではホスト側ではなくコンテナにリソース制限がかけられていればそちらの値を見るように なっています。 これはどこの値を見ているのかな？というのを確認してみたくなりまして。 なお、自分にはcgroupに関する知識はほぼありません。あくまで、Javaがどこの情報を見ているか？という観点で 追っています。 JDK-8146115 Javaも以前はホスト側のCPU数やメモリサイズを参照していたのですが、JDK-8146115（およびそのバックポート）が 入ってからはコンテナに割り当てられたCPU数やメモリサイズを見るようになりました。 https://bugs.openjdk.java.net/browse/JDK-8146115 Java 10以降、Java 8については8u191以降で対応しています。 デフォルトでこの機能は有効
Linux カーネル改良で消費電力30%削減へ ─ たった30行のコードが切り拓くデータセンターの未来 - イノベトピア
カナダのウォータールー大学チェリトン・コンピュータサイエンス学部の研究チームが、Linuxカーネルのネットワークスタック処理を改良した。 主な数値と事実 改良内容はわずか30行のコード追加でデータセンターの消費電力を最大30%削減可能とし、ネットワークスループットを最大45%向上させる。この改良はLinux 6.13カーネルに実装（2024年1月15日リリース）された。 開発の経緯 マーティン・カーステン教授が主導し、Fastly社のCTO、ジョー・ダマト氏と共同で実装を進めた。基礎研究は2023年10月にACM SIGOPSで論文発表された。 技術詳細と制限事項 従来の割り込み駆動型からアダプティブポーリング方式へ変更され、トラフィック量に応じて自動的に処理方式を切り替える。Memcachedなどのネットワーク通信を多用するアプリケーションで特に効果を発揮する。ただし、エンタープライズ向
ITインフラ担当者必見、Micron SSDとMicrosoft Azure Stack HCIの活用でパフォーマンスが劇的に向上
ITインフラ担当者必見、Micron SSDとMicrosoft Azure Stack HCIの活用でパフォーマンスが劇的に向上 ご存知の通り、仮想化されたITインフラが一般的になり、企業の80%以上のアプリケーションが仮想サーバー上で稼働しています。サーバーの管理負荷、ストレージのサイロ化などの課題についての検討も必要となってきますが、ラックスペースの縮小、全体的な効率と柔軟性が向上し、災害復旧も対応しやすいなどのメリットがあるため、昨今、より多くの企業が仮想化を推進しています。仮想化への移行を検討する場合、そのメリットを十分に得るために、現場のインフラ担当や経営層は、初期投資や技術的な課題について事前に正しく把握し、ソリューションの確定や移行方法、タイミングを適切に判断し決定する必要があります。 Micronの ITエンジニアリングチームは、例えば仮想化の優位性を認識しているが、物理
This post is an exploration of the supply and demand of GPUs, particularly Nvidia H100s. We’re also releasing a song and music video on the same day as this post. This post went mega viral. It was on the frontpage of HN, techmeme, many email newsletters, got tweets from Andrej Karpathy and others, comments from Mustafa (who will have $1B of GPUs online soon) from Inflection and Emad from Stability
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれのパターンもEC2インスタンスやECS Fargateなどの課金が発生するリソースをプロビジョニングする必要があります。 そんな時に
2022年のPFNの機械学習基盤 - Preferred Networks Research & Development
はじめに PFNエンジニアの上野です。Cluster Servicesチームという、PFNの機械学習基盤を開発・運用するチームに所属して、日々基盤の改善や新機能の開発を進めています。 本記事は、以前にヤフー株式会社のAIプラットフォームチームと共催したイベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #1」のPFNパートをざっくりまとめて、2022年のPFNの機械学習基盤について紹介するものです。 イベントの第二回を 8/29 に開催して、さらに新しい取り組みについても紹介しますので、ぜひこちらから参加登録をお願いします。 PFNのオンプレML基盤の取り組み スライド全体はこちらからアクセスできます。 もくじ オンプレクラスタの概要 使いやすい環境 リソースの効率的かつフェアな利用 信頼性・運用省力化 クラスタに関わる組織 オンプレクラスタの概要 PFNエンジニア
Cloud Operator Days Tokyo は、クラウドの運用者に焦点を当てた技術者向けの新しいテックイベントです。サイバーエージェントのプライベートクラウドのストレージについて、宮元氏と知念氏がそれぞれの構成や特徴、実際の運用中に起きた問題点を話しました。後半は、2つ目のプライベートクラウドとアプライアンスストレージについて。前回の記事はこちら 障害に強く速いストレージ知念洋樹氏（以下、知念）：続きまして、今度はTKY02のストレージの話に移ります。TKY02ではCinder-Standard、Cinder-Archive、Cinder-Singleの3つ自作のストレージがあります。ほかにもTKY02に関してはアプライアンスのストレージとCephもありますので、そちらも紹介していきます。 まずCinder-Standardについて紹介します。コンセプトは「障害に強く速いストレージ
Amazon Web Services ブログ 週刊AWS – 2020/11/02週 こんにちは、AWSソリューションアーキテクトの小林です。 最近めっきり寒くなり、だんだんと冬が近づいてきているような気がしますね。運動不足な状況が続いたこともあり、最近は一念発起して運動を始めることにしました。去年も似たようなことを書いた記憶がおぼろげながらあるのですが、それはそれ。新しい気持ちで天気の良い日はウォーキングを、雨降りの日は室内用のフィットネスバイクをやるようにしています。一月半くらい継続ができているのですが、そこはかとなく足が引き締まってきたような気がするので今後も継続していきたいなと思っている今日この頃です。 それでは、先週のアップデートを振り返ってみましょう。 2020年11月2日週の主要なアップデート 11/2(月) In the Works – New AWS Region in
Introduction Dusting off a few new (old) vulns Have you ever been casually perusing the source code of the Linux kernel and thought to yourself "Wait a minute, that can’t be right"? That’s the position we found ourselves in when we found three bugs in a forgotten corner of the mainline Linux kernel that turned out to be about 15 years old. Unlike most things that we find gathering dust, these bugs
KubernetesクラスタにおけるGPU-NIC割り当ての改善によるRDMAの高速化 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された松岡航さんによる寄稿です。 はじめに PFN2022年度夏季インターンシップに参加した法政大学情報科学部ディジタルメディア学科3年の松岡航です。大学では学内のサーバ管理をしています。ネットワークやコンテナ技術に興味があり、今回Cluster ServicesチームというPFNの機械学習基盤を開発・運用するチームのインターンシップに参加しました。 背景 良い深層学習モデルを実現するには、モデルの構造や適切な学習率などを変更した多くの試行を行うことが重要です。1回の学習を高速に完了させることで、効率よくこの探索を行うことができます。高速化の方法の1つとして、複数のプロセスを使って学習することで学習を高速化する分散深層学習という手法があります。例えばデータ並列な分散深層学習では、複数のプロセスにデータを分散させて処理することで、一度に多
NSDI '23 - https://www.usenix.org/conference/nsdi23/presentation/bai - https://www.microsoft.com/en-us/research/publication/empowering-azure-storage-w…
Mellanoxドライバのインストール事前に、RDMAに対応した Mellanox ドライバである OFED をインストールしておく必要があります。 ドライバは公式サイトからダウンロードできます。 # tar -xzvf MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64.tgz # cd MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64 # ./mlnxofedinstall --with-nvmf # /etc/init.d/openibd restart インストール完了後、念のために initramfs を更新しておきます。 しなかった場合、この後に行うカーネルモジュールの読み込みでエラーになる場合があります。 # update-initramfs -u # reboot RoCEv2サポートの確
Introducing Falcon: a reliable low-latency hardware transport | Google Cloud Blog
Google opens Falcon, a reliable low-latency hardware transport, to the ecosystem At Google, we have a long history of solving problems at scale using Ethernet, and rethinking the transport layer to satisfy demanding workloads that require high burst bandwidth, high message rates, and low latency. Workloads such as storage have needed some of these attributes for a long time, however, with newer us
taskset と cgroup は何が違うのか
taskset と cgroupは、あるプロセスが利用可能な CPU コアを制限できる技術。どんな違いがあるのかを調べた。なお、本記事の cgroup は cgroup v1 のこと。 taskset は sched_setaffinity システムコールを利用したコマンドラインツール。sched_setaffinity はユーザが実行したプロセスの CPU Affinity をユーザの権限で変えられる。プロセスからは CPU が存在するけど自発的に使わない状態。(≒このコアじゃないとヤダ！)cgroup は CPU/メモリなどのリソースを隔離するための仕組み。cgroup は設定権限をファイルのパーミッションで管理し、ユーザからの操作を禁止できる。プロセスからは CPU が存在しない状態。(≒このコアだけ使ってね)sched_setaffinity と cgroup はユーザへのインタフ
あまりまとまった情報が見つからなかったので、自分用にまとめたメモです。 Microsoft Learnの情報から、GPUが使えるVMについて雑にまとめました。 Azureで使用できるGPU搭載VMについてAzureではGPUが搭載されたVMの名称はNから始まりますが、NDIVIA社のグラフィックボードが搭載されているとは限りません。 なお、初期設定ではクォータが1つも割り当てられていないので、使用する前に必ずクォータ増加の要求を送信する必要があります。 Azure Machine Learningのコンピューティングでも同じVMが選択肢として表示されますが、クォータは別カウントなので、Azure MLで割り当てられていてもAzure VMで使用する場合は改めてリクエストを送信する必要があります。 以下は、時間あたりのコストが安い順に並べています（料金は9月21日時点のもの）。 NC4as_
WSL2でネットワークが遅いときの対処方法 WSL2でネットワークが遅く、Docker pullやnpm installにすごく時間がかかる状態になったので原因を調査しました。 Hyper-V仮想LANの"Large Send Offload v2"を"Disabled"に変更すると直るとあったが、 この記事同様、デバイスマネージャーのネットワークアダプタにHyper-V仮想LANが存在しない。 記事を参考にIPv6をOffにしたが改善せず。 Windowsはバージョン上がるたびに設定方法をちょこちょこ変えるのやめてほしい。 を参考にDNSを8.8.8.8にしたが改善せず。 を参考に以下のコマンドを実行すると改善した PS C:\WINDOWS\system32> ipconfig.exe /all . . . . イーサネット アダプター vEthernet (WSL): 接続固有の D
OpenAI Selects Oracle Cloud Infrastructure to Extend Microsoft Azure AI Platform
Press Release OpenAI Selects Oracle Cloud Infrastructure to Extend Microsoft Azure AI Platform Oracle, Microsoft, and OpenAl are partnering to extend the Microsoft Azure Al platform to Oracle Cloud Infrastructure (OCI) to provide additional capacity for OpenAl. OpenAI is the AI research and development company behind ChatGPT, which provides generative AI services to more than 100 million users eve
NVIDIAがプロセッサのDPUの違いについてブログを公開したので紹介しよう。 CPU (セントラル プロセッシング ユニット) は既におなじみだと思う。長年にわたり、柔軟性と応答性に優れた CPU は、ほとんどのコンピューターにおける唯一のプログラマブルな要素だった。 最近では、GPU (グラフィックス プロセッシング ユニット) が中心的な役割を果たすようになった。元々はリッチなリアルタイムのグラフィックスを提供するために使用されていたが、その並列処理能力によりあらゆる種類のアクセラレーテッド コンピューティング タスクに理想的な存在となっている。 これは、人工知能 (AI)、ディープラーニング、およびビッグ データ分析アプリケーションを実現する鍵となっている。 しかし、この十年間で、コンピューティングは PC やサーバーという箱型の制約から抜け出し、CPU とGPU は、新たなハイパ
Windows で OpenGL/Vulkan アプリを動かして画面をイントラネットで VNC などで転送したいメモ - Qiita
背景 OpenGL/Vulkan を使う Windows 10 グラフィックスアプリの画面を Linux PC などに転送したい 同じ部屋や, 異なる部屋にある PC 間で, イントラネットで使う(インターネットで外から繋ぐなどはしない) RDP だと OpenGL 2.x(?) までなので使えない. 追記: OpenGL/Vulkan 機能使えました. おまけ参照. Chrome Remote Desktop だと, 拡張入れるのが気になるし, 認証で一度 Google サーバに繋がないといけないのでめんどい. VNC を試します. VNC は, free(OSS) は 3 種類ほどあります(TightVNC, UltraVNC, TigerVNC) まず, TigerVNC は今回の用途では使ってはいけません. とっても遅いです. これは実装上しょうがないようです(Java だから?)
1. はじめに 2. 準備 インストール 動作確認 3. ライブラリ libibverbs librdmacm 4. プログラミング例 基本編 簡略編 上級編 5. おわりに 執筆者 : 小田 逸郎 1. はじめに 筆者が最初にInfiniBandやRDMAに触れたのは、もう20年近く昔の話になります。 それから、ブレークすることもなく、さりとて死に絶えることもなく、ひっそりと 生き続けてきました。最近また、ちょくちょく耳にするようになった気がします。 InfiniBand大手のMellanoxをNVIDIAが買収したというような話題もありました。 この20年程の間に、RDMAを使用する環境も手軽に用意できるようになりました。 なんと、普通のLinuxディストリビューションで普通に使えてしまいます。 とは言え、実際にRDMAで通信するプログラムを書こうとすると、まだ あまり情報がない気がし
計算基盤チームの仕事紹介 - Preferred Networks Research & Development
Preferred Networks 計算基盤担当VPの土井です。 ちょっと最近ばたばたしていて、あまり何をやっているか紹介できていませんでした。その結果「PFNって何やってるの?」と聞かれてなかなかお答えできない。またPFNで計算機をやっているといってもピンとこない、というお話も増えてきました。先日のJANOGに行ったメンバーからも、PFNが何をしているのかイマイチ知られていないと聞いて、冷や汗を流しております。 なので、チーム的に露出に力を入れることにしました。今後blogを、あるいはネタによってはQiitaなども含めて、シリーズ的に書いていければと思います。まずは、土井が担当している計算基盤領域およびその周辺について概観する記事を書かせて頂こうと思います。 端的に言うと、PFNはあまりオンプレインフラのイメージがないかもしれませんが、上から下までかなりがっつりやっていますし、こんな場
KSMBD As An In-Kernel SMB3 File Server Merged For Linux 5.15 - Phoronix
KSMBD As An In-Kernel SMB3 File Server Merged For Linux 5.15 Written by Michael Larabel in Linux Storage on 31 August 2021 at 01:52 PM EDT. 15 Comments One of the earliest pull requests sent in for the now-open Linux 5.15 cycle was proposing KSMBD land as the in-kernel SMB3 file server as an alternative on Linux systems to running Samba in user-space. At the time it wasn't clear if Linus Torvalds
Windows Server 2022 の新機能
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 この記事では、Windows Server 2022 の新機能の一部について説明します。 Windows Server 2022 は Windows Server 2019 の強力な基盤の上に構築されています。これにより、セキュリティ、Azure ハイブリッド統合および管理、アプリケーション プラットフォームという 3 つの主要テーマに関する多くの技術革新が実現します。 Azure Edition Windows Server 2022 Datacenter: Azure Edition により、クラウドの利点を利用して、ダウンタイムを最小限に抑えながら VM を最新の状態に保つことができます。 このセクショ
32.5.2. parted でパーティションのサイズ変更 Red Hat Enterprise Linux 8 | Red Hat Customer Portal
『System Design Guide』 多様性を受け入れるオープンソースの強化 Red Hat ドキュメントへのフィードバック (英語のみ) I. インストールの設計 Expand section "I. インストールの設計" Collapse section "I. インストールの設計" 1. サポート対象の RHEL アーキテクチャーおよびシステム要件 Expand section "1. サポート対象の RHEL アーキテクチャーおよびシステム要件" Collapse section "1. サポート対象の RHEL アーキテクチャーおよびシステム要件" 1.1. サポートされているアーキテクチャー 1.2. システム要件 2. インストールの準備 Expand section "2. インストールの準備" Collapse section "2. インストールの準備" 2.1.
IT Leaders トップ ＞ テクノロジー一覧 ＞ サーバー ＞ 事例ニュース ＞ NEC、928個のGPUを搭載したAI研究用スパコンを構築し、AI研究者が利用開始 サーバー サーバー記事一覧へ [事例ニュース] NEC、928個のGPUを搭載したAI研究用スパコンを構築し、AI研究者が利用開始 理論性能は580PFLOPS超 2023年3月20日(月)日川 佳三（IT Leaders編集部） リスト NECは2023年3月20日、AI研究用のスーパーコンピュータを稼働開始したと発表した。NVIDIA A100 TensorコアGPUを928個搭載し、理論性能は580PFLOPS超である。NECの数百人のAI研究者が利用を始めている。「社会全体のデジタルツイン」の実現を目指し、全人類を見分ける生体認証によるデジタル決済、パーソナライズされた行政サービス、都市全体を制御する交通管制など
生成AI（人工知能）の技術革新が急速に進んでいる。最近では、特定のタスクを実施する「AIエージェント」を複数束ねて、互いに協力させて作業を自動化する「マルチAIエージェント」に注目が集まっている。人間の代わりにAIが日常の業務をこなす日もそう遠くないだろう。 ただしAIの開発や運用には、様々な課題が生じているのも事実だ。その1つがGPU（画像処理半導体）の価格高騰である。AIの推論や学習に使うGPUサーバーは、RDMA（Remote Direct Memory Access）という技術を用いて相互に接続している。大量のGPUをまとめて1つのGPUサーバーとして使い、大量のデータを高速に処理する。 AI開発の基盤であるGPUを無駄なく使いたいという利用者は多い。そんな願いを実現するために、誕生から50年以上経過したイーサネットを使おうという議論が進んでいる。 伝送速度は27万倍に向上 筆者は
関連キーワード 機械学習 | ストレージ GPU（グラフィック処理ユニット）のデータ処理を高速化するNVIDIAのソフトウェア「Magnum IO GPUDirect Storage」（以下、GPUDirect Storage）が、一般に利用できるようになった。GPUDirect Storageは、GPUがNVMe接続のストレージに直接アクセスすることでデータ処理を高速にする仕組みだ。 GPUDirect Storageによる高速化はなぜ必要なのか 併せて読みたいお薦め記事 NVIDIA関連の話題 NVIDIAがHPC市場に投入するDPU「BlueField」の役割 SmartNICとは違うのか？ NVIDIAのArm買収で広がる波紋 「Armアーキテクチャ」制限の事態も？ NVIDIA vs. AMD 「GPU」「ビデオカード」の演算能力が高いのはどっち？ GPUの基本情報 「GPU仮想
NECは、AIの世界的な開発競争が激化する中で優位性を維持・強化するため、AI研究用スーパーコンピュータの構築を開始し、2023年3月に国内企業で最大規模(注1)の580PFLOPS(注2)超となるシステムの稼働を予定しています。既に一部のシステム(100PFLOPS)についてNECの数百名の AI研究者が利用を開始しており、今後構築する480PFLPOSのシステムを加え国内最高峰のAIに特化した研究開発環境による、より高度な先進AIの迅速な開発に役立てます。また将来的には、お客様やパートナーとの共創により先進的な社会価値を産み出すAI研究のセンター・オブ・エクセレンスの実現を目指します。 近年、AIのコアテクノロジーであるディープラーニングが急激に進化し活用領域が広がっています。またディープラーニングの開発に必要な演算量も拡大の一途を辿っており、社会全体のDXを進めるには多様な先進AIを
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はFujitsu Advent Calendar 2020 24日目の記事です。（記事は個人の見解であり、組織を代表するものではありません。） はじめに 毎年恒例になったAdevent CalendarでのLinuxの不揮発メモリ対応の動向について、今年も記述しようと思います。 正直言うと、今年は不揮発メモリとは別のネタを書くことも考えました。不揮発メモリのLinuxの動向については、今年はすでにOpen Source Summit Japan 2020 (以後OSSJ)でも話してしまっていて、スライドも公開したので、その内容が
LLM、Platform Engineeringなど、VMwareの年次カンファレンスでの重要発表をまとめた
LLM、Platform Engineeringなど、VMwareの年次カンファレンスでの重要発表をまとめた：VMware Explore 2023 VMwareが年次カンファレンス「VMware Explore 2023」で多数の発表を行った。その中には「LLM」「Platform Engineering」「エッジ」などのキーワードが散りばめられていた。主要な発表をまとめた。 VMwareは2023年8月22日（米国時間）より年次カンファレンス「VMware Explore 2023」を開催し、多数の新製品や新機能を紹介した。本記事では「組織内の大規模言語モデル稼働環境」「クラウドネイティブ基盤へのPlatform Engineering機能投入」「エッジのライフサイクル管理」「ストレージの強化」「ネットワークのマルチクラウド対応」など、主要な発表について紹介する。 LLM利用の課題にフ
Linux 5.11 was released on Sun, 14 Feb 2021 Summary: This release adds supports for a new mechanism that lets software like wine handle windows syscalls in a much faster and clean manner; support for unprivileged overlayfs mounts; support for Intel SGX enclaves; support for upcoming AMD and Intel graphics hardware; faster performance and data recovery options in Btrfs; support for re-exporting via
1TBをネットワーク経由でコピーするのに5秒くらいで終わらせることは出来るのか - 地方エンジニアの学習日記
前説 この記事は「GMOペパボエンジニア Advent Calendar 2022」の23日目の記事です！ adventar.org 目次 前説 目次 本編 要件整理 結論 なにはともあれボトルネック特定/改善をしてみる 家庭用サーバの場合 Disk性能を上げてみる ネットワーク性能を上げてみる RAID 0で頑張る 分散並列ファイルシステムをいれる 分散並列ファイルシステムとは Lastreでスループットを上げて頑張る これは現実的なのか クライアントを増やせば良い？ 「1TBのディスクコピーが5秒位で終わったっす」を満たすのに必要なもの (おまけ)macOSのファイルシステム：APFSだとコピーが一瞬で終わる (おまけ)InfiniBand および RDMA (おまけ)永続化メモリ (コラム)1TBくらいメモリを積んでみると (コラム)TCPは理論的に限界性能が決まっている (コラム)
NTT and Red Hat Fuel AI Analysis at the Edge with IOWN Technologies
As part of the Innovative Optical and Wireless Network (IOWN) initiative, NTT Corporation (NTT) and Red Hat, Inc., in collaboration with NVIDIA and Fujitsu, have jointly developed a solution to enhance and extend the potential for real-time artificial intelligence (AI) data analysis at the edge. Using technologies developed by the IOWN Global Forum and built on the foundation of Red Hat OpenShift,
Dataproc Hub により機械学習でノートブックの使用がより簡単に | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 12 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Dataproc は、Apache Spark クラスタ、Presto クラスタ、Apache Hadoop クラスタなどのオープンソースを簡単かつコスト効率よく実行できるようにする、高速で使いやすいフルマネージド クラウド サービスです。本日、Dataproc Hub を一般提供し、機械学習の初期化アクションをリリースしました。Spark による水平スケーリングが可能なコンピューティングにより、データ サイエンティストが、IT で制御されたオープンソース ノートブック ベースの機械学習を簡単に使用できるようになります。 Dataproc で機械学習を運用する企業のお客様は、IT とデータ サイエンティストのロールを分離する必要があります。また、IT 管理者は Dat
RoCE v2 メモ
RDMAをEthernet上で実現する仕組みであるRoCE v2についてマイクロソフト社内での運用 1 について調べてみた。 イントロ# RDMAというとInfinibandというイメージだったが、最近はiWARP、RoCEなども候補になる。 RoCEを略さずにいうと、Remote Direct Memory Access over Converged Ethernetとなる。 Remote Direct Memory Access とは、CPUを経由せずにリモートノードの主記憶を読み書きできる仕組みである。Converged Ethernet とはロスレスなEthernetであると理解した。 RoCEは2種類のバージョン v1 と v2 がある。v1はL2ヘッダの後ろにRDMAのペイロードが置かれる構造をしている。原理的にL2サブネット間でのRDMAを想定している。一方、v2はL4ヘッダ
参加企業に温度差、NTTの大胆すぎるIOWN構想
「われわれは、100％賛同してNTTのIOWN（Innovative Optical and Wireless Network）構想に参加しているわけではない」 NTTが提案する次世代ネットワーク構想「IOWN」。そのあまりに大胆な内容から、IOWNの仕様を検討する国際団体「IOWN Global Forum」参加企業の中からも異論が出ている。冒頭の発言は、IOWN Global Forumに参加するとあるIT企業幹部が取材中に漏らした言葉だ。 IOWN構想は、通信とコンピューティングの分野にまたがるNTTの巨大構想である。目標時期は6G到来の2030年ごろ。フォーラムの拠点を米国に置き、設立メンバーのNTTや米Intel（インテル）、ソニーに加えて、2021年1月までにスウェーデン・Ericsson（エリクソン）や米NVIDIA（エヌビディア）など世界の通信主要各社も加盟した。NTTの将
大規模言語モデルを Amazon SageMaker 上で学習する際のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ 大規模言語モデルを Amazon SageMaker 上で学習する際のベストプラクティス 本稿は 2023 年 3 月 6 日に AWS Machine Learning Blog で公開された “Training large language models on Amazon SageMaker: Best practices” を翻訳したものです。 言語モデルとは自然言語を用いて、連続するトークンの後に続くトークンを推測するような統計的手法です。大規模言語モデル (LLMs) は数億個 (BERT) から1兆個 (MiCS) 以上のパラメータを持つニューラルネットワークベースの言語モデルであり、その規模の大きさからシングル GPU での学習は現実的ではありません。LLM はその生成能力からテキスト合成、要約、機械翻訳などのタスクに広く用い
日本電信電話株式会社（本社：東京都千代田区、代表取締役社長：島田 明、以下「NTT」）は、IOWN構想の一環として、Red Hat、NVIDIA、および富士通の協力のもと、IOWN技術を用いて郊外型データセンタを活用したリアルタイムArtificial Intelligence（AI）分析を省電力に実現する技術を開発しました。本AI分析基盤では、IOWNオールフォトニクス・ネットワーク（All-Photonics Network、以下、APN）、およびIOWNデータセントリック基盤（Data Centric Infrastructure、以下、DCI）のデータ処理高速化手法を活用しています。本実証実験を通じ、郊外型データセンタによるAI分析において、従来の方式と比べて、遅延時間（センサ設置拠点でデータを受信してから郊外型データセンタでAI分析を完了するまでの時間）を、最大で60％削減できる
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nvidia H100 GPUs: Supply and Demand
「障害に強い」「速い」「大容量」を実現 サイバーエージェント自作ストレージのメリット・デメリット | ログミーBusiness
週刊AWS – 2020/11/02週 | Amazon Web Services
New Old Bugs in the Linux Kernel
#51 “Empowering Azure Storage with RDMA”
NVMeとConnectX-4で始めるNVMe over RDMA (RoCEv2)入門
AzureのGPU搭載VMを安い順に並べる（2023年9月版）｜saip(さいぴ)
WSL2でネットワークが遅いときの対処方法 - Qiita
NVIDIAのマルチコアCPU「DPU」はCPUやGPUと何がどう違う？｜@DIME アットダイム
RDMAプログラミング入門 - VA Linux エンジニアブログ
NEC、928個のGPUを搭載したAI研究用スパコンを構築し、AI研究者が利用開始 | IT Leaders
50歳超えの大ベテラン「イーサネット」、生成AI時代でますます重要な存在に
GPUのデータ処理を高速化 「GPUDirect Storage」はなぜ必要なのか？
NEC、国内企業で最大規模となるAI研究用スーパーコンピュータの構築を開始
Linuxの不揮発メモリ(NVDIMM)対応について(2020年版) - Qiita
Linux_5.11 - Linux Kernel Newbies
郊外型データセンタ活用・省電力リアルタイムAI分析技術を実証～IOWN技術の活用によりリモート拠点上でのAI分析の遅延と消費電力を大幅に削減～ | ニュースリリース | NTT