並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 477件

新着順 人気順

Infinibandの検索結果81 - 120 件 / 477件

  • 今、ユニケージ開発手法にギークが熱狂するワケ【USP研究所代表&オープンソースOSコミッター対談】 - エンジニアtype | 転職type

    【PR】 2020.09.25 スキル 無駄のない美しいコードを書き続けたい。そんなふうに思っても、現実的に「やるべきこと」に阻まれ、気持ちにフタをしてしまっているエンジニアもいるはずだ。そんな人に紹介したい「今、アツい集団」がいる。 「ユニケージ開発手法」を確立した技術者集団、ユニバーサル・シェル・プログラミング研究所(以下、USP研究所)だ。オープンソースOS「FreeBSD」のコミッターとして知られる後藤大地さんは「こんなに面白い会社は見たことがない」と、同研究所に惚れ込んでいる一人。 USP研究所の何がギークなエンジニアを熱狂させるのか? 後藤さんとUSP研究所の代表、當仲寛哲さんに話を聞いた。 (写真右)有限会社ユニバーサル・シェル・プログラミング研究所 代表取締役 當仲寛哲さん 1990年東京大学工学部機械工学科卒業。92年ダイエーに入社し、基幹システムの改革プロジェクトを先導

      今、ユニケージ開発手法にギークが熱狂するワケ【USP研究所代表&オープンソースOSコミッター対談】 - エンジニアtype | 転職type
    • PICe3.0 x4で動く10GbE NIC”Mellanox ConnectX-3″に交換したのでベンチマーク | 徒労日記

      最初に買った10GbEネットワークのうち、NICが1枚不調になりました。 OSが定期的にフリーズしたり、ゲームでは数秒単位でパケロスしたり。 実効速度9.6Gbps。最安ラインで10GbEネットワークを組む(一部犠牲有り) でももう”x8なPCIeカード”は買いたくない! という事で”PCIexpress3.0 x4”で動作する10GbE NIC”Mellanox ConnectX-3″を取り寄せました。 MCX311A-XCAT ConnectX-3 Single Port 10G NIC CardMCX311A-XCAT CX311A ConnectX-3 Single Port 10G NIC Card 購入時は5,763円で送料無料(Aliexpress Standard Shipping)。 2022-02-21支払い、2022-03-07到着。 自動的に同時決済の他2点と合わせ

        PICe3.0 x4で動く10GbE NIC”Mellanox ConnectX-3″に交換したのでベンチマーク | 徒労日記
      • スーパーコンピュータ「PRIMEHPC」シリーズ2機種をグローバルに販売開始 : 富士通

        English PRESS RELEASE (スーパーコンピュータ) 2019年11月13日 富士通株式会社 スーパーコンピュータ「PRIMEHPC」シリーズ2機種をグローバルに販売開始 「富岳」の技術を活用し、高い電力あたり性能を実現 当社は、スーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC(プライムエイチピーシー)」シリーズにおいて、理化学研究所(理事長:松本 紘、以下、理研)様と共同開発しているスーパーコンピュータ「富岳」の技術を活用した「PRIMEHPC FX1000(エフエックスセン、以下 FX1000)」および「PRIMEHPC FX700(エフエックスナナヒャク、以下 FX700)」の2機種を11月13日よりグローバルに販売開始(注1)します。出荷は2020年3月を予定しています。 両製品は、世界で初めてArm®v8-A命令セットアーキテクチ

          スーパーコンピュータ「PRIMEHPC」シリーズ2機種をグローバルに販売開始 : 富士通
        • Ceph performance — YourcmcWiki

          Ceph is a Software-Defined Storage system. It’s very feature-rich: it provides object storage, VM disk storage, shared cluster filesystem and a lot of additional features. In some ways, it’s even unique. It could be an excellent solution which you could take for free, immediately solve all your problems, become a cloud provider and earn piles of money. However there is a subtle problem: PERFORMANC

          • 【InfiniBandの現在】InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……【ネット新技術】

              【InfiniBandの現在】InfiniBandが主戦場のMellanox、独自の56GbEでイーサーネット関連を拡大するも……【ネット新技術】
            • AWSの10分の1!? 性能と料金を売りにするオラクルのクラウド戦略とは?

              日本オラクルは今年5月、第2世代Oracle Cloudのデータセンターの東京リージョンを開設、年内には大阪リージョンの開設も予定しており、国内におけるクラウドビジネスを加速させている。 とはいえ、ご承知の通り、パブリッククラウド市場では、既にAmazon Web Services(AWS)、Microsoft Azure、Google Cloud Platformがシェアを獲得しており、そこに割って入っていくことは簡単ではない。 そうした中、オラクルが同社のクラウドサービスのアドバンテージとして掲げているのが「企業向けクラウドとしてのポテンシャル」だ。今回、Oracle Cloud Infrastructure Director of Product Management カラン・バッタ氏に、どのような点において、同社のクラウドが企業向けクラウドとして競合に勝っているかについて聞いた。

                AWSの10分の1!? 性能と料金を売りにするオラクルのクラウド戦略とは?
              • Virtual GPU device plugin for inference workloads in Kubernetes | Amazon Web Services

                AWS Open Source Blog Virtual GPU device plugin for inference workloads in Kubernetes Machine learning (ML) has become a centerpiece for enterprise transformation. AWS provides a broad and deep set of ML capabilities for builders with all levels of expertise. Developers with no prior ML experience can seamlessly build sophisticated AI-driven applications using AWS AI services. Developers and data s

                  Virtual GPU device plugin for inference workloads in Kubernetes | Amazon Web Services
                • Introducing Falcon: a reliable low-latency hardware transport | Google Cloud Blog

                  Google opens Falcon, a reliable low-latency hardware transport, to the ecosystem At Google, we have a long history of solving problems at scale using Ethernet, and rethinking the transport layer to satisfy demanding workloads that require high burst bandwidth, high message rates, and low latency. Workloads such as storage have needed some of these attributes for a long time, however, with newer us

                    Introducing Falcon: a reliable low-latency hardware transport | Google Cloud Blog
                  • 3.3. nmcli を使用する IP ネットワークの設定 Red Hat Enterprise Linux 7 | Red Hat Customer Portal

                    ネットワークガイド I. 作業開始前の準備 Expand section "I. 作業開始前の準備" Collapse section "I. 作業開始前の準備" 1. ネットワークトピックの概要 Expand section "1. ネットワークトピックの概要" Collapse section "1. ネットワークトピックの概要" 1.1. IP ネットワークと非 IP ネットワークの比較 1.2. 静的 IP アドレス指定と動的 IP アドレス指定の比較 1.3. DHCP クライアントの動作の設定 Expand section "1.3. DHCP クライアントの動作の設定" Collapse section "1.3. DHCP クライアントの動作の設定" 1.3.1. DHCPv4 の永続化 1.4. ワイヤレス規制ドメインの設定 1.5. netconsoleの設定 1.6.

                      3.3. nmcli を使用する IP ネットワークの設定 Red Hat Enterprise Linux 7 | Red Hat Customer Portal
                    • Red Hat Enterprise LinuxのEC2インスタンスに複数のENIやIPアドレスを割り当てている場合はIMDSv2のみにしづらい件 | DevelopersIO

                      Red Hat Enterprise LinuxのEC2インスタンスに複数のENIやIPアドレスを割り当てている場合はIMDSv2のみにしづらい件 nm-cloud-setup が IMDSv2をサポートするまで、複数のIPアドレスを割り当てる環境においてはIMDSv1を使い続けることになりそう nm-cloud-setup ってなんだろう? こんにちは、のんピ(@non____97)です。 皆さんはIMDSv2のみに限定したいなと思ったことはありますか? 私はあります。 IMDSv2のみに限定する場合、IMDSv1が使われていないことを確認する必要があります。 以前、IMDSv1を使用しているプロセスを特定できるIMDSパケットアナライザーの記事を投稿しました。 こちらの検証の中でRed Hat Enterprise Linux(以降RHEL)のEC2インスタンスではnm-cloud-s

                        Red Hat Enterprise LinuxのEC2インスタンスに複数のENIやIPアドレスを割り当てている場合はIMDSv2のみにしづらい件 | DevelopersIO
                      • きっかけは「聖闘士星矢」 ―東映アニメーションが3DCG製作に「Dell EMC Isilon」を選ぶ理由 | gihyo.jp

                        「聖闘士星矢」「⁠ONE PIECE」など数々の大ヒットアニメーションを半世紀に渡って作り続けてきた東映アニメーション 大泉スタジオ。「⁠anime SQUARE ―生命を吹き込む場所」というコンセプトのもと、現在も"新たな創造(anime)"を生み出すこのスタジオには600名近いアニメーターが働いています。そして彼らのうち約200名は、おもに3DCGを製作する「デジタル映像部」のスタッフとして、フルCG/ハイブリッド/作画メインのCGパートや、CG要素/実写VFX/イベント映像などの製作を担当しています。 東京練馬区にある東映アニメーション 大泉スタジオ。山下氏が所属するデジタル映像部もこの中にある 現在、アニメーション業界は紙からデータへ、アナログからデジタルへの過渡期に差し掛かっているといわれています。そしてほかの業界と同様に、デジタル化が進むことでこれまでのワークフローが一変し、膨

                          きっかけは「聖闘士星矢」 ―東映アニメーションが3DCG製作に「Dell EMC Isilon」を選ぶ理由 | gihyo.jp
                        • Book of News - Ignite 2019

                          B O O K O F N E W S Microsoft Ignite 2019 Orlando, November 4 – 8, 2019 | Foreword by Frank Shaw 9 Section 1 Azure 10 Chapter 1 Azure Infrastructure 11 Item 1.1.1 Azure Arc: Extended Azure management and security to any infrastructure Item 1.1.2 Azure Data Services Preview: Run Azure data services anywhere Item 1.1.3 Azure Da v4 and Das v4 series virtual machines Item 1.1.4 Serial Console for Azur

                          • AIOps向けデータセット生成システムの論文をIOTS2021で発表しました

                            カテゴリー DX (2) 一般 (58) 研究会 (6) 働き方 (4) 技術 (351) Edge AI (2) Edge Computing (12) Erlang (1) FIWARE (2) Fog Computing (9) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (4) RealTime Web (14) SRE (2) Webサービス (42) インフラ (7) コンテナ (3) ストレージ (92) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (214) 仮想化 (110) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティング

                              AIOps向けデータセット生成システムの論文をIOTS2021で発表しました
                            • 筑波大学のスパコン「省エネ性能で日本一」は何がすごいのか “最先端”に懸ける思い

                              2022年12月、筑波大学のキャンパスに“天馬”が舞い降りた。「Pegasus」(ペガサス)と名付けられたスーパーコンピュータ(スパコン)が稼働し始めたのだ。プロセッサやメモリなど当時の最新テクノロジーをつぎ込んで生まれたPegasusは、科学研究における使いやすさを最重視しながら、スパコンの省エネ性能を比べる世界ランキングで国内1位にも輝いた。 Pegasusは、筑波大学が世の中のどこにもないものをイチから作り上げたスパコンだ。その名前に、天翔る馬のような高速計算の意味を込め、力強く羽ばたく翼にビッグメモリを重ね合わせている。 Pegasusには米NVIDIAのGPU「NVIDIA H100 Tensor コア GPU」や米IntelのCPU「第4世代Xeon」、不揮発性メモリ「Optane」などの最先端テクノロジーが詰まっている。しかし、そのすごさは部品の性能だけではない。Pegasu

                                筑波大学のスパコン「省エネ性能で日本一」は何がすごいのか “最先端”に懸ける思い
                              • Turing-NLG: A 17-billion-parameter language model by Microsoft - Microsoft Research

                                This figure was adapted from a similar image published in DistilBERT (opens in new tab). Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback a

                                  Turing-NLG: A 17-billion-parameter language model by Microsoft - Microsoft Research
                                • NVIDIA、メタバース向け開発を可能にする「Omniverse Enterprise」、400GbpsのInfiniBandスイッチ「Quantum-2」の提供開始を発表

                                    NVIDIA、メタバース向け開発を可能にする「Omniverse Enterprise」、400GbpsのInfiniBandスイッチ「Quantum-2」の提供開始を発表
                                  • アプリケーション一覧/ユーティリティ - ArchWiki

                                    Terminal コマンドシェル 次の記事を参照: コマンドラインシェル 次も参照: Wikipedia:Comparison of command shells ターミナルエミュレータ ターミナルエミュレータとはターミナルを含むGUIウィンドウを表示する機能を有します。 それらエミュレータのほとんどは Xterm をエミュレートしていて、その Xterm は VT102 をエミュレートしていて、VT102 はタイプライターをエミュレートしています。For further background information, see Wikipedia:Terminal emulator. For a comprehensive list, see Wikipedia:List of terminal emulators. Alacritty — クロスプラットフォームの GPU アクセラレーシ

                                      アプリケーション一覧/ユーティリティ - ArchWiki
                                    • Introducing the AI Research SuperCluster — Meta’s cutting-edge AI supercomputer for AI research

                                      Introducing the AI Research SuperCluster — Meta’s cutting-edge AI supercomputer for AI research Developing the next generation of advanced AI will require powerful new computers capable of quintillions of operations per second. Today, Meta is announcing that we’ve designed and built the AI Research SuperCluster (RSC) — which we believe is among the fastest AI supercomputers running today and will

                                        Introducing the AI Research SuperCluster — Meta’s cutting-edge AI supercomputer for AI research
                                      • Nvidia H100 GPUs: Supply and Demand

                                        This post is an exploration of the supply and demand of GPUs, particularly Nvidia H100s. We’re also releasing a song and music video on the same day as this post. This post went mega viral. It was on the frontpage of HN, techmeme, many email newsletters, got tweets from Andrej Karpathy and others, comments from Mustafa (who will have $1B of GPUs online soon) from Inflection and Emad from Stability

                                          Nvidia H100 GPUs: Supply and Demand
                                        • 産総研がAI用スパコン「ABCI」を刷新へ、新版はNVIDIA H200を6000基搭載

                                          産業技術総合研究所(産総研)は、AI(人工知能)用スーパーコンピューターである「ABCI(AI Bridging Cloud Infrastructure、AI橋渡しクラウド)」を刷新する。現在利用中の「ABCI 2.0」から「ABCI 3.0」にバージョンアップする予定だ。新版は米NVIDIA(エヌビディア)のGPU(画像処理半導体)である「NVIDIA H200 Tensor Core GPU」を搭載した米HPEのサーバー「HPE Cray XDシステム」を採用するという。 ABCI 3.0は、1つのサーバー(ノード)に8基のNVIDIA H200 Tensor Core GPUを搭載し、合計すると6000基に達するという。ノード間は「NVIDIA Quantum-2 InfiniBand」ネットワークで接続。演算処理性能は、FP16(半精度浮動小数点演算)で約6.2 EFLOPS(エ

                                            産総研がAI用スパコン「ABCI」を刷新へ、新版はNVIDIA H200を6000基搭載
                                          • Windowsでのコンテナ技術とWSL - roy-n-roy メモ

                                            Home InfiniBand C# Docker Linux Raspberry Pi RouterOS Windows Mkdocs プライバシー・ポリシー Windowsでのコンテナ技術とWSL Host Conpute Service(HCS) Windows上でコンテナを扱うための技術である「Host Conpute Service(HCS)」について。 Windows subsystem for Linux Windows subsystem for Linux(WSL) とは、Windows上でLinux OS(ディストリビューション)を利用できる機能です。 利用できるOS・エディション この機能は、全エディションのWindows 10 バージョン1709以降 および、Windows Server 2019以降で利用することができます。 また、Windows 10 バージョン

                                            • NVIDIAが処理能力1エクサFLOPS・メモリ144TBの生成AI向け大規模スパコン「DGX GH200」を発表

                                              NVIDIAのジェンスン・フアンCEOが、2023年5月30日(火)から台湾の台北市で開催されているCOMPUTEX TAIPEI 2023で、生成AIのトレーニングや大規模言語モデルのワークロードなど、大規模なAIワークロードのためのスーパーコンピューター「DGX GH200」を発表しました。DGX GH200の処理性能は1エクサFLOPS(1000ペタFLOPS)に及び、GoogleやMicrosoftなどのクラウドコンピューティングで試験的に運用される予定となっています DGX GH200 for Large Memory AI Supercomputer | NVIDIA https://www.nvidia.com/en-us/data-center/dgx-gh200/ Announcing NVIDIA DGX GH200: The First 100 Terabyte GP

                                                NVIDIAが処理能力1エクサFLOPS・メモリ144TBの生成AI向け大規模スパコン「DGX GH200」を発表
                                              • Groq Inference Tokenomics: Speed, But At What Cost?

                                                Groq, an AI hardware startup, has been making the rounds recently because of their extremely impressive demos showcasing the leading open-source model, Mistral Mixtral 8x7b on their inference API. They are achieving up to 4x the throughput of other inference services while also charging less than 1/3 that of Mistral themselves. https://artificialanalysis.ai/models/mixtral-8x7b-instructGroq has a g

                                                  Groq Inference Tokenomics: Speed, But At What Cost?
                                                • 【InfiniBandの現在】Mellanox、HBA1枚で100Gbpsの「InfiniBand EDR」を2014年リリース、2017年以降は売上の中心に【ネット新技術】

                                                    【InfiniBandの現在】Mellanox、HBA1枚で100Gbpsの「InfiniBand EDR」を2014年リリース、2017年以降は売上の中心に【ネット新技術】
                                                  • June 2020 | TOP500

                                                    The 55th edition of the TOP500 saw some significant additions to the list, spearheaded by a new number one system from Japan. The latest rankings also reflect a steady growth in aggregate performance and power efficiency. The new top system, Fugaku, turned in a High Performance Linpack (HPL) result of 415.5 petaflops, besting the now second-place Summit system by a factor of 2.8x.  Fugaku, is powe

                                                    • Japan PR slides

                                                      DeepSpeed: 深層学習の訓練と推論を劇的に 高速化するフレームワーク Microsoft DeepSpeed Team 2023 年 6 月 7 日 このスライドでは、我々が研究開発しているDeepSpeedというフレームワークに ついて、概要をご紹介します。 1 概要 • 大規模かつ高速な深層学習を容易に実現する様々な機能を持ったソフトウェア • オープンソースソフトウェアとしてGitHubで公開中 • DeepSpeed (メインのレポジトリ) • DeepSpeedExamples (使用例). • Megatron-DeepSpeed (NVIDIAのMegatron-LMと結合したもの). • DeepSpeed-MII (DeepSpeedの高速な推論を容易に利用するためのツール) メインレポジトリのURL DeepSpeedのプロジェクトは、MicrosoftのAI

                                                      • Mellanox ConnectX-3 のまとめ - クーの自由研究

                                                        中古でInfiniBand部品を購入する「ガイドライン」(初版) 桜の季節なのに雪まじりで寒うございます。かえるのクーの助手の「井戸中 聖」でございます。 この2週間ばかりInfiniBandの記事や一部のマニュアル、オークションの出品状況、などをよく見ていました。実験シリーズもはじまったばかりではありますが、「今」の時点での中古部品の情報についてまとめます(内容的にほぼ重複)。また、「自宅InfiniBand普及委員会」としての目標や、今後の活動の方向を明確にします。(すなわち、注文部品がくるまでの苦し紛れの繋ぎの記事です。4月でもないのに不真面目な内容ですみません。ずっと家にいると遊びたくなるんです。) 何故Mellanox ConnectX-3 VPIをおすすめするのか InfiniBandのメーカは数社あります(した)が、中古で手に入るのはおよそMellanox社(またはそのOEM

                                                          Mellanox ConnectX-3 のまとめ - クーの自由研究
                                                        • 今後はMulti-AZ構成に移行して、データセンターを拡張させる ユーザー数・約2億人のアプリに関われるLINEのサービスネットワーク1チーム

                                                          LINEのITサービスセンターの中から、LINEの大規模なネットワークを支えるネットワークエンジニアのチームや仕事内容について紹介する「LINE ネットワークエンジニア採用説明会」。ここでサービスネットワークチーム マネージャーの鈴木氏が登壇。サービスネットワーク1チームについて紹介します。 自己紹介 鈴木雄一郎氏(以下、鈴木):私からはネットワークエンジニア サービスネットワークチームの業務内容について説明したいと思います。よろしくお願いします。 私はネットワーク室サービスネットワークチームでマネージャーをしている鈴木と申します。趣味はテニスと晩酌と子育てです。テニスは最近あまりできていないです。 過去の職歴です。2019年にLINEに入社する前は、通信キャリアで法人向けやモバイル用のITバックボーンの設計・構築、あとはホワイトボックススイッチ用のOS開発、モバイルコア、LTEのEPC(

                                                            今後はMulti-AZ構成に移行して、データセンターを拡張させる ユーザー数・約2億人のアプリに関われるLINEのサービスネットワーク1チーム
                                                          • 「NEC x さくらインターネット データ流通実証実験 終了報告書」 公開

                                                            カテゴリー DX (2) 一般 (58) 研究会 (6) 働き方 (4) 技術 (351) Edge AI (2) Edge Computing (12) Erlang (1) FIWARE (2) Fog Computing (9) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (4) RealTime Web (14) SRE (2) Webサービス (42) インフラ (7) コンテナ (3) ストレージ (92) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (214) 仮想化 (110) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティング

                                                            • 【InfiniBandの現在】SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加サポート【ネット新技術】

                                                                【InfiniBandの現在】SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加サポート【ネット新技術】
                                                              • NVMeとConnectX-4で始めるNVMe over RDMA (RoCEv2)入門

                                                                Mellanoxドライバのインストール事前に、RDMAに対応した Mellanox ドライバである OFED をインストールしておく必要があります。 ドライバは公式サイトからダウンロードできます。 # tar -xzvf MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64.tgz # cd MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64 # ./mlnxofedinstall --with-nvmf # /etc/init.d/openibd restart インストール完了後、念のために initramfs を更新しておきます。 しなかった場合、この後に行うカーネルモジュールの読み込みでエラーになる場合があります。 # update-initramfs -u # reboot RoCEv2サポートの確

                                                                  NVMeとConnectX-4で始めるNVMe over RDMA (RoCEv2)入門
                                                                • 【InfiniBandの現在】DRAMサポートを追加した「OpenCAPI 3.1」、メモリインターフェース統合を考慮も、Gen-Z競合にはなり得ず?【ネット新技術】

                                                                    【InfiniBandの現在】DRAMサポートを追加した「OpenCAPI 3.1」、メモリインターフェース統合を考慮も、Gen-Z競合にはなり得ず?【ネット新技術】
                                                                  • Metaがいかにして大規模言語モデルをトレーニングしているか、その取組みを大公開

                                                                    6月13日、Engineering at Metaで「Metaが大規模言語モデルをトレーニングする方法(How Meta trains large language models at scale)」と題した記事が公開された。この記事では、AIの研究開発において直面している計算規模の大幅な拡大にどのように対処しているかについて詳しく紹介されている。 以下に、その内容を簡潔にまとめて紹介する。 大規模モデルのトレーニングの課題 大規模な言語モデル(LLM)のトレーニングでは、GPUの数が増えるにつれて、ハードウェアの故障による中断の可能性が高まる。これを最適に行うためには、次の4つの要素が重要である。 ハードウェアの信頼性:ハードウェア故障を最小限に抑えるため、厳格なテストと品質管理を行う。 故障時の迅速な復旧:ハードウェア故障が発生した場合、迅速に復旧する必要がある。これには、再スケジュー

                                                                      Metaがいかにして大規模言語モデルをトレーニングしているか、その取組みを大公開
                                                                    • Linuxの不揮発メモリ(NVDIMM)対応について(2020年版) - Qiita

                                                                      この記事はFujitsu Advent Calendar 2020 24日目の記事です。(記事は個人の見解であり、組織を代表するものではありません。) はじめに 毎年恒例になったAdevent CalendarでのLinuxの不揮発メモリ対応の動向について、今年も記述しようと思います。 正直言うと、今年は不揮発メモリとは別のネタを書くことも考えました。不揮発メモリのLinuxの動向については、今年はすでにOpen Source Summit Japan 2020 (以後OSSJ)でも話してしまっていて、スライドも公開したので、その内容が今年の全てです。なので、改めてAdvent Calendarで話す必要があるのかどうかいささか迷いました。 また、5月に公開した「メインフレームの異常処理」の記事が結構評判がよかった一方で、Linuxの異常処理について知らない人が多そうだったので、それについ

                                                                        Linuxの不揮発メモリ(NVDIMM)対応について(2020年版) - Qiita
                                                                      • How Meta trains large language models at scale

                                                                        As we continue to focus our AI research and development on solving increasingly complex problems, one of the most significant and challenging shifts we’ve experienced is the sheer scale of computation required to train large language models (LLMs). Traditionally, our AI model training has involved a training massive number of models that required a comparatively smaller number of GPUs. This was th

                                                                          How Meta trains large language models at scale
                                                                        • NVIDIAのスパコン「Cambridge-1」、英国で正式デビュー

                                                                          米NVIDIAは7月6日(現地時間)、英ロンドン近郊のKao Dataのキャンパスに構築したスーパーコンピュータ「Cambridge-1」を正式に発表した。「英国で最も強力なスーパコンピュータ」と謳う。このコンピュータは既に6月のスーパーコンピュータ世界ランキング「TOP500」で41位にランクインしている。 約1億ドルを投じた「Cambrige-1」は、同社が2019年に自動運転車開発向けに開発したスーパーコンピュータ「DGX SuperPOD」をベースにしているが、ライフサイエンス関連の研究向け。80台の「DGX A100」サーバ、20テラバイト/秒のInfiniBand、2ペタバイトのNVMeメモリなどで構成される。 ジェンスン・ファンCEOは発表文で「Cambridge-1は英国で最強のスーパーコンピュータとして、世界をリードするビジネスと学会の研究者の仕事を遂行するパワーを提供し

                                                                            NVIDIAのスパコン「Cambridge-1」、英国で正式デビュー
                                                                          • 第12回 インターネットと運用技術シンポジウム(IOTS 2019)で2件の発表、優秀論文賞を受賞しました

                                                                            カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン

                                                                              第12回 インターネットと運用技術シンポジウム(IOTS 2019)で2件の発表、優秀論文賞を受賞しました
                                                                            • FGNエンジニアMeetup vol.3でキャリアの話や材料工学・機械学習を活かした今後の研究について発表しました

                                                                              カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン

                                                                                FGNエンジニアMeetup vol.3でキャリアの話や材料工学・機械学習を活かした今後の研究について発表しました
                                                                              • Linux_5.11 - Linux Kernel Newbies

                                                                                Linux 5.11 was released on Sun, 14 Feb 2021 Summary: This release adds supports for a new mechanism that lets software like wine handle windows syscalls in a much faster and clean manner; support for unprivileged overlayfs mounts; support for Intel SGX enclaves; support for upcoming AMD and Intel graphics hardware; faster performance and data recovery options in Btrfs; support for re-exporting via

                                                                                • 1TBをネットワーク経由でコピーするのに5秒くらいで終わらせることは出来るのか - 地方エンジニアの学習日記

                                                                                  前説 この記事は「GMOペパボエンジニア Advent Calendar 2022」の23日目の記事です! adventar.org 目次 前説 目次 本編 要件整理 結論 なにはともあれボトルネック特定/改善をしてみる 家庭用サーバの場合 Disk性能を上げてみる ネットワーク性能を上げてみる RAID 0で頑張る 分散並列ファイルシステムをいれる 分散並列ファイルシステムとは Lastreでスループットを上げて頑張る これは現実的なのか クライアントを増やせば良い? 「1TBのディスクコピーが5秒位で終わったっす」を満たすのに必要なもの (おまけ)macOSのファイルシステム:APFSだとコピーが一瞬で終わる (おまけ)InfiniBand および RDMA (おまけ)永続化メモリ (コラム)1TBくらいメモリを積んでみると (コラム)TCPは理論的に限界性能が決まっている (コラム)

                                                                                    1TBをネットワーク経由でコピーするのに5秒くらいで終わらせることは出来るのか - 地方エンジニアの学習日記