コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう｜ハイクラス転職・求人情報サイト AMBI（アンビ）
コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう コンテナ技術を適切に活用するには、コンテナが「どうやって」動いているかを学びたいところ。はてなのエンジニアhayajo_77さんがコンテナの要素技術の勘所を解説します。 こんにちは。株式会社はてなでサーバー監視サービス「Mackerel」のSREを務めるhayajo_77（ @hayajo ）です。 さて、コンテナ技術はDockerの登場がきっかけとなり、本格的に活用が始まりました。現在はKubernetesを始めとするコンテナオーケストレーションツールや AWS, GCP, Azure などのクラウドサービスで提供されるコンテナマネジメントサービスを採用したサービス運用事例が数多く紹介されており、コンテナ技術は「理解する」フェイズから「利用する」フェイズに移ってきています。 コンテナそのものは上記のツールやサービスにより
YAPC Asia 2015「Google Cloud Platformの謎テクノロジーを掘り下げる」のまとめ - Qiita
YAPC::Asia Tokyo 2015、ロゴのとおりに熱いイベントでした...今年で最後なのはほんとに惜しいです。最初にして最後の参加となった私は、「Google Cloud Platformの謎テクノロジーを掘り下げる」というタイトルでトークをさせていただきました。 スライドはここに上げてありますが、これだけ見ても意味不明と思われるので、話した内容の要約をまとめブログ代わりに書こうかな、と思ったらかなり長文となってしまいました。基本ポジショントークですが、しかしGoogleに入る前からGoogleクラウドに対して持ち続けている気持ちでもあるし、ここはイケてないなーと思った部分は素直にそう書くようにしました。 しかし謎は謎のまま... Twitter上の反応まとめを見ますと、「謎が謎のまま終わった」とのご指摘も多く、これはほんとに私の不徳の致すところです、申し訳ありません……。スライド
Note 本記事の内容は Linus 氏の発言が人を傷つける場合に筆者がそれを良しと考えるといった意図はございません 少し古い記事になるが、 Linus Torvalds 氏 の GitHub に対する苦言が記事になっていた。 LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言 - ZDNet Japan Linus 氏が GitHub について苦言を呈するのは今に始まったことではない（後述）が、 別に GitHub のすべてを否定しているわけではない。[1] では一体何が不満なのか。Linus 氏の理想とする git の開発フローを考察した上で、整理してみたい。 Linus 氏の理想 結論からいうと、 「意味あるコミットを作れ」「コミットを大事にしろ」 という思想が伺える。 では 「意味あるコミット」「大事にされたコミット」 とは何なのか。 筆者な
2015年の心に残った技術エントリ - ゆううきブログ
１年分の自分のはてなブックマークを見直した。 およそ 2,000 URLのエントリの中から、特に感銘を受けたり、記憶に残ったエントリを紹介したい。 2015年にブクマしたというだけで、必ずしも2016年に公開されたエントリばかりではないことに注意。 エントリ Scalable Deployments Advanced Techinic for OS upgradeing in 3 minutes MySQLやSSDとかの話 モバイルアプリのスレッドプールサイズの最適化 性能測定道 情報科学における18のメタテクニック Webオペレーションエンジニアのアウトプットと開発力 はてなに入った技術者の皆さんへ シンプルでかつ最高のJavaScriptプロファイラ sjsp を作りました！ ペパボのインターネット基盤技術研究・開発の活動 インフラチーム改め Site Reliability Engi
仮想マシンのメモリを、ネットワーク経由でほかのサーバから拝借して増やせる「VMware Cluster Memory」、VMwareが開発中
仮想マシンのメモリを、ネットワーク経由でほかのサーバから拝借して増やせる「VMware Cluster Memory」、VMwareが開発中 VMwareは、仮想マシンに別のサーバに搭載されているメモリをネットワーク経由で利用する能力を持たせることで、ホストサーバが搭載する物理メモリ以上のメモリ容量を仮想マシンで利用できるようにする「VMware Cluster Memory」機能を開発していることを、VMworld 2019 USのセッションで明らかにしました。 RDMAを使って高速に別サーバのメモリにアクセス 「VMware Cluster Memory」実現の背景には、ネットワークの高速化が進んだことで、ネットワーク経由でのリソースアクセスのレイテンシがマイクロセカンドレベルにまで縮小し、ネットワーク経由でメモリにアクセスするRDMA（Remote Direct Memory Acc
これまでのPG-Stromの性能測定といえば、自社保有機材の関係もあり、基本的には1Uラックサーバに1CPU、1GPU、3～4台のNVME-SSDを載せた構成のハードウェアが中心だった。*1 ただソフトウェア的にはマルチGPUやNVME-SSDのストライピングに対応しており、能力的にどこまで伸ばせるのかというのは気になるところである。 そこで、方々に手を尽くして、次のようなベンチマーク環境を整備してみた。 （機材をお貸し頂いたパートナー様には感謝感激雨あられである） 4UサーバのSYS-4029GP-TRTというモデルは、GPUをたくさん乗っけるためにPCIeスイッチを用いてPCIeスロットを分岐している。ちょうど、PCIeスイッチ1個あたり2個のPCIe x16スロットが用意されており、同じPCIeスイッチ配下のデバイス同士であれば、完全にCPUをバイパスしてPeer-to-Peerのデ
先日、あるIT関係の集まりで、大手ネットワーク機器ベンダの偉い人がこんな話をしてくれました「最新のイーサネットは、サーバの内部バス並のスピードで通信ができる。これはすごいことだよね」と。 いま市場では10ギガビットーサネットが普及し始めているところですが、すでにその次の世代のイーサネットとして40ギガビットイーサネットと100ギガビットーサネットも昨年、IEEEによって標準化されており、まだ非常に高価ですが製品が登場し始めています。 その話を聞く少し前、僕は別の大手システムベンダの偉い人のこんな話を聞いていました。「これから2年もしないうちにサーバの形が大きく変わっていく。すごく面白くなるはずだ」と。 この2つの話はつながっているように思えました。 サーバは液体のように流動的で論理的な存在に クラスタを構成するネットワークが内部バス並みに高速になれば、あるサーバの負荷が高まってきたときには
Hadoop Conference Japan 2016 もともとは2月8日に開催されるHadoop Conference Japan 2016のセッションとしてこの話を応募したのですが、あえなく落選しました……（;_;) しかし、ありがたいことに復活戦のLightning Talkの投票では5位に選んでいただき、ランチタイムA会場でお話することになりました。ありがとうございます！ 今回のスライドはここで公開しています。 とはいえ、5分のLTではこの内容をしっかりと伝えられる自信がないので、以下でスライド内容の詳しい解説をしたいと思います。また、2/13にGoogle東京オフィスで開かれるRejected HCJ 2016では、以下の内容をゆっくり普通のセッションとして発表する予定ですので、ご興味ある方はぜひどうぞ。 引用元 今回の元ネタはこちら。より詳しく知りたい方はこちらをごらんくださ
Red Hat でコンサルタントをしている菅原と申します。 この記事では、意外とあまり説明されていないような気がする Linux システムで発生するハングタスクについて少し説明したいと思います。現場のシステムでもハングタスク検知の設定がされていることが多いと思いますが、ハングタスクとは何なのかを正しくご理解いただくことで、ハングタスク検知を行う目的が明確になること、また、実際の障害事例もご紹介することで、通常あまりハングタスクと関連づけて考えないような設定でもハングタスク発生につながる場合があることを知っていただき、少しでもシステム管理や障害の理解、障害対応などのお役に立てれば幸いです。 なお、この記事では RHEL のみを対象に書いていますが、他の Linux ディストリビューションにも適用される内容と思います。 ハングタスク (hung tasks) とは ハングタスクとは読んで字のご
【ＴＢＳ横暴取材】 ＴＢＳ社長「ばっかじゃないか。非常に腹立たしいし不愉快」… 福澤朗アナは涙ながらに「このザマです。恥ずかしい」と謝罪 : 痛いニュース(ﾉ∀`)
【ＴＢＳ横暴取材】 ＴＢＳ社長「ばっかじゃないか。非常に腹立たしいし不愉快」… 福澤朗アナは涙ながらに「このザマです。恥ずかしい」と謝罪 1 名前：☆ばぐた☆ ◆JSGFLSFOXQ ＠☆ばぐ太☆φ ★ 投稿日：2007/06/06(水) 21:49:06 ID:???0 ＴＢＳの情報番組が、ゴルフの関東アマチュア選手権に出場した石川遼選手（１５）のプレー中の声を無断で拾うため、同じ組の選手にマイク装着を依頼した問題で、番組のスタッフが別の２選手にも依頼を試みていたことが、六日分かった。 同局によると、２選手も石川選手と同じ組。１人は所属先に問い合わせたが本人には接触できず、１人は所属先にも連絡がつかなかった。 一方、依頼を受けた選手は「いったん断ったが『協力してくれれば、それなりに費用は用意させてもらう』と懇願された」と証言しており、この点についてＴＢＳは「調査中」としている。 ＴＢＳの
サーバ間通信の有力な担い手 InfiniBandで変わるデータセンター内通信（前編） 松本直人 仮想化インフラストラクチャ・オペレーターズグループ チェア さくらインターネット研究所 上級研究員 2011/2/15 10年以上前から存在していた「InfiniBand」が、ここにきて、データセンターでのサーバ間通信を担う技術として急速に注目を集めるようになりました。その特徴と基本的な設定方法を紹介します。（編集部） 注目集めるInfiniBand InfiniBandは「インフィニバンド」と発音し、2000年に業界団体であるInfiniBand Trade Associationによって策定された規格です。スーパーコンピューティングなどHPC（High Performance Computing）分野で使われているサーバ間データ通信技術の1つです。 イーサネットによるLAN間接続と同様に、I
Google、イーサネットをさらに高速にするハードウェア支援型の新トランスポート技術「Falcon」を公開 Googleは、イーサネットでさらなる高速通信を実現するハードウェア支援型の新しいトランスポートレイヤの技術「Falcon」を、米カリフォルニア州サンノゼで開催されたデータセンター向けハードウェアを対象としたイベント「2023 OCP Global Summit」で発表したことを明らかにしました。 AIや機械学習のような大規模かつ高速性を要求される処理が増え続けるデータセンターにおいて、より高速なネットワーク技術への要求も高まっています。Falconはこうしたニーズに対応するための技術だと説明されました。 Falconは複数の技術の集合体 Falconは複数の技術の集合体となっており、ハードウェア支援型トランスポートレイヤーとして信頼性、高性能、低レイテンシーを実現するよう設計されて
ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。 この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/Quadro GPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。 しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる
Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached
はじめに この記事は Fujitsu Advent Calendar 2021 25日目の記事です。（記事は個人の見解であり、組織を代表するものではありません。） さて、今年もこれまでと同じく不揮発メモリの記事を書きます。今回は以下の内容です。 不揮発メモリ周りの規格・新仕様(CXL, RDMA) メモリ不足時の不揮発メモリの活用 Filesystem-DAXの動向 不揮発メモリ周りの規格・新仕様 今年は規格回りでいくつか新仕様が策定されています。まずは、それらについてざっくりと解説していきましょう。 CXLの不揮発メモリ対応 これまではNVDIMM、すなわちDRAMと同じようにCPU中のメモリコントローラからDDR4で直接つながるデバイスであった不揮発メモリですが、ここへきて新たな接続方法が追加されようとしています。それがCompute Express Link(CXL)です。 コンピュ
このページでは InfiniBand Verbs プログラムをはじめるのに必要な基本的な概念を説明する。 この文書の情報は RDMA_CM API を使ったプログラムをする場合にも有効だと思われる。 以下は関連ページ。 InfiniBand プログラムの覚え書きのインデックス 更新履歴 (2014.03.29) 作成。 (2014.04.04) 6.2 QP番号とマルチキャストと 8 章以降を追加 (2014.04.16) 12.3 Partition を追加 (2014.05.11) API にリンクを貼る 目次 1. イーサーネットを振り返ってみる 2. では InfiniBand Architecture は？ 3. InfiniBand Fabric 3.1 LID Routed Network 3.2 構成部品 3.3 Subnet Management 4. メモリモデル：ゼロ
2013年12⽉18⽇ 2013年12⽉13⽇ 2013年12⽉11⽇ 2013年12⽉10⽇ 2013年12⽉02⽇ 2013年11⽉29⽇ 2013年11⽉22⽇ 2013年11⽉20⽇ 2013年11⽉20⽇ 2013年11⽉19⽇ 2013年11⽉18⽇ 2013年11⽉15⽇ 2013年11⽉15⽇ 2013年11⽉12⽇ 2013年11⽉12⽇ 2013年11⽉12⽇ 2013年11⽉06⽇ 2013年11⽉06⽇ 2013年10⽉31⽇ 2013年10⽉28⽇ 2013年10⽉24⽇ 2013年10⽉22⽇ 2013年10⽉22⽇ 2013年10⽉17⽇ 2013年10⽉15⽇ 2013年10⽉11⽇ 2013年10⽉10⽇ 2013年10⽉09⽇ 2013年10⽉09⽇ 2013年10⽉08⽇ 2013年10⽉08⽇ 2013年のプレスリリース⼀覧 ここに掲載されている情報
今月はじめ、インテルがFPGA大手のアルテラを総額2兆円で買収することを発表した。インテルはちょっと前まではCPU+FPGAなんてコードが分断するしダメダメソリューションだなんて言ってたくせに、なんて鮮やかな手のひらの返しよう。まあでも、すばらしい展開だし非ノイマン計算をソフト屋が使いこなす時代が幕開けしそうなので、あっぱれインテルである。非ノイマンなにそれ？ という人はコネクションマシン本と青いリコンフ本を読んでおこう。 この発表でインテルが説明に用いたスライドで、とくに目を引いたのが以下の一文。 Up to 1/3 of Cloud Service Provider Nodes to Use FPGAs by 2020 （2020年までに、クラウドサービスプロバイダのサーバの1/3がFPGAを利用する） つまりあと5年もすると、クラウドを使うエンジニアは直接的／間接的にFPGAを使わざ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog みなさん、こんにちは！ ヤフーでデータベースエンジニアをしている松浦です。 以前、不揮発性メモリに最適化したMySQLのストレージエンジン開発についてのブログ記事を執筆いたしました。 今回のブログ記事は、その続報です。不揮発性メモリ上のデータベースにおける、高可用性構成やその監視・運用に関わる研究開発成果をご紹介します。 前回記事の振り返り さて、本題に入る前に、まずは、前回のブログ記事の簡単な振り返りをさせてください。 前回のブログ記事では、DRAMのようにバイト単位でアクセスが可能だが、DRAMとは異なり、サーバの電源遮断後もデータが残り続け、また、NVMe SSDよりも高速な記憶デバイスである「不揮発性メモリ」の紹介をしまし
はじめに Oracle Exadataとは？ Oracle RAC(Real Application Clusters)とは？ ExadataとSmart Scan ExadataとRACと分散ストレージ まとめ 参考 はじめに 最近、Oracle Exadata/RACを触る機会がありました。 個人的にはOracle RAC自体まともに触るのが初めてだったので、お約束のキャッシュフィージョンを起こして性能が出なかったりとか、RAC初心者あるあるを起こしたりもしました。 その時に、ExadataやRACの公開情報をあらためて見てたのですが、Exadataは分散システムとして理解したほうがしっくりくるなぁ、という事に気付きチューニングもその観点を持ったほうが良い気がしたので、少しまとめてみました。 Oracle Exadataとは？ Exadataは簡単に言えばOracleが考えた「僕が考え
漢なら RDMA でデータ送りたいですね! とりあえず手っ取り早く rsocket http://syoyo.wordpress.com/2012/12/06/rsocket-new-way-of-rdma-aware-programming/ を使い, 既存の python スクリプトで高速転送を実現してみましょう. 構成 Server と Client は InfiniBand QDR と, 1 GbE で物理的に繋がっています. InfiniBand のレイヤは IPoIB で繋がっているものとします. テストスクリプト Client から 1GB のデータを送り, Server 側はそれを受け取るだけというスクリプトです(単方向データ通信). # server.py import socket import itertools HOST = '' PORT = 8081 s = s
コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう コンテナ技術を適切に活用するには、コンテナが「どうやって」動いているかを学びたいところ。はてなのエンジニアhayajo_77さんがコンテナの要素技術の勘所を解説します。 こんにちは。株式会社はてなでサーバー監視サービス「Mackerel」のSREを務めるhayajo_77（ @hayajo ）です。 さて、コンテナ技術はDockerの登場がきっかけとなり、本格的に活用が始まりました。現在はKubernetesを始めとするコンテナオーケストレーションツールや AWS, GCP, Azure などのクラウドサービスで提供されるコンテナマネジメントサービスを採用したサービス運用事例が数多く紹介されており、コンテナ技術は「理解する」フェイズから「利用する」フェイズに移ってきています。 コンテナそのものは上記のツールやサービスにより
RSA（Rack-Scale-Architecture) - 急がば回れ、選ぶなら近道
一応、Asakusaのアドベントカレンダーのネタです。 いろいろ今後のAsakusaの対応について、現状を踏まえて一回まとめます。 1.ビックデータの敗北 まず、現状のビックデータの現状はちゃんと踏まえておきたい。というのは、いままでの分散処理の技術革新は、クラウド・ビックデータ関連を中心で進んできたわけで、当然次の流れはその「歴史」を考慮しなければ、ビジネス的な先はないでしょう。 まず、経験的には日本での「ビックデータ」の実行基盤としての大規模クラスターの展開はほぼ全滅に近いと思います。特に、日本ではPByteを越えるデータはその辺に転がっているものではありません。もちろん何百台・何千台ものクラスターを構成・運用しているところもありますが、おそらく十指を越える程度でしょう。日本の企業数が5万としても、99.9%の企業はそんなクラスターは持っていません。ただし、企業数が多いので結果としての
1TBのデータをrsyncでインターネット経由でAzureに同期したいわけですが、普通に $ rsync source_directory/ rsync://myrsyncserver.japaneast.cloudapp.azure.com/target_directory/なんてやってたら、超絶時間がかかるわけで、何とかしたい。 拙宅ではauひかりホーム10Gを導入しているので、Azure東日本リージョンまでそこそこのスピードが出るはず。 Standard_D16s_v3のVMにUbuntu 18.04-LTS、OS DiskはIOPSをある程度確保するために512GBのPremium_SSD、Data DiskはPremium SSDではIOPSの限界である7,500を出せる2TB(P40)を2本付けてRAID0に。Read/Writeキャッシュ共に設定しておくこと。Azure Ma
俺がSCSIだ -LIOのすすめ-
Transcript 1. 俺がSCSIだ - LIOのすすめ - Naomasa Matsubayashi 2. SCSI 3. コンピュータと周辺機器を接続するための規格 主に二次記憶装置の接続で用いられる SCSI イニシエータ ターゲット 4. iSCSI 5. TCP/IPにSCSIプロトコルを乗せて 遠く離れた所にあるターゲットを操作する iSCSI イニシエータ ターゲット 6. iSCSI RFCで標準化されている RFC 3720 iSCSIの基本的な規格 RFC 3721 目的のターゲットを見つける方法 RFC 3722 イニシエータやターゲットの名前の書き方 RFC 3723 認証について RFC 3347 iSCSI対応機器が満たすべき要件について RFC 3783 iSCSIのコマンドの実行順序についての注意事項 RFC 3980 本家のSCSIの仕様が更新された
人間とウェブの未来
自分は元々とにかく技術志向のエンジニアであり研究者であった。とにかくコードを書いたり論文を書いたりすることが生き甲斐であった。 そんな自分が数年前に色々考えた結果、マネージャーや経営者の道を志すようになったのだが、その際によく聞かれることがある。「技術を中心にやれなくなる不安や葛藤はなかったんですか？」と。 その答えとしては「その不安や葛藤はない」である。なぜかというと、マネージャーや経営者に強烈な専門性を感じているからだ。勉強すればするほど、あれ、これはエンジニアや研究者の時にやっていた学び方とほとんど変わらないのではないか、と思えているからである。 おそらく僕自身も、かつてはマネージャーや経営者に専門性を見出せておらず、エンジニアからそうなることは考えてもいなかった。むしろ、技術者としての諦めのような風に捉えていたかもしれない。しかし、自分がそこに身を置くにつれて、全くもって雰囲気で適
今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。 RDBMSに限らず一般論として、GPUなど並列プロセッサの処理性能を稼ぐには、プロセッサコアの数や動作クロック以上に、処理すべきデータをできるだけ大量に供給するかという点が重要。 これは、ハードウェアレベルではキャッシュ階層や容量の設計、あるいはメモリデバイスのデータ転送レートという話になり、最近のGPUだとメモリ読出しの帯域は数百GB/sにも達する。もう少し大局的に見ると、これは、ストレージと計算機をどのように接続し、アプリケーションはこれをどのように制御するのかという話
InfiniBand - Wikipedia
レイテンシ[編集] レイテンシはSDR スイッチでは200ナノ秒、DDRスイッチでは140ナノ秒、QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA (Host Channel Adapter) である ConnectX を用いた場合のMPIレイテンシで1.07マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。 InfiniBand は RDMA（Remote Direct Memory Access）をサポートしており、CPU オーバヘッドを低く抑えることが可能である[2]。RDMA 命令のレイテンシは、1マイクロ秒以下である（Mel
iSCSI - Wikipedia
ソフトウェア[編集] Cisco iSCSI ドライバー - 最初期のソフトウェア iSCSI イニシエータのひとつ。HP-UX, AIX, Linux, Solaris, Windows NT 4/2000 をサポート。 最近ではCisco SAN-OS の名称でファイバーチャネルも含めたSAN全般をサポートする体系に組み込まれている[5]。 IBM iSCSI ソフトウェアイニシエータ for AIX - バージョン 5.2 (2002年10月) から対応 FreeBSD - バージョン 7.0 (2008年2月) から対応 HP HP-UX iSCSI ソフトウェアイニシエータ[6] Linux Core-iSCSI - 商用の PyX イニシエータの GPL部分に基づくイニシエータ。Open-iSCSI の開発のために Linux-iSCSI の保守が停止した際にギャップを埋める目
タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
急がば回れ、選ぶなら近道
TsurugiとRSA 2023/12現在、Tsurugiは単ノード稼働の制約があるので、次のフェーズとして複数ノードでの稼働を目指しています。Tsurugiは直接の操作対象データのindex treeをメモリーにもつRDBであり、単ノードでのメモリー限界がパフォーマンス限界になります。複数ノードにまたがるメモリー・クラスターでの透過的な稼働をTsurugiの次の目標としています。想定されているアーキテクチャはRack Scale Architecture（以下RSA）になります。 RSAについては、まずこのポストがスタート地点。 https://okachimachiorz.hatenablog.com/entry/20151225/1451028992 これは2015年なので、8年前のエントリーになります。概ねコンセプトは変わっていません。（8年前は誰かがつくるだろうとおもっていたけど
IBMがメインフレームの技術を応用して、DB2のクラスタ構成で高いスケーラビリティを実現するオプション「DB2 pureScale」（正式名称：IBM DB2 pureScale Feature for DB2 9.7 Enterprise Edition）を国内で発表しました。 DB2 pureScaleでは、それまでDB2が採用していた「シェアード・ナッシング・アーキテクチャ」ではなく、オラクルがOracle RACで採用している「シェアードディスク・アーキテクチャ」を用いてスケールアウトを実現します。この点は米国でDB2 pureScaleが発表されたことを報じた10月15日の記事で紹介しました。 IBM DB2の新クラスタは、Oracle RACと同じ「シェアードディスク・アーキテクチャ」採用 － Publickey 今回の国内発表で日本IBMは、競合となるOracle RACに対
要約 Docker監視はDatadog、New Relicの２強、DIYでやるのは分が悪すぎる モダンブラウザでELB要らずになる？？？ はてなやpixivの若手は素でDocker運用はじめてるけど、次も使うかは微妙らしい サービス事業者は開発用途に絞ったほうが幸せそう Google Dataflowなるフルマネージド(MapReduce,Spark)++が出る バッチとストリームの分界も含めてフルマネージド 真剣にDocker運用を考える人に、各種監視ツールとサービスを比較 naotaka jay hotta Datadog Dockerのモニタリングについて、真剣に考え始めているハズ 5 year Datadog day event 今日で5年目、NYでパーティーが始まっている 「なぜその技術を使わないといけないのか？」 ビジネス視点で考え続けることが、エンジニアとして重要になってきて
cgroupsに影響するLinuxの新たな脆弱性CVE-2022-0492 コンテナエスケープの条件は
By Yuval Avrahami March 3, 2022 at 5:09 PM Category: Cloud Tags: containers, CVE-2022-0492, Linux, vulnerabilities This post is also available in: English (英語) 概要 2022年2月4日、Linuxはカーネルにおける新たな特権昇格脆弱性CVE-2022-0492を公表しました。CVE-2022-0492はコンテナの基本構成要素であるLinuxの機能、コントロールグループ(cgroup)における論理バグです。この問題は最近発見されたLinuxの権限昇格脆弱性のなかでもとりわけその単純さできわだつもので、「Linuxカーネルが誤って特権的オペレーションを非特権ユーザーに公開してしまった」という内容になっています。 さいわい、ほとんどのコン
『NVLink Bridgeで複数GPUを繋いだら、それらが1GPUとして扱えるようになるんでしょ？』という誤解をされているお客様をしばしばお見受けいたします。こちらの記事では、それが誤解であること、また、SLIやUnified Memoryといった関連する情報についても整理して解説いたします。間違った期待を抱いて失敗しないように、正しい理解を深めていきましょう。 GPUのメモリ空間は他デバイスから隔絶されています GPU上には演算するためのプロセッサと、データを一時的に置いておくためのメモリ(VRAM)が搭載されています。GPUのメモリを、CUDAで書かれたプログラムから利用するには、cudaMallocでメモリ領域を確保し、cudaMemcpyを使ってホスト(CPU側)のメモリとデータの送受信を行い、GPU上で演算kernelとする関数（以下、GPU-Kernel）を呼び出し、最後にc
この記事は、Fujitsu Advent Calendar 2022の25日目の記事です。 「え、まだこのネタで書くの？」と思う方もいらっしゃるかもしれませんが、ええ、今年もこのネタで書きます。 1. NVDIMMの終焉とCXLの台頭 1.1 Intel Optane Persistent Memory これを読む皆さんはおそらくご承知のことでしょう。NVDIMMの最有力製品であったIntel Optane Persisntent Memoryのビジネスは、残念ながら終焉に向かうことが以下のように発表されました。 In Q2 2022, we initiated the winding down of our Intel Optane memory business. 実は発表と同時にすぐに製品出荷を終了してしまったわけではありません。以下の記事から少し引用します。 既存のOptane永続
グーグルのクラウドを支えるテクノロジー グーグル・クラウド・ジャパン合同会社 中井悦司氏によるグーグルクラウドに関連する技術コラム 筆者：中井悦司／グーグル・クラウド・ジャパン合同会社 Cloud Solutions Architect プロフィール： 1971年大阪生まれ。予備校講師から転身、外資系ベンダーでLinux/OSSを中心とするプロジェクトをリードする傍ら、多数のテクニカルガイド、雑誌記事などを執筆。 その後、Linuxディストリビューターのエバンジェリストを経て、現在は、Cloud Solutions Architectとして活動。 2024年6月 第176回 Vortex: BigQueryのStorage APIを支えるStorageエンジン（パート1） New! はじめに 今回からは、2024年に公開された論文「Vortex: A Stream-oriented S
グーグルのクラウドを支えるテクノロジー グーグル・クラウド・ジャパン合同会社 中井悦司氏によるグーグルクラウドに関連する技術コラム 筆者：中井悦司／グーグル・クラウド・ジャパン合同会社 Cloud Solutions Architect プロフィール： 1971年大阪生まれ。予備校講師から転身、外資系ベンダーでLinux/OSSを中心とするプロジェクトをリードする傍ら、多数のテクニカルガイド、雑誌記事などを執筆。 その後、Linuxディストリビューターのエバンジェリストを経て、現在は、Cloud Solutions Architectとして活動。 2023年11月 第163回 Googleのデザインレビュープロセス改善ツール（パート2） New! はじめに 前回に続いて、2023年に公開された論文「Improving Design Reviews at Google」を紹介します。この
GlusterFS - Wikipedia
GlusterFSは、スケーラブルなストレージのための汎用分散ファイルシステムの1つ。InfiniBandのRDMAやTCP/IPなどのインターコネクトを使用して複数のホストに分散した各種ストレージを集約し、大規模並列ネットワークファイルシステムを構築できる。GlusterFSはユーザー空間で構築されており、性能を低下させることがない。クラウドコンピューティング、生物医学、超大容量ストレージなど様々な応用がなされている。GlusterFSは、当初Gluster, Inc.によって開発された。2011年のレッドハットによるGluster買収の後はレッドハットにより開発されている。 GlusterFSにはクライアント側コンポーネントとサーバ側コンポーネントがある。サーバは「ストレージブリック (storage brick)」と呼ばれ、その上で glusterfsd デーモンが動作し、ローカルフ
仮想化でプリセールスしてるSEの一日
お久しぶりです。約２年ぶりに投稿します。 ２年たつと色々なことが変わりますね。 まず、これまでお世話になっていた はてなダイアリー の終了に伴い、本ブログは「はてなブログ」へ移行することになりました。 移行前のカウンタ情報を記録していなかったの痛恨のミスがあったものの、移行自体は想像していたようなトラブルはなく、スムーズに完了しました。移行をギリギリまで引き延ばしたからかもしれません（笑） d.hatena.ne.jp URL も https://ogawad.hatenablog.com/ と大きく変わりましたが、さすが「はてな」同士。記事単位でリダイレクト設定してくれたようです。 ２年も経てば、MVP カテゴリも変わる？ 仕事も若干ジョブチェンジしているのですが、９年継続している Microsoft MVP のカテゴリも大きく変わりました。最初の受賞は Hyper-V。その後、それを統
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linus Torvalds 氏の理想の git 運用と GitHub
秒速で10億レコードを処理する話 - KaiGaiの俺メモ
サーバはデータセンターの中を液体のように流れるような存在になる、という仮説
Distributed TensorFlowの話 - Qiita
Linux でのハングタスクについて - 赤帽エンジニアブログ
InfiniBandで変わるデータセンター内通信（前編）（1/2） － ＠IT
Google、イーサネットをさらに高速にするハードウェア支援型の新トランスポート技術「Falcon」を公開
進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ
不揮発メモリに対するLinux周辺動向 (2021年版) - Qiita
InfiniBand プログラムに必要な基本的な概念
http://www-06.ibm.com/jp/press/pdf/archive_2013.pdf
インテル、ISCA 2015でXeon＋FPGAの詳細を公開 - Qiita
不揮発性メモリに最適化したMySQLの高可用性構成
Oracle Exadataは分散システム？ - ブログなんだよもん
Python で rsocket で通信が爆速でやばい. - Qiita
コンテナ技術入門 - 仮想化との違いを知り、要素技術を触って学ぼう｜ハイクラス転職・求人情報サイト AMBI（アンビ）
rsyncを高速に
スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
IBMが「オラクルは簡単には追いつけない」という、DB2の新スケーラビリティ技術
July Tech Festa 2015 - したためなければいきのこれない
NVLink BridgeでGPUを繋いでも1GPUにはなりません | HPCシステムズ Tech Blog
2022年の不揮発メモリとLinux対応動向について - Qiita
コラム：グーグルのクラウドを支えるテクノロジー｜CTC教育サービス 研修/トレーニング
コラム：グーグルのクラウドを支えるテクノロジー｜CTC教育サービス 研修/トレーニング