月間800億PVを支えるIaaS基盤の舞台裏（構築編）
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー株式会社のシステム統括本部に所属している奥村です。現在、私はシステム統括本部内でプライベートクラウドを担当しています。私たちのチームはヤフー内のIaaS（Infrastructure as a Service）基盤の開発及び運用を担当しています。 IaaSとはサーバーやストレージ、ネットワークといったインフラリソースを仮想的に定義し、ユーザーへ提供するサービスです。 ヤフーのIaaS基盤は社内のユーザーやサービスに対して幅広く提供しており、ヤフーがエンドユーザーに対して公開している多くのサービス（Yahoo!ニュースや、ヤフオク!など）もこのIaaS基盤を利用しています。 本項では、「構築編」と「運用編」という前
Kubernetes OOM and CPU Throttling
Introduction When working with Kubernetes, Out of Memory (OOM) errors and CPU throttling are the main headaches of resource handling in cloud applications. Why is that? CPU and Memory requirements in cloud applications are ever more important, since they are tied directly to your cloud costs. With limits and requests, you can configure how your pods should allocate memory and CPU resources in orde
IBMがPOWERプロセッサの命令セットをオープンに。OpenPOWER Foundationへ寄贈
IBMは同社が開発したPOWERプロセッサの命令セット（POWER Instruction Set Architecture：ISA）をOpenPOWER Foundaionへ寄贈し、誰でも無償で利用できるオープンな仕様にすることを発表しました（IBMの発表。OpenPOWER Foundationの発表） POWER ISAだけでなく、プロセッサとメモリのあいだのデータ転送を効率的に行うための仕様であるOpen Coherent Accelerator Processor Interface（OpenCAPI）およびOpen Memory Interface（OMI）もあわせてオープンになりました。 "We're taking the POWER ISA, licensing it to the #OpenPOWER Foundation so anyone can implement
Cat3650/Cat3850 : CPU 監視方法
はじめに このドキュメントは Catalyst3650/Catalyst3850 で SNMP 経由の CPU 監視方法を記載します。 **これらの情報による一次切り分け後に、さらなる原因追求のために新たな情報を追加でお願いする場合はありますのでご了承ください。** 事前に設定するコマンドについて 監視開始前に機器で SNMP 設定を事前に投入する必要があります。 snmp-server community <community name> snmp-server host x.x.x.x <community name> SNMPGet OID 下記で各 Core の使用量を取得可能です。 Object：cpmCore5sec OID: 1.3.6.1.4.1.9.9.109.1.1.2.1.3 Object：cpmCore1min OID: 1.3.6.1.4.1.9.9.109.1.
Cat3850/Cat3650 において CPU パケットキャプチャ方法
はじめにCPU パケットキャプチャ方法 はじめに 本ドキュメントは Cat3850/3650 において CPU パケットキャプチャ方法を記載します。 ** CPU パケットキャプチャによる切り分け後に、さらなる原因追求のために新たな情報を追加でお願いする場合はありますのでご了承ください。** CPU パケットキャプチャ方法 Cat3850/3650 において CPU パケットキャプチャは以下のように取得できます。 1. 特権モードで下記コンフィグを投入 3850/3650#monitor capture <name> control-plane both 3850/3650#monitor capture <name> match <条件> 3850/3650#monitor capture <name> file location flash:<file name.enc> size <
IOS: ルータにて flash の読み書きが発生すると "Async write proc" プロセスの CPU 使用率が高騰する場合がある
2019年4月26日 (初版) TAC SR Collection 主な問題 IOS ルータにて flash の読み書きが発生すると "Async write proc" プロセスの CPU 使用率が高騰する場合があります。 また、CPU 使用率の高騰によりターミナルの応答がなくなる場合もあります。 事象発生時のログを以下に示します。事象発生時は以下のように "Async write proc" プロセスの CPU 使用率が高騰します。 Router#show processes cpu sorted CPU utilization for five seconds: 95%/0%; one minute: 95%; five minutes: 95% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process 386 20752620
IOS-XE 3E Catalyst: CPU 使用率の高騰時に取得するログ
はじめにログ取得前に事前に設定するコマンドについてshowコマンド はじめに 本ドキュメントは IOS-XE 3E / 15.x(y)E *x,y は数 1,2,etc*で動作する Catalyst 製品で CPU 使用率が高騰した際に出力 ログ を記載します。 **これらのログによる一次切り分け後に、さらなる原因追求のために新たな情報を追加でお願いする場合はありますのでご了承ください。** ログ取得前に事前に設定するコマンドについて ログ取得前にIOS/IOS-XE Catalystで事前に設定するコマンドを行ってからの取得を薦めます showコマンド IOS-XE Catalyst で CPU 使用率が高騰した場合、事象発生中に以下のコマンドを複数回取得します。 **Catalyst 3850 / 3650 シリーズ ** show process cpu sorted | ex 0.
「ストレージクラスメモリ」がついに実用化。DRAMと同じDDR4スロットに挿せる不揮発性メモリ「Intel Optane DCパーシステントメモリ」と新Xeonプロセッサ、一般販売開始
「ストレージクラスメモリ」がついに実用化。DRAMと同じDDR4スロットに挿せる不揮発性メモリ「Intel Optane DCパーシステントメモリ」と新Xeonプロセッサ、一般販売開始 ストレージの世界では、不揮発性メモリによって構成されたフラッシュストレージの登場によって技術的にも市場的にも大きな変革が起こりました。かつて主流だったハードディスクドライブを基盤とした技術や製品は、すでに時代遅れなものになりつつあります。 それと同じような大きな変化が、今度はメモリの分野で起きようとしています。不揮発性メモリを大容量メインメモリに用いる、いわゆる「ストレージクラスメモリ」の実現です。 米インテルは4月2日、イベント「Data-Centric Innovation Day」を開催。DRAMと同じDDR4スロットにさせる不揮発性メモリ「Intel Optane DCパーシステント・メモリ」と、こ
インテル、Google、マイクロソフトらが高速インターコネクトの新規格「Compute Express Link」（CXL）を発表。GPUやFPGAなどを活用するための業界標準へ
インテル、Google、マイクロソフトらが高速インターコネクトの新規格「Compute Express Link」（CXL）を発表。GPUやFPGAなどを活用するための業界標準へ インテルやGoogle、マイクロソフト、シスコ、HPE、Dell EMC、アリババ、ファーウェイらは、CPUとメモリやGPU、FPGAなどを高速に接続するインターコネクトのオープンな新しい業界標準規格「Compute Express Link」（CXL）を発表。あわせてCXLを推進するためのコンソーシアムを立ち上げました。 コンピュータで画像処理や機械学習などさまざまな種類のワークロードが実行されるようになるにつれて、すべての演算処理をCPUで行うのではなく、ワークロードの種類に合わせた得意分野を持つGPUやFPGAなどに演算を任せるケースが今後さらに増加していくと考えられています。 CXLは、こうしたGPUやF
Catalyst9400 コマンド集
はじめにASIC ExceptionsCoPP DropsCPU IntefaceCPU Inject QueuesCPU Punt QueuesModule Diag HistoryTCAM UtilizaionUptime of Linecards はじめに 本ドキュメントは Catalyst 9400 で基本的な各種トラブルシューティングで はじめに確認するコマンド群を紹介します。 トラブルシューティングは事象に対して一回のコマンド群の採取で、全てを網羅することは不可能であり、Step by Step で事象の詳細化、絞り込み化が重要です。 一回のコマンド採取のみしか許可されないというユーザ様は、本番環境とは別環境で再現性の確立の上、コマンド採取頂くことが有効です。 ASIC Exceptions Example: Cat9400#show platform hardware fed
ARMベースで64コア搭載のサーバ向け独自プロセッサ「Kunpeng 920」、ファーウェイが発表。HPE、AWSなどARMサーバの投入が相次ぐ
ファーウェイは、独自に設計開発したARMベースのサーバ向けプロセッサ「Kunpeng 920」を発表しました。同社はARMベースのサーバプロセッサとして業界最高の性能としています。 ARMベースのサーバ向けプロセッサは、昨年6月にカビウムがXeonに対抗できる性能とうたった「ThunderX2プロセッサ」を発表しHPEがサーバへ採用、11月にはAWSも独自開発したARMベースの「Gravitonプロセッサ」を発表しクラウドでの提供を開始するなど、このところ製品の発表が相次いでいます。 これはおそらく、ARMが提供するアーキテクチャライセンスと呼ばれるライセンス方式によるものだと考えられます。アーキテクチャライセンス方式ではARMのバイナリ互換を保証するための大量のテストスイートをARMから受け取れるとされています。これにより従来よりも高い自由度でARMとのバイナリ互換を保証しつつサーバ向け
メモリ容量を最大8倍に拡張してくれるNVMe SSD。Western Digital「Ultrastar Memory Extension Drive」発表
メモリ容量を最大8倍に拡張してくれるNVMe SSD。Western Digital「Ultrastar Memory Extension Drive」発表 LinuxやWindowsなどのモダンなOSには一般に「仮想記憶」と呼ばれる機能が備わっています。仮想記憶には、物理メモリに保持されている内容を一時的にストレージへ待避させ、そこへ別の内容を書き込める仕組みがあります。この仕組みにより、OSは物理メモリの容量を超えてメモリを割り当てることができるようになります。 Western Digitalは11月12日、この仮想記憶のような仕組みを用いてメモリ容量を最大8倍にまで拡大できる「Ultrastar DC ME200 Memory Extension Drive」（以下、Memory Drive）を発表しました。 Memory Driveの物理的な構成は、NVMeインターフェイスを備えた
インテル、短期間でASIC並のカスタムチップを開発できる「ストラクチャードASIC」ベンダの「eASIC」買収を発表
インテルは、FPGAの柔軟性とASICの性能などを併せ持つ「ストラクチャードASIC」ベンダ「eASIC」の買収を発表。同社は今後、FPGAで設計を固めASICへマイグレーションする手段なども提供していくことになる。 ある用途に特化したプロセッサは、汎用プロセッサを用いるよりも少ない消費電力で高速な処理を期待できます。こうした用途特化型のプロセッサを作るには、一般にプロセッサ内部の回路を動的に構成できるFPGAを用いるか、もしくはカスタムチップとして回路設計を行い、量産するASICを用いることになります。 FPGAはプログラミングによってプロセッサの回路を構成できるため変更に強く、迅速に専用プロセッサを作り込むことができます。しかし汎用プロセッサに比べて動作クロックが低いなどの制約があり、またチップ当たりの単価が高く大量生産には向きません。 一方、ASICは設計した回路をフォトマスクなどを
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化
Linuxバイナリを最適化して性能を向上させる「BOLT」、Facebookがオープンソースで公開。言語やコンパイラに依存せず高速化 Facebookは、Linuxバイナリの内部配置を最適化することによりCPUのキャッシュ効率などを向上させ、実行速度を改善する「BOLT」をオープンソースで公開しました。 BOLTは「Binary optimization and layout tool」の略とされています（もしかしたら、より速く走るという意味でウサイン・ボルト氏にかけているのかもしれません）。 BOLTは言語やコンパイラに依存せず、ソースコードも不要 BOLTのおもな効果は、Linuxバイナリの実行状況をperfコマンドで取得し、高頻度で実行されている部分などを判別した上で、そうした部分がCPUキャッシュにヒットしやすいようにバイナリの内部配置を改善することなどで実行速度を向上させることと
Google、機械学習専用の第三世代プロセッサ「TPU 3.0」を発表。Google初の液冷システム採用。Google I/O 2018
Googleは、サンフランシスコで開催中のイベント「Google I/O 2018」で、機械学習処理専用のプロセッサ「Tensor Processing Unit」（TPU）の第三世代となる「TPU 3.0」を発表しました。 機械学習には、学習を行うトレーニングの処理と、学習した内容を基に行う推論の処理の2つがあります。特にトレーニングの処理は非常に大きなコンピュータの処理能力を必要とします。 TPUはこのどちらも高速に実行するため最適化されたプロセッサです。 Googleは昨年のGoogle I/O 2017で、第二世代のTPUとそれを用いたクラウドサービスの「Cloud TPU」を発表していました。 ［速報］Google、機械学習に最適化した「Cloud TPU」発表。「われわれれはいま、AIファーストデータセンターの構築に取りかかっている」。Google I/O 2017 TPU 3
Go言語がWebAssemblyをサポートへ。GOARCHは「wasm」、GOOSは「js」に
Googleが中心となってオープンソースで開発されているGo言語は、WindowsやmacOS、Linux、FreeBSD、iOS、Androidなど、さまざまなOSやCPUに対応したバイナリを生成できることが特長の1つとなっています。 そのGo言語のコンパイラが生成するバイナリにWebAssemblyが追加されました。WebAssemblyは、Webブラウザ上でネイティブコードに近い実行速度で高速に実行できるバイナリフォーマットです。 WebAssemblyのサポートは昨年2月から検討がはじまり、先月末に最初のコードがコミットされた状態で、現在も開発が進んでいます。 GOの今後のバージョンアップで正式にWebAssemblyがサポートされる見通しです。 Go言語はサポートするOSやCPUの種類をそれぞれ「GOOS」と「GOARCH」の値で示しています。例えばWindowsのGOOS値は「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cisco CPU utilization threshold violation traps
Troubleshoot CPU Usage in Catalyst Switches on Cisco IOS XE 16.x
logging buffer のサイズを調整する際の注意点 - Cisco Community
EVCに関する基本設定と考察と検証 - VMwareな日々
