タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
はじめに Turing株式会社ソフトウェアエンジニアの堀ノ内です! 私が所属する自動運転チームでは2024 ~ 2025年に発売予定の自動車に搭載する自動運転システムの開発を行っています。Turingでは車両前方に取り付けられたカメラの画像を入力とし、機械学習モデルが進むべき経路を推論、その経路に沿って実際に車両を動かすための制御信号(ステアリング、アクセル、ブレーキ)をCANで車両に送信することで以下の画像のような自動運転を実現しています。 今回のブログでは以下について記載し、私達のチームの仕事内容について知って頂くきっかけになればと思います。 Turingの自動運転システムの紹介 GMSLカメラの評価と発生した問題 Linuxカーネル及びドライバのデバッグ Turingの自動運転システム Turingでは「カメラ画像入力 → 機械学習モデルで経路を推論 → 車両制御」の流れを実現するた
こんにちは、エンジニアの岩藤です。 今回はVisual Studio CodeでのSSH接続が原因で、接続先EC2サーバーが高負荷になってしまった現象と対策についてお話しします。 あるEC2サーバーで数人で開発していると、サーバーが急に重くなりssh接続すらできなくなる現象が定期的に発生しました。 ↓topコマンドで確認した結果 top - 14:21:29 up 5:20, 1 user, load average: 4.58, 2.01, 0.86 Tasks: 192 total, 3 running, 189 sleeping, 0 stopped, 0 zombie %Cpu0 : 10.1 us, 3.0 sy, 0.0 ni, 0.0 id, 86.9 wa, 0.0 hi, 0.0 si, 0.0 st %Cpu1 : 9.5 us, 2.4 sy, 0.0 ni, 0.0
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの大岩です。 ヤフーが提供するYahoo!ショッピングやPayPayモールでは1年に1度大規模セールを行っています。 去年(2020/10/17~11/15)の対象期間は、超PayPay祭の開催に合わせて過去最大級の大規模セールとなっていました。特にセール最終日はグランドフィナーレと呼ばれ、ポイント還元率が年間を通して最大となる1年で最もお得な日となっていました。 集客の予測値は通常セールの数倍が見込まれており、セールの高負荷を乗り切るために、セール高負荷専用の対策チームが組まれ、そこを中心として高負荷対策を進めることになりました。 本記事では、大規模セールの高負荷に対して実際にどのような負荷対策を行ったかをサー
高負荷との戦い インフラエンジニアをやっているとどこかで遭遇する、高負荷との戦い。先日はシャープのECサイトが高負荷と戦っていると聞きました。 pc.watch.impress.co.jp シャープは、4月21日午前10時から開始した、自社生産の不織布マスク「MA-1050」の個人ユーザー向け販売において、販売開始直後から販売サイトにつながらない問題が発生したが、シャープでは、同社データセンターにおけるファイヤーウォール機能が原因の1つであるとの見方を明らかにした。 詳細については明らかにしていないが、予想を上回るアクセス数があったことで、不正アクセスによる攻撃と判断した可能性が高く、それにより、強制的にアクセスを遮断した結果、サイトにつながらないという状況に陥ったとみられる。 大昔、それこそ10年くらい前は、高負荷でサイトダウンしたときに、「おお、うちのサイトにそんなにアクセスが来てくれ
AWSチームのすずきです。 SQL レベルのメトリクス をサポートを開始したパフォーマンスインサイト(Performance Insights)を利用して、 高負荷状態に陥った Amazon Aurora Provisioned (MySQL5.6互換) の稼働状況を確認する機会がありましたので紹介させていただきます。 環境 過負荷が発生した環境は、 CMS(WordPress)の 記事データベースとして利用している Aurora でした。 Performance Insights SQL情報 SQLの情報として、下記項目が表示されるようになりました。 calls/sec : 毎秒ごとの呼び出し avg latency (ms)/call : 平均レイテンシー rows examined/call : 一度の呼び出しで返される行数 一回の処理時間は短いが実行回数が多く、チリも積もって高い負
AWS Amplifyで高負荷に耐えられるWebサイトを早急に立てて、Webフロントコーダーが運用を回した話。 はじめに こんにちは、AWS Amplify Advent Calendar 2019の12日目担当、Oceans株式会社 竹本と申します。 クリスマスまであと2週間、アドベンドカレンダーと共にクリスマスを一緒に過ごせる素敵な方と出逢わなければならない私のカウントダウンも進行しており大変焦っております。 さて、今回は「高負荷に耐えられるWebサイトを早急に立てて、Webフロントコーダーが運用回せるようにしたい!」と言う焦っている方向けに、弊社の事例をお伝えします。 それぞれの詳細な手順は他の方がたくさん上げて下さっていますので割愛しつつ、組み合わせて商用環境で使ってますよと言う事例を参考にして頂ければと思います。 (静的Webサイトのホスティングのお話ですので、動的ゴリゴリを期待
Raspberry Pi 4では5V/3Aの電力供給が可能な電源アダプターの使用が推奨されていましたが、2023年10月23日に出荷が始まったRaspberry Pi 5では5V/5Aの電源アダプターが推奨要件となり、5V/5Aの出力に対応した純正電源アダプター「Raspberry Pi 27W USB-C Power Supply」も発売されました。しかし、記事作成時点では日本では5V/5Aの出力に対応した電源アダプターを入手することは困難です。公式ドキュメントを確認したところ5V/3A出力に対応した電源でも起動可能と記されていたので、5V/5A出力に対応した純正電源アダプターと5V/3Aの出力に対応した非純正アダプターを用意して高負荷状態の出力の違いを確認してみました。 Raspberry Pi 5 – Raspberry Pi https://www.raspberrypi.com/
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介しました。まずはLINEで実施しているデータ処理について。 自己紹介と発表前半のアジェンダ 齋藤智之氏:LINE Data Platform室の齋藤智之です。現在私は、データプラットフォーム開発組織のシニアソフトウェアエンジニアとして、研究開発や開発プロジェクトのリードをしています。今日の発表では、データプラットフォームを開発運用する中で直面してきた課題と、その解決に向けた取り組みの一部を紹介しようと思います。 発表は前半と後半の2部に分かれて
Amazon Auroraのシャーディングによる負荷分散を、スケーラブルなNewSQLデータベース「TiDB」で置き換えへ。高負荷なオンラインゲームにも耐えると評価[PR] 複数のデータベースに負荷分散を行い、スケーラビリティを高める代表的な方法の1つに「シャーディング」があります。 シャーディングによる分散処理には、例えばあるテーブルのプライマリキーが偶数の値はサーバAに、奇数はサーバBに分散させるような方法(水平分割)、あるいは「商品名」「価格」「在庫数」「画像へのリンク」の4列を持つテーブルを、「商品名」「価格」と「在庫数」「画像へのリンク」の2列ごとのテーブルに分割して別々のサーバに受け持たせる方法(垂直分割)などがあります。 『週刊少年ジャンプ』の創刊50周年を記念して製作されたゲーム「ジャンプチ ヒーローズ」やパズルRPG「クラッシュフィーバー」「アリスフィクション」をはじめと
「超PayPay祭」の高負荷対策――失敗からリベンジへの猶予は3カ月、ヤフーの運用チームはどう乗り切ったのか:特集:「惰性をやめる、慣習を疑う」こんどこそ楽になる運用管理(1) 運用管理者に光を当てるオンラインイベント「Cloud Operator Days Tokyo 2021」。「超PayPay祭」における失敗と成功についてのセッション「超PayPay祭による高負荷にショッピングはどのように立ち向かったか」から、自社製プライベートクラウドで運用するWebサービスにおける高負荷対策のポイントを探る。 通常のセール時の数倍もの利用者が殺到した2020年の「超PayPay祭+Yahoo!ショッピング大規模セール」。準備万端で挑んだヤフーの負荷対策チームだったが、無念にもシステムダウンに追い込まれた。「来年こそは」とリベンジを誓うチームメンバー。だが、そのリベンジの機会は彼らが想定しているより
年末くらいから、メインの作業用Linuxマシン(この1台のみ)にVS CodeのRemote DevelopmentでSSHアクセスすると一定時間高負荷状態が続いていたので、なんとかならないかと原因調査した結果。 なお、クライアント側のVS CodeはどのPCから接続しても、特定の接続先Linuxマシンのみで高負荷になっていたので、VS CodeをインストールしているPC側の問題ではなかった ないだろうと見当をつけて調査。 VS Code version: 1.52.1 VS CodeのRemote SSHでnodeプロセスが高負荷になる 大量のreportファイル 原因 watchの除外設定 (余談) なぜこんなにvenvがあるのか まとめ VS CodeのRemote SSHでnodeプロセスが高負荷になる Remote Development SSHでアクセスした時のtopの状態がこ
こんにちは、SREチームの菅原(id:ksugahara08)と栗山(id:shepherdMaster)です。 新型コロナウイルスが流行して世の中では外出自粛になる中、Studyplusは例年以上に多くのユーザー様に利用していただく機会を得ました。それに伴って4月からサーバーへのアクセスが増えていき、5月にはコロナ前と比べて約2倍のリクエスト数がAWS ALBに来るようになりました。 リクエスト数が増えた結果何が起きたかというと、タイトルからお察しの通りAmazon AuroraのCPU負荷が上がり、頻繁にアラートが発砲されるようになりました。 EC2に関してはAutoScalingを設定していたため負荷に応じてスケールアウトしていたのですが、Auroraに関してはインスタンス数固定で運用してきたため、このようなことが起きるようになりました。 そこでサーバーサイド+SREチームでは他の作
超PayPay祭りの高負荷対策、クラウド運用の自動化システム開発、クラウドネイティブに変わる電話会社など、運用者に光をあてるセッションを大紹介![PR] クラウド運用者の経験や教訓、ノウハウなどを共有することで、ふだんは目立たないクラウド運用者に「光」をあてようというイベント「Cloud Operator Days Tokyo 2021」がオンラインで開催中です。 すでに60本以上のセッション動画が公開されており、無料で登録することにより、すべての動画をオンデマンドで参照できます。 さらに8月27日にはライブイベントとして、2つのキーノートセッションと、「輝け!クラウドオペレーターアワード2021」の発表を行います。 キーノートでは、OpenStack FoundationのCOOであるMark Collier氏、そしてCloud Native Computing Foundationの設
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 Twitterの現CEO、イーロン・マスク氏は、全従業員に宛てたメールで、11月17日までに「極めてハードコア」な勤務内容に同意することを求めました。同意しない場合は3か月分の給与を与え、退職してもらうとのこと。 マスク氏は「A Fork in the Road(分かれ道)」と題したメールに「今後、画期的なTwitter 2.0を構築し、激しい競争に晒される世界で成功するためには、極めてハードコアに働く必要がある。これは長時間かつ高負荷の激務を意味し、例外的なパフォーマンスを発揮した場合のみが合格点を得る」と記し、「新しいTwitterの一員になりたければ、メールの最後に記したリンクの「YES」をクリック」す
第13世代などのIntel Coreプロセッサの一部SKUにおいて、極めて大きな負荷がかかった際の安定性について取り沙汰されているようだ。Tom's HardwareやTechPowerUpが報じたほか、Wccftechの技術ライターもX(旧Twitter)上でこの件について言及している。 一部Intel Coreプロセッサにおける超高負荷時の安定性に問題? 電力設定で改善する模様 発端はゲーム開発者によるサポートページへの投稿で、一部ゲームタイトルの起動時にエラーが発生するというユーザーの問題に対処したもの。エラーコードによるとVRAM容量の不足を指摘するものながら、ユーザーは十分に大きなVRAM容量を備えたグラフィックスカードを用いていたようで、原因がわからなかったようだ。しかし調査の結果、CPU側に原因があると疑問視されている。 というのも昨今の高品質なグラフィックス品質を備えたゲー
本記事について Fluentdは機能としてはシンプルですが、 高負荷環境で安定的に運用するためにはある程度の知識が求められます。 そこで、本記事ではそれなりにログ流量の高い環境下で私が考慮した観点をまとめました。 本記事では、KubernetesでFluentdの信頼性を担保するための3つの観点に加え、 「高負荷時の安定運用」に焦点を当て、 負荷分散 適切なモニタリング トラブルシューティングとチューニング の3つの観点について整理しています。 前提となるアーキテクチャ アーキテクチャとしては実際に私が構築した図の構成を前提とします。 アーキテクチャの特徴 1つのKubernetesクラスタに、FluentdがForwarderとAggregatorという2つのロールで存在しています。 Forwarder DaemonSetでデプロイされる 各コンテナの出力ログをあつめ、Aggregato
八起ななこ(やおき・ななこ)は新米プログラマー。AWS のサービスを使って順調に開発する中、社長に、会社のビッグプロジェクトをアサインされる。今まで経験したことのない高負荷が見込まれるサイトの構築・運用に戸惑うななこに、AWS の Solutions Architect(ソリューションアーキテクト)が提案したのは、「 AWS Amplify 」という、AWS製のOSSだった。 AWS Amplify は、クラウドベースの Web アプリケーションおよびモバイルアプリケーションを開発するための、高機能な宣言型 JavaScript ライブラリです。Amplify を通じて、オブジェクトストレージの Amazon S3 とCDN (コンテンツ配信ネットワーク)の Amazon CloudFront を利用したスケーラブルな Web サイトホスティングを始め、ユーザー認証機能や RESTful
FX自動売買専用のVPSサービスであるシン・クラウドデスクトップ for FXには 高負荷通知サービス というオプションサービスがあります。 高負荷通知って必要なの?と思う方もいるかもしれませんね。 というわけで今回は「シン・クラウドデスクトップ for FX の「高負荷通知サービス」とは?申し込む手順も解説」についてお伝えします。 「高負荷通知サービス」ってなに?という方は記事を読んでみてくださいね。
電池ボックスのマイナス端子側に使われる受けの部分には、うずまきバネ式と板バネ式の2種類があるが、チカラの技術さんの検証によれば、うずまきバネ式は、板バネ式の20倍程度抵抗が高いことが分かったという(チカラの技術)。 この記事の結論部分を引用すると 単三乾電池4本の電池BOXにおいてうずまきバネ式の抵抗は0.4Ω程度あり、板バネ式の20倍程度でした。 電池電流が4Aのとき、うずまきバネ式の損失は6.4Wに達し使用する負荷の半分が電池BOXで熱として消費されてしまうため、モーター駆動など2Aを超える高負荷の用途には板バネ式を使用する必要があると判断します。
ホームAppleMacMacBook ProM2チップ搭載「MacBook Pro 13インチ」は高負荷時にCPU温度が108度に達し、サーマルスロットリングが発生 先週末にM2チップを搭載した新型「MacBook Pro 13インチ」が発売されましたが、YouTubeチャンネル「Max Tech」のVadim Yuryev氏が、M2搭載「MacBook Pro 13インチ」でサーマルスロットリングが発生することが分かったと報告しています。 サーマルスロットリングとは、CPUの温度が上昇し過ぎた時に動作周波数を落として温度を下げる機能で、過熱を防止することによって製品の寿命などを守る機能の為、動作すること自体は正常なことですが、動作中はパフォーマンスが低下します。 同氏はM2搭載「MacBook Pro 13インチ」で8K RAW動画の書き出し作業を行ったところ、M2チップのCPU温度は1
ホームAppleMacMacBook AirM3搭載「MacBook Air」、高負荷時のサーマルスロットリングはM1/M2モデルに続き発生 ー クラムシェルモード時は更にパフォーマンスが低下 M3搭載「MacBook Air」、高負荷時のサーマルスロットリングはM1/M2モデルに続き発生 ー クラムシェルモード時は更にパフォーマンスが低下 2024 3/18 Appleシリコンを搭載した「MacBook Air」はファンレス設計であることから高負荷時にサーマルスロットリングが発生し、パフォーマンスが低下することが明らかになっていますが、これは先日に発売されたM3チップ搭載モデルも同様で、さらにクラムシェルモードで高負荷をかけるとパフォーマンスが50%近く低下することが分かりました。 まずサーマルスロットリングとは、CPUなどの温度が上昇しすぎた際に自動的に性能を抑えることで、過度な温度上
Progateの小笠原です。普段はSREチームで開発効率化やサービスの安定化に取り組んでいます。 本稿では弊社SREチームで取り組んだ事例の一つである「モノリシックなサービスから高負荷なエンドポイントを切り出して段階的に運用改善した話」について紹介させていただきます。 はじめに ProgateのフロントエンドはReactを利用してリッチなUI/UXを実現しています。特にサービスの中心である演習画面ではユーザの書いたコードに対してエラーを出したり、サーバとWebSocketで接続してRubyやNodeなど様々な言語のコードを実行したりと複雑な構成となっています。 演習画面 開発ではリリース前にQAを行い機能的な不備やデグレーションがないかを確認しますが、クライアント環境によっては意図したとおりにJavaScript(以下JS)が動かないケースが多々あります。例えばネットワーク環境の違いにより
► 2024 ( 109 ) ► 04/14 - 04/21 ( 2 ) ► 04/07 - 04/14 ( 8 ) ► 03/31 - 04/07 ( 8 ) ► 03/24 - 03/31 ( 7 ) ► 03/17 - 03/24 ( 7 ) ► 03/10 - 03/17 ( 9 ) ► 03/03 - 03/10 ( 7 ) ► 02/25 - 03/03 ( 8 ) ► 02/18 - 02/25 ( 6 ) ► 02/11 - 02/18 ( 8 ) ► 02/04 - 02/11 ( 7 ) ► 01/28 - 02/04 ( 9 ) ► 01/21 - 01/28 ( 8 ) ► 01/14 - 01/21 ( 8 ) ► 01/07 - 01/14 ( 7 ) ► 2023 ( 395 ) ► 12/31 - 01/07 ( 7 ) ► 12/24 - 12/31 (
Cloud Operator Days Tokyo 2021は、「クラウド運用のリアルに迫る」イベントです。ここでヤフー株式会社の大岩氏、信原氏、小中氏が「超PayPay祭による高負荷にショッピングはどのように立ち向かったか」というテーマで登壇。超PayPay祭で起きた障害と、担当ごとの対策について紹介します。 自己紹介とアジェンダ 信原有志氏(以下、信原):「超PayPay祭による高負荷にショッピングはどのように立ち向かったか」。ヤフー株式会社の信原、小中、大岩で発表します。よろしくお願いします。 まずは自己紹介です。ここは軽く流しますが、信原、小中はYahoo!ショッピングのエンジニアで、大岩はYahoo! JAPANのクラウドエンジニアです。 本日のアジェンダがこちらです。最初に超PayPay祭の概要を説明して、それに向けた負荷対策と発生した障害、そして改善のための負荷対策という流れ
さくらインターネットは3月17日、高負荷に耐える専用デジタル回路を設計開発し、NTPサーバーとして働く「FPGA ベース・ハードウェアNTPサーバ(Stratum1)」を開発したと発表した。 NTP(Network Time Protocol)はネットワークに接続される機器の時計を正しい時刻へ同期するための通信プロトコル。NTPサーバーは世界中の機器から到着する時刻同期のリクエストに対し、正しい時刻を応答し続けるサーバー。現在は単なる時刻合わせだけでなく、ネットワーク機器やIoT機器のソフトウェアアップデートのためのインフラとして欠かせないものとなっている。 今回の設計・開発は私立総合大学の福岡大学と協力して行なったもので、単体でおよそ10ギガビット/秒(およそ1300万リクエスト/秒)の高負荷に耐えるという。また、開発サーバーにおいてFPGA上で動作させて提供する実験を開始している。福岡
Intelは2021年12月14日、Windows向けのグラフィックスドライバー「Windows DCH Drivers」の最新版となるバージョン30.0.101.1191をリリースした。このアップデートでは多くの既知の問題に対する修正が含まれているが、特に影響が大きいのはデスクトップウィンドウマネージャー(dwm.exe)が高負荷になる問題に対する修正だろう。 Betanewsの12月24日の報道によると、一部のWindows10およびWindows11においてDCH Driversが原因でdwm.exeが本来よりも多くのCPUおよびRAMリソースを使用してしまう問題が発生していたという。その影響でシステムのパフォーマンスが低下することがあったが、DCH Driversをバージョン30.0.101.1191にアップデートすることで解消する見込みだ。 Intel releases perf
前作全世界100万本突破!Nintendo Switchソフト「Fit Boxing 2 -リズム&エクササイズ-」発売のお知らせ ~無料追加コンテンツ「鬼モード」第一弾も配信開始~ イマジニア株式会社は、Nintendo Switchソフト「Fit Boxing 2 -リズム&エクササイズ-(以下「Fit Boxing 2」)」(国内版)及び「Fitness Boxing 2 : Rhythm & Exercise」(海外版 発売元:任天堂株式会社、以下「任天堂」)を本日より発売しますのでお知らせします。 「Fit Boxing」は、人気声優がボイスを担当するゲーム内のインストラクターに直接指導を受けながら、Joy-Conを使用してリズムゲーム感覚でパンチを打ち分けるボクシングエクササイズゲームです。 Nintendo Switch初のエクササイズゲームとして2018年12月に発売して以
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く