並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 39 件 / 39件

新着順 人気順

スループットの検索結果1 - 39 件 / 39件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

スループットに関するエントリは39件あります。 ネットワークsoftwaretechfeed などが関連タグです。 人気エントリには 『リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら』などがあります。
  • リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら

    リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか? また、初めてリレーショナルデータベースシステムを開発する者

      リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら
    • レイテンシ(遅延)とスループット(帯域幅)と帯域幅遅延積 - Qiita

      マルチクラウド展開にまつわる既成概念を覆すより データ転送では、特に長距離の場合にレイテンシ(遅延)が問題になることがありますが、現在はすべてのクラウド・プロバイダーがそれぞれの物理インフラストラクチャを互いの近くに配置(専門用語では「コロケーション」)しているため、これはさほど問題となりません。この近接性(場合によっては同一コロケーション施設内の別の部屋)は、クラウド間のレイテンシがミリ秒単位であることを意味します。それに加え、クラウド・データセンター・リージョンは世界中で増加しており、クラウド・リージョン間の距離は縮まっています。 という事で、レイテンシ(遅延)について、まとめてみてみます。 ■ Agenda レイテンシ(遅延)とスループット(帯域幅) レイテンシと TCP の動作 帯域幅遅延積(Bandwidth-Delay Product) TCP Window Size の調整と

        レイテンシ(遅延)とスループット(帯域幅)と帯域幅遅延積 - Qiita
      • Redisの25倍のスループットDragonflyを試してみる

        インメモリデータストアを現代風に再実装したら? 高速なデータアクセスのためのインメモリデータストアとしては、RedisやMemcachedが有名です。ただし、これらは10年以上前に設計されており、Memcachedに至っては、2003年と約20年前です。 長い年月を経て、機能追加や最適化が進む一方で、どうしても設計の古さも目立ってきます。 その課題を解決すべく開発されたのがDragonfly です。 全ての操作がアトミック 高スループットでもミリ秒未満のスループット を目指し、Redis/Memcached互換なAPIを提供します。 Redisの25倍のスループットを誇り、1インスタンスで百万オーダーのQPSをさばけます。 開発者が実施したAWS EC2上のベンチマークによると、Dragonflyは本家RedisやRedisのマルチスレッドforkであるKeyDBよりも圧倒的なスループット

          Redisの25倍のスループットDragonflyを試してみる
        • NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供

          米NVIDIAは3月18日(現地時間)、年次イベント「GTC 2025」で、大規模言語モデル(LLM)の推論を最適化するオープンソースソフトウェア「NVIDIA Dynamo」を発表した。GPU群における処理の割り当てを最適化。計算を最小限に抑え、電力当たりの応答速度や処理能力を向上させるという。

            NVIDIA、GPUクラスタ最適化で「DeepSeek-R1のスループット30倍」 オープンソースで提供
          • 順序性の担保とスループットはトレードオフだという話

            この記事について AWS SQSからメッセージを受けとって処理するLambdaを書いているときに、 標準キューだから順序保証されてないな、じゃあ順序バラバラできても捌けるように処理を書かないと! → ... → あれ???意外とこれ難しくない??? と思った経験、皆さんにもあるのではないでしょうか。 この記事では、筆者が上記のような壁にぶつかったときに「順序を保つってなんでそんなに難しいんだろう?」「保てないならどうやってそれに耐えうるようにすればいいんだろう?」と色々考察した結果を書いていきたいと思います。 使用する環境・バージョン 2024/6/22時点で提供されている機能に基づき考察 読者に要求する前提知識 AWSのSQS, SNS, Kinesis Data Streamがどういうサービスなのかは既知という前提のもとで書きました 順序セマンティクスとは 順序セマンティクスとは「イベ

              順序性の担保とスループットはトレードオフだという話
            • Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現

              Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現 AWS(Amazon Web Services)は、スケーラブルなNFSサーバをマネージドサービスで提供する「Amazon EFS」(Amazon Elastic File System)のクライアント当たりの最大スループットを、これまでの3倍となる1.5GB/sに拡大したことを発表しました。 Amazon EFSは、Amazon EC2インスタンスやAmazon EKSポッドなどからNFSプロトコルでマウントして利用するストレージサービスです。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長です。 同時に数千もの同時接続にも対応するスケーラビリティを備えています。 今回発表された、クライ

                Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現
              • Google Cloud Spanner、価格据え置きのままスループットを1.5倍に向上、ノード当たりのストレージも10TBに増強と発表

                Google Cloudは、大規模分散データベース「Cloud Spanner」について価格を変更することなく従来よりも大幅な性能向上を提供すると発表しました。 Google Cloudとしては珍しく、AWSのAmazon DynamoDBを名指しして「DynamoDBよりも高い性能を半額で提供する」と自画自賛しています。 スループットの50%向上とノード当たりのストレージ容量向上 Cloud Spannerは、PostgreSQL互換のデータ型、スキーマ、一般的なクエリにより強い一貫性を備えつつ、1 桁ミリ秒のレイテンシーと高スループット、ファイブナインの可用性 、そしてグローバルな分散機能による事実上無制限のスケールなどを実現しているマネージドデータベースサービスです。 参考:Google、大規模分散DB「Spanner」にPostgreSQL互換インターフェイスを実装。強い一貫性で秒

                  Google Cloud Spanner、価格据え置きのままスループットを1.5倍に向上、ノード当たりのストレージも10TBに増強と発表
                • Amazon Elastic File Systemの読み取りスループットが3倍に向上、価格は据え置き

                  Amazon Elastic File Systemの読み取りスループットが3倍に向上、価格は据え置き Amazon Web Services(AWS)は、Amazon Elastic File Systemの読み取り(リード)のスループットを最大で3倍まで向上させたことを発表しました。 サービスの価格はそのままで、より高速なデータの読み込みが可能になります。 Amazon EFSはスケーラブルなNFSサーバをマネージドサービスで提供します。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長。 また、必要なスループット性能をプロビジョニング時に指定でき、あまり使われなくなったファイルを安価な低頻度アクセスストレージクラスへ移動するなど、コストの最適化にも柔軟に対応します。 今回の性能向上により、プロビジョニング時

                    Amazon Elastic File Systemの読み取りスループットが3倍に向上、価格は据え置き
                  • Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表

                    Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表 Google Cloudは9月9日に開催したオンラインイベント「A Spotlight on Storage」で、エンタープライズ向けに4種類のストレージサービスを発表しました。 Google Cloud Hyperdisk Google Cloud Hyperdiskは、動的に性能を変更可能なブロックストレージです。IOPSとスループットをそれぞれ独立して動的に設定変更できるため、アプリケーションを運用していくなかでストレージ性能への要求が変化した場合でも、変化に合わせたIOPSやスループットを設定できます。 Autoclass AutoclassはオブジェクトストレージであるGoogle Storageの新機能です。オブジェクトへの最終アクセス時期やポリシー

                      Google Cloud、動的にブロックストレージのIOPSとスループット性能をそれぞれ設定できる「Hyperdisk」など発表
                    • SSM-Transformerアーキテクチャ採用で従来の約3倍のスループットを実現した大規模言語モデル「Jamba」をAI21 Labsが発表

                      イスラエルのAIスタートアップであるAI21 Labsが、英語・フランス語・スペイン語・ポルトガル語に対応した大規模言語モデル「Jamba」を発表しました。Jambaは、従来のTransformerモデルにState Space Model(SSM)のアーキテクチャを組み合わせたSSM-Transformerモデルとなっています。 Introducing Jamba: AI21's Groundbreaking SSM-Transformer Model https://www.ai21.com/blog/announcing-jamba AI21 Labs Unveils Jamba: The First Production-Grade Mamba-Based AI Model https://www.maginative.com/article/ai21-labs-unveils-j

                        SSM-Transformerアーキテクチャ採用で従来の約3倍のスループットを実現した大規模言語モデル「Jamba」をAI21 Labsが発表
                      • “組織のスループット”を仕組みで最大化するTalent Ops構想

                        このように、Dev Opsがアプリケーションやサービスをより高速に配信できるように整えられた方針・プラクティス・ツールが組み合わさった一連のモデル・概念であるのと同じように、Talent Opsも事業戦略に合わせてよりなめらかに、組織のスループットを最大化できるように整えるモデル・概念である。 Dev Opsが開発のスループットを保ち向上し続ける中で、必要な一要素としてDeveloper Experienceの向上が存在するのと同じように、Talent Opsでも事業のスループットを保ち向上し続ける中で、必要な要素としてEmployee Experienceの向上が位置づけられるという意味でも類似している。 プロダクトマネジメントとの共通点 プロダクトマネジメントと比較してみると、プロダクトを組織に例えたときに共通点の多さが伺える。 プロダクトマネジメントはユーザーを対象にその非効率の解消

                          “組織のスループット”を仕組みで最大化するTalent Ops構想
                        • いまさら聞けない「帯域幅」と「スループット」「レイテンシ」の違い

                          関連キーワード ネットワーク | データセンター | ネットワーク監視 ネットワークの性能に関する用語である「帯域幅」と「スループット」は、混同されがちな用語の代表格だ。それらに「レイテンシ」という用語も加わり、それぞれ併せてネットワークの説明に使われることがあるので、違いがなおさら分かりにくくなってしまうことがある。 「帯域幅」と「スループット」「レイテンシ」の違い 併せて読みたいお薦め記事 その他の基礎知識も 無線LANは次世代規格「Wi-Fi 7」でこう変わる 「Wi-Fi 6E」は無意味だった? いまさら聞けない「VPN」と「VDI」の違い 在宅勤務に適するのは? いまさら聞けない「ハブ」「スイッチ」「ルーター」の基礎 主な違いとは? 帯域幅とスループットは、どちらもネットワークを流れるデータに関連する用語だ。それぞれ以下のように説明できる。 帯域幅 一定時間内にネットワーク内を移

                            いまさら聞けない「帯域幅」と「スループット」「レイテンシ」の違い
                          • 「Apache Cassandra 4.0」正式リリース。スループットが25%向上、データの一貫性も強化、監査ログ機能も

                            「Apache Cassandra 4.0」正式リリース。スループットが25%向上、データの一貫性も強化、監査ログ機能も 代表的なNoSQLデータベースの1つであるApache Cassandraが6年ぶりにメジャーバージョンアップを果たし、「Apache Cassandra 4.0」が正式リリースとなりました。 Apache Cassandra 4.0 is here! The most stable database release in history, already running in production in some of the world’s largest environments. Read @TheASF press release: https://t.co/iXzxWYRobp#nosql #databases #opensource #apache pic

                              「Apache Cassandra 4.0」正式リリース。スループットが25%向上、データの一貫性も強化、監査ログ機能も
                            • 【周波数帯を拡張するWi-Fi 6E】Wi-Fi 6Eは80MHz幅で1Gbps、160MHz幅で2Gbpsの高スループット、6GHz帯の到達距離は?【ネット新技術】

                                【周波数帯を拡張するWi-Fi 6E】Wi-Fi 6Eは80MHz幅で1Gbps、160MHz幅で2Gbpsの高スループット、6GHz帯の到達距離は?【ネット新技術】
                              • IOPSとスループットのちがい | DEVLABO

                                AMAZON EBS(Elastic Block Store)の汎用SSD(gp2)、プロビジョンド IOPS SSD(io1)、Cold HDD(sc1)、スループット最適化HDD(st1)、マグネティック(standard)を選ぶ際に重要となるIOPSとスループットについてです。 I/O Request Packet(IRP)をバケツリレーとして説明している「Premium Storage を使ってみよう ~IOPS とスループットの関係~」がとてもわかりやすいです。バケツのサイズが異なればI/Oとスループットに影響が出ます。 I/Oについては、PostgreSQLのアーキテクチャー概要|PostgreSQLインサイド : 富士通の「共有バッファー」あたりもわかりやすいです。 IOPS Input Output per second。ストレージが1秒あたりに処理できるI/O(書き込み・

                                  IOPSとスループットのちがい | DEVLABO
                                • 「帯域幅」と「スループット」を混同してはいけない“納得の理由”

                                  関連キーワード ネットワーク | ネットワーク管理 ネットワークの「帯域幅」を正しく計算する方法を理解することは、高速なネットワークを構築し、安定性を維持するために欠かせない。 帯域幅は有線LAN、無線LAN、WANの設計と運用において重要だ。必要に応じてリソースを再構成することもあるサーバとは異なり、ネットワークの帯域幅は最初の設計の時点で最適化しておく必要がある。 併せて読みたいお薦め記事 ネットワーク管理者向けの基礎知識 いまさら聞けない「ネットワークテスト」の基礎 4つの対象による違いとは? いまさら聞けない「VPN」と「VDI」の違い 在宅勤務に適するのは? いまさら聞けない「ハブ」「スイッチ」「ルーター」の基礎 主な違いとは? LANの基礎知識も いまさら聞けない「無線LAN」「Wi-Fi」の違いとは? 混同してはいけない理由 「400ギガビットイーサネット」(400GbE)は

                                    「帯域幅」と「スループット」を混同してはいけない“納得の理由”
                                  • NEC、10Gbpsのスループットを備えたルータ「UNIVERGE IX2310」 インターフェイスも10GBASE-Tに対応

                                      NEC、10Gbpsのスループットを備えたルータ「UNIVERGE IX2310」 インターフェイスも10GBASE-Tに対応
                                    • CPUのレイテンシとスループット

                                      初めに ここではIntel CPUのレイテンシとスループットの基本を解説し、FMAの処理時間を調べます。 レイテンシとスループット レイテンシ CPUにおけるレイテンシ(latency)とは命令が発行されてからその実行が完了するまでの時間(クロックサイクル)です。 たとえばレイテンシが4なら実行されてから4クロックサイクル(以降clkと記す)後にその結果を利用できます。 スループット Intelのマニュアルによるとスループットとは同じ命令を続けて発行するときに待つclkです。たとえばスループットが1なら1clkごとに1命令、0.5なら1clkごとに2命令同時に発行できます。 ただし、通常スループットというと単位時間あたりに処理できる量を表し、大きいほど高性能です(Gbpsなど)。それに従うなら1clkあたりに同じ命令を何個発行できるかという定義になるべきであり、Intelのスループットは逆

                                        CPUのレイテンシとスループット
                                      • スループットではなくレイテンシーに注目せよ 「Jenkins」開発者が語るソフトウェア開発を進める上で大切なこと

                                        Agile Tech EXPOは、アジャイル開発者やアジャイルに興味がある方向けのカンファレンスです。「Jenkins」の生みの親として知られる川口耕介がソフトウェアの開発文化について、日本とアメリカの違いやこれからの向かうべき方向について講演しました。2回目はスピードと品質のあんばいの見つけ方について。前回の記事こちら 生産性のための先行投資をどうするか? 川口耕介氏(以下、川口):僕の記憶では10年、20年前ぐらい前は、もっとソフトウェア開発というのは個人の職人技のように思われていたと思っているんです。 最近はプログラミングもソフトウェアエンジニアリングもチームでの作業になってきていて、コードレビューとかペアプログラミングとかもいろいろありますけど、そういうのも個人の頭の中で何かを留めないという姿勢を反映した結果なんじゃないのかなと僕は思っているわけです。 それから、チームが長生きする

                                          スループットではなくレイテンシーに注目せよ 「Jenkins」開発者が語るソフトウェア開発を進める上で大切なこと
                                        • キャパシティか、スループットか 〜 生産能力を理解する | タイム・コンサルタントの日誌から

                                          生産マネジメントに関連して、混乱しがちなもう一組の用語について考えよう。それは生産量(生産能力)を表す言葉だ。 『キャパシティ』とは何か。それは、ある機械設備なり、一連の工程なり、あるいは工場全体の生産能力を表す、設計上の値である(そしてたぶん、この言葉の用法については、あまりブレがない)。 たとえば、前回の記事と同じく、パン焼き窯を題材にしてみよう。窯には30個までのパンの材料を置くスペースがあり、焼き上げるまでに必要な時間は2時間だ。ということは、平均すると、(パンを窯に出し入れする時間を無視すれば)1時間あたり15個、ないし1分あたり0.25個、という「キャパシティを持っている」といえる。

                                            キャパシティか、スループットか 〜 生産能力を理解する | タイム・コンサルタントの日誌から
                                          • Amazon Elastic File System の読み取りスループットが 3 倍に

                                            Amazon Elastic File System (Amazon EFS) でのファイルシステムの読み取りスループットが最大 3 倍になりました。例えば、Amazon EFS standard に保存されているデータでは、バーストモデルのファイルシステムで 300MB/秒のバースト読み取りスループットまたは TiB あたり 300MB/ 秒 (いずれか高い方) が実現します。1 GB/秒のプロビジョニング済みスループットが設定されている場合、アプリケーションでは、最大 3 GB/秒の読み取りオペレーションが可能になります (書き込みオペレーションは引き続き 1 GB/秒です)。アプリケーションや設定の変更は必要ありません。 Amazon EFS では、シンプルかつスケーラブルなサーバーレスファイルストレージを AWS クラウドサービスとオンプレミスリソースで使用できます。読み取りスルー

                                              Amazon Elastic File System の読み取りスループットが 3 倍に
                                            • LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )

                                              LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )

                                                LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
                                              • 「スループット」「レイテンシ」「帯域幅」のいまさら聞けない関係とは?

                                                関連キーワード ネットワーク | データセンター | ネットワーク監視 ネットワークの性能に関する似たような用語として、「スループット」や「帯域幅」が使われている。その他に「レイテンシ」(遅延)という用語がある。これらの3つは、それぞれ異なる意味を持っている。だが関係のない用語なのではなく、お互いに影響し合う関係にある。 3つの用語「帯域幅」「スループット」「レイテンシ」の関係 併せて読みたいお薦め記事 連載:ネットワーク性能の基本用語集 前編:いまさら聞けない「帯域幅」と「スループット」「レイテンシ」の違い 中編:混同しがちな「スループット」と「帯域幅」の“ネットワーク的”違い その他の基礎知識も 無線LANは次世代規格「Wi-Fi 7」でこう変わる 「Wi-Fi 6E」は無意味だった? いまさら聞けない「VPN」と「VDI」の違い 在宅勤務に適するのは? まずレイテンシとは、データがネ

                                                  「スループット」「レイテンシ」「帯域幅」のいまさら聞けない関係とは?
                                                • Microsoft、「Phi-4-mini-flash-reasoning」を発表 ~スループットは10倍、レイテンシは2~3倍削減/非力なデバイスでも動作する小規模言語モデル(SLM)

                                                    Microsoft、「Phi-4-mini-flash-reasoning」を発表 ~スループットは10倍、レイテンシは2~3倍削減/非力なデバイスでも動作する小規模言語モデル(SLM)
                                                  • [アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた | DevelopersIO

                                                      [アップデート] Amazon DynamoDB のオンデマンドキャパシティモードで最大スループットを指定出来るようになったので、YCSB で DynamoDB の負荷テストしてみた | DevelopersIO
                                                    • LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(ローカル編) | Shikoan's ML Blog

                                                      LLaMA.cppのスループットをローカルで検証してみました。OpenLLaMA 7B/13Bをベースに、CPU/GPUのそれぞれの生成速度(token per second)と量子化の関係を実験的に調査します。 はじめに LLaMA.cppを使うとモデルを高速に軽量に実行できますが、量子化とスループットの関係、デバイスごとの関係がよくわからなかったので検証しました。 環境 LLaMA.cpp https://github.com/ggerganov/llama.cpp 最新版は変換後のモデルがggufフォーマットだが、旧版のggmlのフォーマットを使用(元の利用想定が、MiniGPT4.cppで旧版に統一する必要があったため) コミットIDはdadbed9になるように、git cloneしたあとcheckoutする ビルドはcuBLASを使ってビルド。実行時のみGPUを使うかどうかを切り

                                                        LLaMA.cpp+(cu)BLASのCPU/GPUのスループット検証(ローカル編) | Shikoan's ML Blog
                                                      • iPerfでのスループットの計測 - 半導体事業 - マクニカ

                                                        無線デバイスのスループット 「スループットが低い」、無線デバイスをご評価頂くとこのような問い合わせがあります。その際、計測環境を確認していくとiperf(スループット計測ツール)の使い方に起因していることがあります。 そこで、今回は iPerfの基本的な使い方について紹介しようと思います。 iPerfとは ネットワークのパフォーマンスを計測するためのツールになります。TCP/UDPで計測可能で、デバイス2台をClient/Serverモードで動作させ、ClientからServerへ指定したトラフィックを流しTX/RXのスループットを計測します。 iPerfは、こちらからダウンロード可能です。 コマンド(iperf3)のフォーマットは、 Client:iperf3 -c <ServerのIPアドレス> [各オプション] Server:iperf3 -s [各オプション] です。 オプションを

                                                          iPerfでのスループットの計測 - 半導体事業 - マクニカ
                                                        • Analystのスループットを継続的に最大化させるデータ基盤の運用思想

                                                          この記事は「Eureka Advent Calendar 2020」の16日目の記事です。 こんにちは、Head of BIの鉄本です。 15日目は Jun Ernesto Okumuraによるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定

                                                            Analystのスループットを継続的に最大化させるデータ基盤の運用思想
                                                          • 混同しがちな「スループット」と「帯域幅」の“ネットワーク的”違い

                                                            関連キーワード ネットワーク | データセンター | ネットワーク監視 テレワークをはじめ、どこで働いてもよい勤務形態が広がり、ネットワークの性能はますます重要になっている。ただし一口に“ネットワークの性能”と言っても、「帯域幅」や「スループット」といった似た用語が絡んでおり、理解には多少の知識が必要になる。 ネットワークの「スループット」と「帯域幅」の違い 併せて読みたいお薦め記事 連載:ネットワーク性能の基本用語集 前編:いまさら聞けない「帯域幅」と「スループット」「レイテンシ」の違い その他の基礎知識も 無線LANは次世代規格「Wi-Fi 7」でこう変わる 「Wi-Fi 6E」は無意味だった? いまさら聞けない「VPN」と「VDI」の違い 在宅勤務に適するのは? いまさら聞けない「ハブ」「スイッチ」「ルーター」の基礎 主な違いとは? ネットワークの性能を考える場合、スループットが欠か

                                                              混同しがちな「スループット」と「帯域幅」の“ネットワーク的”違い
                                                            • テキスト生成APIサーバのスループットを高めるbatching algorithms

                                                              はじめに テキスト生成モデルをAPIサーバでホストする需要が増えてきている昨今ですが1サーバでできるだけ多くのリクエストをさばくためにはどうすればよいでしょうか?もちろん高速なツールを使うことも重要ですが、それだけでは限界があります。前回の記事ではいくつかのツールを比較しましたが、どのツールでもバッチサイズを上げることで単位時間あたりの処理能力を高めることができるということがわかりました。つまりAPIサーバ側でバッチサイズを大きくする工夫をすることでより多くのリクエストをさばくことが可能になります。 今回の記事ではText Generation InferenceやvLLMなどが採用して注目を集めているContinuous batchingと呼ばれる手法について紹介します。 名称や仕組みなどについてはこれらの解説を参考にしています。 予備知識 Continuous batchingの説明に

                                                                テキスト生成APIサーバのスループットを高めるbatching algorithms
                                                              • [アップデート] Amazon EFSのスループットモードを「いい感じに」やってくれるElastic Throughputモードが追加されました #reinvent | DevelopersIO

                                                                本日のアップデートでAmazon Elastic File Systemにあらたなスループットモード「Elastic Throughput」がリリースされました。 Announcing Elastic Throughput for Amazon Elastic File System 最初に結論 Elastic Throughputはワークロードにあわせてスループットを従量課金します 料金はデータの転送量に基づき、読み込み $0.04/GB、書き込み $0.07/GB パフォーマンス要件の予測が困難な輻輳するワークロードに最適です Elastic Throughput モード 従来EFSのスループットモードは、ファイルシステムサイズとバーストクレジットによる「バーストスループット」、比較的一定のスループットが求められる場合に事前に割り当てる「プロビジョニングスループット」の二択でした。 E

                                                                  [アップデート] Amazon EFSのスループットモードを「いい感じに」やってくれるElastic Throughputモードが追加されました #reinvent | DevelopersIO
                                                                • 高梨陣平 on Twitter: "素晴しい記事。M1 Macが実際よりも速く感じるのはmacOSの優れたスケジューラのため。人は複数のタスク全体のスループットよりも個々のタスクのレイテンシにより敏感。かつてLinuxのCompletely Fair Queue (… https://t.co/2ezdwFk6CD"

                                                                  素晴しい記事。M1 Macが実際よりも速く感じるのはmacOSの優れたスケジューラのため。人は複数のタスク全体のスループットよりも個々のタスクのレイテンシにより敏感。かつてLinuxのCompletely Fair Queue (… https://t.co/2ezdwFk6CD

                                                                    高梨陣平 on Twitter: "素晴しい記事。M1 Macが実際よりも速く感じるのはmacOSの優れたスケジューラのため。人は複数のタスク全体のスループットよりも個々のタスクのレイテンシにより敏感。かつてLinuxのCompletely Fair Queue (… https://t.co/2ezdwFk6CD"
                                                                  • EFS のスループット/バーストのメトリクス確認方法 | Oji-Cloud

                                                                    概要 スループットモードについて Amazon EFS(Elastic File System)は、スケーラブルでバースト可能なスループット性能を提供します。EFSのファイルシステムで選択可能なスループットモードには、バースト(デフォルト) or プロビジョニング済み があります。 スループットモードは後から切り替え可能です。また、プロビジョニングされたスループットモードでスループットを減らすことができます。ただし、前回変更した時点から 24 時間経過している必要があります。 バーストスループットモード バーストスループットモードは、保存されたデータ量に応じてスループットが高くなる。現在のスループットがベースラインより低い場合にバーストクレジットが蓄積され、スループットがベースラインより高い場合にバーストクレジットが消費される。 いずれのサイズにおいても、100 MiB/s のスループット

                                                                    • JEP 425: 仮想スレッドによるスループット向上

                                                                      原文(投稿日:2022/05/11)へのリンク JEP 425 "Virtual Threads (Preview)"が、JDK 19対象のProposed to TargetからTargetedに昇格した。Project Loomの傘下にあるこのJEPでは、仮想スレッドを導入する。これによって実現される軽量スレッドは、スループットの高いJavaプラットフォーム並列アプリケーションの記述、維持、監視に必要な労力を大幅に軽減するもので、現時点ではプレビュー機能である。 Javaは、メインストリームのプログラミング言語では初めて、並列プログラミング単位としてスレッドを言語のコア機能に取り入れた。従来のJavaスレッド(java.lang.Threadのインスタンス)は、オペレーティングシステム(OS)スレッド(いわゆるプラットフォームスレッド)の1対1のラッパである。一方の仮想スレッドは、OS

                                                                        JEP 425: 仮想スレッドによるスループット向上
                                                                      • VOICEVOX ENGINE(API)のスループット検証 - Qiita

                                                                        こんにちは。最近、ChatGPT×VRM 3Dモデル×VOICEVOXで性格・見た目・声をカスタマイズできるAIアシスタントアプリを開発・運営しているうえぞうと申します。 今回、このアプリの3大要素の一つである声を担うVOICEVOXのAPIサーバーの運用が結構大変だったので、その知見を還元することで少しでもコミュニティーに貢献したいと思いこの記事を書きました。 諸々の工夫についてはまた別途記事化するとして、本記事では企画段階で知っておくべきスループットの特徴についてシェアしたいと思います。 検証内容 まずは手元のPC(MacBook Pro 2020 / Core i7 論理8コア / 32GB RAM)で多重度の検証、その後一般的なAWSのサーバーでその処理時間を計測してみます。みなさんがVOICEVOXを利用したサービスを展開される際、一つの目安にしていただけるかと思います。 環境準

                                                                          VOICEVOX ENGINE(API)のスループット検証 - Qiita
                                                                        • [アップデート] Amazon EFS エラスティックスループットモードの最大スループットが向上しました、遂に東京リージョンも対象に | DevelopersIO

                                                                          いわさです。 Amazon EFS にはいくつかのスループットモードがあります。 このスループットモードごとに最大スループットが決まっているのですが、今朝エラスティックスループットモードの最大スループットが向上したとアナウンスがありました。 今回はこれまで対象外だった東京リージョンも対象 読み込みスループットと書き込みスループットがそれぞれ別で定義されており、今回のアップデートによって読み込みスループットが 20 GiB/s に、書き込みスループットが 5 GiB/s に変更されました。 1 年近く前に同様のアップデートがあり、エラスティックスループットモードの最大スループットが約 3 倍になりました。今回のアップデートでさらに 2 倍になったことになります。 EFS では一部のリージョンでのみ高スループットが提供されており、スループットモードによって対象リージョンが異なっています。 これ

                                                                            [アップデート] Amazon EFS エラスティックスループットモードの最大スループットが向上しました、遂に東京リージョンも対象に | DevelopersIO
                                                                          • Apple、Mac Pro (2023)のPCIeカードスロット情報を公開。スループットが最大になるようにプール間の帯域幅は基本自動割り当て。

                                                                            AppleがMac Pro (2023)のPCIeカードスロットの情報を公開しています。詳細は以下から。 AppleはWWDC23で発表したApple M2 Ultraチップを搭載したプロユーザー向けデスクトップMac「Mac Pro (2023)」の販売を、現地時間2023年06月13日より開始しましたが、このMac Pro (2023)はPCIe gen 4対応のPCIe拡張スロットをスロット7*搭載しており、 Mac Pro (2019)に発売されていた/OWC Accelsior 8M2などのストレージカードやファイバーチャネルカード、AJA KONA 5などのGPU以外のビデオ入力&オーディオI/Oカードが搭載可能なため、 Appleは、このMac Pro (2023)のPCIeカードスロットの仕様とPCIeカードの接続方法、拡張スロットユーティリティを利用した各プールの設定方法

                                                                              Apple、Mac Pro (2023)のPCIeカードスロット情報を公開。スループットが最大になるようにプール間の帯域幅は基本自動割り当て。
                                                                            • ネットワーク機器の転送処理能力(スループット)を測定してみた-スイッチ編

                                                                              試してみた基本の構成 データを送受信するPCの間にスループットを計測したい機器を挟んだ構成を作る。作った環境はこれだけ。 スループットを計測した時の基本構成 スループット計測に用意した機器 PCを2台(送信と受信用) OS:Windows10 インターフェイス:1Gbps 計測ツール:フリーソフトウェア「Nana」 スループット計測ツールとして以前使ったことのあるフリーソフトウェアの「Nana」がWindows10にも対応し復活していましたのでこれを使用させてもらいます。 Vector: Nana(ネットワークのトラフィック負荷テスト&スループット測定) スループットを計測したネットワーク機器 BUFFALO SMART HUB LGH-TX-T8BUFFALO LSW5-GT-8NSCisco SG110D-08 ソフトウェア「Nana」を利用する 双方のPCでインストールした「Nana

                                                                                ネットワーク機器の転送処理能力(スループット)を測定してみた-スイッチ編
                                                                              • [アップデート] Amazon EFS の Provisioned Throughput モードの最大スループット性能が3倍になりました | DevelopersIO

                                                                                Provisioned Throughput モードとは 指定したスループット性能を安定して提供してくれるモードです。指定したスループット性能に対して課金されますので、ワークロードのパフォーマンス要件がわかっている場合に利用されることが多いです。 ちなみに現在 AWS が推奨しているモードは Elastic Throughput モードです。 最大スループット性能の引き上げ 今回のアップデートで Provisioned Throughput モードの最大スループット性能は以下の値となりました。 書き込みスループット: 3.34 GiB/s 読み込みスループット: 10 GiB/s ※ 一部リージョンのみ。多くは書き込みスループット 1 GiB /s, 読み込みスループット 3 GiB /s です。 Elastic Throughput モードと比較 推奨モードの Elastic Throu

                                                                                  [アップデート] Amazon EFS の Provisioned Throughput モードの最大スループット性能が3倍になりました | DevelopersIO
                                                                                1

                                                                                新着記事