エクセル読み込みをPOIからFastExcelに置き換えてパフォーマンスを改善する
はじめに こんにちは！10 月から株式会社ログラスでエンジニアをやっています、Kyosuke です！ ログラスでは、エクセルファイルをプログラムから操作する処理が一部存在しており、Apache POIというライブラリを使用しています。（以後POIと呼びます） しかし、POI には処理方式によってはメモリを多量に使用してしまうという問題があります。 今回はその対応として、まずエクセルファイルの読み込みをFastExcelというライブラリに置き換えた話を振り返っていきます。 TL;DR POIのXSSFWorkbookは、ファイルをメモリ内に読み込んで操作するため、大きなエクセルファイルを処理する際にファイルサイズ以上のメモリを必要とすることがある POI の公式ドキュメントより FastExcelは、POIより機能は劣る代わりに、読み書きともにパフォーマンスは大幅に上回る 書き込み Fast
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する
［GDC 2023］Windowsの新ファイルシステム「DirectStorage」でSSD時代のPCゲームローディングは爆速化する ライター：西川善司 GDC 2023においてAMDは，ブース出展こそしなかったものの，会期4日めとなる2023年3月24日，同社製品や関連技術を紹介するセッションを数多く行った。AMD製CPUの「Ryzen」や，GPUの「Radeon」にまつわる内容が多い中，なぜかMicrosoftのストレージ高速化技術「DirectStorage」（関連リンク）の効果を検証する講演があったので，その内容をレポートしたい。 セッションタイトルは「DirectStorage〜Optimizing Load-Time and Streaming」だ。 David Ziman氏（Senior Member of Technical Staff） まずはDirectStorageが
尼崎市「泥酔USB紛失事件」のてんまつ、こんなひどい報告書を読んだのは初めてだ
客によるITベンダーへの丸投げと、人月商売にありがちなITベンダーによる現場丸投げのなれの果てだな。調査報告書に目を通して、そんな感想を持った。何の話かというと、兵庫県尼崎市で再々委託先の技術者が泥酔してUSBメモリーを一時紛失し、そこに保存されていた全市民の個人情報を漏洩の危機にさらした例の事件の報告書である。ただもう1つ別の感想がある。「こんなひどい報告書を読んだのは初めてだ」。 この報告書は尼崎市が2022年11月28日に公表した直後に読んだ。人月商売のIT業界と客のIT部門などのアカンところを徹底的にえぐり出して、悔い改めてもらうことを仕事の本分と心得ている私だから、当然のことだ。で、読み始めたのだが、いろんな意味で「何じゃこりゃ」とあきれてしまった。BIPROGY（旧日本ユニシス）の客先、尼崎市の現場は、人月商売にありがちとはいえ、やりたい放題。尼崎市は究極の丸投げでベンダーマネ
プログラムがメモリをどう使うかを理解する(1)
この記事の狙い この記事は、端的に言えば この図が言わんとしていることを理解できるようになるための解説を目指しています。 昨今のプログラミング環境において、メモリの管理方法やその実態は、詳細を知らずとも目的を達成できるようになっています。といっても、実際にはメモリは無尽蔵に使えません。制約が厳しい環境下で動かさねばならないプログラムもありますし、多少潤沢に使える環境であっても、無駄に浪費するよりは、必要最低限のメモリで効率よく動作するプログラムの方が、多くの場面においては良いプログラムと言えるでしょう。 メモリのことなど知らなくてもプログラムを書けるのは一つの理想ではありますが、現実的にはその裏に隠されている（抽象化されている）仕組みを知っておいたほうが有利です。また、昨今のレトロゲームにおけるタイムアタックで駆使されるメモリ書き換えのテクニックなども、何故そういったことが可能なのかを知る
パソコンユーザーのためのDRAM入門 Part 1 パソコンにおけるDRAM、DRAMの構造 - Qiita
序 : プロセッサへの嫉妬 DRAMさん「最近みんなCPUやGPUにばかりうつつを抜かしやがって…。みんながやれRyz○nだの、FinFET ○nmだの盛り上がって、みんなが次世代プロセッサを楽しみにしている。新しいアーキテクチャやISAが出てきて話題も絶えない。」 DRAMさん「たしかによ…CPUはパソコンの花形だし、GPUの性能上げればゲームのグラフィックスがきれいになるよ。それに比べると俺は目立たない。」 DRAMさん「挙句の果てに、Memory wallだなんて言われて、CPUやGPUの足を引っ張る存在だと疎まれている。」 DRAMさん「だけど…だけど…俺がいなかったらパソコンは動かない…！それに、俺だって頑張ってる！お腹にviaを貫通させたりして、CPUやGPUの足を引っ張らないようにしている！」 DRAMさん「だから…だから…俺を…DRAMを…見てくれ…！！！」 対象読者 DR
CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
ブラウザにおけるメモリリークを解決するために読んでおけると良い資料 - mizdra's blog
最近趣味や仕事の Web アプリケーションでメモリリークに遭遇して、頑張ってメモリリークの原因を突き止めて修正する、ということがあった。その過程でメモリリークについて色々調べて知見が溜まったので、学習資料の紹介という形でアウトプットしてみる *1。 前置き 紹介する記事がかなり偏っていることに注意 冒頭で触れたメモリリークを解決するために読んだ記事をまとめただけなので、内容にそれなりの偏りがある 例えば id:mizdra が遭遇したメモリリークは全てブラウザ上で発生していたものだったので、これから紹介する内容も主にブラウザにおけるメモリリークに焦点を当てたものになる GC がどうメモリをどう解放しているか、何故メモリリークが発生するのかは全てカット 調べれば色々な記事が出てくるので、必要に応じて読んでください 基本的な知識を抑える まずメモリリークとメモリ撹拌の違いを学ぼう どちらも同じ
「強いメモリモデル」と「弱いメモリモデル」 - yamasaのネタ帳
Apple M1についての面白い記事を見かけて、久しぶりにメモリモデル屋(?)の血が騒いだのでブログを書く。 note.com 強いメモリモデル 現代のCPUアーキテクチャでは、x86(64bit, 32bitどちらも)が「強いメモリモデル」を採用しており、それ以外のメジャーなCPUが「弱いメモリモデル」を採用している。この「強いメモリモデル」「弱いメモリモデル」について、まずおさらいしておこう。 以下のように、2つの変数a, bに対して異なるCPUコアが同時にアクセスしたとする。 int a = 0; int b = 0; CPU1: a = 1; b = 1; CPU2: int r1 = b; int r2 = a; (上記はC言語に似た疑似コードを用いているが、実際は機械語命令になっていると考えてほしい。つまり、CPU1は変数a, bの示すメモリアドレスに対するストア命令を実行して
コンピュータアーキテクチャの話(320) なぜGPUにはDDR DRAMではなくGDDR DRAMが用いられるのか?
DDR3/4系のDRAMのデータピンのデータ転送速度は、典型的には1.333Gbit/s～2.4Gbit/s程度である。一方、GDDR5 DRAMではデータピンあたり7Gbit/sの速度でデータ転送するものが使われている。 このように、GDDR5 DRAMはデータピンあたりのデータ伝送速度がDDR3/4 DRAMの3～4倍であるので、それだけ高いメモリバンド幅が得られる。また、GDDR5 DRAMは1チップで32bit幅のデータを読み書きできるので、4bit、または8bitのデータ幅のDDR3/4 DRAMより少ないメモリチップ数で必要なビット幅を実現することができる。 CPUのメモリチャネルは4チャネル合計で256bit幅であるが、ハイエンドのGPUは12～16個のGDDR5 DRAMを使って384～512bitと、CPUに比べて1.5～2倍のデータ幅を持っている。 この3～4倍の転送速
電源を切っても消えないメモリとの付き合い方
メモリのように書けて永続化される次世代ストレージデバイスNVDIMMの扱い方を解説します これは2019年10月19日に行われる予定だった カーネル／VM探検隊＠北陸 5回目(台風の影響で中止) での発表資料です サンプルコード: https://github.com/Fadis/kernelvm_20191019_samples
１台あたり10,000人を捌くRails製Webサーバのチューニング - dely Tech Blog
SREの深尾です。kurashiru [クラシル] のインフラを担当しています。 タイトルのとおり、クラシルのwebサイトではRailsを使っており、１サーバあたり10,000人程度のアクセスに耐えることができます。実際には余裕を持たせて5,000人/サーバを目安にスケールさせており、TV CMをガンガンやったり、国内外のTV番組で特集されたり、芸能人にSNSで拡散されても動じませんが、実は過去に１度だけWebサイトがダウンしてしまったことがあります。それは2017年3月11日にSmaSTATION!!というTV番組でクラシルが取り上げられた時のことでした。 以下はその時のリクエスト数を表すグラフです。ダウンしてしまったので計測できなかったユーザの数字は含まれませんがそれでもアクセス数は１分で数万人を超えていました。 それまで、Webサイトの負荷対策はあまり行っておらず、２台のWebサーバ
プログラマが知っておくべき、メモリ/ディスク/ネットワークの速度まとめ - Qiita
注: 無線ネットワークは干渉などによりこの数値より遅くなる状況も十分ありえます。 ポイント メモリからの読み込みとディスクからの読み込みはランダムアクセスで1000倍程度違う とは言え、最近はディスクも結構速い きちんと繋がれた有線ネットワークからの読み込みは、ディスクより速い つまり、ディスクから読むより、同じデータセンターのマシンのメモリから読んだほうが速い モバイルネットワークだと100キロバイトのデータでも1秒以上かかることがある メモリからの読込速度の遅さは、CPUのクロック数も10G/s程度なのと、本来はL1/L2キャッシュなどがあることを考えると通常意識しなくて良い 何故この参考値をまとめたか プログラミングをする際、どのくらいの時間でどのくらいのサイズ感の処理が出来るのかを考えられることが、ある一定規模以上のサービスを開発するときは必須条件になってくると思います。 なにより
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまどきのVulkan
WindowsをUSBメモリに入れて持ち運べる「EaseUS OS2GO」が発売開始 ～Macでも起動／Windows 11にも対応。すべてのブランドのUSBドライブとUSBメモリをサポート
メモリコンシステンシモデル memory consistency model - ppt download
見れば全部わかるDDR4メモリ完全ガイド、規格からレイテンシ、本当の速さまで再確認 DDR4メモリを買う前に知っておきたい基礎知識編 text by 坂本はじめ
128GBもメモリを載せたら、PCはどこまで快適になるのか？ 動画や写真編集、VMにゲームまで…… 超多コアCPU＋大容量メモリは、最強の「ながら作業PC」？ text by 坂本はじめ
テクニカルジャーナリスト後藤弘茂氏が語るプロセッサ技術トレンド 最新技術情報を踏まえ、次世代機のスペック予想をアップデート！