エクセル読み込みをPOIからFastExcelに置き換えてパフォーマンスを改善する
はじめに こんにちは！10 月から株式会社ログラスでエンジニアをやっています、Kyosuke です！ ログラスでは、エクセルファイルをプログラムから操作する処理が一部存在しており、Apache POIというライブラリを使用しています。（以後POIと呼びます） しかし、POI には処理方式によってはメモリを多量に使用してしまうという問題があります。 今回はその対応として、まずエクセルファイルの読み込みをFastExcelというライブラリに置き換えた話を振り返っていきます。 TL;DR POIのXSSFWorkbookは、ファイルをメモリ内に読み込んで操作するため、大きなエクセルファイルを処理する際にファイルサイズ以上のメモリを必要とすることがある POI の公式ドキュメントより FastExcelは、POIより機能は劣る代わりに、読み書きともにパフォーマンスは大幅に上回る 書き込み Fast
「リスキリングとかではなく統計検定3級とMOSのExcelとITパスポートをホワイトカラー職の全員に取らせましょう」という話をしている
ところてん @tokoroten 「リスキリングとかではなく、統計検定3級とMOSのExcelとITパスポートをホワイトカラー職の全員に取らせましょう」という話をしている ところてん @tokoroten 「人事部の仕事は研修プランを作ることだけじゃなくて、誰を社内の英雄にしてロールモデルにするかやぞ。 英雄を作れば、ヒエラルキーが自然と形成されて、勉強と昇進がリンクしていると思わせてくれるし『憧れ』は勉強の強い動機になる」 という話をしている ところてん @tokoroten 「統計検定3級と、ITパスポートは、いま高校生がやっている情報Iの範囲とほとんど被ります。つまりあなた方の社員は高校生が持っているはずのスキルが無いのです。だから、高校レベルからやり直す必要があります。いまの若い子たちの方が優秀です」 という話をしている
個人開発で「Excel専用のWebAPI」を作りました
どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
Excel方眼紙の編集に革命を起こすツールを開発した - Qiita
はじめに このツールを導入すれば、Excel方眼紙の編集でイライラしたり悩んだりすることはなくなります。 むしろ、とりあえず方眼紙ってなってしまうかもしれません。 また、すでに作成されたExcel方眼紙以外の文書に対しても、後から簡単にレイアウトを崩さずに列を追加したり削除したりすることが出来ますし、Excel方眼紙に変換することも出来ます。 もちろん逆の変換も容易に出来ます。 かんたんレイアウト 外観 おすすめの機能 Excel方眼紙 を 通常文書 へ変換 通常文書 を Excel方眼紙 へ変換 Excel方眼紙 を ピッチの異なるExcel方眼紙 へ変換 ピッチを変えずに全体の幅を拡大 または 縮小する 列の比率を変えずに全体の幅を拡大 または 縮小する 既存文書の列を分割 既存文書の列を統合 Excel方眼紙の列を分割 お試し 以下のリンクをクリックすれば、サンプルのExcelファイ
ウェブ版 Excel で使える新しい「Officeスクリプト」を試してみた | DevelopersIO
Guten Tag、伊藤です。 何気なく Web 版の Excel でスクリプトを使おうと見てみたら、GAS のようなサンプルスクリプトが出てきて驚きました。 「Office スクリプト」という TypeScript で記述できるスクリプト機能で、今年5月末にGAが開始したばかりなんですね！ しかし、同じエクセルファイルをアプリ版で開いてみると、従来のVBAが表示され、こちらのスクリプトエディタは表示されません。というのも、現時点で Web 版の Excel のみで利用可能な新機能なんですね。まさに Google スプレッドシートのスクリプトのようです。 ということで、今回は簡単に使ってみた内容を紹介します。 Officeスクリプトの始め方 まず、利用には商用ライセンスでウェブ版などの要件を満たしている必要があります。 現時点で要件として記載されているのは以下の通りです。 1. Excel
EXCEL VBAで綺麗な波線を書く - Qiita
EXCELで綺麗な波線を書きたい 波線が書きたいユーザーは多いと思うのですが、、 標準の曲線ではきれいな波線が書けないですよね。 ということで、区切り線や省略記号として、きれいな波線が書きたいと思って作りました。 作成される波線： 波線を書くにはVBAを使い、曲線の頂点を計算してやればいい！ 曲線を作成、頂点を追加し、波線にするプログラムです。 使い方は簡単で、下記のコードをEXCEL VBAの標準モジュールファイルに張り付けて使ってください。 Option Explicit Private Const MIN_KUGIRI As Double = 10.125 Public shpTmp As Shape '機能説明 :波の作成（縦） '引数 : '戻り値 : '備考 : Sub DrawWaveY() On Error GoTo ErrDrawWaveY Dim rngTmp
OpenRefineで神エクセルと戦う - Qiita
データエンスージアストにとって天敵とされる「神エクセル」。ぶつくさ言いながらも必要な人はひたすらセル結合の解除や省略値の補完やコピペ、そして検索と置換に勤しむ訳ですが、そんな人はぜひいちど、苦しみをみんなで乗り越えるためにコミュニティによって活発に開発されているOpenRefineを使ってみてください。神エクセルの難易度も様々ですが、表計算ソフトやテキストエディタだけで頑張るよりもはるかに効率的にクレンジングでき、さらには肩凝りも減らすことができます。※個人の感想です。 1 元データ 岩手県 令和元年度学校一覧（エクセル形式） セル結合はもとより均等割付、縦書き、名称の省略、区切り行などなかなか見事な神っぷりです。エクセルの行で596行あります。難易度は中級というところでしょうか。 2 整形/クレンジング 2.1 エクセルデータを読み込む 上級レベルになると、事前にエクセル側である程度整形
ClosedXMLとMVVMパターンを良好な関係にしてみる | Moonmile Solutions Blog
MVVMパターンを考えるとき、ViewはXAMLとかGUIだろうという固定観点があるが、実はそうではない。と思うのだがどうだろうか？いわゆる、ASP.NET MVC の View にWeb APIを割り当てると View ってのは XML や JSON になる。クライアントから見れば XMLやJSON はデータだが、MVCパターンで作られたWebアプリにしてみれば、XMLやJSONをViewに見立てることができる。実際、Web APIを作るとき複雑なXMLを返す場合は、Viewの機能を使ったほうが楽だったりする。 ClosedXMLをViewに見立てる CloseXMLを使って、Excelに値を書き込もうとするとき Cell(row,column)あるはCell(“A1”)を使うわけだけど、ここの書き込み先をXAMLのバインドのように書けないだろうか？ってのを思いついた。 で、Closed
Excel設計書を抹殺したくて4年前にWiki設計書を導入したら、意外とちゃんと開発回ってた話。 - Qiita
初めましてこんにちは。 最近コードレビューの記事書いたら、Excelベースだったことを理由に Qiitaコメントとはてブで徹底的に燃やされたおじさんです。 いやね、僕だって使いたくて使ってるわけではなくてね、 できることなら使いたくないんですよ。 というわけで名誉挽回のために脱Excelできた話、 それも日本の三大悪三大風習に数えられるExcel設計書を抹殺した話を書きます。 (2/25修正：悪は言いすぎました。訂正します。） Growi 最高。 またの名をExcel方眼紙。 エクセルのセルの縦横を同じくらいの大きさに調整し方眼紙のようにして、 そこに設計書として文字と図と表を記載する方式。 メリット 一つのファイルに文字と図と表がまとめて記載できる テキストでは文字は書けても図と表が書けない Wordでは、文字と図表エリアとを2列表示するのが難しい できなくはないが面倒くさい UMLモデ
「脱VBA」の道筋がついに見えた、ExcelデータをPythonで抽出・加工する方法
「Excelデータをプログラムで扱うのなら、VBA（Visual Basic for Applications）を使うべし」。多くの人はそう思っているでしょう。もちろんVBAはMicrosoft Officeのソフトを操るのにとても便利なプログラミング言語ですが、弱点もあります。 その1つが、Officeにしばられてしまうこと。業務に必要なデータ量がExcelや「Access」のカバーする範囲で収まらなくなったら、もう扱えません。 また互換性の問題から、Windows上で書かれたVBAのソースコードは基本的に、macOSやLinuxでは動かせません。VBAはプログラミング初心者にとって理解しやすい一方で、コードが冗長になりがちという側面もあります。 今からプログラミングを学んで業務を自動化したいなら、筆者はPythonをお薦めします。Pythonはシンプルで勉強しやすく、ライブラリーが豊富
ExcelやGoogleスプレッドシートは本当に大量のデータを処理できるのか？
by Pexels 経理データをまとめたり、機械学習で大規模なデータセットを構築したり、大量の数字を分類しながらまとめるときに表計算ソフトがよく使われます。コンピューター科学者であるAditya Parameswaranさんらが率いる研究チームが、Microsoft Excel、Google スプレッドシート、オープンソースのフリー表計算ソフトのLibreOffice Calcでベンチマークを行ったと発表。この研究結果を、コンピューター科学者のAdrian Colyerさんがわかりやすく解説しています。 Benchmarking Spreadsheet Systems https://people.eecs.berkeley.edu/~adityagp/papers/spreadsheet_bench.pdf Benchmarking spreadsheet systems – the m
Excel運用からAnsible TowerとGitLab運用に変更してどう変わったかまとめてみた | 日常系エンジニアのTech Blog
Ansible TowerとGitLabを入れてどういう運用を実現したかったかを簡単な例と一緒にまとめてみようと思います。（自分への備忘録含め） ここに書くこと ここでは Ansible Night in Tokyo 2019.04 で話をした中のLinuxサーバ運用編ついてもう少し詳細に書いてみようと思います。 ここで言う運用のイメージは 定常運用 です。 Excel運用課題の振り返り ファイルの管理が「yyyymmdd」などファイルの末尾で管理されていたりしてどれが最新か分かりにくい 手順書の変更履歴が表で管理されていて文字しか書いていなくて before after が分かりにくい レビューシートが手順書ごとに出来ていく、これも日付管理されたり文字で書いてあるだけなので実際にどう修正したのかが残らない 手順書フォーマットは統一されているが、人によって手順の内容がバラバラ 「このファイ
脱Excelについて考える：無料Excel互換アプリ4種基本評価
本コーナーではWindows環境を対象として、便利で、長い間利用できそうなソフトウェアやインターネット上のサービスを紹介していきます。必ずしもオープンソースに限定はしませんが、長い間アップデートされ続けていて、今後も継続して使えそうなソフトウェア／サービスに注目します。 知っトクWindowsツール「Excelの確認・編集もできる無料オンラインサービス『Office Online』とは」では、Excelのファイルなどを無料で見る方法を紹介した。 Officeをそれほど使わないユーザーであれば、Office Onlineなどを活用することで、Officeの導入コストが削減可能だ。しかし、ここで紹介したOffice Onlineは、Microsoftのサービスで、ある程度の互換性を持っていたが、対象ファイルをインターネット側にあるOneDrive上に置かなければならなかった。 このため、企業に
システム設計時の脱Excelの手助けとなるツール - 聞こえないJavaエンジニアが適当に書き連ねていく
これは何 業務で設計する際に、Excelを使わずにドキュメントを作成したいときに使いたいものまとめ。 Excelだと辛いこと Excelで図を書こうとすると、図形の大きさや矢印の向き、吹き出しの位置の調整に結構時間を取られてしまう。 また、修正したときに差分確認がExcelだと出来ないのでどこを変えたのかがわかりにくい。 改善するにあたって重視するポイント 新たなツールを購入する必要が無い。 フリーのツールで実現できる。 導入が比較的容易である。 環境構築するのが難しくない。 テキストベースで資料を作成出来る。 テキストベースであるため、差分確認が容易である。 構文が難しくない ある程度パターンを把握すれば、直感的に書くことが出来る。 図の配置はツールにほぼ一任が出来る。 図によっては、ちょっと位置を変えたくなることがあるが、その時はオプションでちょっとだけどうにか出来る。 画像ファイルへ
全人類に告ぐ。セル結合をやめろ。 - hibitの技術系メモ
（12/13追記 タイトルや表記に過剰な表現があり、セル結合を全否定するかのような印象を与えてしまいました。そのような意図はなかったのですが、補足記事を書きましたので、併せて読んでいただけると幸いです。すみませんでした。） 人類よ、なぜそんなにセル結合を使いたがる？ それが罪深い行為とも知らずに……。 思わず神視点になってしまいましたが、この世界にはExcelのセル結合を無意味に使いたがる人が多すぎます。いや、メリットがないことはないのですが、それを余裕で上回るデメリットがあることを意識している人が少ないように思われます。データというのは、コピペしやすいこと、集計しやすいこと、数え間違いをしづらいことが第一なので、それを損ねるような行為は許されざる大悪というべきでしょう。断固として弾劾していきます。 綺麗なデータとは ここにエクセルで作った、同じソースから作成した3種類のデータ（東京都の区
ExcelなしでExcelファイルを操作するには？（純正SDK編）［.NET 3.5、C#／VB］：.NET TIPS - ＠IT
ExcelなしでExcelファイルを操作するには？（純正SDK編）［.NET 3.5、C#／VB］：.NET TIPS Open XML SDKを使用して、Excelファイル（.xlsxファイル）をC#やVisual Basicから作成したり、それに対して書き込み／読み込みを行う方法を説明する。 連載「.NET TIPS」 Microsoft Office（Word／Excel／PowerPoint）のファイルをプログラムから操作したいとき、OfficeがインストールされているWindows上ならばCOMインタフェースが使えることはよく知られている。では、Officeがインストールされていない環境のときは、どうしたらよいだろうか？ Office 2007から採用されたOpen XML形式のファイル（拡張子が.docx／.xlsx／.pptx）であれば、Officeがなくても、また、.NET
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、「Excel」のようなローコード向けプログラミング言語「Power Fx」を発表／市民ユーザーと専門開発者の懸け橋に
お役所「Excel」の改善案が公開 ～あかんヤツ→ええヤツの例がわかりやすく、一般市民にも結構参考になる／“機械にも読めるスプレッドシート”を心掛けよう【やじうまの杜】
GitHub - jspreadsheet/ce: Jspreadsheet is a lightweight vanilla javascript plugin to create amazing web-based interactive tables and spreadsheets compatible with other spreadsheet software.
Excelの面倒な操作をラクにする機能を40種類以上まとめた無料アドイン「SuperXLe」【レビュー】 - 窓の杜
