pandasで1000万件のデータの前処理を高速にするTips集 - Qiita
はじめに 当社にアルバイトに来ていた人（来春に新卒入社の予定）に「pandasを高速化するための情報は無いですか？」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春（2019年4月）にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
Best practices for writing Dockerfiles | Docker Documentation
Overview Docker Desktop Overview Install MacUnderstand permission requirements for MacWindows Use the MSI installer New OverviewInstall and configureUse IntuneFAQsUnderstand permission requirements for WindowsLinux Installation per Linux distro UbuntuDebianFedoraArchSign in Explore Docker Desktop OverviewExplore ContainersExplore ImagesExplore VolumesExplore BuildsResource Saver modePause Docker D
そろそろ真面目に、HTMLで帳票を描く話をしようか - Qiita
帳票といえばPDFとして生成するのが一般的でしょうか? でも、2015年の今、あえてHTMLで描くのがホットです(個人的に)。ミリ単位で設定された高度な帳票も、CSSを駆使して簡単に作ることができます。業務システムでもモダンブラウザを選択することが増え、@pageなども積極的に使えるようになったこと、SPA(Single Page Application)の台頭、いろいろと条件が揃ってきました。 書いてたら結構長くなっちゃったので、さくっとコードだけ見たい方は、Paper CSSリポジトリをどうぞ。 はじめに HTML帳票のメリット 2015年現在、HTML帳票を選択する幾つかのメリットがあります。 ライブリロードで、リアルタイムなスタイル調整 バックエンドではなくフロントエンドで生成できる 前者は、gulpやGruntの普及で、CSSにしろHTMLにしろ、リアルタイムにプレビューできる環
SEGV探偵が往く - なるせにっき
人は誰しも108つの夢を持つと言いますが、読者の皆さんにも探偵を夢見た人は多いことでしょう。実際問題として探偵業をやろうと思ったら地道な聞き込み＆張り込みの日々でしょうし、逆に派手な探偵業は陰謀＆殺人で恐ろしい。わたしも自分の命は大事ですからどうするか。そう、探偵ごっこをするわけですね。 というわけでSEGV探偵です。死ぬのはプロセスなので安心。Rubyを使っていればSEGVなんて見慣れたものですが、いざ捜査しようと思うと意外とその辺には転がっていないもの。（むかしはつかみ取り出来るくらいいたそうですよ）とはいえ今でもいわゆる「バグ鉱脈」みたいなものはありまして、その一つが「最新のコンパイラでビルドしてみる」です。 今日はGCCの開発版であるGCC8を試してみましょう。FreeBSDだとsudo pkg install lang/gcc8-develで簡単に入れられるのですが、他の環境だと
exediff – 実行ファイルを比較できる差分チェッカー
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました プログラマーであればソースコードの差分に助けられることも少なくないと思います。差分は色々な情報が見えてくるでしょう。今回はその一つ、exediffを紹介します。実行ファイル（ExeまたはDLL）のロードイメージを比較し、差異を表示してくれるソフトウェアです。 オプションとして、タイムスタンプやチェックサムを無視した比較もできます。そして比較ファイルのテキスト形式のダンプが可能となっています。セクションデータでの比較は差異が一定量（デフォルトでは4）に達すると比較を打ち切るようになっています。 バイナリファイルの比較というのは面白く、単純にバイトコードではなく構造を比較してくれるので見やすいのが特徴です。同じファイル名のExeファイルやDLLファイルがあった時にその何が違うのか目安と
F#でWPFやるときのTipsとか(その2) - ぐるぐる～
F#でWPFやるときのTipsとか(その1)の続編です。 添付プロパティの作り方 F#で添付プロパティを作るには、添付プロパティの本体はプロパティではなくフィールドに保持する必要があるようです。 // ダメな例 type Sample private () = static member SomeValueProperty = DependencyProperty.RegisterAttached("SomeValue", typeof<string>, typeof<Sample>, FrameworkPropertyMetaData("", Sample.OnSomeValueChanged)) static member GetSomeValue(obj: DependencyObject) = obj.GetValue(Sample.SomeValueProperty) :?> s
Merge, update, and pull Git branches without using checkouts
I work on a project that has 2 branches, A and B. I typically work on branch A, and merge stuff from branch B. For the merging, I would typically do: git merge origin/branchB However, I would also like to keep a local copy of branch B, as I may occasionally check out the branch without first merging with my branch A. For this, I would do: git checkout branchB git pull git checkout branchA Is there
Visual Studio の便利なのに知られていない機能
まず、私が先日公開したブログ記事 (英語) に寄せられたあるコメントを紹介しましょう (たくさん寄せられたうちの 1 つで、その記事のコメント欄でご覧いただけます)。 Btw, "until I realized that the Solution Explorer tree nodes are searchable." This one is a saver ! (訳: ところで、「ソリューション エクスプローラーのツリー ノードが検索可能…」と書かれてていますが、こういうヒントは助かります!) この記事の中で何気なくソリューション エクスプローラーのテキストが検索可能であることに触れたのですが、それがコメントの投稿者である Sam さんの目に留まったようです。このようなちょっとした小ワザは Visual Studio にたくさんあり、中には熟練の開発者ですら知らないものもあります。こう
Visual Studio の知られざる便利機能
Visual Studio は、開発者がより多くの作業をすばやくこなすための多くの生産性機能が備わった強力な IDE です。この記事では、Visual Studio チームに 1 年前に加わった私が見つけた便利な機能をいくつかご紹介したいと思います。すべて Visual Studio 2015 の機能で、一部は旧バージョンでも搭載されていた機能なので、最新バージョンでなくても使用できるものもあります。 クイック起動 (Ctrl + Q) クイック起動は、タイトル バーの右端にある高度な検索ボックスです。メニュー コマンドやオプションだけでなく、ファイル、設定、NuGet パッケージ、その他さまざまなものを検索できます。既定のキーボード ショートカットである Ctrl + Q を使用すれば直接アクセスできます。 リストのアイテムにカーソルを重ねると、ショートカット キーやディレクトリ情報など
使いにくいというオッサンのためのWindows10の講座：
昔のWindows知っていると逆につらい： Windows10の「超ショートカット文化」に慣れるとかなり使いやすい。Macより作業速度は早いと思う。ただし、従来のWindowsの使い方を世襲するとつらい。オッサンは昔の使い方を早く捨てろ。慣れろ。 スタートボタンは復活したが使えない： Windows10でスタートボタンが復活したがクソなので使わない。MS社内の権力闘争の匂いしかしない。代わりにWindows10からWin+SとWin+Xのショートカットを使う機会が異常に増えた。ないと死ぬ。 アプリ起動の基本はWin+S ランチャーはWindowsキー+Sを押して、使用するアプリの頭文字を1-3文字打てば良い。スタートメニューが復活したがゴミクズだ。コルタナはランチャーとしてはSpotlightより動作が早い。インデックス検索はMacのほうが賢いが、ランチャーとしてはコルタナの方が賢い。Wi
人間らしいGitのエイリアス | POSTD
断固としてコンピュータ言語を拒絶する 私の知っている最も一般的な .gitconfig は、ユーザ名の設定だけが記されたものです。そして、その次に一般的なものはこれです。 [alias] ci = commit cia = commit -a cam = commit --amend cama = commit --amend -a cl = clean cldf = clean -df res = reset resa = reset HEAD ... # 82 more 4-character aliases このコンフィグは、要するにあなたの頭の中のスペースをキーストロークに置き換えます。短縮コマンドのエイリアスを覚えれば、タイピング数の節約が可能です。しかし私はこれが好きではありません。私はタイプミスをしますし、睡眠不足なこともたまにあるので、このエイリアスではやりづらくなってしま
AWSで避けるべき5つの間違い | POSTD
今年からAWS（Amazon Web Services）クラウドコンサルタントとして、中小規模のAWSデプロイの相談を受けています。その多くは典型的なWebアプリケーションです。ここで、ぜひ避けたい5つのよくある間違いを紹介します。 インフラストラクチャを手動で管理する。 Auto Scaling グループを使わない。 CloudWatchのメトリクスを分析しない。 Trusted Advisorを無視する。 仮想マシンを活用しない。 典型的なWebアプリケーションにおける間違いを防ぎたい人は、次に進んでください。 典型的なWebアプリケーション 典型的なWebアプリケーションは最低限次の要素で構成されているものを指します。 ロードバランサ スケーラブルなWebバックエンド データベース そしてこのアプリケーションは、次の図のような仕組みを持っています。 注釈：（左から）DNS、CDN、静
Chrome開発者ツールの小技集 | POSTD
最近、普段以上にChromeの開発者ツールを使うことに時間をかける機会がありました。その過程で、自分が今まで気づいていなかった機能をいくつか見つけました（少なくとも今までその機能を探す必要に迫られていなかった、とも言えるのですが。例えばブラックボックス化や非同期のスタックトレースなど）。そのため、開発者ツールでとても気に入っているいくつかの機能についてまとめてみたくなったのです。 小さな虫眼鏡ののアイコンは、特定の要素やCSSプロパティに対して、「どのCSSファイルに書かれているどのセレクタ/クラスが最終的なスタイルを決めているか」を示してくれます。例えば、どれかDOM要素に対して「要素を検証」を選び、右側の「Computed」というタブを選びます。確認したいCSSプロパティを見つけてその虫眼鏡アイコンをクリックすることで、すぐさま右側に正しいCSSファイル内のクラス/セレクタを表示してく
ReactをjQueryの数行に要約する | POSTD
「Reactが素晴らしい理由は、UIをアプリケーションの状態の純粋関数にできるからだ」いうような話を聞いたことがあるでしょう。しかしそれだけではなく、不変性と仮装DOMを利用して動作するということも聞きますよね。その上、保存、読み込み、取り消し、それにタイムトラベル・デバッグと呼ばれるすごい機能まで自由に手に入れられる。でも知っていますか？ Reactの核となるアイデアを利用し、その恩恵に預かるのにこれらのことは必要ありません。jQueryの数行にしてお見せします。 <span id="colored-counter">0</span> <input id="color"></input> <button id="inc"></button> <script> $('#color').on('keyup', function () { $('#colored-counter').css('
仕事が10倍捗るスプレッドシート神関数10 | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Modeの安宅です。先日から、とあるプロジェクトにジョインして、久々にGoogleスプレッドシートをゴリゴリ活用して仕事をしています。そんな中、これは惚れた！というスプレッドシートの神関数を紹介したいと思います。 ARRAYFORMULA関数 これを活用し始めてから、関数をいちいち全部の行に埋め込んでいくことが、なんだかカッコ悪く感じるくらい、スマートでオシャレな関数です。例えば、100行のVLOOKUP関数を行うときには、これまではVLOOKUP関数を1つ作って、それを残り99個の行にVLOOKUP関数をコピーしていたと思いますが、ARRAYFORMULA関数を使うと、なんと1個の関数で100行分の値が出力されます。実際に動作も軽くなるのでカッコよさと実用性を兼ね備えた関数です。配列に対応する関数であれば、ほぼなんでも利用できるのも好感度が高いです。
【保存版】これなしでは生きられない厳選アプリ特集「2015_Windows編」 | ライフハッカー・ジャパン
Windowsには優れたアプリが数えられないほどありますが、その多くはパソコン設定用の基本的なものです。今年の「Lifehacker Pack for Windows」は、生産性、コミュニケーション、メディア管理などに役立つ、絶対ダウンロードすべきアプリをご紹介します。 （※一部英語版のみの製品になります）Ninite Pack 米Lifehackerは今年も『Ninite』と呼ばれる、Windowsの厳選アプリをワンクリックで大量にインストールできるアプリの力を借りて、Windows Lifehacker Packのワンクリック・インストーラーを作りました。Packごとダウンロードしてもいいし、欲しいアプリだけ選ぶこともできます。Niniteはアプリを一度にインストールしますが、余計なソフトやツールバーはついてきません。新しくWindowsをインストールするときや、友人のパソコンに厳選ア
Visual モード時の CTRL-A/CTRL-X について
Vim をお使いの方であれば、数字の上で CTRL-A や CTRL-X を押すとインクリメント/デクリメントされる事はご存じだと思います。 Patch 7.4.754 により Visual モードで選択している数字を一括でインクリメント/デクリメント出来る様になりました。 もちろん 20<CTRL-A> で一気に20インクリメントする事も出来ます。 単純に <CTRL-A>, <CTRL-X> をタイプした場合、アクション後にビジュアル選択が解けてしまうので、続けて操作したいという場合は
Gitコマンドラインショートカット | POSTD
私は多くの時間をターミナルの前で過ごしていて、そのほとんどをGitコマンドのタイピングに費やしています。ワークフローを高速化して、毎日何百というキーストロークを節約するために、Bashのエイリアスと関数を使って1組のコマンドラインショートカットを作りました。 Git Bashエイリアスと関数 Gitではエイリアスを設定できますが限定的であり、節約できるキーストロークは、ほんの数ストロークです（例えば、”git checkout”の代わりに”git co”とタイプすることはできますが、まだ”git”とタイプしなければなりません）。Bashはターミナルのデフォルトのコマンドラインインタープリタなので、Bashエイリアスを設定して、さらにキーストロークを減らすこともできます。 これが、私のGit Bashエイリアスと関数のリストです。ご自分のエイリアスや関数の保存先ファイル（例えば、~/.bas
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OS機能によるアプリのパフォーマンス測定 － ＠IT
Shiny tips & tricks for improving your apps and solving common problems | R-bloggers