巨大csvの整形を高速に行う便利パッケージ: NYSOL(MCMD) - Qiita
大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という神ツールの存在を知って膝から崩れ落ちたので共有します。 NYSOL(MCMD)とは 以降の記述ではNYSOL(MCMD)をMCMDと表記します csvデータの編集、抽出、統計量の算出などを行うコマンド群(70種類ぐらいある)です。 標準入力を受け取って標準出力に結果を表示するので、簡単にパイプで処理を繋げることができます。 さらにC++で書かれているため、とにかく早い(らしい)です。 インストール 公式
How Did AppNexus Scale? CTO Mike Nolet Will Tell You | AppNexus Tech Blog
How Did AppNexus Scale? CTO Mike Nolet Will Tell You AppNexus co-founder and CTO Mike Nolet will present a two-part webinar series on scalability and ad serving in October. He’ll lead interactive discussions on how AppNexus built a globally distributed infrastructure to manage 14+ billion ads/day with a deep dive into how AppNexus handles this volume, collects and aggregates event data and distrib
RabbitMQ vs Apache ActiveMQ vs Apache qpid
We need a simple message queue to ensure asynchronous message passing across a bunch of our server side apps. The message volume is not intended to be very high, latency is not an issue, and order is not important, but we do need to guarantee that the message will be received and that there is no potential for failure irrespective of infrastructure downtime. Dhruv from my team had taken up the tas
ØMQ(zeromq)について調査する。
ØMQ(zeromq)について簡単に調査したのでメモ。元ネタはØMQ - The Guide。 概要 N-N通信を実現する、socket API風軽量メッセージングライブラリ。 自動的な再接続や、メッセージのキューイングを行ってくれる。 複数のメッセージングパターンと呼ばれるものを組み合わせることによって、柔軟なメッセージ配信を行うことができる。 ライブラリについて socket APIライクなC APIを持つ。以下socketは、zeromqのsocketを指す。 zeromqはコンテキストというものを通じて使う。1コンテキストに、I/Oスレッドが1つ割り当てられる。基本1プロセスに1コンテキストでOK。複数のcontextを持つことはできるし、その場合は同じ個数のI/Oスレッドが走る。 zeromqのsocketは、プロセス内通信(スレッド間通信など)、プロセス間通信、TCP、UDPマ
mixiがはまったmemcached(or libevent?)の問題を調べる人たち
Neal Sato @nealsato 二日とも複数台のmemcachedが連続して落ちました。コアは吐かずにストンと落ちるので、原因追及に時間がかかりましたが、memcachedへの接続数が異常に多いと落ちる事は再現できました。 #mixi 2010-08-12 02:33:00 Neal Sato @nealsato memcachedが大量の接続を受けると突然停止をするので、memcachedへの接続数を減らし安定運用中。外部からの過剰アクセスではなく、サーバ追加→クライアント数増加→停止。 2010-08-12 08:45:50 達人が教えるつぶあん🇺🇦 @kazeburo ファイルディスクリプタが不足してmemcachedが落ちたとして、そのときには、3万強の接続となってるはず。3万強の接続となるにはアプリケーションサーバ側のmax clientが平均60として500台以上必
Ehcache
Ehcache is an open source, standards-based cache that boosts performance, offloads your database, and simplifies scalability. It's the most widely-used Java-based cache because it's robust, proven, full-featured, and integrates with other popular libraries and frameworks. Ehcache scales from in-process caching, all the way to mixed in-process/out-of-process deployments with terabyte-sized caches.
高校生のための NVIDIA CUDA サマーキャンプ 2012 8/30 thu. | NVIDIA
CUDA Zone CUDA® is a parallel computing platform and programming model developed by NVIDIA for general computing on graphical processing units (GPUs). With CUDA, developers are able to dramatically speed up computing applications by harnessing the power of GPUs. In GPU-accelerated applications, the sequential part of the workload runs on the CPU – which is optimized for single-threaded performance
[pdf]CUDA テクニカル. トレーニング. Vol I: CUDA プログラミング入門. Q2 2008. 制作および提供: NVIDIA
CUDA Vol I: CUDA Q2 2008 : NVIDIA GPU ..............................................................................1 CUDA ....................................................................10 CUDA ....................................................................................25 ........................................................................................56 G8x ...................
Welcome to the irqbalance website | Home
IRQBALANCE - handholding your interrupts for power and performance irqbalance is a Linux* daemon that distributes interrupts over the processors and cores you have in your computer system. The design goal of irqbalance is to do find a balance between power savings and optimal performance. To a large degree, the work irqbalance does is invisible to you; if irqbalance performs its job right, nobody
[ニュース] 改造Firefoxで日米間6.5GbpsのWebアクセス。東大が世界最速達成
東京大学大学院情報理工学系研究科の平木敬教授らによる研究チームは27日、米国で開催されたスーパーコンピュータ関連の国際会議「Supercomputing 2009」（主催：IEEEコンピュータソサエティ）の「バンド幅チャレンジ」で実施した日米間の長距離ネットワークデータ転送実験で、小型PCを用いて、Webを介した6.5Gbpsのデータ転送速度を達成したと発表した。 このデータ転送実験は、東京大学と米国ポートランドの「Supercomputing 2009（SC09）」会場に設置した2台の小型PCと、10Gbpsの学術用ネットワークを使って実施した。小型PCの使用部品はすべて市販品で構成され、CPUは「Intel Core i7 940」、マザーボードは「ASUS Rampage II GENE」、ネットワークインターフェイスは「Chelsio S310」を使用。SSDとして使用する6個の「
MapReduce Online | EECS at UC Berkeley
Tyson Condie, Neil Conway, Peter Alvaro, Joseph M. Hellerstein, Khaled Elmeleegy and Russell Sears EECS Department University of California, Berkeley Technical Report No. UCB/EECS-2009-136 October 9, 2009 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-136.pdf MapReduce is a popular framework for data-intensive distributed computing of batch jobs. To simplify fault tolerance, the output
グーグルの研究が示すメモリエラーの真実--明らかになった高い発生率
どうしてまたコンピュータがクラッシュしたのかと不思議に思ってはいないだろうか。Googleの実環境での研究によれば、それはメモリが原因かもしれないという。この研究では、メモリのエラー率が、これまでの研究で示されていたよりも高いことが分かった。 Googleは、同社のデータセンターにある膨大な数のコンピュータを使って、それらのマシンの実際の稼働状況についての実環境データを大量に収集することができる。それがまさに、エラー率が驚くほど高いことを明らかにした研究論文のために、同社が行ったことだ。 トロント大学教授Bianca Schroeder氏と、GoogleのEduardo Pinheiro氏ならびにWolf-Dietrich Weber氏の共著である同研究論文によれば、「メモリエラーの発生回数や、さまざまなDIMMにおけるエラー率の範囲が、以前報告されていたよりもずっと高いことが分かった。メ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NYSOL biz
なぜH2Oを作るのか 〜HTTP/2の未踏性〜
-新製品- SUPERMICRO H8QG6+-F
GlusterFS 技術と動向 1of2
How does Google Analytics calculate the number of Unique Visitors for any arbitrary timespan?
Comparing Memcached and Ehcache Performance | Greg Luck's Blog
http://www.polimetrix.com/pycon/slides/
2009/12/10 GPUコンピューティングの現状とスーパーコンピューティングの未来
