第7回 大規模データ処理におけるCPUとI/Oのバランスをどう考えるか | gihyo.jp
3大ボトルネックを解消すれば終わり、ではない これまでの連載では、ディスクI/O、CPU、ネットワークI/Oの3つの観点で、大規模データを処理するときのボトルネックの傾向と改善点について説明しました。それらの改善策をすべてを実施すれば、もう何も心配する必要はないのでしょうか？ 残念ながら、よかれと思って実施したチューニングがほかの箇所に影響を与える可能性があります。最終回となる今回は、その具体例を見ていきましょう。 データを圧縮した場合、CPUボトルネックが生じやすくなる 大規模データを扱うときは、データの総量を小さくしてストレージ装置のコストを削減するため、圧縮機能の利用を検討することが多いです。 データを圧縮する場合、RDBMSの機能を利用するのが一般的です。たとえばOracle Databaseには、以下のように何種類かの圧縮機能があります。 標準圧縮機能 OLTP圧縮機能（Adva
Nginxを改造して欲しかった画像サーバーを作った | nonomura.jp
スマートフォンサイトに向けての最適化だったり、 Webページのレイアウトの変更だったりで、 同じ画像でも様々なサイズを利用することがある。 サイトの運用を続けていると、 同じ画像でも数通りのファイルを保存していて、 ファイル数が大量になってIOがキツくなってきた。 数多くなるとIO辛いから、 ファイル増やさないように気をつけてね、 と社内で言い続けていたら… Webサイトでは、本来小さい画像で良いところに 大きい画像を使用して、 JavaScriptでリサイズする処理が多用されはじめ、 今度は転送量が増加しはじめて、 これ以上増えるとデータセンターの月額費用が 増加してしまいそうに…。 なんとかせねば！と対応をはじめるわけです。 そこでまず最初にやったのが、 本当は速いImageMagick と同じように、Apacheモジュールを自作して、 ImageMagic
Pythonを書き始めて1ヶ月がたった - n-knuu's logs
10月30日にPythonを突発的に始めて1ヶ月がたった。 始めて2週間で学校の課題(Webアプリ)を書いたりした。 技術的にためになる話はないけど、まあ日々のログとして書いておく。 経緯 以前からPythonはやろうと思ってた 学校の教養科目でPythonを書く科目をとってみた 以下は時期的な話。 学科の演習(https://www.db.soc.i.kyoto-u.ac.jp/lec/le4db/)でWebアプリをJavaで書いていたが、Javaプログラム中にhtmlとかSQLとか書いてたらやる気がなくなってきた ちょうどそのころPython始めるならまず何を読むべきかなどを情報収集していたら、みんなのPython Webアプリ編がHTML版として無料公開された(みんなのPython Webアプリ編をHTMLで読めるようにしました | TRIVIAL TECHNOLOGIES 4 @a
epollインタフェースとsignalfd（1） - O'Reilly Japan Community Blog
「インターネットサーバでのPthreadとepoll」の記事（以下、前記事と呼びます）を書いた時点では、手元の環境がプアなためマルチプロセス/マルチスレッドを採用したサンプルプログラムの真価を発揮させられず、適切に比較できませんでしたが、その後デュアルコアマシンを借りることができたので、改めて比較してみました。 また、比較の際にサンプルプログラムに追加したダミー処理ではシグナルも使用したので、やはりLinuxに追加された signalfd(2) もepollによるイベントループで処理してみました。 本記事のサンプルコードは、以下のリンクよりダウンロードすることができます。記事と合わせてご参照ください。 [ サンプルコード ] 前記事のサンプルプログラム 前記事 ではHTTPサーバを例に並列性/多重性のサンプル実装を5種類提示しました。簡単に振り返ります。サンプルプログラムがデュアルコアシス
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
バッファキャッシュとAIO（1）
プロセスがブロックする要因の一つにファイルI/Oがあります。これを同期I/Oと言いますが、POSIXではAIO（非同期 I/O、Asynchronous I/O）も定義しており、I/O中でもプロセスがブロックせず他の処理を進められるようになります。 本記事ではバッファキャッシュからファイル I/Oを解説し、Linuxのio_submit(2)を用いたPOSIX準拠のAIOライブラリを試作してみます。 ファイルI/Oとバッファキャッシュ io_submit(2)ではDirect I/Oを用いますが、ライブラリの試作へ進む前にまずファイルI/Oのバッファ（バッファキャッシュ）について整理します。実は単にバッファと言ってしまうと誤解される場面が多くあり、例えばプログラミング入門一般としてファイルI/Oを取り上げる際には、 CPUの動作は速い。ディスクの動作は遅い。 両者の間に速度差を緩和する緩衝
Fusion-ioがSanDiskによる買収合意へ。迅速なグローバル展開を優先させるためか
PCIe接続のフラッシュストレージベンダとして急成長してきたFusion-ioを、フラッシュメモリ関連製品で知られる米SanDiskが買収することが発表されました。 買収価格は1.1ビリオンドル（約1100億円）。 News Release : SanDisk Signs Definitive Agreement to Acquire Fusion-io Fusion-ioは今月、新世代製品となるPCIeフラッシュストレージの新シリーズ「ioMemory Atomic Series」の発表と、「アプリケーションを速くすることにフォーカスする」という戦略を明確にしたばかりでした。 Fusion-ioは2005年にDavid Flynn氏とRick White氏が創業、2009年にはチーフサイエンティストとしてSteve Wozniac（スティーブ・ウォズニアック）氏が入社し、2011年にニュ
Big Sky :: Golang のオフィシャルが提供するインタフェースまとめ
golang が提供するインタフェースの中で代表的な物の使い方をまとめてみる。 io.Reader type Reader interface { Read(p []byte) (n int, err error) } ご存じ io.Reader。このシグネチャの Read を実装しておけば golang のありとあらゆる入力機能に対して自分のコードを提供する事が出来る。 例えば永遠に「おっぱい」と言い続ける Reader だと以下の様な実装になる。 package main import ( "io" "os" ) var text = []rune("おっぱい") type OppaiReader struct { n int } func (r *OppaiReader) Read(p []byte) (int, error) { in := len(p) nw := 0 for i
機械化が進んでも案ずるな。人間にしかできない仕事はある | ライフハッカー・ジャパン
工場の働き手がロボットに職を奪われ始めたのは20年、30年前の話。今やあらゆる分野で機械化が進み、専門的な仕事につく人々でさえ、のんびりとはしていられなくなってきました。 今この記事を書いている訳者も、機械翻訳がどうかこのままキテレツな翻訳文を作り続けてくれますようにと願うばかりです。 しかし「io9」によると、機械化が進んでも働き口の心配はいらないのだそう。今回はこれからの時代にぴったりな、人間にしかできない仕事をご紹介します。 ガイド／アドバイザー／コンサルタント 呼び方はいろいろありますが、つまりは「専門知識を使って人々にサポートを提供する仕事」です。 簡単なところでは駅や街角で人を案内する仕事。もっと専門的な仕事なら、大企業のCEOに役員会議で何を話すべきかをアドバイスする仕事など。必要とされる情報のタイプに応じて、業務内容も待遇も異なるさまざまな職業が生まれます。 データの収集・
第2回 ioDrive+MySQL勉強会 発表資料 | 外道父の匠
GMOさんのところで、ioDrive＋MySQLの発表をしてまいりました。 前回のFluentdから中4日で登壇という恐ロシアなスケジュールに真っ白な灰となっております。 １番手だったので基本を抑えつつ尖り気味のところまで入れてしまったせいで、40分のところを53分使い、さらに質疑応答で1時間以上になり、他の発表者や参加者にご迷惑を、そしてピザを冷えさせて申し訳ありませんでした。が、資料自体はぼちぼちな出来になったと思いますのでサクッと公開しておきます。 事前にページを削りとってしまったり、早送りで説明してしまった部分があるので補足したいところなのですが、燃え尽き症候群中なのでMySQL関連は後で少しずつ書いていけたらと思います。 戦利品 Fusion-IO社のサンタクロースと言われる例の方が、登壇者にプレゼントをしてくれました。 ゴルフシャツですが Mサイズ Woman用で、微妙に形が女
tarコマンドを負荷制御（bwlimit指定）して実行する方法
cstream - direct data streams, with bandwidth limiting, FIFO, audio, duplication and extended reporting support. ざっくり言うとデータストリームの制御とかできるよ！っていうコマンドっぽいです。オーディオアプリケーションのデータレートのエミュレーションとかで利用されているそうです。オプションではcstreamコマンドの-tを使うのですが、以下がmanでの内容になります。 -t num Limit the throughput of the data stream to num bytes/second. Limiting is done at the input side, you can rely on cstream not accepting more than thi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
宁波逼拘旅行社