ビッグデータ分析は分散処理よりもSMPクラスターが良い
米ScaleMPは、複数のPCサーバーを束ねたクラスターを単一のSMP（対称型マルチプロセッシング）サーバーとして利用できるようにする基盤ソフト「vSMP Foundation」を開発しているベンダーである（関連記事）。vSMP Foundationは、大量のメモリーを使った計算処理を安価に実現できるので、多くの場面で分散処理がいらなくなる、としている。ITproは、同社の出資者で社長兼CEOのShai Fultheim氏に、SMPクラスターの意義を聞いた。 「ビッグデータを安価に分析できる」---。これがSMPクラスターの意義だ。 分散処理は、そこそこ安いが、使いにくい。巨大なSMPマシンは、使いやすいが、高い。その点、SMPクラスターは、非常に安くて、使いやすい。 分散処理（Hadoopやサーバー内蔵フラッシュストレージ）は、かつてのSMPマシンを置き換えた。そして今、SMPクラスター
DUMA library 日本語情報トップページ - OSDN
DUMA (Detect Unintended Memory Access)は、マルチプラットフォームのメモリデバッグライブラリです。メモリリーク、malloc()／新しいメモリバッファ内のバッファオーバーラン(またはアンダーラン)を検出することができます。DUMAは、Bruce Perensが書いたElectric Fenceライブラリのフォークです。 ダウンロード 最新ダウンロードファイル duma_2_5_15.tar.gz (日付: 2009-04-12, サイズ: 234.84 KB) duma_2_5_15.zip (日付: 2009-04-12, サイズ: 509.30 KB) duma_2_5_14.tar.gz (日付: 2008-04-28, サイズ: 232.20 KB) duma_2_5_14.zip (日付: 2008-04-28, サイズ: 502.20 KB)
減り続けるメモリ残量！ 果たしてその原因は!? 第1回 （1/3） − ＠IT
減り続けるメモリ残量！ 果たしてその原因は!?：Linuxトラブルシューティング探偵団 番外編（1）（1/3 ページ） NTTグループの各社で鳴らした俺たちLinuxトラブルシューティング探偵団は、各社で培ったOSS関連技術を手に、NTT OSSセンタに集められた。普段は基本的にNTTグループのみを相手に活動しているが、それだけで終わる俺たちじゃあない。 ソースコードさえあればどんなトラブルでも解決する命知らず、不可能を可能にし、多くのバグを粉砕する、俺たちLinuxトラブルシューティング探偵団！ 助けを借りたいときは、いつでもいってくれ！ OS：高田哲生 俺はリーダー、高田哲生。Linuxの達人。俺のようにソースコードレベルでOSを理解している人間でなければ、百戦錬磨のLinuxトラブルシューティング探偵団のリーダーは務まらん。 Web：福山義仁 俺は、福山義仁。Web技術の達人さ。Ap
Linux のメモリー管理(メモリ―が足りない？,メモリーリークの検出-防止)(Kodama's tips page)
サ−バ等に使っているPC のメモリが十分かどうか気になる事は多いと思う. 調べ出すと フリーメモリーの不足や SWAP にメモリーがはみだしている様子など 心配な事がいろいろでて来る. PC の動作が遅くなる原因は様々な要因が絡み合っているので, 表面に現れた症状だけでは効果的な対策が分からない事もある. 以下では, メモリ−関連にしぼって解説する. メモリの状況を調べる メモリ−は十分なはずなのに 余裕が無い？ どのプロセスがメモリを消費しているのか？ メモリーのリークを検出する方法？ 防止する方法？ メモリ−は十分なはずなのに SWAP を使ってる？ じゃ, 本当のメモリ−不足はどうしたら分かるの？ メモリーと SWAP 領域はどのくらい確保すると良いのか メモリの状況を調べる メモリの利用状況を調べる方法は, free, top, ps, vmstat, /proc/meminfo
4.メモリ使用率(第5章 パフォーマンス管理〜上級:基本管理コースII)
freeコマンド freeはシステムの物理メモリとスワップメモリそれぞれに対して使用量と空き容量を表示しカーネルが用いているバッファも表示します。 使用方法 $ /usr/bin/free [オプション] 主なオプションとしては、以下のものがあります。 -b：メモリの量をバイト単位で表示します。 -kではキロバイト単位(デフォルト) で表示し、-mではメガバイト単位で表示します。 -t：物理メモリ、スワップメモリの合計を示す行も表示します。 -o：「バッファの分を増減した行」を表示しません。このオプションを指定しない限り使用中のメモリからバッファメモリを引いた値と未使用のメモリにバッファメモリを足した値を表示します。 -s：繰り返し実行をする間隔(秒)を指定することでその間隔での繰り返し実行ができます。例えば2秒ごとに繰り返し実行するには free -s 2 となります。間隔は秒未満の短い
ゲスト環境は75～80％遅い
＞＞前回 次に、メモリーのアクセス性能を調べる。メモリーアクセスのベンチマークツールである「lmbench3.0-a9」を使用して、メモリーのアクセス時間（レイテンシー）を、1回にアクセスするサイズを変えながら計測した。すると、24Mバイト以下のサイズでアクセスした場合には、ホスト環境とゲスト環境で性能に差が生じなかった。CPUに24Mバイトのキャッシュメモリーが搭載されているためである。 そこで、広範囲のメモリーにアクセスをした場合の性能を見る目的で、オープンソースのインメモリーDBである「Redis 2.2.2」を使って、getコマンドによるデータ読み出しとsetコマンドによる書き込みの性能を検証!)として調べた。Redisはデータをメモリー上だけではなくディスクに置く機能も備えるが、この検証ではメモリーにのみデータを置いた。実施したベンチマークは、Redisに付属の「redis -b
Xenサーバーがいきなり停止するわけだが・・・ - 銀の鍵
Xenの完全仮想化を利用してゲストをたくさん作って動かしていると、Xenサーバーが或る日突然機能停止する。電源ボタンを使って電源を一度落とし、再度電源を投入することになる。コンソールからの制御も全く受け付けなくなるからね。 ホストOS上のシスログ（/var/log/messages）を見ると、サーバーが完全にダウンする数時間前に、カーネルが仮想メモリ（スワップ）不足の悲鳴をあげているのが分かる。 ... Aug 2 07:25:54 omega kernel: 927 pagecache pages Aug 2 07:25:54 omega kernel: Swap cache: add 778561, delete 778496, find 162567/194519, race 0+30 Aug 2 07:25:54 omega kernel: Free swap = 0
Xenでメモリをオーバーコミットする（概要編） at nkjmkzk.net
Virtualization, Operating System, Storage, Cloud Computingサーバ仮想化環境ではいろいろなリソースをオーバーコミットしてリソース稼働率を高めることができます。「オーバーコミット」は、本来的には物理リソース以上のリソースをさもあるかのようにみせかけて擬似的に割り当てることですが、サーバ仮想化環境で言う場合のオーバーコミットとは実際的には「リソースを共有すること」と考える方が正しい解釈であり、意義のある活用方法だと思います。 XenはCPUに関しては上図のようなオーバーコミットを古くからサポートしています。なので物理的なCPU数が仮想マシン収容数についてハードリミットとなることはありません。同様にネットワーク帯域やディスク帯域は共有することが基本的な考え方なのでこれらについても仮想マシン収容数のハードリミットになることはありません。しかし
「PCM」――近々ブレイク？のメモリ
DRAMより省エネでフラッシュメモリより高速な不揮発性メモリ「PCM」（画像は2008年にIntelとSTMicroelectronicsが共同開発した試作品） わたしたちが普段「メモリ」と呼ぶデバイスには、大きく分けて2つの種類があり、それぞれ一長一短の特性を持つ。もっとも広範囲に使用されているDRAM（Dynamic Random Access Memory）は、アクセス速度などパフォーマンスに優れるが、消費電力が多く電源が切れるとデータが消えてしまう（揮発性）。小型機器に採用例の多いNAND型フラッシュメモリは、電源が切断されてもデータは残る不揮発性で製造コストが低く、データの運搬に適しているが、パフォーマンスの点でDRAMに見劣りする。 そこでいま注目を集めているのが「相変化型メモリ」（Phase Change Memory：PCM）。製造コストの低さはNAND型フラッシュメモリに
【元麻布春男の週刊PCホットライン】1GB＝2,000円時代のメモリ増設を考える(上)
●メモリの価格低下が止まらない メモリ価格の下落が止まらない。1GBのPC2-6400(DDR2-800)メモリモジュールの価格は、1年前には1万円以上していたのに、ついに2,000円を切ってしまった。1GB DIMMは最も数量の出る品種であるため、最も割安なわけだが、以前は高価だった2GB DIMMの価格も半年前の4分の1、5,000円を切る水準まで到達している。これらの価格はいわゆるノーブランド品の最安値価格だが、これに引きずられるようにブランド品メモリやメモリメーカー純正品の価格も下がり続けている。 筆者も先週末、チップはエルピーダ製だという触れ込みの代理店(恵安)ブランドの2GB DIMMと、Micron子会社のCrucialの1GB DIMMを購入したが、前者が1万円を切り、後者は5,000円を切る価格だった。激安ノーブランドメモリに比べれば高いが、安心料も込みということで、十分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新型PlayStation Vita、PlayStation Vita TVの内蔵1GBメモリカードの取り回し
[Mac] 簡単だった！自分でMac mini 2012のメモリを「16GB」に増設してみた![[Mac] 簡単だった！自分でMac mini 2012のメモリを「16GB」に増設してみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ee9c79a921e04988eb00e5209d3947b0a57500f/height=288;version=1;width=512/https%3A%2F%2Ftools4hack.santalab.me%2Fmedia%2Fuploads%2F2015%2F03%2Fhowto-macmini-2012-memory-ram-upgrade-16gb-diy-01.jpg)