第3回 Hyper-Vネットワーク設計のベストプラクティス
第3回 Hyper-Vネットワーク設計のベストプラクティス：Windows Server 2012 R2時代のHyper-Vサーバ設計術（2/3 ページ） 前ページで述べたように、中規模クラスの本番環境を考えると、Hyper-Vホスト1台あたり最低8つの「1Gbpsイーサネット（1GbE、ギガビット・イーサネット）」ポートが必要になる。今後のデータ量増加に備えて余裕も持たせておきたいし、IPストレージ／バックアップ／Hyper-Vレプリカなども考えている場合は、1GbEだと15ポート近くも必要となってしまう。1枚で1GbEを4ポート搭載するカードもあるものの、1Uサーバの最大搭載数（多くは内蔵4ポート＋拡張2スロット）を埋め尽くしてしまうか、超過してしまうのが現実だ。 これから仮想化環境を新規に構築するのであれば、5年は耐用できるサイジング設計をするべきだ。扱うデータ量が増えた際に「PCI
サーバ屋日記: 10GBaseTイーサネットに関して調べ物
2012年5月10日木曜日 10GBaseTイーサネットに関して調べ物 10GbeのインターフェイスにはCX4、SFP+ファイバー、SFP+ダイレクトアタッチカッパー(DAC)、10GBaseTなどがある。 CX4 古い技術で、ケーブルの太さやコネクタの大きさなどから、高集積化には向かない。ケーブル長15mまで。 SFP+ファイバー 10GBase-SR 高価である 低消費電力、ケーブル長300mまで。 サーバにネットワークカードの増設が必用。 SFP+DAC 比較的安価である。ケーブル長は7mまで。 サーバにネットワークカードの増設が必用。 10GBaseT 安価である。 従来、消費電力が大きく、高コストであると思われていたが、最近のプロセステクノロジーによりそうでもなくなった。NICの消費電力が初期の25W/portから6W/portに低下した。 1000BaseTイーサネット
サーバ屋さんの独り言: 10GBaseTとSFP+DACの比較
2012年5月14日月曜日 10GBaseTとSFP+DACの比較 タイトルの件について調べ物をしたので、メモ。 レイテンシ 10GBaseTの規格ではエラー無くデータを転送するために、ブロックエンコーディングを行う。そのためには、ブロックサイズ分のデータを送信PHYに読み込み、エンコーディングを行ったのち、送信することが必要である。受信側では、その反対が必要である。規格によると、送受信PHYのペアで2.56μsの遅延を許容している。ブロックデータのサイズを考慮に入れると、リンクあたり2μs以下にすることは不可能である。 SFP+の場合には、ブロックエンコーディングが無く、より単純なエレクトロニクス構成であるため、遅延は典型値で300ns程度である。 それぞれの場合に、さらにメディア遅延を考慮する必用があるが、光であれ電気信号であれ、およそ5ns/m程度である。 最大ケーブル長
Windows Azure の中でも動いている InfiniBand って何?
6. InfiniBand の速度 • InfiniBand は全二重シリアル通信 – データレート • 基準に対して何倍速でデータを送受信するか? Single → Double → Quad → Fourteen → Enhanced – レーン数 • 何本の線を束ねて通信するか? 1本 → 4本 → 12本 → … データレート SDR レ ー ン 数 DDR QDR FDR EDR 1X 2.5 Gbit/s 5 Gbit/s 10 Gbit/s 14 Gbit/s 26 Gbit/s 4X 10 Gbit/s 20 Gbit/s 40 Gbit/s 56 Gbit/s 104 Gbit/s 12X 30 Gbit/s 60 Gbit/s 120 Gbit/s 168 Gbit/s 312 Gbit/s 現在普通に入手できるライン
Cloudera Blog
We are thrilled to announce the general availability of the Cloudera AI Inference service, powered by NVIDIA NIM microservices, part of the NVIDIA AI Enterprise platform, to accelerate generative AI deployments for enterprises. This service supports a range of optimized AI models, enabling seamless and scalable AI inference. Background The generative AI landscape is evolving […] Read blog post
How to convert non-HA NameNode to QJM HA on CDH4 | 外道父の匠
CDH3から始めてCDH4.1までアップグレードして利用し続けていますが、この過程でNameNodeの構成は変更せずに運用してきました。 当然、CDH4からの公式HA構成に関心はあったのですが、複数の更新を同時に行うと危ないとか、英語マニュアル読むのめんどくせー感からミドルレンジに距離を置いていたところに、もりす先生がトライしてくれて、乗るしかないビッグウェーブ到来。待つべきものは他人の検証とはよく言ったものですなぁ。 タイトルはNameNode構成の切り替え、となっていますが、これから新しくQJM HAで組む人にも役に立つ内容となっていますゆえ、私が血反吐を吐いてまとめた情報を是非ご覧くださいませ。 リンク CDH4.1におけるクォーラムベースジャーナリング Quorum-Journal Design CDH4.1オーバービュー Software Configuration for Qu
CentOS 6 で QJM ベースの NameNode HA + 自動フェイルオーバを構成した時のメモ - 映画は中劇
Hadoop HDFS の NameNode は長い間単一障害点だったのですが、 CDH 4 から、 NFS 上の edits ログを共有する形でのアクティブ/スタンバイ構成が可能になりました。しかし、フェイルオーバが中途半端になると共有 edits ログが破壊されるとか、 NFS が新しい単一障害点になってしまうとかで、評判が良くなかったようです。 そこで CDH 4.1 からは、 JournalManager という、 edits ログを書き込む専門のデーモンが追加されました。アクティブな NameNode は、 Quorum Journal Manager (QJM) を通じて、共有 edits ログを JournalNode クラスタに書き込めるようになりました。 今回、 QJM ベースの NameNode 冗長化を試すため、 HDFS クラスタを作ってみました。同時に ZooKe
HDFSのスケーラビリティ - Google グループ
Google グループでは、オンライン フォーラムやメール ベースのグループを作成したり、こうしたフォーラムやグループに参加したりすることで、大勢のユーザーと情報の共有やディスカッションを行うことができます。
MariaDBのJDBCドライバはuseCursorFetchができない - おっさんプログラマの戯れ言
MariaDB 5.5 MariaDB Java Client 1.1.5 今年の夏頃からMariaDBを使っている。 今のところクライアントは主にJavaプログラムである。 この数ヶ月間、MariaDBには驚かされてばかりだ。 遭遇したすべての状況を記事にすることは現状できていないが、小出しになってしまうにせよ、そのうち時間を見つけて記載するつもりでいる。 例えば、こんなことがあった。 ・テーブル名などの識別子の大文字小文字を「区別する」 ・しかも、WindowsとOS Xでは識別子の大文字小文字を「区別しない」 ・VARCHAR型の大文字小文字をデフォルトで「区別しない」 ・DATETIME型のデフォルト値にNOW()を指定できない ・TIMESTAMP型の扱いがややこしい ・行ロックの挙動が普通じゃない などなど。 上に挙げたすべてのことは、MariaDBというよりも、MySQLの仕
test と testing の違い、微妙なニュアンスを表現できるようになろう！ - プログラマー幸福論
photo by epSos.de ユニットテストは、wikipeda によると 英語では unit testing と言うらしいです。unit test じゃないの？と思った方もいるかもしれませんが、英語圏の人は test と testing という単語を使い分けているようです。今日は、この２つの単語の使い分けについて、書いてみたいと思います。 test と testing についてですが、辞書で調べるとどちらも「テスト」と訳されています。ますます違いがわかならくなりそうですが、これらの単語には、それぞれ日本語では表現しにくい、以下のような異なるニュアンスがあります。 test - テスト項目などテストそのもの testing - テストをすることについて（テストの概念や工程など） 日本語では、個々のテストもテストすることも「テスト」あるいは「試験」と言いますが、英語ではちゃんと使い分け
検索エンジンLuceneの歴史とこれから - ワザノバ | wazanova
http://www.youtube.com/watch?v=5444z-L2V2A 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Luceneのオリジナルの開発者であるDoug Cutting（ClouderaのChief Architectと Apache Software FoundationのDirectorを兼務）が、Luceneの歴史と今後の展開を紹介しています。 検索サイトExciteに勤務していた1997年に開発開始。当時新しくでてきたJavaを使ってみたかった & ネットバブルが弾けるのが不安で何かかたちに残るものをつくっておきたかった。2000年にオープンソースとして提供。Solrは2006年、Solr Cloudが2012年。昨年にはHadoopプラットフォームの検索エンジンに
第2章 メモリの割り当て
Linux をベースとするオペレーティングシステムは仮想メモリシステムを使用します。 ユーザー領域のアプリケーションによって参照されるアドレスはすべて物理的なアドレスに変換されなければなりません。 これは基礎となるコンピューターシステム内のアドレス変換ハードウェアとページテーブルの組み合わせによって行われます。 プログラムと実際のメモリ間に変換メカニズムを持たせることにより得られる結果のひとつとして、 オペレーティングシステムが必要なときにページを流用できることです。 以前に使用したページテーブルエントリに無効マークを付けることでこれを行わせるため、 メモリに対する負担が通常通りであってもオペレーティングシステムに任意のアプリケーションからページを収集して別のアプリケーションにそれを与えることができます。 これは決定論的な動作を必要とするようなシステムの場合には悪影響を及ぼす場合があります
Smart Feature Selection with scikit-learn and BigML’s API
When trying to make data-driven decisions, we’re often faced with datasets that contain many more features than what we actually need for decision-making. As a consequence, building models becomes more computationally demanding, and even worse, model performance can suffer, as heavily parameterized models can lead to overfitting. How then, can we pare down our data to the most relevant set of feat
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Benefits of Deploying SFP+ Fiber vs. 10GBase-T
GitHub - mattsta/redisfuse: FUSE File System for Redis specializing in CRUDing strings and hashes (and R of everything else) (Note: this is obviously ancient and is only a historical artifact now; not really a good example of code usage or design)
http://tech.beatrobo.com/irkit-hipchat-onoff-air/
What Linux Can Learn from Solaris Performance, and Vice-Versa | Triton DataCenter
Apache Hadoop Distribution | MapR