日々進化するHadoopの 「いま」第2回 NHNテクノロジーカンファレンス 講演資料（2012年8月18日） 日々進化するHadoopの 「いま」 株式会社NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス シニアエキスパート 濱野 賢一朗 （日本Hadoopユーザー会） NTT DATA CORPORATION System Platforms Secter Senior Expert Kenichiro Hamano
おそらくはそれさえも平凡な日々: awkの代わりにperlを使おう
perlのコマンドラインオプションには-aってのがあります。これはawkモードです。perl --help見るとautosplit modeとか書いてありますが。 perlは-pや-nオプションを渡す事によってファイルを一行づつ処理してくれますが、その時に-aオプションを渡すと@F配列にフィールドの情報を自動的に入れてくれます。 フィールドのセパレータはデフォルトではスペースですが、-Fオプションで指定可能です。 カンマ区切りのテキストの、最初のフィールドだけを表示したい場合は以下の様な感じ。 % cat test.txt server1,1343363124,30,/video.php server2,1343363110,20,/profile.php server3,1343363115,7,/login.php server1,1343363105,8,/profile.php %
環境の複製にはnewsidではなくsysprepを利用する － ＠IT
多くのコンピュータのセットアップを行う場合、マスタとなるディスク・イメージをコピーして利用すれば、インストールの手間が軽減される。 同じ構成のコンピュータ・システムを多数導入する場合、マスタとなる1台のコンピュータをセットアップ後、そのハードディスクの内容をほかのコンピュータに丸ごとコピーして複製するという導入手法がある（Windows OS標準のツールではディスクの物理的なコピーはできないため、複製用のアプリケーションを別途用意しなければならないが）。2台目以降のコンピュータでは、コンピュータ名を変更するなど手間はかかるものの、アプリケーションなどを一からセットアップするよりも、全体的な手間や時間を軽減できる。この手法は、仮想環境で複数の仮想マシン・イメージなどを用意する場合にも利用できる。 ディスクを複製する場合は、コンピュータ名だけでなくSIDも変更する Windows OSがインス
Rammapツールでメモリの詳細な利用状況を調査する － ＠IT
TIPS「リソース・モニタでメモリの利用状況をモニタする」では、タスク・マネージャに付属するリソース・モニタ・ツールを使って、Windowsシステムのメモリの利用状況を調査する方法を紹介した。リソース・モニタはWindows Vista／Windows Server 2008以降のWindows OSで利用できる。 ただしリソース・モニタでは、全体的なメモリの利用状況は分かるが、例えば使用中のメモリ・ページがどのようなプロセスや用途（カーネル・メモリかデバイス・ドライバかファイル・キャッシュか、など）に使われているかは分からない。このような細かい利用状況は通常は知る必要がないだろうが、開発者や、高度なトラブル・シューティング作業を行うエンジニアにとっては必要な情報である。 メモリの詳細な利用状況を知るにはWindows向けデバッガ「Debugging Tools for Windows（W
グーグルが構築した大規模システムの現実、そしてデザインパターン（2）～BigTable編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 講演の内容を4つの記事（MapReduce編、BigTable編、教訓編、デザインパターン編）で紹介しています。この記事はMapReduce編の続き、BigTable編です。 分散処理に対応するBigTable 次はBigTableの説明に移ろう。BigTableは、大規模分散の半構造化データストアシステムだ。 グーグルでは多くの構造的
グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン
XLsoft エクセルソフト : マルチスレッド・アプリケーション開発のためのインテル・ガイド
開発ツールスイート インテル® oneAPI ベース・ツールキット インテル® HPC ツールキット インテル® レンダリング・ツールキット インテルの AI ツール クラウド・プラットフォーム インテル® デベロッパー・クラウド コンパイラー インテル® oneAPI DPC++/C++ コンパイラー インテル® Fortran コンパイラー インテル® Fortran コンパイラー・クラシック NVIDIA*/AMD* GPU 向け Codeplay プラグイン パフォーマンス・ライブラリー インテル® oneMKL インテル® IPP インテル® oneTBB インテル® oneDAL インテル® MPI ライブラリー 分析、解析ツール インテル® VTune™ プロファイラー インテル® Inspector インテル® Advisor インテル® Trace Analyzer &
ファン Windows Server 2008 のライセンス まとめ
ますます複雑になっていくマイクロソフトのライセンス。今回は Windows Server 2008 のライセンスをまとめてみました。 注意：マイクロソフトの Web サイトを参考にまとめたものです。最終的な判断はマイクロソフトや認定ライセンス販売店にアドバイスをもらってください。 サーバー ライセンス (Windows Server License) サーバー ライセンスとは、コンピュータに Windows Server 2008 をインストールできる権利です。 細かくは、OEM、パッケージ（リテール）、ボリュームライセンスがあります。（メディアもキーもそれぞれで異なります） すべてのサーバーライセンスにはダウングレード権 (後述) がついてきます。 Standard 以上のエディションには、物理OSのサーバーライセンスに加えて、仮想OSのサーバーライセンス (後述) もついてきます。 仮
第1回 64bit Windowsのメリットとは
今回は、64bit版Windows OSのメリットについて列挙してみよう。 メリット1――大容量の物理メモリが利用可能になる 64bit版Windows OSを利用する最大のメリットは、4Gbytes以上の物理メモリを、（特別な仕掛けなしに）利用できるという点にある。最近のコンピュータでは4Gbytes以上の最大物理メモリをサポートしているものが多く、最初から4Gbytesかそれ以上のメモリを搭載したシステムも販売されている。またシステムの寿命を考えると、将来、強化するためにメモリを（空きスロットいっぱいまで）増設することもあるだろう。 だがシステムに4Gbytes以上の物理メモリを搭載しても、条件によってはそのすべてを利用できず、いくらか無駄になることがある。例えば8Gbytesのメモリを搭載しても、最大で4Gbytesしか利用できないといったことがある。利用できるメモリ・サイズが制限さ
64ビットのスケーラビリティ
Windows Server 2008 R2は、すべてのエディションが64ビットでのみ提供される初めてのWindowsOSになる。64ビットでのみの提供とは、x64（AMD64）プロセッサ対応の標準のエディション群と、IA-64プロセッサ対応のWindows Server 2008 R2 for Itanium-Based Systemsが用意され、これまで主流であったx86版が一切提供されないということである。本書では特に記述がない限り、「64ビット」と言えばx64のほうを指している。IA-64は一部のハイエンド用途に限られ、一般向けではないからだ。 32ビット（x86）アーキテクチャーの限界 プロセッサのマルチコア化やクロック数の向上、メモリの大容量化とコストダウンなどにより、32ビットOSでも現在のハードウェアから得られる恩恵は大きい。しかし、32ビットOSには、32ビットアーキテク
SSL-TLS の導入 (1)
全体の流れ まず、SSL/TLS を導入するために何が必要なのかをまとめておきます。 それぞれの作業を「誰が」行うのかを意識してください。 サーバ管理者が RSA 秘密鍵を生成します。 サーバ管理者が RSA 秘密鍵を元に CSR (Certificate Signing Request: 証明書要求) ファイルを生成し、認証局に送付します。 認証局が受け取った CSR を元にサーバ証明書を生成し、サーバ管理者に送付します。 サーバ管理者は受け取ったサーバ証明書を Web サーバに組み込みます。 登場人物は「サーバ管理者」と「認証局」がいます。 「サーバ管理者」は「Web サーバに SSL/TLS を導入したい人」です。 「認証局」は VeriSign など、証明書を発行している企業です。 RSA 秘密鍵生成 まずはじめに、OpenSSL で RSA 秘密鍵を作成します。 root 権限は
メモリオーバーコミットに対する自社のアプローチを模索し始めるMicrosoft社（20100408-5） | virtualization.info
Microsoft社は3月中旬、まもなく登場する「Dynamic Memory for Hyper-V」（「Windows Server 2008 R2 Service Pack 1」の一部として登場するメモリオーバーコミット機能）を正式に発表した。 Dynamic Memoryの仕組みに関する初期の情報は、同社のエバンジェリストによって2週間前に公表されたものの即座に削除されてしまった。 VMware社のオーバーコミットテクニックを数年前から認めてこなかったMicrosoft社は、Dynamic Memoryに関してVMware社の支持者から厳しく批判されている。そのため同社は、仮想化のメモリ管理に対する自社のアプローチを可能な限り慎重かつ詳細に説明しようとしている。 そのため、Windows仮想化担当主任プログラムマネージャのJeff Woolsey氏は、Microsoft社とVMwa
解説：IA-32の64bit拡張がもたらすもの - ＠IT
2004年2月に開かれた開発者向けカンファレンス「Intel Developer Forum（IDF） Spring 2004」で、Intelは同社の32bitプロセッサに64bit拡張を施すことを明らかにした。この技術は、IA-32アーキテクチャに64bit拡張を施したもので、当初、64bit Extension Technologyと呼ばれていた。現在は、「Extended Memory 64 Technology（EM64T）」がこの技術の正式名称となっている。 EM64Tは、既存のIA-32プロセッサ互換の「レガシーIA-32モード」に加え、64bit拡張モードである「IA-32eモード」が追加された。新たに提供される64bit OSでサポートされるIA-32eモードは、アドレス空間やレジスタを拡張した64bitモードと、64bit OS上でIA-32互換のアプリケーションを動かす
Windowsで物理アドレス拡張PAEを強制的に有効にする
対象OS：Windows 2000／Windows XP／Windows Server 2003／Windows Vista／Windows Server 2008 解説 現在のx86アーキテクチャのCPUでは、ハードウェア的には36bitの物理アドレス空間（64Gbytes）をサポートしている。元々のx86アーキテクチャでは32bitの物理アドレス空間（4Gbytes）しかサポートされていなかったが、Pentium Pro以降では、PAE（Physical Address Extension、物理アドレス拡張）やPSE（Page Size Extension、ページ・サイズ拡張）といった技術を導入することにより、4Gbytes以上のメモリがサポートされている。だが32bit版の（主にクライアント向けの）Windows OSでは、基本的には4Gbytesまでの物理メモリしか扱えないようにな
straceを使ったデバッグ | OSDN Magazine
プログラムが機能を果たせない場合には、有用なエラーメッセージを返し、問題を解決する手がかりを提供するのが理想的だ。しかし残念ながら、このような理想的な状況は珍しく、アプリケーションでエラーが発生したときに、手元に何の情報もないことも多い。 ここで、デバッグツールの登場だ。私にとってなくてはならないツールの1つが、straceだ。straceはシステムコールトレーサで、すでに実行されているプログラムによって発せられたコールを追跡する（straceを既存のPIDにバインドする）ことも、テストしたいプロセスをstraceに開始させることもできる。 では、straceの使い方を実例とともに見ていくことにしよう。 KDE起動時の問題 以前、私はKDEを起動する際の問題をデバッグしていた。返されたエラーメッセージからは、何の手がかりも得ることができなかった。 _KDE_IceTransSocketCr
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ExcelとPowerPointの綺麗なグラフテンプレートが無料ダウンロードできるサイト「Chart Chooser」 | ライフハッカー・ジャパン
VMware Partners: An Ecosystem of Trust
IBM Developer
Microsoft – クラウド、コンピューター、アプリ & ゲーム