負荷テストのデータ、読めてますか？
ピーク時になると応答時間が急激に悪化したので、とりあえずCPUとメモリを倍増しておけば大丈夫かな……と勘に頼って対応し、ドツボにはまった経験、ありませんか？ この連載では、インフラエンジニアなら最低限理解しておきたい性能問題の基礎を解説します。（編集部） はじめに 前回「性能対策、できてますか？」では「待ち行列の基本」を解説しました。公式を覚えるだけではなく、少し実践的な解説にしようと試みましたが、いかがでしたか？ 今回のテーマは、「平均値」と「パーセンタイル値」という統計値についてです。数学の勉強みたいですが、前回同様、もう一歩だけ実践的にしてみたつもりです。 測定したデータを“正しく読めること”は、性能対策に取り組む際の必須スキルの1つです。「ツールを使えば、測定結果はツールが示してくれるから、特別なスキルは必要ない」と思うのは間違いです。今回もやはり、基礎の中の基礎から、つまり測定デ
性能対策、できてますか？
ピーク時になると応答時間が急激に悪化したので、とりあえずCPUとメモリを倍増しておけば大丈夫かな……と勘に頼って対応し、ドツボにはまった経験、ありませんか？ この連載では、インフラエンジニアなら最低限理解しておきたい性能問題の基礎を解説します。（編集部） 古くて新しい「性能問題」 ITシステムの性能問題は昔からのテーマです。その基礎はほとんど変わっていないにも関わらず、多くのITエンジニアが十分には理解できていないのではないかと危惧しています。 現代のITシステムは多数の構成要素から成り立っており、性能問題の解決は相当にやっかいな難問になってきているのが実状です。そのような状況であるからこそ、基礎をしっかりと理解して臨むことが必要であると感じています。 私たちは、この高度化したITシステムの性能問題を解決したいと考え、高負荷テスト、性能データ分析、シミュレーション技法による性能事前評価など
5分で分かる、「スクラム」の基本まとめ
5分で分かる、「スクラム」の基本まとめ：開発チームを改善するためのスクラムTips（8）（1/2 ページ） 「スクラム」は、アジャイル開発の手法群の中でも、「チームとしての仕事の進め方」に特化したフレームワークだ。スクラムの知識を応用して、開発チームの日常をちょっとリファクタリングしてみよう。 これまで、アジャイル時代のチーム・マネジメント手法として主流になっている「スクラム」の手法を紹介してきました。今回は総集編として「スクラムの基本」をコンパクトにまとめます。 そもそもスクラムとは スクラムは、一言でいえば「チームで仕事の進めるための枠組み（フレームワーク）」です。 もともとはソフトウェア開発プロジェクトを成功させる仕組みですが、技術的な要素は取り除かれ、多くのチーム作業に共通して適用できる要素だけが残りました。そのため、ソフトウェア開発以外のチームにも適用できるのが特徴です。 ●バッ
減り続けるメモリ残量！ 果たしてその原因は!?
Mem行のfree（MemFreeと呼ぶことにします）は「空きメモリ量」ではなく、何の用途にも使っていない物理メモリ量と考えてください。「MemFreeが少ない→空き物理メモリ量が少ない→利用可能な物理メモリ量が足りない」という発想を防ぐためです。この場合、単純に物理メモリを追加しても、いつかはMemFreeが少ない状況に落ちていくため、解決にはなりません。 システム全体のメモリ利用量の監視は、freeのみを判断基準とするのではなく、もっと総合的に「利用可能な物理メモリ量」を計算する必要があります。 システムが利用可能なメモリ量を計算するには、Linuxのページキャッシュの扱いを理解する必要があります。LinuxはHDDなどのストレージに保存してあるデータの読み出し／書き出し時に確保したメモリをページキャッシュという形で保持します。 CPU はストレージのデータを直接読むことはできません。
減り続ける利用可能メモリ……そしてついにリブート！
減り続ける利用可能メモリ……そしてついにリブート！：Linuxトラブルシューティング探偵団 番外編（2）（2/3 ページ） メモリが足りなくなるとOSってハングアップするの？ まずは、そもそもの疑問を整理しておきましょう。 お客さまは「メモリが足りなくなってリブートに至った」といっています。ですが今回の場合は、メモリ不足自体がリブートに直結したのではなく、ハングアップしていたところをASRによってハードウェア的に落とされたことが分かっています。ですから、本質的な疑問は「メモリ不足がOSハングアップを引き起こし得るか？」ということです。 そもそもハングアップとは、カーネルパニックなどを起こしてシステムがクラッシュしている場合と、何らかの原因で極端に動作が遅くなっている場合がありますが、残念ながら疑問に対する答えは「Yes」です。メモリ不足がOSのハングアップを引き起こすことはあります。 「そ
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（2/2） - ＠IT
グリーでログ分析システムの開発を行っている一井崇氏からは、「全文検索のちょっとちがった使い方（仮）」と題する発表があった。 グリーにおける数値指標管理では、基本となるデータの総数が「1億キー×最大7年」という膨大な量に上り、さらに時間ごとに増え続けるアプリIDとの組み合わせなども考慮すると、すでに人間の手では管理しきれない状態にある。 同社ではMySQLベースのKVS（Key Value Store）によって、これらのデータを管理しているが、問題はkeyの数が膨大過ぎて必要なkeyを見つけるのが困難になっていることだという。 その解決のためにHadoopやMongoDBを導入するといった選択肢もあるが、同社が取った方法は「key stringを全文検索することで目的のkeyを探す」というものだった。一井氏によれば、グリーの数値指標管理システムの目的を整理すると、以下のようになるという。 や
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（1/2） - ＠IT
クックパッド、グリー、ぐるなび、CROOZは検索技術を どう使っているのか 有限会社オングス 杉山貴章 2012/2/9 2012年1月26日、CROOZ主催の勉強会「モーショノロジー2012 ＃1」が開催された。今回のテーマは「全文検索」。検索技術の開発や活用に携わる6名の発表者によって、検索エンジンの実装やプロダクトの活用事例などが紹介された。 全文検索の歴史とgroongaの索引構築の実装 ソーシャル連携などに広がるECサイトでの全文検索 KVSの膨大なKeyを見つけるための全文検索 groongaのRuby実装「rroonga」による検索サービス モバイルに欠かせない位置情報検索で使うgroonga レシピ検索のプロトタイピングにApache Solrを使う そもそも、「モーショノロジー」って何？ そもそも、「モーショノロジー」とは何だろうか。総合司会を務めたCROOZの小俣泰明氏
なぜWikipediaは停止するのか――SOPA抗議活動をひもとく － ＠IT
（Geekなぺーじ あきみち氏による寄稿記事です） 2012年1月18日のUTC 5時（日本時間同日14時）から、英語版Wikipediaが、米国議会で審議されている「オンライン海賊行為禁止法（Stop Online Piracy Act：SOPAおよびPROTECT IP Act：PIPA）」への抗議としてサービスを24時間停止しています。 「SOPA Blackout Day」キャンペーン、決行 実はWikipediaが英語版サイト停止を発表する前から、1月18日には「SOPA Blackout Day」という抗議キャンペーンが行われる予定になっていました。 もともと、具体的にそのようなキャンペーンが計画されていたわけではありません。しかし2011年年末から「Google、Amazon、Facebookなどが抗議としてWebを停止するかもしれない」というニュースが伝えられていました。
HDDのアクセスが妙に遅く感じるときは
最近のHDDはDMAをサポートしているので、DMAに対応したマザーボードと組み合わせればCPUを介さずに直接デバイス－メモリ間のデータ転送が可能だ。しかし、DMAがオフになっているとI/Oによるアクセスになってしまうので、HDDのアクセスが遅くなってしまう。 HDDのアクセスが遅く感じられるときは、DMAがオンになっているかどうか確認しよう。DMAのオン／オフは、hdparmコマンドで確認できる。rootでログインし、調べたいデバイス名を指定してhdparmコマンドを実行する。 # hdparm /dev/hda ←/dev/hdaを調べる /dev/hda: multcount = 16 (on) I/O support = 0 (default 16-bit) ←I/Oが16bitsになっている unmaskirq = 0 (off) using_dma =
SystemTapで真犯人を捕まえろ！
SystemTapで真犯人を捕まえろ！：Linuxトラブルシューティング探偵団 番外編（3）（1/4 ページ） NTTグループの各社で鳴らした俺たちLinuxトラブルシューティング探偵団は、各社で培ったOSS関連技術を手に、NTT OSSセンタに集められた。普段は基本的にNTTグループのみを相手に活動しているが、それだけで終わる俺たちじゃあない。 ソースコードさえあればどんなトラブルでも解決する命知らず、不可能を可能にし、多くのバグを粉砕する、俺たちLinuxトラブルシューティング探偵団！ 助けを借りたいときは、いつでもいってくれ！ OS：高田哲生 俺はリーダー、高田哲生。Linuxの達人。俺のようにソースコードレベルでOSを理解している人間でなければ、百戦錬磨のLinuxトラブルシューティング探偵団のリーダーは務まらん。 Web：福山義仁 俺は、福山義仁。Web技術の達人さ。Apache
始めてみよう、Amazon Route 53（1/2） － ＠IT
設定ファイルと格闘せずにDNSを運用管理 始めてみよう、Amazon Route 53 並河 祐貴 株式会社サイバーエージェント 2011/6/23 Amazon Web Services（AWS）の「Amazon Route 53」は、API経由でDNSの運用管理を可能にするサービスです。Firefoxのアドオン「R53 Fox」を使って、その導入、設定を行う方法を紹介します（編集部） Webサイト運用に欠かせないDNS 今日、一般に公開されているWebサイトでは、IPアドレスを直接公開するケースはほとんどありません。多くのケースでは、ドメイン名（「google.co.jp」や「yahoo.co.jp」など）を公開し、ユーザーはそのドメイン名を基にブラウザでURLを入力したり、検索したりしてアクセスすることとなります。 そのためWebサイトの運用に当たり、ドメイン名とIPアドレスをひも付
いまさら聞けないHadoopとテキストマイニング入門
ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 本連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1
HTML5でWebページをマークアップするための基礎知識
最近よく目にする「HTML5」という言葉。JavaScriptのAPIやCSS3、SVGなどを含め、急速な広がりを見せつつある「HTML5」の基礎を学べる入門連載です。「HTML5を使うと、何ができるのか」「それを実現するには、どのようなプログラムを書いたらいいのか」をお届けします 5からHTMLの“文法”が変わるって知ってた？ 連載第1回の「Webの3つの問題を解決する「HTML5」とは何なのか」では、HTML5という技術革新の意義、そして本連載の大まかな流れについてお話ししました。連載第2回である今回は、HTML5のマークアップを行うための基礎知識についてお話しします。 HTML5では、その文法が大きく変化しました。「HTMLが、どれほど普及しているか」「根底となる“文法”が変わってしまったら、どれほどの影響があるか」に想像が及ぶ方であれば、非常な驚きと不安を抱かれるかもしれません。
ベニヤ板とDCのハイブリッド！ pixivインフラの今 － ＠IT
2010/07/21 ホームセンターに行けば9800円で買えそうなスチール製の“ラック”に、むき出しのマザーボード。うねうねとケーブルがラックの間を這（は）う。 「ラックに直接置くと通電しちゃうじゃないですか。だからラックに木片をくくりつけて、その上にマザーボードを載せているんですね。ただ、そうすると実は若干たわむんです、自重で……。なのでパーツの抜き差しではかなり嫌な思いをします」。 イラスト投稿サイトの「pixiv」（ピクシブ）でインフラの設計・運用を担当する上薗竜太氏がこう話すと、あまりの無手勝流ぶりに会場からは笑いが起こる。 「でも、これはまだ前のバージョンの運用でですね、3カ月前ぐらいからベニヤに変えました。これが新しいpixivを支えるラックです」 実物の写真がスクリーンに映し出されると会場には再び大きな笑いが起こった。「これによってマザーボードがたまわない。パーツの抜き差しで
連載記事 「Heartbeatでかんたんクラスタリング」
Heartbeatの特徴とユニークな機能 連載：Heartbeatでかんたんクラスタリング（1） オープンソースソフトウェアの「Heartbeat」をご存じでしょうか？ これを使い、Linux上でHAクラスタを構成する方法を紹介します
師走を乗り切れ！ 超速イケてる年賀状素材作り
師走の忙しい中、忘れてはならないのが年賀状作り。自分の写真を使った年賀状用画像作りの便利で面白いテクニックを14選紹介します！ 画像補正・写真加工の便利／面白テクニック14選！ 今年1年、この連載「一撃デザインの種明かし」をご覧いただきありがとうございます！ 残すところ後数日ですね。師走です。ただでさえ忙しいのに、忘年会も重なる日々。そんな忙しい中、忘れてはならないのは年賀状作りですね。毎年、時間に追われながら作っている方もいらっしゃることでしょう。 今回は、そんな年末の忙しい中でも超速でできる、イケてる年賀状素材の作り方を紹介したいと思います。とにかく、手の掛かる作業は一切なしで、自分の写真を使った年賀状用の画像作りを紹介します。最後には、干支の動物マスクの被り方も紹介します！ きれいな私を送りたい。あっという間の画像補正！ 【1】速攻で！ 顔を明るくする 【2】瞬時に！ 赤ら顔を直す
MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
素朴なBigtable、できること できないこと
素朴なBigtable、できること できないこと：分散Key-Valueストアの本命「Bigtable」（2）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 あまりにもRDBとは異質な「Bigtable」 前回の「もう1つの、DBのかたち、分散Key-Valueストアとは」では、連載第1回目として、クラウドコンピューティングにおける新しい潮流である「リレーショナルデータベース（RDB）から分散Key-Valueストア（分散KVS）への移行」が、どのようなパラダイムシフトをもたらすのかを解説しました。今回からは、グーグルが運用する代表的な分散KVS「Bigtable」の内部構造を紹介し、クラウドの本質をより深く掘り下げます。 前
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop＋Hive検証環境を構築してみる