第2回 最大の課題「I/Oボトルネック」の原因と分析法 | gihyo.jp
I/Oの「レスポンス」と「スループット」とは？ 連載第1回でご紹介したように、大規模データ処理を行うデータベースで一番大きな課題となるのは、ディスクI/O（以降、単にI/Oと表記します）のボトルネックです。数百GBやTBクラスの巨大データウェアハウスの場合、SQLが実行される時間のほとんどがI/Oを待つ時間となっているケースが多々あります。 ここでは、I/Oボトルネックが発生するおもな原因を、「レスポンス」と「スループット」という概念から見ていきましょう。それぞれ、広義では以下の定義となります。 I/Oレスポンス＝I/O要求処理にかかる応答時間 I/Oスループット＝単位時間当たりのI/O処理量 Oracle Databaseに当てはめると、以下のように定義できます。 I/Oレスポンス＝1データブロックの読み出しや書き込みにかかる時間 I/Oスループット＝単位時間あたりの読み出しや書き込み
プロ生ちゃんが聞く！ 2015年のプログラミング言語動向 | gihyo.jp
あけましておめでとう！ 私、暮井 慧。今年もよろしくね。ところでみんな、いろいろなプログラミング言語の動向とか気になるよね？ というわけで、プログラミング言語の去年のふりかえりと今年の予定なんかを、スペシャルな人たちに聞いてきたよ！ Ruby 最初は、みんな大好きRuby！ Rubyコアコミッターの小崎資広さんに聞きにきたよ。小崎さんは、Linuxカーネルコアの開発者でもあるんだって！ Rubyの2014年はどんな年でした？ 慧 こんにちは。2014年のトピックを聞かせてください！ 小崎 まずは、Ruby 2.2のリリースでしょう。リリース直前にいろいろとトラブルが発生してやきもきさせましたが、無事12/25にリリース。クリスマスにリリースする慣例を守ることができました。 今回のリリースはガベージコレクションの改善がメインで、速度の向上に加えて、Symbolがガベージコレクトの対象になるよ
2015年のHadoopとビッグデータ活用 | gihyo.jp
あけましておめでとうございます。濱野 賢一朗です。 1年は早いものですね。本当にあっという間に過ぎ去ってしまうものです。しかし、いざ1年を振り返ってみると、いろんなことが起きていたのだと実感したりもします。ここでは「ビッグデータ（Big Data）活用」が2015年にどう変化していきそうか、Hadoopの話題を中心に紹介したいと思います。 2014年を振り返る まずは、昨年を振り返ってみましょう。急浮上したバズワードという印象の「ビッグデータ活用」も、すこし落ち着いてきました。まだまだ浮ついた話を耳にしましたが、一方で、具体的な事例や技術の話も増えてきた1年でした。 システム基盤の観点では「Hadoop」の変貌が始まりました。皆さんご存じのとおり、Hadoopは並列分散処理を実現するオープンソースソフトウェアです。技術的側面での変貌は2015年に本格化すると思いますが、その下準備が着実に行
PHP処理系の未来 | gihyo.jp
PHPユーザーの皆様、あけましておめでとうございます。本稿ではPHPとHHVMの2つのPHP処理系について紹介します。今後のPHPのトレンドを占うのにお役立ていただければ幸いです。 PHPの現在 本稿執筆時のPHPの最新バージョンは5.6.4です。最近のPHPはマイナーバージョンアップを1年ごとに繰り返すスタイルになっており、PHP 5.6.0はPHP 5.5.0から14ヶ月後の2014年8月にリリースされました。PHP 5.6ではphpdbgという新デバッガが同梱されるようになるなど注目点もありましたが、過去のバージョンアップに比べると変化が小さいバージョンアップでした。 ところで、PHPの次のバージョンアップではメジャーバージョンアップを予定しており、バージョン番号としては7.0となります。メジャーバージョンが5から7へと一気にジャンプするのは珍しい現象ですが、過去に開発中止となったP
2015年のLinuxのコンテナ技術 | gihyo.jp
2014年は非常にDockerが盛り上がった1年でしたね。 Dockerは2013年の夏ごろから注目を集めはじめました。その後バージョンが0.9となった2014年の春ごろからさらに注目を集めるようになり、それ以降はさまざまなサービスやベンダーがDockerをサポートしたり、Docker関連のプロダクトを出したりするニュースが駆け巡った気がします。 Dockerに関係する勉強会が数多く開催されるようになり、Docker Meetup Tokyoなどは募集が始まった途端に定員に達するという活況ぶりでした。 Dockerは「コンテナ技術」そのものではなく、Dockerがやりたいことを実現するための技術要素の1つとしてコンテナを使っています。このDockerの盛り上がりと共にそれまでどちらかというとマイナーな技術であった「コンテナ」も2014年には非常に注目される技術となりました。 実際、筆者が主
インフラ屋のAWSはじめた日記─GUIを捨てよ：連載｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
弊社ホームページ改ざんに関するお詫びとご報告 | gihyo.jp
弊社ホームページにおいて、2014年12月6日11時～14時のあいだ、第三者からの不正アクセスによりサイトが改ざんされていた事が判明いたしました。ご利用頂いておりますユーザの皆さまにおかれましてはご迷惑をお掛けいたしまして、深くお詫び申し上げます。 なお、現在は被害を受けたサーバは復旧作業を実施済みです。ご利用ユーザーの皆さまの個人情報流出等は、現在のところ確認されておりません。 被害対象サイト／コンテンツ URL：http://gihyo.jp 改ざん内容とその影響 サーバの中身を入れ替えられ、外部のサイトにリダイレクトされるように設定されていた。 リダイレクトされていたサイト（アクセスしないようご注意ください） www.koushin-lawfirm.net live.livelistingreport.com 現在把握している改ざんされていた可能性がある期間 2014年12月6日
サーバ障害のお詫び | gihyo.jp
本日（2014年12月6日）11時頃より発生しておりましたサーバ障害（第三者サイトへのリダイレクト、アクセス不能）は先ほど復旧いたしました。みなさまには大変なご心配・ご迷惑をおかけいたしまして申し訳ございませんでした。 状況は把握しており、現在サーバはコントロール下にあります。ユーザー情報の漏洩等は確認されておりません。 なお、DNSの更新を行ったため、仮サイトに接続されている場合がございます。Gihyo Digital Publishing等をご利用の際にはご注意ください（仮サイトでは閲覧のみでご利用くださいという旨の通知が出ます）。 詳細は後日改めてご報告いたしますのでお待ちください。 12月8日更新：詳細を公開いたしました。
第7回 エンジニアは資金調達も苦手 | gihyo.jp
今回は資金調達について考えてみたいと思います。 以前も書きましたが事業には元手＝キャッシュが必要です。 キャッシュを増やす方法 キャッシュを増やすには3つの方法があります。 1つは事業による利益で増やす、1つは増資で増やす、1つは借り入れで増やすというものです。このうち、増資もしくは借り入れで増やす2つをまとめて資金調達と呼びます。 エンジニアに限らず一番よくあるパターンが、最初は手金で起業するというものでしょう。手金が尽きる前に事業でキャッシュを増やせれば、つまり営業キャッシュフローをプラスにできれば資金調達は不要です。 以前の連載で取り上げた、フリーランス的な起業、いわゆる単なる独立はここでは除外します。とはいえ最初からなかなかキャッシュフローの収支をプラスにするのは難しいですし、逆に最初から順調にキャッシュが増えているケースだからこそ資金調達したくなる場合もあるでしょう。 そこで、今
レポート：HTML5に関わる過去・現在・未来 ～「HTML5 Conference 2012」基調講演レポート｜gihyo.jp … 技術評論社
2012年9月8日、HTML5 Conference 2012が慶應大学日吉キャンパスにて開催されました。 今回の参加者は昨年開催された「Chrome+HTML5 Conference ～第20回記念HTML5とか勉強会スペシャル～」の5倍にあたる1,000人の方に参加していただいたイベントで、主催コミュニティである「html5j.org」にとってもはじめての規模でした。 同イベントでは、22のセッションが行われ、どのセッションもWeb業界の著名人によって講演されました。 本稿では、同イベントの最初のセッションである基調講演についてレポートします。 基調講演 今回の基調講演の構成は、最初にイベント概要の紹介、次にHTML5に関わる過去現在未来についてをコミュニティの視点からと技術的な視点からの話に分けて行いました。 イベント概要 まず最初に、html5j.orgコミュニティの管理人である白
第37回 自作の実用ツールをオープンソースで公開 | gihyo.jp
開発や運用作業の効率化、あるいは課題解決のためにちょっとしたプログラムを開発したことがある人は多いでしょう。オープンソースとして公開されている「Tomahawk」も、もともとサーバ構築の手間を軽減するために開発されました。今回は、このTomahawkの開発者であるサイバーエージェントアメーバ事業本部ピグディビジョンエンジニア、生沼一公（おいぬま かずひろ）氏にお話を伺いました。 生沼一公氏 負荷テスト用サーバを効率的に構築するために開発 ソースコードを広く一般に公開し、興味のある複数のエンジニアが協力し合いながら開発を進めるオープンソースは、LinuxやApache、MySQLなど優れたソフトウェアを世に送り出したほか、最近ではAndroidやHadoopといった注目度の高いプロダクトを開発しています。サイバーエージェントアメーバ事業本部ピグディビジョンエンジニアの生沼一公氏は、このオープ
第235回 Ubuntu 12.04でEmacs 24.1を使う | gihyo.jp
皆様はじめまして。EmacsとPCキーボードをこよなく愛するLinux使いの濱野と申します。 「Emacs 24.1がリリースされたのにUbuntu Weekly Recipeでまだ紹介されていない。これは由々しき事態だ！ でも、Ubuntu Japanese Teamメンバーは多忙で手がはなせない！」とのことで、今回、私が紹介させていただくく運びとなりました。どうぞよろしくお願いします。 はじめに 2012年の6月10日に、Emacs 24.1がリリースされました。Emacs 23.1のリリースは、2009年7月29日ですので、およそ3年ぶりのEmacsのメジャーバージョン更新となりました[1]。 本稿では、その最新のEmacsをUbuntuの最新リリースである12.04に導入する方法と、Emacs 24.1での主要な変更点の紹介をします。 Emacs とは Emacsについては、過去
第7回 コンテンツベースのレコメンドシステムのHadoop実装［中編］ | gihyo.jp
処理の流れと各処理におけるデータ形式 前回の繰り返しになりますが、Hadoopで同じ関数を使い類似性の計算をするのであれば、コンテンツベースと協調フィルタリングの違いは、keyおよびvalueの設定の違いにあります。 今回利用するデータも協調フィルタリングと同様にAmazon review data setです。このデータは以前紹介した場所から、現在は次の場所に移っています。 URL：http://liu.cs.uic.edu/download/data/ アイテム間の相関を協調フィルタリングではユーザの数で計算しましたが、コンテンツベースでは単語の数で計算します。したがって、MapReduceの第一段階における＜key value＞は協調フィルタリングでは＜ユーザid アイテムid＞でしたが、コンテンツベースでは＜単語id アイテムid＞となります。 図1にMapReduceの各段階で使
第12回 【Trema編】動画放送局をIPマルチキャストで作ってみよう！ | gihyo.jp
はじめに グーーッモーニング、ベトナーーーーーム! 『グッドモーニング、ベトナム』（バリー・レヴィンソン） 今回はOpenFlowでミニ放送局気分を味わってみましょう！ 動画を配信するしくみの1つにマルチキャストがあります。これはNTT東／西の「ひかりTV」などで実際に使われているしくみで、動画などのデータを多くの視聴者に対して効率的に配信できるという特徴があります。このマルチキャストを使った動画配信をTremaで実現してみます。 観たい人にだけ届けるマルチキャスト マルチキャストを使った動画配信の動作を簡単に説明しておきましょう（図1）。動画ストリーミングサーバが配信を始めると、マルチキャストネットワークが視聴者全員にパケットをコピーして転送します。ここでもし、動画を観ない人も含めた全員に動画を届けてしまうと、ネットワークの負荷が非常に大きくなってしまいます。そこでマルチキャ
第8回 日本唯一のIPv4アドレス移転仲介業？ ipiten.jp | gihyo.jp
IPv4アドレス在庫枯渇にともない、IPv4アドレス移転が徐々に注目されつつあります。第8回は、IPv4アドレス移転仲介サービスipiten.jpを行われているサイバーエリアリサーチ株式会社の松村賢三氏と風間勇人氏にお話を伺いました。 IPv4アドレス移転仲介サービスは、現時点では恐らく同社以外にどこも行っていないと推測しています。 今回は、仲介を行う事業者の視点でのIPv4アドレス売買（金銭的な対価を伴うIPv4アドレス移転）に関して伺いました。非常に緊張されていたようで、最初のうちはあまり会話が弾まなかったのですが、徐々にいろいろと面白いお話を伺えました。 ということで、前半よりも後半の方が面白い話が入っている記事なので、最後まで読んでいただけると幸いです（笑）。 サービスの流れ ──このサービスはいつ開始されましたか？ 昨年の10月に開始しました。 ──移転元となり得る組織に
第2回 パッケージ管理npmとアプリケーションの永続化 | gihyo.jp
はじめに 前回は、Node.jsについての説明から、モジュール参照の仕組みや最もシンプルなHTTPサーバの実装についてまで紹介しました。今回はパッケージ管理ツールのnpmとNode.jsアプリケーションの永続化について紹介します。前回記事に引き続く内容になっていますので、未読の際はそちらからなるべくご覧ください。 予期せぬ例外に備える 前回の記事で、どんなリクエストにも「Hello World」を出力するだけの、単純なHTTPサーバの実装を紹介しました。そして、アプリケーションとそれを動作させるHTTPサーバがJavaやPHPなどと異なり、オールインワンの1つのプロセスで動くことも述べました。 このため、単にnode app.jsのように動作させた場合、例外が発生すると、サーバ機能ごとプロセスが終了してしまいます。そのため、サーバ機能まで道連れにしないように、アプリケーション側で例外処理を
第5回 Linux Kernelメモリ管理最新動向［その1］ | gihyo.jp
2012年6月6日～8日にLinuxCon Japan 2012が開催されます。ここではLinux Kernelの最新技術の発表や議論がいろいろ行われるのですが、カンファレンスを楽しむ手助けとなる記事を…ということで、最近のLinux Kernelのメモリ管理の以下のトピックについて、2回に分けて紹介したいと思います。 今回は、 NUMA対応 組込みシステム向けの新機能 次回は ファイルシステム、デバイスと連携したエンハンス メモリ資源管理機能（cgroup） CleanCache を取り上げます。 それぞれ、LKMLでどのような提案があって、提案の理由は何か？ 現在はどうなっているのか？ ということを簡単に紹介したいと思います。 NUMA対応 性能エンハンス機能として現在議論されているのが、NUMAマシン上のアプリケーションのチューニング機能です。現在、全く別の方式が有名ハッカー2人から
第220回 Ubuntuでモバイルシェル「Mosh」を使う | gihyo.jp
Moshというソフトウェアが最近話題になっています。moshと言えばR6RS準拠のSchemeインタプリタを連想する方も多いと思いますが、今回紹介するのは同名の別ソフトウェアです。 Moshとは、端末をリモートで操作するためのソフトウェア、簡単に言ってしまえばSSHの代替となるソフトウェアです。今週のレシピでは、SSHよりも高速で、接続のローミングができるMobile Shell、略してMoshを紹介します。 Moshのインストール Ubuntuでは、12.04のUniverseリポジトリにMosh 1.1.3のパッケージが用意されています。また10.04、10.10、11.04、11.10の各リリースにも、backportsリポジトリにMosh 1.1.1がバックポートされています。つまりUbuntuならば、ソースビルドや野良パッケージなどに頼らずとも、Moshを簡単に使いはじめることが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
技術評論社 素材 フォント 年賀状
インフラエンジニア教本 ――ネットワーク構築技術解説 | Gihyo Digital Publishing … 技術評論社の電子書籍
