第6回 Capacity Scheduler による複数ジョブの同時実行 | gihyo.jp
前回の記事では、Fair Schedulerによる複数ジョブの同時実行についてご紹介しました。今回は、Capacity Schedulerを使った場合について、複数ジョブの同時実行時の挙動を見てみましょう。 HadoopのSchedulerとは複数のジョブを実行する際に、slot数の割り当てを制御し、均等にリソースを割り振ってすべてのジョブが同時に動くようにしたり、優先度の高いジョブから実行させたりといったことを可能にするものです。Scheduler自体の意義については、具体例とともに前回の記事に記載しているので併せて参考にしてください。 Capacity Schedulerとは？ Fair Schedulerは、あらかじめ「pool」を定義して、poolごとにslot数の割り当てなどを決め、ジョブの実行時にどのpoolに属するジョブかを指定しました。Capacity Schedulerで
第5回 Fair Schedulerによる複数ジョブの同時実行 | gihyo.jp
今回のテーマは、Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、デフォルトの設定とFair Schedulerを使った場合で、どのような挙動の違いが生じるか、見ていきましょう。 HadoopのSchedulerとは？ MapReduceジョブを実行する際、Hadoopクラスタ上では、予め指定されたslot数だけ、同時にMapタスクやReduceタスクが実行されます。デフォルトでは、1つのTaskTrackerあたり、Mapのslot数がとReduceのslot数がそれぞれ2に設定されています。そのため、ノードが10台ある環境では、MapとReduceのタスクがそれぞれ20ずつ同時に動くことができます。通常、1
第3回 localStorageとpostMessageの使いどころ（3） | gihyo.jp
localStorageとpostMessage postMessageを使うことで、サーバを経由しないで異なるドメイン間でのデータ受け渡しが可能だということを説明しました。またlocalStorageを使うことで「サーバには送られないがブラウザにのみ保持されるデータ」を気軽に作ることができるようになりました。 「他サービスのid」ならまだしも「どんなサービスを使っているのか」までも秘匿（ひとく）したいケースは実際にはまれでしょうから、そこまでストイックな、完全にクライアントサイドでのみデータを保持するサービスにこだわる必要もないでしょうが、方向性としては興味深いと思います。クライアントサイドでのみデータを保持するということは、ブラウザのキャッシュをクリアしたらデータが消えるということでもあります。そんな状況は好ましくないでしょうから、localStorageに本当に永続化が必要な情報を入
第3回 localStorageとpostMessageの使いどころ（2） | gihyo.jp
postMessage 一般的に広く使われている、URLの?以降の文字列（query string）を使いサーバに対してデータを受け渡す方式は、異なるドメインのJavaScript同士で通信する際にはいくつかのデメリットがあります。http://example.com/?query_stringというURLにアクセスするとquery_stringの部分がサーバに送信されます。当然新規の通信が発生しますし、どのようなメッセージが送信されたのかをJavaScriptから受け取るには、サーバがブラウザに対して応答を返すまで待たなければなりません[3]。postMessageの登場以前も、サーバサイドを経由しない、JavaScriptだけで完結するクロスドメインでのメッセージ送信手法が考えられてきました。代表的なものは、window.name[4]を使った方法（リスト1）とlocation.ha
第3回 localStorageとpostMessageの使いどころ（1） | gihyo.jp
3回目となる今回は、サービス間の連携におけるlocalStorageとpostMessageの使いどころについて解説します。localStorageはWeb Storage、postMessageはCross-document messagingまたはWeb MessagingとしてHTML5の仕様に含まれているAPIです。どちらもIE（Internet Explorer）8以降、Firefox 3以降、Safari 4以降と、近年のモダンなブラウザで幅広くサポートされており、iPhone用のSafariやAndroidの標準ブラウザでも使うことができます。 localStorageとCookieの違い Cookieは一時的にデータを書き込んで保存させるしくみとして長い歴史を持っていますがさまざまな問題を抱えており、使い方には注意する必要があります。ここで取り上げるlocalStorage
第5回 プライバシーに配慮した広告効果測定 | gihyo.jp
この連載の第2回で、Web広告とアプリ広告の効果測定方法の手法の違い、およびアプリの広告効果測定を行うためのSDKの話を紹介しました。今回は、広告効果測定におけるプライバシーの話に踏み込んでみたいと思います。 広告効果測定とプライバシー 広告効果測定とプライバシーの保護は非常に密接な関係にあります。効果測定を行うということは、ユーザがどの広告を経由して流入して来たかを特定するということであり、つまりユーザの行動追跡を行うということです。 弊社も「Force Operation X」（以下「F.O.X」）という広告効果測定ツールを自社で開発し、広告主へ提供しているベンダの立場として、広告主の「ユーザの動向を正確に把握したい」という思いと、ユーザの「個人情報を勝手に扱われたくない」という思いを両立する必要があります。 プライバシー保護の観点では、いわゆる個人情報を扱わない、つまり個人を特
Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る | gihyo.jp
Hadoopすらもかなわない!? Amazon Redshiftの破壊力をHapyrus 藤川氏が語る シリコンバレーで起業し、順調にビッグデータビジネスを展開している日本人ベンチャー企業といえば、Hadoop Conference Japan 2013 Winterでも話題となったTreasure Dataがその筆頭に挙げられます。 ですが、Treasure Dataとほぼ同じ時期に西海岸でビジネスをローンチし、現在、国内外の投資家たちから高い注目をあつめるビッグデータベンチャー、それも日本人技術者が創業者である企業が実はもう1社存在します。それが藤川幸一氏率いるHapyrusです。今回、来日中の藤川氏に直接、Hapyrusが現在最も注力するAmazon Redshiftに関するビジネスを中心にお話を伺いました。 藤川幸一氏 Redshiftへのデータアップロードを事業の中核に ──H
第1回 Amazon Redshiftとは［前編］ | gihyo.jp
Amazon Web Services（AWS）は次々と新しいサービスを世の中に出して、クラウド・コンピューティングの可能性を広げていっています。そのAWSから登場した最新のサービスであるAmazon Redshiftは、そのパフォーマンスや驚異的な低コストのため、発表当時から大変な反響を呼んできました。 この連載では、 Redshiftの概要からその利用方法まで、主にあまりデータウェアハウスを利用した経験がないWeb開発エンジニアなど向けに、このビッグデータ向けクラウド・データウェアハウス製品であるAmazon Redshiftの解説をして行きたいと思います。 まずは、そもそもAmazon Redshiftとは何なのか、その概要から説明します。 Amazon Redshiftはビッグデータ時代のクラウド・データウェアハウス 2012年11月、AWSにとって初めての世界的なユーザカンファレ
実例で学ぶAWS入門：オーディエンスデータプラットフォーム「cosmi」を例に 記事一覧 | gihyo.jp
第5回アマゾン ウェブ サービスのエバンジェリスト 玉川憲氏が訊く、cosmiがAWSを選んだ理由 馮富久［文章・構成］ 2012-02-28
スタートアップ SVG 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
第31回 秋葉原に集結した技術者集団Ameba Technology Laboratoryの役割を探る［後編］ | gihyo.jp
統合ログ解析基盤と検索システム、そして機械学習の開発と運用を目的に、サイバーエージェントが秋葉原ダイビル内に開設したのが「Ameba Technology Laboratory」（以下、ラボ）です。第28回の前編に引き続き、ここで行われている業務内容や今後の展開について、ラボのメンバーに話を伺っていきます。 Ameba Technology Laboratoryのオフィスのようす 即座にGOサインが出た統合ログ解析基盤の開発 テキスト検索エンジンである「Lucene」、そしてWeb検索エンジンの「Nutch」の開発において中心的な役割を果たしたDoug Cutting氏は、2006年に新たなプロジェクトを立ち上げます。それが現在、大規模データ分散処理技術として注目を集めている「Hadoop」でした。 このHadoopの大きな可能性に魅せられ、多くの企業がHadoopを自社のデータ解析
MITにてSICPのクラスが復活!? | gihyo.jp
コンピュータサイエンスを学ぶ古典として『計算幾プログラムの構造と解釈』（注1）があります（通称、「SICP」）。MIT（マサチューセッツ工科大学）で、この書籍を教材にプログラミング入門のカリキュラムが組まれていることで有名でしたが、年が経つにつれ内容が合わなくなってきたことにより、もとはSchemeという言語を使っていたのがPythonに変わり、教材も新しくなっています。 この流れを嘆き悲しむ人は少なくなく、本家MITでもそのような人が多かったのかどうかはわかりませんが、Independent Activities Period（IAP）という1月の4週間で学生や教師が自由にクラスを作ることができるしくみにより復活（？）しました。「ゾンビ」と名付けられたクラスのページには講義資料や演習問題などが公開されています。 教材はSICPを踏襲しつつ言語のみをPythonに置き換えている
mixiエンジニアがおくるソーシャルアプリ開発実践講座：第3回 自動テストと継続的インテグレーションを既存プロジェクトへ導入しよう｜gihyo.jp … 技術評論社
はじめに はじめまして。（株）ミクシィの加藤和良です。2008年度に入社し、2011年1月からはシステム本部 技術部に所属しています。技術部は、日記やコミュニティといった特定のサービスに紐づかない、mixi全体を裏から支える部署です。「支える」ための方法は、実際のサービスの一部として動作する共通基盤から、開発効率を上げるために社内で動作しているものまで、多岐にわたります。 mixiでは、ここ数年で自動テストの導入が急速に進みました。図1は、mixiのソースツリーにおけるコードと、そのテストコードの毎月1日のバイト数をグラフにしたものです。2008年の頭には少なかったテストが急速に増え、今年の5月にはコード量をも追い越しているのがわかります。 携帯電話向けmixiである「mixiモバイル」の開始が2004年、mixiニュースが2006年ですから、2008年当時のmixiも、それなりに大き
2012年のJavaScript～PCからモバイルの時代へ | gihyo.jp
あけましておめでとうございます。一昨年、昨年に引き続き、今年も昨年のJavaScriptを振り返りつつ、JavaScriptの近い未来についてちょっとだけお話させて頂きます。 それでは早速、昨年の予想を振り返りつつ、最近までのJavaScript界隈の動きを振り返ってみましょう。 2011年のJavaScript界隈でのニュース 昨年の記事で私は2011年はウェブアプリの普及に向けて、JavaScriptの開発環境とテスト環境がキーになると書きました。まずはこの2つの視点から見てみましょう。 JavaScriptの開発環境 2011年のJavaScriptの開発環境に関する大きなニュースといえば、Ruby on Railsの3.1にCoffeeScriptがデフォルトで採用されたという一件があります。Railsは非常に人気の高いウェブアプリケーションフレームワークで、多くのフレームワークに
第11回 MapReduce処理をやってみよう！［実践編2］ | gihyo.jp
Java以外でMapReduceする 前回はJavaのネイティブプログラミングでMapReduceを実践してみましたが、今回はもっと手軽な方法を試してみたいと思います。Hadoopに付属しているstreamingユーティリティ（以下ストリーミング）を使うという方法です。ストリーミングを使用することでMap, Reduce処理は独立したプログラムで記述することができます。 それぞれの処理の入出力は標準入出力を使用しますが、逆に言うと標準入出力を使用する処理であれば言語は問いません。つまり、PerlやRuby, PHP,AWKといった使い慣れた言語でHadoopの仕組みを利用できるようになります。すばらしい！ PerlでMapReduceする 今回はPerlを使用しますが、標準入出力を使える言語であれば何でも構いません。Map,Reduceの処理は次の図のようになります。 図1 Perlによる
CakePHPで高速Webアプリ開発：第1回 CakePHPを使いたくなる5つの特徴｜gihyo.jp … 技術評論社
CakePHPとは CakePHPはオープンソースで開発されたPHP用のフレームワークです。Ruby on Railsの影響を強く受けており、Webアプリケーションを高速に開発するための仕掛けが随所に盛り込まれています。 PHP開発者の方で、Railsで開発してみたいけどRubyの経験がないのでなかなか行動に移せない方などはとくにCakePHPを試してみてほしいと思います。Railsの考え方を肌で理解しつつ、PHPでWebアプリケーションを高速開発するための選択肢を手に入れることになるでしょう。 CakePHP 本家サイト（英語）（左図）。 フォーラム - CakePHP Users in Japan（右図） そのほか、CakePHP プログラマーズ リファレンスガイドも参考になる CakePHPを使いたくなる5つの特徴 まずは皆さんにCakePHPに興味を持っていただくため、フレーム
第21回 MongoDB最前線！実戦投入の光と影と開発ノウハウ | gihyo.jp
データストアの新たなカタチとしてNoSQLがブームになっていますが、その中で異彩を放っているのがドキュメント指向データベースである「MongoDB」です。サイバーエージェントでは、このMongoDBを比較的早い段階から実サービスで活用しています。そこで今回はMongoDBの使いどころや利用時の注意点について、サイバーエージェントの3人の技術者にお話を伺いました。 分散処理のしくみを最初から備えるMongoDB リレーショナルデータベース（以下RDB）ほど煩雑ではなく、分散KVS（Key-Value Store）ほどシンプル過ぎない第三のデータストアの1つとして、ドキュメント指向型データベースである「MongoDB」が挙げられます。GNU AGPLv3を採用したオープンソースソフトウェアであり、パフォーマンスが高くスケーラビリティにも優れているという特徴があります。また、JSON（JavaS
mixiのこれから、2012年に向けた新たなるステージ―株式会社ミクシィ笠原健治氏に訊く | gihyo.jp
2011年、mixiは新機能のリリースや機能改修を行い、次のステージへ向かい始めました。mixiが今後どうなっていくのか、株式会社ミクシィ代表取締役社長 笠原健治氏に伺いました。 mixiページの登場 HomeエリアとTownエリア 2011年8月31日、mixiプラットフォームの新機軸として「mixiページ」がリリースされました。これまで、mixiアプリ、mixi Connect（Graph API）と順次リリースしてきた中で、このmixiページがどのような位置付けになるのか、まず、狙いと背景について伺いました。 笠原： mixiというのはこれまで、身近な友人・知人、家族や恋人といった人同士が心地良く過ごせることを目指してきました。この点は継続して提供し続けており、今回は、さらに「外に出る」というところを意識し、mixiページのリリースに至っています。 具体的には、mixiを、Homeエ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算 記事一覧 | gihyo.jp
Titanium Mobileで作る！ iPhone／Androidアプリ 記事一覧 | gihyo.jp