MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
Jenkins
Continuous Integration and Continuous Delivery As an extensible automation server, Jenkins can be used as a simple CI server or turned into the continuous delivery hub for any project. Easy installation Jenkins is a self-contained Java-based program, ready to run out-of-the-box, with packages for Windows, Linux, macOS and other Unix-like operating systems. Easy configuration Jenkins can be easily
CloudBees ファーストインプレッション - @ikikko のはてなブログ
先月末に、CloudBees: Cloud Platform as a Service for Java Web Apps, Supported Jenkins/Hudson and Jenkins/Hudson in the Cloudというサービスがリリースされました。これは、うたい文句の「Hudson-as-a-Service」とあるように、クラウド上でHusdonを実行できるものです。 Hudson自体かなり簡単に使えるけど、さらに推し進めてもっと気軽にできないかなーと思っていたところなので、早速登録して使ってみました。そのときの様子を画面キャプチャ付きで示していきます。 概要 CloudBeesは、実際にはAmazon EC2を内部で使用してるみたいです。料金は「月額固定料金＋ジョブが実行された時間による従量課金」ですね。ただ、現在はベータ期間中ということで、月額料金はかからない
Jenkins ja - Hudson & Hadoop
こんにちは。藤川と申します。 jaのMLには、初投稿です。 最近はHudsonから少し離れているのですが、以前は 業務でHudsonクラスタを管理したり、プラグインを書いたりしていました。 今はHadoop + JRubyという活動をメインで行っています。 ちょっと古い話題で恐縮ですが、夏ごろに行われた INTEROP2010というネットワーク系のカンファレンス内の、 クラウドコンピューティングコンペティション[1]というので、 HadoopクラスタをHudsonのSlaveの仕組みで、自動拡張するという デモを行って、コンペで２位とDeNA賞というのをいただきました。 （すみません、すぐに報告すればよかったですが。。） プレゼンをSlideShare[2]に上げているので、ご興味があるかたがいらっしゃれば ご覧ください。 どんなことをやったかというと、HudsonのHadoopプラグイン
HudsonクラスタをHadoopクラスタに - 川口耕介の日記
仕事では30-40ノード位のHudsonクラスタを運用しているのですが、常々、このクラスタをもっと多用途に使えたら便利だと思っていました。 HadoopをHadoop推奨の方法でインストールしてもよいのですが、ネットワークの情報等をHudsonとHadoopに別々に教えないといけないのは不便です。そこで、週末を２つ使って、HudsonクラスタにHadoopを展開するためのプラグインを書きました。Hadoopのコードを読むのに少し手間取りましたが、一度肝を掴んでからは比較的簡単でした。 このプラグインをインストールすると、Hudsonのクラスタ全域でHadoopノードが実行され、またネットワークの設定に関する情報が自動的にHudsonからHadoopへ伝えられます。ユーザーは、HadoopプラグインをHudsonにインストールする以外にはやることはなにもありません。いわゆる「zero con
Hadoop Commands Guide
All hadoop commands are invoked by the bin/hadoop script. Running the hadoop script without any arguments prints the description for all commands. Usage: hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS] Hadoop has an option parsing framework that employs parsing generic options as well as running classes. COMMAND_OPTION 説明
Map/Reduce Tutorial
このドキュメントでは、チュートリアルとして役立つことを目的に、ユーザーが触れる Hadoop Map/Reduce のすべての側面についてまとめて説明します。 Hadoop のインストールと設定が済み、すでに実行されていることを確認してください。詳細については、以下を参照してください。 Hadoop を初めて使うユーザーは、Hadoop クイックスタートを参照してください。 大規模な分散クラスタを使うユーザーは、Hadoop クラスタセットアップを参照してください。 Hadoop Map/Reduce は、どこにでもあるごく普通のハードウェアで構成した (数千ノードの) 大規模なクラスタ上で、膨大なデータ (数テラバイトのデータセット) を並列処理するアプリケーションを簡単に記述できるようにするソフトウェアフレームワークです。 通常、Map/Reduce のジョブは、入力データセットを独立
node.jsに関する基礎や開発・チュートリアルのまとめ:phpspot開発日誌
node.jsに関する基礎やチュートリアルのまとめ。 リアルタイムなWEBを実現するには必須のサーバサイドJS、node.jsについて色々とまとめてみました。 node.js node.jsについて node.js なんとなく凄そうだけどよく分からないという方も多いかもしれないので簡単に解説。 一番最初見た時は何かのJavaScript ライブラリかと思ったのですが、全く違って、V8というChromeにものっている高速JavaScriptエンジン上で動くサーバを動かせる仕組み。 サーバ自体を具体的に言うと次のようなコードで実現します。 var http = require('http'); http.createServer(function (request, response) { response.writeHead(200, {'Content-Type': 'text/plain
MySQLでDBをコピーするには
MySQLのデータベースをコピーするには、mysqldumpを使います。 mysqldumpはデータベースをダンプするためのユーティリティですが、他のMySQLサーバにデータをコピーするのに使うことができます。 ローカルで動いているMySQLの中で"source_database"から"dest_database"へデータをコピーするには、以下のようにします。$ mysqldump -u user_name -p -n source_database | ¥ > mysql -u user_name -p dest_database-nオプションは、CREATE DATABASEを出力に含めないようにするためのオプションです。これを付けることで、dest_databaseへデータをコピーできるようになります。 また、コピーしたいデータベースが巨大なときもあるかと思います。そのようなときに、
Hudson(Jenkins) はじめました。 - kuma8の雑記帳
はじめに Buildbotを常用していたのですが、Erlangと相性の悪い部分があったので、Jenkinsに乗り換えました。 ソースコードも読みつつ、パッチを当てようかとも思ったのですが、 アップデートのたびに個別パッチは、結局のところ、大変になるだけなのでCIツールを変更しました。 Buildbot の機能に依存している部分が少なかったため、ツール変更しても問題ない感じです。 せっかくなので、いろいろとまとめていきたいと思います。 インストール war ファイルをダウンロードして、好きなディレクトリに置くだけです。 テスト起動 $ cd /home/kuma8 $ wget http://hudson-ci.org/downloads/war/latest/hudson.war $ java -jar hudson.war適当に GUI からジョブを作ってみましょう。 これだけで、CIを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
