以前ミドルウェアの設定ファイルのバージョン管理について書きました。 ミドルウェアの設定ファイルをどのようにバージョン管理すべきか - wyukawa’s blog で、最近Puppetについての素晴らしい資料を見つけたのではっときます。 Puppetのススメ View more presentations from Gosuke Miyashita こちらも参考になりそうです。 オープンソースなシステム自動管理ツール Puppet：連載｜gihyo.jp … 技術評論社 このスライドではPuppetのマニフェストをSVNでバージョン管理している例がのっています。 ChefのRecipeをバージョン管理する場合でも同様でしょう。 設定ファイルをバージョン管理してシンボリックリンク活用するよりもこっちのほうがいいかも。 あとスライドに出てくるカスタムスクリプト自動化の問題もありがちだなーって思

Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts　とすることとか（ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな）、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り

多分有名だと思うけどまずはこちら Linux-DB システム構築/運用入門 (DB Magazine SELECTION) 作者: 松信嘉範出版社/メーカー: 翔泳社発売日: 2009/09/17メディア: 単行本（ソフトカバー）購入: 55人 クリック: 3,402回この商品を含むブログ (32件) を見る DRBDとかの話もあるので6章まで読んでHadoop徹底入門の9章読むと良いかも。 7章以降はDBサーバのインデックスチューニングの話が出てくるんだけど具体例を図解してくれているのでわかりやすいです。 こちらもあわせて読むと面白いかも。 社内サーバインフラ勉強会(DB) View more presentations from Masahiro Nakayama こちらはLinuxプロセスの話が面白かったですね。カーネルのソースコードまで読んで解説しています。 [24時間365日]

Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理 作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブログ (16件) を見る いわゆる子象本。小象でも小僧でも無いよw 監修者のブログの Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道 で詳しく紹介されています。 原著はこちら Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) また原文のPDFをこちらから入手できます。 Jimmy Lin » Data

なんかドキュメントには書いてないっぽいんだけど地味に気づいたことを書いときます。 Tipsというほどではないメモですね。２つあります。 １つめ HiveQLのコメントは--です。 例： --hoge SELECT * FROM aaa ANTLRの文法を定義したファイルであるHive.gは下記のようになってますね。 COMMENT : '--' (~('\n'|'\r'))* { $channel=HIDDEN; } ;２つめ UDFの使用例を見たい時はextendedをつける 例えば hive> desc function instr; OK instr(str, substr) - Returns the index of the first occurance of substr in strなら hive> desc function extended instr; OK inst

毎回探している気がするのでリンクだけめもっとく。 すべてHadoopソースコードリーディングというイベント時の発表資料です。 ■MapReduce関連 Google スライド - オンラインでプレゼンテーションを作成/編集できる無料サービスです Hadoopソースコードリーディング MapReduce障害時のフロー サンプルから見るMapReduceコード ■HDFS関連 Hdfsソースコードリーディング第一回 Hdfsソースコードリーディング第２回

以前Hiveのソースを読んだ旨を Hiveのソースを見てみた。 - wyukawa’s blog に少し書きましたが、 slideshareで良い資料を見つけたのではっときます。 Hive Anatomy View more presentations from nzhang Design - Apache Hive - Apache Software Foundation DeveloperGuide - Apache Hive - Apache Software Foundation あたりもあわせて読むと良さげです。図のリンクが切れてるのは残念ですけどw またgitで本家からソースを取ってくるとEclipseで起動できるように.launchファイルも同梱されているので、動かすことも可能です。TestCliDriverというテストクラスを自動生成して動かすようです。

とりあえずめもっとく ■本家 Top Apache Hive TM Wiki Home - Apache Hive - Apache Software Foundation JIRA - ASF JIRA リポジトリ Subversion http://svn.apache.org/repos/asf/hive/trunk Git git://git.apache.org/hive.git http://github.com/apache/hive.git ■書籍 Hadoop徹底入門 作者: 太田一樹,下垣徹,山下真一,猿田浩輔,藤井達朗,濱野賢一朗出版社/メーカー: 翔泳社発売日: 2011/01/28メディア: 大型本購入: 14人 クリック: 668回この商品を含むブログ (43件) を見る 6章に30ページほど書かれている。入門にはいいと思う。 Hadoop 第2版 作者: To

NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮 これで話題になっていたのは知っていたけど仕事と関係無かったこともあり今まで読んでなかったんですが、１か月ほど前からHadoop仕事を始めたこともあり読んでみました。 ま、現状はNTTデータから仕事もらっている立場だし提灯記事でも書こうかとw 目次はこんな感じになってます。 で、全部で375ページもあるわけですが、アプリ開発者がとりあえず読むなら２章です。もうちょっと突っ込むなら関連する８章もプラスして読むといいでしょう。どうでもいいけど印刷して読んだほうがいいかも。僕はiPadで読みましたが２章は割とページをいったりきたりしたので。 ２章では渋滞解析アプリケーションを事例としてMapReduceアプリをどのように設計して、実装するのかが記述されていてとても参考になります。というかこれだけまとまった情報は象本にもHadoo

WEB+DB PRESS Vol.62の特別企画を読んで面白いなーと思ったシンボリックリンクを使ってのデプロイについて書いてみます。 記事ではhttpd.confを環境毎に切り替えるやり方が紹介されています。なおデプロイ先はLinuxで、リポジトリはステージング環境、商用環境がネットワークつながるという前提のようです。 どういうやり方をするかというとリポジトリ上に環境毎のhttpd.confを下記のようなファイル名で格納します。httpd.confは格納せずsvn:ignoreにします。 httpd.conf.development httpd.conf.staging httpd.conf.production このファイルを以下のような場所にチェックアウトします。 /home/webservice/site_local/etc/httpd/conf/ そして/home/webservi

ソフトウエア開発において、例えば要件定義、基本設計などの作業を進めていくにあたって個々の作業をどう管理するかというのは重要な問題です。担当者が基本設計書を作成したら誰がレビューして承認するのか？といった個々のタスクの流れをどう管理していくかというのは大規模になればなるほど厳密にやる必要があります。 TracやRedmineのような近代的なBTSでは個々のタスクを可視化したのがチケットであり、個々のタスクの流れを可視化したのがワークフローと言えます。 Tracはチケットという概念を作ることによりバグ票を抽象化し、バグ以外の作業も扱えるようにしました。またSVNのような構成管理ツールとチケットを連動させることによりチケット駆動開発を可能にしました。 Tracのワークフローは以下のようになります。 new（新規） → assigned（アサイン済み） → accepted（受け入れ済み） → c

Login - Hudson Wiki 発表資料はこちら Hudson study-zenView more presentations from Wataru Yukawa. slideshare見れない方は下記のPDF参照 http://dl.dropbox.com/u/8494587/Hudson-Study-Zen.pdf まず最初の企画をしてもらった@kohsukekawaさん、司会をしていただいた@cactusmanさん、会場確保に動いてもらった@yone098 さん、実際に会場を確保していただいた@jfutさん、懇親会幹事等の裏方仕事をやっていただいた@ikikkoさん、受付してもらった@aqubiさん、@ussy00さん 、その他発表者スタッフの方々を始めとした皆様お疲れ様でした＆ありがとうございました。_m( )m_　２００人を超える勉強会が成功に終わったのもこうしたスタ

meeting/10 - Shibuya.trac Wiki - Shibuya.trac - OSDN 発表スライドはこちら Shibuya.trac.8View more presentations from Wataru Yukawa. slideshare見れない方は下記のPDF参照 http://dl.dropbox.com/u/8494587/Shibuya.Trac.8.pdf まず会場を貸していただいた ニフティの皆様、会場面で調整していただいた @kurikazu さん、スイーツとか諸々手配していただいた@tyobichiさん、ピザ発注を含め裏方作業を取り仕切っていただいた@kanu_ さん、司会していただいた@ryuzeeさん、Ustしていただいた@nekotankさん、はじめ全てのスタッフ、発表者、また見に来ていただいた皆様に感謝します。ありがとうございました。m(

Seasar2 からスピンアウトしたユーティリティ集ということでSeasarプロジェクトのSandboxでS2Utilプロジェクトが始まりました。 要はS2ContainerやS2Tigerにあるユーティリティを切り出して単品で使えるようにしようということです。Java6対応も含む。 メンバーは@koichikさん、@shinsuke_sugayaさんと僕も微力ながら参加させてもらっています。 経緯としては Seasar3開発中止 - yvsu pron. yas にあるようにSeasar3の開発が中止になり、Seasar2.5の企画も [seasar-dev:1164] Seasar2.5 からはじまるスレッドにあるようになくなりましたが、ここでの話し合いをきっかけにS2Utilプロジェクトが始まりました。 ちなみに現状のSeasar2.4のユーティリティがなくなるというわけではありませ

「モダンなEclipse環境の構築方法」とかね。 2010-07-21 - marsのメモ 僕が書くのも場違いな気がするけど、とりあえず書いてみるよ。 Webアプリ作るという前提だとまずEclipse IDE for Java EE Developersをダウンロードしてインストールする。JDKは別途ダウンロードする。Tomcatも別途ダウンロードする。 JDKはWindowsの場合はデフォルトではProgram Files以下にインストールしようとするがパスに空白が含まれてるのが嫌なのでC直下とかにする。 Tomcatもインストーラを使わずにZIP版を解凍して、パスに空白が含まれていない場所にインストールする。 プラグインはSubversionクライアントとしてSubclipseを、プロパティエディタとしてちょま吉をインストールする。ここまでは必須。 DB使うようならDBViewerもイ

http://www.subversion.jp/index.php?option=com_content&view=article&id=50:subversion17enable-git-like-features&catid=25:subversion-article&Itemid=27 マジですか。TwitterでつぶやいたらTLがホットになったよw 次世代ワーキングコピー（Next Generation Working Copy (NG-WC)）というやつがキーらしい。 アナウンスの動画はこちら http://subversion.wandisco.com/component/content/article/1/41-whats-next-for-subversion.html 課題番号はこちら subversion: Issue 3357 仕様書はこちら http://svn.