Welcome to Apache Hadoop!
Apache Hadoop プロジェクトでは、信頼性の高いスケーラブルな分散コンピューティングのためのオープンソースソフトウェアを開発しています。Hadoop には以下のサブプロジェクトがあります。 Hadoop Common: Hadoop のほかのサブプロジェクトをサポートする共通のユーティリティです。 Avro: 各種スクリプト言語に動的に組み込み可能なデータ直列化システムです。 Chukwa: 大規模分散システムを管理するためのデータ収集システムです。 HBase: 巨大テーブル用の構造化データストレージをサポートするスケーラブルな分散データベースです。 HDFS: アプリケーションデータに対して高いスループットでのアクセスを可能にする分散ファイルシステムです。 Hive: データ・サマライゼーションやアドホックなクエリー操作を可能にするデータウェアハウス・インフラストラクチャです
Scala on Hadoop: Hadoop Conference - stanaka's blog
先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。 Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。 まず、Hadoop上でScalaを実行させるためには、JavaとScalaを接続するライブラリが必要となります。ここでは、SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用します。SHadoopは、型変換を行うシンプルなライブラリです。 よくあるWordCountのサンプル、WordCount.scala (http://blog.jo
自作サーバカンファレンス「はてなの自作サーバの実際」＋他セッション講演メモ - RX-7乗りの適当な日々
本日の自作サーバカンファレンス、申し込みして楽しみにしていたのですが、体調がよろしくなかったので泣く泣く不参加・・・にしようとしていたところ、なんと！Ust(USTREAM)配信されているようだったので、そっちで視聴しました。感謝！！ 1つ目のトークの"はてな"の自作サーバ事情の話、他各トークセッションのメモ書きを今後の自分のために残しておきます。 田中さん(id:stanaka)のオープニングセッション 自作サーバは安い早いうまい 必要十分な仕様 部品単位で調達・組立 独自のカスタマイズ(SSD使いたい、など) はてなでは1年くらいSSD使っている！ 安い Core2Quad + 8GB + SSD X25-M 80GB \100,000 + 5,000/month (1A) \160,000/year Amazon EC2と比べても、1年でもとが取れて、SSDも付いてくる 自作サーバの
七転び八起きのLinuxカーネルコミュニティ開発体験記
はじめに 現在のLinuxカーネルはメモリーホットプラグという，一般的にはなじみがない機能をサポートするようになっています。私は長い間その開発にかかわってきました。 コミュニティに参加する方法というのは，今ではノウハウ化が進み，「Linuxカーネル開発への参加方法」という文書も紹介されるようになりました。 しかし，私が活動をはじめた当時は，まだどうやって開発していけばよいのか勝手がわからず，四苦八苦することとなりました。これまでプロプラエタリなソフト開発しかしたことがないエンジニアにとって，コミュニティ開発というのはまったく開発スタイルの違う世界に飛び込むことだったからです。しかし，その苦労によって得られた経験は，その後の他の開発活動に活かされることになりました。ちょうど良い機会をいただいたので，そのときの苦労を振り返りたいと思います。 メモリーホットプラグをサポートしているハードウエアは
Linuxカーネルの作り出す世界 − ＠IT自分戦略研究所
本連載は、ソフトバンククリエイティブ刊行の『ふつうのLinuxプログラミング』のうち第1部「Linuxの仕組み」の中から「第2章 Linuxカーネルの正解」と「第3章 Linuxを描き出す3つの概念」を、同社の許可を得て転載するものです。 本書は、LinuxにおけるC言語プログラミングの入門書です。「Linuxの世界が何でできているのか」に着目し、「ファイルシステム」「プロセス」「ストリーム」という3つの概念を紹介しています。 なお、本連載は転載を行っているため＠IT自分戦略研究所の表記とは一部異なる点があります。ただし、Webで掲載するに当たり、（例えば「本書は」としている部分は「本連載は」としていること、図版などの省略など）、表現を若干変更している点がありますが、その点ご了承ください。 ■オペレーティングシステム 今どきのコンピュータにはオペレーティングシステム（OS：Operatin
サーバー/インフラを支える技術 - naoyaのはてなダイアリー
『サーバ/インフラを支える技術』という書籍を執筆しました。明日 8/7 に発売です。 [24時間365日] サーバ/インフラを支える技術 ?スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 作者: 安井真伸,横川和哉,ひろせまさあき,伊藤直也,田中慎司,勝見祐己出版社/メーカー: 技術評論社発売日: 2008/08/07メディア: 単行本（ソフトカバー）購入: 133人 クリック: 2,270回この商品を含むブログ (288件) を見る 書名にもあります通り、インターネットサービスのサーバ/インフラ周りについての書籍で、Klab さんのエンジニアの方々と一緒に書きました。ただし、サーバーと言っても少し特殊で、如何にコストをかけずに堅牢なサーバー環境を作るかというのが本書籍に一貫している姿勢です。 Linux、LVS、DRBD、Squid、Nag
0×0018 till I die » はてなnaoyaさん「はてなを支えるバックエンドシステム」
403 Forbidden nginx
はじめてのひき - PortableBinaryHacks
Binary Hacks は GNU/Linux & x86 メインですが、 それ以外だとどんな感じだろうってことを書くところです。 私が個人的にいじってるものですが、 他の人にいじってもらっても問題ありません、 というか知らないことだらけなのでありがたいです。 1. イントロダクション Binary Hack入門 Binary Hack用語の基礎知識 file でファイルの種類をチェックする od でバイナリファイルをダンプする 2. オブジェクトファイルHack ELF 入門 静的ライブラリと共有ライブラリ ldd で共有ライブラリの依存関係をチェックする readelf で ELF ファイルの情報を表示する objdump でオブジェクトファイルをダンプする objdump でオブジェクトファイルを逆アセンブルする objcopy で実行ファイルにデータを埋め込む nm でオブジェク
FrontPage - Kernel Newbies Japan
KernelNewbies Japan Web から得られる情報 たくさんのカーネル開発に関する情報が Web 上に既に公開されています。 webresources を参照してください。 カーネル2.6に含まれるドキュメントの日本語版 HOWTO Linux カーネル開発のやり方の重要な事柄を網羅したドキュメントです SubmittingPatches Linuxカーネルに変更を加えるためのHowto です SubmitChecklist 開発者がパッチをより素早く取り込んでもらいたい場合に、実践すべき基本的な事柄を紹介しています。 stable_api_nonsense.txt この文書は、なぜ Linux ではバイナリカーネルインターフェースが定義されていないのか、またはなぜ不変のカーネルインターフェースを持たないのか、ということを説明しています ManagementStyle Li
独学Linux : UbuntuのKVMで試す仮想化環境
3月16 UbuntuのKVMで試す仮想化環境 カテゴリ:Ubuntu7.10仮想化 久々に仮想化の話題です。今回は，Ubuntu7.10にKVMをインストールして試してみました。 KVMは，Intel VTやAMD-VといったCPUの仮想化機能を使って仮想マシンからCPUに直接アクセスできるようにするデバイス・ドライバ(/dev/kvm)で，別途仮想マシン・モニタのqemuが必要です。 UbuntuのKVMを使って Fedora8を起動中 【KVMのインストール方法】 インストールは簡単です。Gnome端末で $ sudo apt-get install kvm qemu これだけです。 Synapticパッケージマネージャを使っても構いません。【KVMの起動方法】 KVMを起動させるには，ゲストOSのisoイメージファイル・インストール用CD(またはDVD)・ライブCD(またはDVD)
読学のススメ
【特別】エミナルクリニック池袋東口院の気になる口コミまとめ＆行く前に知りたい口コミ5選まとめ：更新 なんて気になったので、エミナルクリニックの池袋東口院についてSNSやネットで調べてみました。そう思ってSNSを中心に調べてみたら、、、口コミや評判も良いじゃない♪ちなみに、似たようなサービスや商品があるかも？なので、今回調べてみたのはこちらになります。お得なチャンス期間！～が狙い目！エミナルクリニックで全身脱毛をスタートさせるのに最適！このページの目次OPEN更新：エミナルクリニックの池袋東口院でお得に申し込みするなら特設サイトでした！エミナルクリニック池袋東口院の住所や最寄り駅、アクセスは？【写真付き】エミナルクリニック池袋東口院のアクセス方法を一から説明してみたエミナルクリニック池袋東口院の地図気になる！エミナルクリニック医療脱毛院のインスタの口コミや評判は？医療脱毛院や脱毛中の様子エミ
pthreadについて（スケジューリング）：CodeZine
#include <stdio.h> #include <unistd.h> #ifdef _POSIX_PRIORITY_SCHEDULING #error "_POSIX_PRIORITY_SCHEDULING defined" #else #error "_POSIX_PRIORITY_SCHEDULING not defined" #endif #ifdef _POSIX_THREAD_PRIORITY_SCHEDULING #error "_POSIX_THREAD_PRIORITY_SCHEDULING defined" #else #error "_POSIX_THREAD_PRIORITY_SCHEDULING not defined" #endif #ifdef _POSIX_THREAD_PRIO_PROTECT #error "_POSIX_
gcc+gdbによるプログラムのデバッグ 第2回 変数の監視、バックトレース、その他のコマンド
前回までに、デバッガを使用する上での最低限のことを覚えました。 ステップ実行 変数の表示、変更 ブレークポイント 今回は少しレベルを上げて、よりデバッガを使いこなすためのコマンドを紹介します。 ウォッチポイント ウォッチポイントはブレークポイントに近いものですが、ブレークポイントのように「ある地点に遭遇したら停止」ではなく、「監視している変数を操作したら停止」という流れになります。 ファイル内から該当する変数名を探せばいいと考えるかもしれませんが、C言語ではポインタによる変数の別名を付けることが可能であるため、そう単純にはいきません。 書き込みの監視 あまりよいサンプルが思いつかなかったため、簡単で無意味な例を示します。 counter.c #include <stdio.h> void set_counter(int *); int count = 1; int watchee = 0;
2007-12-30
例年通り大掃除の手伝いをしてそのあとはぐーたら． まぁ，朝7時に起きてるだけ普段よりだいぶまともな生活な気がする． 今年もあと一日．全然実感わかないわ． ・・・よし，Firefoxのタブはすっきりした． さきほど母親に教えてもらってかなり驚きました． isoさんひでさん知ってました？？ * 全種目21点3ゲームで2ゲーム先取のラリーポイント方式 * ラリーポイント方式とは、サーブ権に関わらずラリーに勝った方にポイントが入るルール * 20−20になった場合、2点差がつくか、30点を先に取ったほうが勝ちとなる * 各ゲームで一方のポイントが11点になった時に1分間を越えない休憩時間を設ける * ゲーム間は2分間を越えない休憩を設ける * 単複ともにラリーに勝ったほうが次のサービスを行う * シングルスのサービスは今までどおり * ダブルスのサービスは以下のように変更される 詳しい「バドミント
おごちゃんの雑文 � Blog Archive � クラックされた
もう昨日(正確には一昨日か)の話になるのだけど、このサーバがクラックされた。 今までのクラックのパターンは、特定一般ユーザにbrute force attackをくらって、フィッシングサイトを構築されたりボットを埋め込まれたりだったのだが、今回はいきなりrootを奪われる。 どうやらrootを奪われたらしいと気がついた時に「なんかsecurity holeが？」と思ってrootkitを調べると、ない。「はぁ？ 未知のexploit手段が？」とか思っていたのだが、どうやらそうでもなくて、 普通にrootを奪われて いた。いろいろ設定を調べると、sshの設定が「rootのログインOK」「パスワード認証可能」になっていた。後者は一般公開しているサーバだという事情からしょうがないのだが、前者はさすがにいただけない。こいつらがコンボだと「頑張れば普通にrootが奪える」からだ。実際それをやられた。
pthreadについて（スタックサイズ）：CodeZine
はじめに この連載ではUNIX系OSなどで使われるスレッド「pthread」についてサンプルを交えて説明していきます。pthreadはPOSIXが仕様化したスレッドモデルです。サンプルはCと一部C++、調査環境はFedora 8（2.6.23.1-49.fc8）、32bit、glibc-4.1-2、gcc-4.1.2-33およびFedora Core 6（2.6.18-1.2798.fc6）、32bit、glibc-2.5-3、gcc-4.1.1-30を使用しています。過去の記事第1回：pthreadについて（概要・生成）第2回：pthreadについて（同期）第3回：pthreadについて（条件変数・モデル）第4回：pthreadについて（スレッド固有データ） 8. スレッド属性（リファレンス） スレッドはスレッドを生成する際に属性を付加することができます。属性とはスレッドにおける拡張パラ
x86系重複コードの悪夢は消えるのか？（1/2） － ＠IT
11月版 x86系重複コードの悪夢は消えるのか？ 上川純一 日本ヒューレット・パッカード株式会社 コンサルティング・インテグレーション統括本部 2007/12/4 linux-kernelメーリングリスト（以下LKML）かいわいで起きるイベントを毎月お伝えする、Linux Kernel Watch。2007年10月のLKMLでどんなことが起きたのか見てみましょう。 長い長い開発サイクルを経てようやく登場した2.6.23 10月9日に2.6.23がリリースされました。長い開発サイクルの結果であり、それなりに安定したリリースのようです。これを受けて、10月は2.6.24のリリースプラン関連の話題でLKMLが熱く盛り上がりました。 10月24日に2.6.24-rc1をリリースしたLinusは、パッチのサイズについてコメントしました。通常のパッチのサイズは3～6Mbytes程度なのに、このリリース
8Gメモリマシンへの道 - 最速配信研究会(@yamaz)
最近一段とメモリが安くなっている. http://www.watch.impress.co.jp/akiba/hotline/20071006/p_mem.html 「今使ってるマザーボードは8G対応って書いてあるし, メモリスロットも4つあるから5万円出せば8Gメモリのサーバってぇ寸法よ」 という目論見だったけれど,いろいろ実験及び調べてみたところうまくいかなかったので,わかったところまでをご紹介.どなたか私の屍を乗り越えて先に進んでください. 得た知見としては下記の通り. メモリコントローラの最大バンク数について フツーに売ってるインテルベースのマザーボードのチップセットのメモリコントローラは最大ランク数(バンク数)という概念が存在して,チップセット的にハンドリングできるメモリ上限とは別の制限がある.メモリモジュールのランク数はおおむね片面実装(チップが基盤の片面にだけくっついてるもの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PCで直接I/O制御
Universal JTAG library, server and tools