Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
What we want to do In this tutorial, I will describe the required steps for setting up a multi-node Hadoop cluster using the Hadoop Distributed File System (HDFS) on Ubuntu Linux. Hadoop is a framework written in Java for running applications on large clusters of commodity hardware and incorporates features similar to those of the Google File System and of MapReduce. HDFS is a highly fault-tolera
If you’re looking for a developerWorks forum — Don't panic! You are in the right place. You are here because specific IBM developerWorks forums, blogs and other Connections content have been decommissioned. This page will help you find the content you are looking for, get answers to your questions, and find a new community to call home. Where am I? You are on the IBM Community area, a collection o
前回(http://d.hatena.ne.jp/lopnor/20080831/1220183688)サンプルプログラムを動かすところまで行きましたけど、今回は例のid:naoyaのhadoop streamingでアクセス解析(http://d.hatena.ne.jp/naoya/20080513/1210684438)するのをやってみます。というかなんとかたどり着いたのでまとめを書きます。 *ec2の使い方 id:rx7さんがとても丁寧に説明されている資料(http://d.hatena.ne.jp/rx7/20080528/p1)があるので、そちらを読めば完璧だと思います。僕もこれでec2が使えるようになりました。 *hadoop-ec2の使い方 https://codezine.jp/article/detail/2841がイントロダクション。http://d.hatena.n
Apache Hadoop プロジェクトでは、信頼性の高いスケーラブルな分散コンピューティングのためのオープンソースソフトウェアを開発しています。Hadoop には以下のサブプロジェクトがあります。 Hadoop Common: Hadoop のほかのサブプロジェクトをサポートする共通のユーティリティです。 Avro: 各種スクリプト言語に動的に組み込み可能なデータ直列化システムです。 Chukwa: 大規模分散システムを管理するためのデータ収集システムです。 HBase: 巨大テーブル用の構造化データストレージをサポートするスケーラブルな分散データベースです。 HDFS: アプリケーションデータに対して高いスループットでのアクセスを可能にする分散ファイルシステムです。 Hive: データ・サマライゼーションやアドホックなクエリー操作を可能にするデータウェアハウス・インフラストラクチャです
第1位 麻雀ロワイヤル ボード・カード 会員数130万人突破!ブラウザで手軽に楽しめる超本格麻雀ゲーム!麻雀好... かんたん対戦あり男性向け 第2位 対戦☆ZOOKEEPER パズル スマホで大人気のアクションパズル対戦ズーキーパーがYahoo!モバゲー... かんたん対戦あり大人向け 第3位 ソリティア BATTLE ROYAL β ボード・カード ソリティア対戦ゲームで登場簡単ルール&操作 勝ち取れ段位目指... かんたん大人向け一人でOK 第4位 テルマエ・ロマエ ガチャ 育成・シミュレーション あの「テルマエ・ロマエ」がゲームとなって登場!日本一の風呂屋を目指し... フィーバーかんたんたすけあい
2007/04/03 全米で第6位のトラフィックを稼ぐ人気SNSサイト「Facebook」のコアモジュール「Thrift」がオープンソースとして公開された(公式ブログ)。ライセンスは独自の「Thrift Software License」(改変や再配布を許容している点はGPL同様のようだ)。Facebookは学生向けSNSとして2004年にスタートし、その後、学生以外にも会員を拡大。2007年2月現在の会員数は1700万人。アップロードされている写真点数は10億枚以上で、1日600万枚の画像がアップロードされるなど、画像共有サイトとして見てもFlickrよりも大きい。そんな急成長した巨大サイトを支えたのは、独自に作り上げた開発フレームワークだったようだ。 多数の言語で開発したモジュールをシームレスに統合 Facebookが、開発フレームワークとして自ら作成したのがThriftだ。“thri
最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画(編集部) Javaはネットワークを利用した分散処理にも強い Javaはネットワークプログラミング向けのjava.netパッケージが標準で備わっていることからも分かるように、もともとネットワークを強く意識した言語仕様となっています。そのため筆者は、「Javaはネットワークを利用した分散処理にも強い」というイメージを持っています。前回の「GoogleのMapReduceアルゴリズムをJavaで理解する」で説明した、分散処理技術で最近注目を浴びているMapReduceもJavaによる実装があります。 それは、Apache Hadoopプロジェクトで開発されているものです。このプロジェクトは、もともとはオープンソースの検索ソフトウェアであるAp
<?php // Entity/User.php namespace Entity; class User { private $name; private $gender; public function __construct($name, $gender) { $this->name = $name; $this->gender = $gender; } public function getName() { return $this->name; } private function getGender() { return $this->gender; } } 名前を保持するnameプロパティと、性別を保持するgenderプロパティを定義します。genderプロパティに対するゲッターメソッドはprivateにしてあります。 ■ ReflectionClass まずクラスの情報を抜
「就活」にモンスターパパとモンスターママが出てきて大混乱! この国の未来は大丈夫だろうか 大学生たちよ、会社は幼稚園じゃない 子供の可能性を信じ、最後まで温かく見守る―。就活中の大学生を持つ親にとって、子供との距離感が難しいのは事実。だが、あまりに近すぎる親が多いのではないか。 「大学の先生が悪い」って? 「学生の親御さんからの就職に関するクレームといえば、『なぜ、今頃になっても子供が就職できないのか』といった内容が多いですね。『どうしてウチの子が、こんな名前も知らないような小さな会社の内定しか取れないのか』『就職できないのは、大学の先生や、あなたたちの就職指導が悪い』といったものもある。中には執拗に何度も電話をかけてくる、いわゆるクレーマーとかモンスターペアレントみたいな方も、いらっしゃいます。 みなさんのお話をうかがいますと、高学歴の親御さんのほうが、お子さんの就活に熱心だという傾向が
PostgreSQL - The world's most advanced open sorce database 20日(米国時間)、PostgreSQLの最新版にしてメジャーアップグレードバージョンとなるPostgreSQL 9.0.0が発表された。PostgreSQL 8.0のリリースから5年以上、これまで待ち望まれてきて多くの新機能を実現した注目のバージョンに仕上がっている。PostgreSQL 9における主な新機能は次のとおり。 ホットスタンバイ ストリーミングレプリケーション リアルタイムバイナリデータベースレプリケーション インプレースアップグレード 大量のパーミッション管理機能 排他的制約 遅延ユニーク制約 匿名コードブロック ストアプロシージャに対する名前付きパラメータコール 順序付きアグレゲート Windows 64ビットビルド版導入 PostgreSQL 9で導入さ
最近はまんぐうん家にいます。 nagata (@handlename) です。 FlashやJSと連携する際には、APIを実装することになりますが、 今回は「こんなことやると実装が楽になるよ!」という小技をいくつか紹介します。 ※本記事ではレスポンスの形式としてJSONを使った場合を例として用いています。 ※アプリ名を「api」、モジュール名を「kayac」として説明します。 symfonyのバージョンは1.4です。 APIのレスポンスを返すための準備 symfonyのレスポンス、そのままではレイアウトが適用されてしまいます。 HTML形式で表示されるわけですね。 APIのレスポンスとして使う場合、こんなんじゃやってられません。 view.yml でレスポンスの形式を設定してしまいましょう。 apps/api/config/view.yml has_layoutをfalseにすることによっ
PostgreSQL開発チームは9月20日、「PostgreSQL 9.0」正式版をリリースした。レプリケーション機能が標準搭載されたほか、権限の一括変更管理など要望が高かった機能が加わっている。 最大の特徴は、「ホットスタンバイ」と「ストリーミングレプリケーション」の導入。ホットスタンバイは待機サーバーでリードオンリーのクエリ処理を可能にするもので、ストリーミングレプリケーションは、主サーバーと待機サーバー間で操作単位でトランザクションログを転送する機能。最新版では、この2つの新機能を組み合わせ、シングルマスタ・マルチスレーブ構成を実装できる。 オブジェクトの権限も強化され、スキーマに含まれる既存のオブジェクト権限をまとめて変更できるようになった。また、今後作成されるオブジェクトに適用する権限も設定可能となった。ラージオブジェクトでも、パーミッション管理をサポートした。 このほか、64ビ
2010年9月19日付の朝日新聞社説で、新卒一括採用の問題が取り上げられました。(ツイッター上で、私に教えて下さった方、ありがとう)。 日本の新聞社のwebは、いつ記事が消えるかわからないので、ここにまずは全文引用します。 引用元:http://bit.ly/aKT7XO ___________ 脱・就活―「新卒一括」を変えよう 若者の悲鳴が、毎週のように投書欄に載る。「就職が決まらない。この言葉が明けても暮れても心の中に住みついて離れない」「内定が取れないと、学内でも負け組扱い。就職するために大学に入ったんじゃない」 大学生の就職活動は、3年生の秋が来る前から本格化している。既にいくつかのインターンシップを終え、これから企業のセミナーや説明会シーズンだ。冬はエントリーシートをせっせと埋め、春をまたいで面接を繰り返す。 就活という長距離レースに、大学教育は大きく侵食されている。 企業は採用
千葉ダービーで大事件発生 カテゴリ☆☆☆☆ 1 : 刑務官(宮城県):2010/09/20(月) 03:00:36.80 ID:RZq3X+ytP ?PLT(12022) ポイント特典 「千葉ダービー」となった一戦を前に、両チーム関係者がPK対決。 ゴールキーパーは両チームのマスコット ジェフィ君とレイ君が努めることになったのですが・・・ ・動画 2 : 速記士(千葉県):2010/09/20(月) 03:02:44.46 ID:cLa0zr090 こんなのやってたのかw 5 : 実業家(catv?):2010/09/20(月) 03:06:48.07 ID:PmrwL+ns0 >>1 糞ワロチwwwwwwwwwwwwwwwwwwww 11 : 歯科技工士(静岡県):2010/09/20(月) 03:13:56.41 ID:dDUWMyYyP >>1 首ってこんなに
php用のHudsonの設定と言えば、 HudsonでPHPのユニットテスト http://d.hatena.ne.jp/ssogabe/20081102/1225642743 の記事があったりしますが、こちらで紹介されてる設定をそのままコピペしたとしても 近頃(すくなくとも今年4月以降)のhudsonだとパスがうまくいかなかったりします(うろおぼえ) なので、Phingプラグインを使う場合は、ビルドパスとか以下の感じにすると動くと思います。 というか、最近だったらSebastian Bergmann純正のテンプレートにそうのがトレンディーじゃないでしょうかね http://github.com/sebastianbergmann/php-hudson-template あ、PEAR的にはCruise Control&PHPUnderControlがナウでヤングですよ http://wik
Windowsのタスクマネージャに何個も並んで表示されているプログラム「svchost.exe」。これらがどんなサービスにひもづけられているのかを手軽に確認できるソフトを、3本まとめて紹介しよう。 Windowsのタスクマネージャでプロセスを表示した際、目につくのが「svchost.exe」というプログラムだ。同じ名前のものがズラリと並んでいる様子は、初めて見た時は多少ギョッとする。やたらとCPUを消費している場合など、その正体を確認しようと思っても、プログラム名が同じなのでそれだけでは判断できない。よく確かめずに強制終了させた結果、Windowsの挙動がおかしくなってしまった経験を持つ人も多いだろう。 もともとsvchost.exeはWindowsのサービスを一括管理するプログラムで、複数が同時に起動していてもおかしくないのだが、見た目が一緒であるため各々がどのような動きをしているか判断
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Template for Hudson Jobs for PHP Projects Hudson is an extensible continuous integration server that starts to see widespread adoption in the PHP community. The goal of the php-hudson-template project is to provide a standard template (Template Project Plugin for Hudson) for Hudson jobs for PHP projects. Required Hudson Plugins You need to install the following plugins for Hudson: Checkstyle (for
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く