This document describes Masaki Nakagawa's role as a Software Engineer in Test (SWET) at DeNA. It provides details about his background, responsibilities in developing test frameworks and automated tests, and approach to testing. As a SWET, he writes test code, builds test environments, and automates testing to improve developer productivity. He advocates for testing activities to be integrated wit

Testing Casual Talks #1 : ATND UST : DeNA Technology Seminar DeNA Technology Seminar Software Engineer in Test at DeNA – @ikasam_a Software Engineer in Test at DeNA SWET(Software Engineer in Test) テストに関する開発者の役割 テストフレームワークを書く テストをビルドするための環境づくり テストを書く<blockquote cite=“http://googletesting.blogspot.jp/2011/02/how-google-tests-software-part-two.html” title=“Google Testing Blog: How Google Tests Softwa

第1回 Chef Casual Talks Kansai (2013/07/24) HIGUCHI Daisuke - CREATIONLINE,INC.

同値分割 効果群：テスト数削減 なんか絵 有意的に同義な値の範囲の代表値を選ぶことでテストケースを削減する。ビューティフルテスティング日本語版の中で山浦先生は「テスターが普段無意識にやってたことに名前をつけたことが偉い」と述べている 発動条件：テスト対象が扱う値の範囲が事前にわかる、または推測可能であること 境界値分析 効果群：バグ発見率向上 なんか絵 値による条件分岐、ループカウンタ等に潜むバグを狙ってテストデータを導き出す。オフバイワンエラーなどが顕著。なお、境界値のはみ出す方だけを取る派、両方を取る派があり、工数とのトレードオフ。 発動条件：同値分割が完了し、両端の値が分かっていること

at Testing Casual Talks #1 http://atnd.org/events/40914

ドットインストール代表のライフハックブログ

昨日から、色々調べ始めています。今日はAWSの上位ネットワークまわり。特に東京リージョン(Asia Pacific (Tokyo) Region)。 現時点の情報のスナップショットとしてログがわりに残しておきます。 ASN (AS番号) まず、以下のサイトで調べてみると、、、 http://bgp.he.net/search?search[search]=Amazon&commit=Search この通り、Amazonが取得しているASNは10個ほど見受けられますが、中身を見ていくと、このうちAS16509にほぼ集約されていることがわかります。 AS16509に接続されているBGPのPeerの数は現時点で、v4が158、v6が10となっています。(公開情報のみ) Peerの内訳は以下のリンク先から確認できます。 http://bgp.he.net/AS16509#_peers ざっくり確認

みなさんこんにちは。@ryuzeeです。 DevOpsGuysというサイトのTwelve DevOps Anti-Patternsという記事が秀逸です。 作者の方に許可を頂き翻訳しましたので公開します。 原文も軽妙なタッチで読みやすいと思いますのでぜひご参照ください。 また本文で様々なスライドや資料へのリンクがありますので、そちらも見ていただくと理解が深まるんじゃないかと思います！ えっとDevOpsを始めたいのかな？おっけー。ただ始める前に、やってはいけないいくつかのことについて見ておこう。 古き良き時代には単に「良くないアイデア」って呼んでいたんだけど、外交やポリティカル・コレクトネス運動の結果、ブレストやアイデアシャワーをして、最近は「アンチパターン」と呼ばれるようになった。 パターンが絶対的に正しいのであれば、すなわち「アンチパターン」は間違いということになる。そして間違いを避ける

2013/07/24 に「『プログラミング Hive』 『Hadoop 第3版』刊行記念Hadoopセミナー」で発表した内容です。 http://connpass.com/event/2944/Read less

2014/10/31に Tokyo Impara Meetup で実施した嶋内の発表の日本語資料です http://connpass.com/event/9031/

Rendr入門(1): Node.js + Backbone.jsでサーバ & クライアントを構築する"Rendr"の紹介JavaScriptNode.jsBackbone.jsExpress.jsRendr はじめてQiitaで記事を書いています。先日「Node.js + Express.js + Backbone.js」でサーバとクライアントの両方のシステムを構築する"Rendr"というウェブフレームワークを試しました。Rendrは、アメリカで人気のサービス"AirBnb"のチームが開発し、オープンソースとして公開したものです。クライアント側での採用事例は増えているBackbone.jsですが、サーバでの利用は珍しいのでは無いでしょうか。Rendr自体もまだ日本語での紹介例が無い事もあり、システムを紹介しつつ、使用感やメリット、そしてデメリットをメモしておこうと思います。 ※2回目を書

「ざっくりわかる DevOps ～ ビジネスよ！これがおれたちの力だ！」に参加してきた #agilesamurai #横浜道場 横浜道場　特別編 「ざっくりわかる DevOps ～ ビジネスよ！これがおれたちの力だ！」 - アジャイルサムライ読書会　横浜道場 | Doorkeeper 2013/07/23 #agilesamurai #横浜道場　特別編 「ざっくりわかる DevOps ～ ビジネスよ！これがおれたちの力だ！」 - Togetter 『DevOps』。こちらのキーワードも、最近IT業界で良く聞くようになって来ております。とは言うものの、中々捉えづらい部分もあったり、また実際現場に採り入れてみてはいるものの思った成果が...という方も多いのでは無いでしょうか。 そんな折、"ざっくりわかる"と題して長沢 智治さんによるDevOps入門的位置付けとも言えるような講演が『アジャイルサ

はじめに 今すぐ辞めて欲しい、「Ruby on Rails勉強してます」「CakePHP勉強してます」 | つい全力ツッコミしてしまうエンジニアCEOのブログ | sumyappを読みました。最初ツッコミどころが凄い*1なと思ったんですが、二回読んでちょっと思い当たる節があるなと思ったので書きます。 Rails を勉強しない方が良い理由 Railsにはscaffoldがあるので間口がすごく広いです。実際それを紹介した 15m intro video*2 が理由で人気を博しました。が、奥行きが深い。どこまで学べば「Railsを使いこなせます」って言えるのかまるでわかりません。 鉄板作法が共有されていない 2005年に出てきた割に意外に鉄板作法が共有されていません。 たとえばビジネスロジックをどこに置くのかについては以下のような議論があります やはりお前らのMVCは間違っている Rails の

7/23（火）に、弊社カフェにてgloopsさんと勉強会を開催しました。 今回、私はOpenStackについて、こんな風に使ってますよ～という内容で発表させて頂きました。その資料がこちらになります。 補足 就活 冒頭で、『就活に役に立たない』とぶっ込んでしまいましたが、 採用面接の際に、「OpenStackを構築したことがあります！」のコメントで うん、コイツは厳しい道をやり遂げる根性はあるな！とポイントアップして 採用に至った例を聞いてしまいました。 なので、皆さん、もっとOpenStackを触って情報を公開して自慢していけばよいと思います！ 社内で既に使ってもらっていますが、ほぼ不満なくいっぱい利用してもらえています。 長く使う開発環境としてはもちろんですが、 ちょっと調べたい時に、起動して即ポイできるのも想像以上に魅力的なようです。 格好つけて多くのOSを用意していますが、 弊社では

Myron Marston » The Plan for RSpec 3の微妙訳です。(翻訳最中なう)だいたい翻訳しました。訳がうんこなのは勘弁(ご指摘いただけると助かります)。 2013/7/23 21:25 id:kakutani さんのツッコミをもとに、誤訳等を修正しました。ありがとうございます(〃･ิ‿･ิ)ゞ RSpec 3に向けての計画 RSpec 2.0は2010年10月にリリースされました。 リリースされてから今までの3年間、後方互換性を保ったままRSpecを継続的に改善してきました。 しかし、RSpecの2.xより古いリリースとの後方互換性を保つために残しているひどいコードの蓄積は限界点に達しています。 RSpec 2.14はRSpec 2の最後のリリースになるでしょう(今後も多分bugfixのリリースすることはあるでしょう)。 我々はRSpec 3に取り掛かっています、

連載「Webサイト・アプリ高速化テクニック徹底解説」の第3回は、前回の「ユーザーの体感速度を高めるためのJavaScriptチューニング（前編）」の続きです。この後編では、「ユーザーの操作を阻害しない」方法についてJavaScriptのシングルスレッドやイベントループを交えて解説し、HTML5のWeb Workersについても紹介していきます。 前回は、ユーザーの体感速度を向上させるための方法として、3つのうち「ページを素早く表示する」と「ユーザーに素早くインタラクションを返す」を解説しました。今回は、最後の「ユーザーの操作を阻害しない」について詳しく解説していきます。 ユーザーの操作を阻害しない JavaScriptによる処理が重くなると、いつまでも画面が更新されなかったり、ユーザーの操作が止まってしまったりということがあります。止まっている時間が長すぎると、ブラウザから応答がないという

JavaScriptのthisの覚え方 や JavaScriptの「this」は「４つ」だけ！の授業でやったから、this はみんなばっちりだよな。じゃあ今から抜き打ちテストするぞー。まだ読んでないひとは先に上の記事を読んどくといいと思うけど、腕に自信のある人はすぐに回答を始めても構わないぞ。赤点とった奴は、今日の放課後補習だからなー。 【注意】 問題 18 ～20 について、カンマ演算子 を知らないから解けなかった、という人が結構いるみたいです。本問はカンマ演算子の知識を問うものではなく、あくまで this の振る舞いについての理解を試すものなので、本来の題意を損なわないように当該の問題は改題しました。改題後も正答とその根拠は変わりません。 得点 評価

KVS界隈ではすっかりおなじみ(?)のRedisですが、当社でも徐々にそのニーズが高まってきました。 標準機能として、レプリケーション、Pub/Sub、ソート等の便利機能が満載のRedisですが、サービスに投入する際に冗長構成をどう組むかといった点が気になっている方もいるのではないでしょうか。 まだまだ検証中ではあるのですが、Redisに実装されているRedisSentinelを用いて冗長構成を組んだ際にハマった所をご紹介したいと思います。 RedisSentinelとは Redisに標準実装されている機能の一つで、Redisのステータス監視、通知、自動フェイルオーバーが行なえます。 詳細な仕様、設定に関しては以下のドキュメントをご確認下さい。 http://redis.io/topics/sentinel RedisSentinel導入前の構成 特に何の変哲も無い構成です。 Redisサ

エキスパートが手がけたプロダクトを題材に技術的な解説を行っていくシリーズ連載、今回は wri.peです。 難しい機能の実装や、先進的なAPIの利用を通じて、執筆者が得たノウハウを余すところなく紹介していきます。 HTML5を活用したメモ帳アプリ [wri.pe] 最近、仕事で作っているミイルが忙しかったり、趣味で作っているMobiRubyがなかなか進まなかったりして、個人でWebサービス的なモノを作っていない事が自分としてちょっと気になっていました。 そこで息抜きとして、ゴールデンウイークに集中してWebサービスを一つ作ろう！と思い立ち、wri.peというWebサービスの開発に着手しました。 wri.peは自分が使いたいと思えるメモ帳を作ったので、下記の様な特徴を持っています。 Markdownフォーマットをサポート Gmailの様なアーカイブ機能 全文検索 カレンダーへのマッピング iP

先週末に Vagrant で有名な @mitchellh さんの新作、”Packer”が発表されました(正式にいつリリースしたのかよく分かってないですが、HN に流れたのは先週)。 Packer Packer | Mitchell Hashimoto mitchelh さんのブログ記事 簡単に言えば、EC2 や Virtualbox などの仮想環境における OS インストール作業を、設定ファイル 1 枚で自動化できるツールです。似たようなツールはたくさんありますし、これからもたくさん出てくるでしょう。ぜひいろんな人に今のうちから触ってもらって、よりよいツールにしていって欲しいと思ったので、超簡単な紹介をしておきます。英語が苦じゃない人は Intro をひと通り読むと良いと思います。 Packer 概要 Packer はメタ OS インストール自動化ツールで、いくつかのフェーズを持ちそれぞれ

＊＊この記事の内容は若干古くなっています。まとめページもご覧下さい＊＊ 前回のブログでCloudera Managerを日本語化しましたが、同時にHue (http://gethue.com) というHadoopのGUIツールも日本語化されています。 Hueはオープンソースで提供されている、Hadoop用のGUIツールです。GUIからHive、Pig、Impala、HDFS、MapReduce、Oozie、、などの機能を使用することができる、エンジニア以外の方にも使い易いツールです。（ロゴが可愛いw） 今回はHueのいくつかの機能についてはスクリーンショットを、続いてHueからHiveとImpalaを使ったサンプルクエリを実行してみます。 （全ての画像はクリックすると拡大します） HDFSへのアクセス HDFSへのアクセスはブラウザから行うことができます。 ファイル一覧（ここから削除やリネ

This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery

Hadoop最新情報 - YARN, Omni, Drill, Impala, Shark, Vertica - MapR CTO Meetup 2014...MapR Technologies Japan

データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

Cloudera World Tokyo（2012年11月7日開催） on Zusaar 思えばHadoopの技術イベントってだいぶ久し振りだった。スーツの人向けなのかなーと思いつつなんとなく参加してみたらやっぱりスーツの人が多かったし、内容もそういう話が多くてちょっと辟易……。 しかけてたら、CDH4.1の話に色々思うところがあったので収穫だったのと、Impalaの技術的な詳細がねーなーというのが懇親会でくつがえったのが素晴しかった。懇親会に絶大な価値があった*1 大部分の内容は割と初心者向けの話＆Clouderaの宣伝＆ビッグデータ()＆事例紹介だったのでパス。 CDH4.1 CDH4は色々中途半端だなと思ってたけど、CDH4.1になって良さそうな感じになってた。 Namenode HAが共有ストレージに依存しない形で実現したこと 思ってたよりずっと早くこの状態になった、しばらく来ない

Hadoop MapReduceの処理速度より1桁速いと聞いて、早速自前のクラスタ環境で評価しました。

Impala BE メモ 本文章は，Impala のメモ の TODO のうち，BackEnd の特にクエリの実行部を読み，文章化したものである． 概要 BackEnd(BE) は単体のデーモンとして動作し，FE 側でパースした結果(Job ID/Plan)に基づいて処理を実行する．FE と BE のやりとりには Thrift が用いられている． |FE| - パース結果(Job ID/実行Planなど) thrift -> |BE| 実行 Tree/Node について 実行プランは，Tree として表現される．Tree の構成要素を Node と呼ぶ．Node は Expr インタフェースを実装する必要がある． Tree は，FE で構築されて，Thrift 経由でシリアライズされ，BE 側の ExecNode::CreateTree() を実行することで再構築できる． Node の種類

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

(2012/10/25 15:48 追記) Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。 Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan Cloudera から、データサイエンティストのためのリアルタイムクエリエンジン「Impala」がリリースされました。Hive と完全互換のクエリ言語で、Hive より10倍以上速くクエリを処理できます。 概要及びダウンロードはこちらから! http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/clouder

米国で開催されている Strata Conf + Hadoop World 2012 で、ついに Cloudera Impala（Public Beta) が発表されました！ Impalaとは？ Cloudera Impala (http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/cloudera-enterprise-RTQ.html)はオープンソースのソフトウェアで、一言で言えばリアルタイムクエリエンジンです。Hiveを使っている方やSQLに馴染んでいる方には利用し易いSQLライクなHiveQLを利用して、数秒でHDFSまたはHBaseに格納されたデータを照会できます。 ImpalaはApache HiveのメタデータやHiveQL、ODBCドライバ、Beeswaxを利用します。Hi

2012/7/31に実施したCloudera QAセミナーより 「Clouderaの品質保証 CDHのテスト工程について」 Cloudera Kitcen team / Andrew Bayer

2012年7月のセミナーおよび説明会で使用した、CDH4の高可用NameNode(NameNode-HA)とCloudera Manager4.0の資料です。

Hadoop Summit 2012でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Summit 2012 | Optimizing MapReduce Job Performance View more PowerPoint from Cloudera, Inc. HadoopのMapReduceジョブのチューニングに関するもので、内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 spillとかのシャッフルフェーズをどうチューニングするかについて詳しく書かれていて、record fullってログに出てたらメタデータがspillしてるからよくないよねみたいなことが書かれてます。 徹底入門だと10.2.2の「Map処理でのフレームワークのチューニング」に書かれていますね。ていうかio.sort.reco

CDH3で使ってる設定ファイル群を基本的にそのまま(ノードリストなどだけ書き換え)でCDH4の検証クラスタを作ろうとしてみた。 ら、以下のような事情でいろいろ面倒くさかったのでいったん挫折したのが本日あったこと。 使う環境変数がいろいろ変わってる YARN_HOGE とか HDFS_HOGE みたいなのを使うようになっている 基本的には HADOOP_CONF_DIR などから組み立てるようになっている ただしその処理は libexec/hadoop-config.sh で行われる $HADOOP_CONF_DIR/hadoop-config.sh を自分で用意して使っている場合は libexec/hadoop-config.sh が読まれないので新しい変数の組み立てができない このため各種の環境変数がセットされずいろいろコケる たいへん困った。設定ファイル群をイチから作り直す覚悟が必要な

ツイート NYC で開催された Hadoop World 2011 に参加してきたので、まずは第一日目のメモを共有したいと思います。 長いので、第二日目、サマリと3つのエントリに分けて公開していきます。 ✔ Table of Contents: Memos: #hw2011 (Day1), 08, Nov, 2011. 08:30am-10:00am Keynotes Hadoop World 2011: Mike Olson Keynote Presentation eBay Keynote - Hugh E. Williams, eBay JPMorgan Keynote - Larry Feinsmith, Morgan Stanley 10:15am-11:05am Building Realtime Big Data Services at Facebook with Hadoo

セミナーに行ってきました。発表があったようですね。 自分は最後のところしか出れませんでした。とほほ。 んで、NTTDさんのCDHサポートについてです。 値段がでましたね。5ノードから25万円、という内容です。 賛否はそれなりにあると思いますが、個人的には評価したいです。 今のUSでのHadoopの勢いを考えれば、最低ロットは100ノードとか 言われても仕方がないところ。 大抵の外資系の勢いのあるミドルベンダーは強気であることが多く いきなり、「は？何ソレ？」っていうプライスラインが 来ることは結構多いですから。 それとは異なり、わりとリテールに近いプライスラインを見ると NTTDさんが結構、交渉したなと思えます。 基本サブスクリプションモデルなので、 それほど登録事務や手間暇はかからないでしょう。 そもそものCDHのサポート内容ですけど、 このブログでコレができるといいな、って書いたことは

Hadoopエンタープライズソリューションセミナー ＠秋葉原コンベンションホール　by NTTデータ　に行ったので、そのメモ。（一部のセッションは省略） ◎企業内データへの新しいアプローチ Cloudera CEO Mike Olson Big Data Big Dataは大きな問題。 トランザクションや売上履歴だけでなく、webなどから色んなデータが集まってくる。 新しい方法でデータを保存し、解析する必要がある。 機械学習やデータからパターンの抽出を行いたい。 データは指数的に膨大を続けている。 これにより、会社は新しいデータとの向き合い方を考える必要がある。 Hadoop導入企業ではノード数が平均四倍になっている。 Hadoop HDFSは統合して、費用をかけずにデータを格納することができる。昔はセントラルの高級サーバにしかできなかった。 データを格納しているサーバで解析を行えることが

いやまあ、バージョンは合わせろよとか、そのくらい常識だとか、言われそうな話なんですけどね。 症状 別のところで構成されてるHadoopクラスタのHDFSにデータを書き込みたくなったので、あるマシン(CentOS5)にSun JDKとHadoopを入れることにしました。インストールが面倒だと思ってた*1のでClouderaさんが作っているというrpmを使うことにした。 Log In - Cloudera Wiki 既存のHadoopクラスタではバージョン 0.20.2 を使っているっぽかったのでCDH3でOK。 ここからCDH3(beta3)のリポジトリを yum.repos.d に追加して yum update yum 後に yum install hadoop-0.20 hadoop-0.20-libhdfs とかやってインストール。JAVA_HOMEをJDKのパスに設定。CLASSPA

さて，KVMを入れ終わりました．次は仮想マシン上でHadoopを動かします． ひとまず，お手軽に試せる疑似分散モードでインストールしてみましょう． 事前準備 必須ではないのですが，時刻がずれると色々と気持ち悪いので，NTPを有効にしておきます． cp /etc/ntp.conf /etc/ntp.conf.bak vi /etc/ntp.conf # NTPサーバを記述します．ここではMFEEDを指定しました． server ntp1.jst.mfeed.ad.jp server ntp2.jst.mfeed.ad.jp server ntp3.jst.mfeed.ad.jp 一度ntpdateで時刻合わせしてから，デーモン起動． ntpdate ntp1.jst.mfeed.ad.jp service ntpd start chkconfig ntpd on JDKインストール ここでJ

前回までで、Hadoopの実行環境の準備ができました。 ・第一回：Ubuntu10.04でHadoop環境構築(疑似分散編) ・第二回：HadoopのHDFS確認とサンプルプログラムの実行 ・第三回：Pigのインストール これからいよいよMapReduceを記述して行くのですが、 そのための開発環境を作成していきます。 一番慣れているのでEclipseの設定を行いますが、 もちろんTextEditorでプログラム作成してantでbuildでも問題ありません。 Eclipseのインストール Synapticでインストール Eclipseの日本語化 Pleiades：http://sourceforge.jp/projects/mergedoc/releases/ 上記サイトからD／Lし、適当な場所に解凍しておく 解凍したディレクトリに移動し、以下のコマンド実行 # cp -R feature

Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa

Clouderaパッケージを使って、完全分散モードでノード3台へインストール。 基本的には、この手順でインストール可能。 構成は以下の通り。 Node-1 Host Name: dev01 OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64) Service: Name Node, Job Tracker, Secondary Name Node Node-2 Host Name: dev02 OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64) Service: Data Node, Task Tracker Node-3 Host Name: dev03 OS: Debian GNU/Linux 5.0.3 (Lenny/AMD64) Service: Data Node, Task Tracker Sun Java JDK 6

必要なもの ・Linux(CentOS)+Cloudera版Hadoop環境CDH3(1台) → 構築方法はこちら ・インターネット接続 ・Cloudera社のHBase,Hive,Pig,HUEのパッケージ(yumでインターネットからインストール) 作業手順 以下の、1. HBase, 2. Pig, 3. Hive, 4. HUE(旧Cloudera Desktop)の手順は、独立して試すことができますし、一つの環境でまとめて試すこともできます。(それぞれデータの管理は別々です。) ここでは、Cloudera社のCDH3リポジトリが必要ですので、既に設定されていないか確認します。 ls /etc/yum.repos.d/ で、cloudera-cdh3.repoが存在すれば、OKのはずです。無い場合は、CDHのhadoopのインストール方法を確認してください。 1. HBase CDH

(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・CentOS5かCentOS6のLinux環境1台(ここではCentOS5.6とCentOS6.0を使いました。CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います) ・インターネット接続 ・Sun社Javaパッケージ(パッケージファイルをインターネットから取得) ・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール) 作業手順 0. 準備 0-1. Sun社Javaパッケージの取得 http://java.sun.com/javase/downloads/にて、 Java SE 6の[Download]ボタンを押して出る「Java SE Downloads」のページから必要なもの

Hadoop入門 西川徹 Preferred Infrastructre, CEO HBase BigTableのクローン HDFSは巨大なファイルを扱うのは苦手だが、細かいデータを大量に扱う操作は苦手 細かい粒度・低レイテンシなデータアクッスを可能にするための分散データベース 同じ分野のソフトウェアとして、HyperTable Telanium.inc 小宮山さんのプレゼンで Hadoop DB Hadoopはバッチ処理が得意 OLAP的な処理はRDBMSが得意 2つをくつけて大量データ・非構造的なデータをHadoopで処理し対話的なBI処理をRDBMSに任せる まだ論文レベルで実用がわからない RDBMSに取って代わるものではなく、得意な処理を得意な側で処理すればよい Hybridな使い方 MapReduceとRDBMSのハイブリッドなものがでてきた Vertica Preferred

最近個人用の計算機をいただきました。このコンピュータにまた Hadoop をインストールするのは面倒だと思いましたが、 Hadoop 本に簡単インストールの方法が書かれているのを思い出しました。このやり方だと、ユーザを新しく作ったり、XML の設定ファイルを編集したりなどの手続きが必要ないため簡単にインストールができます。ただし、RedHat 系もしくは Debian 系 の Linux のみ対応です。 詳しくは　Cloudera のページ http://archive.cloudera.com/docs/_installing_hadoop_pseudo_distributed_mode.html に書かれていますが、以下 Debian系の場合についての流れを日本語にしました。 Apt のレポジトリに Cloudera を追加 /etc/apt/sources.list.d/cloude

久々のポストです。(そういやFxGlassFishMonitorの解説も1回書いただけでさぼってるなー。こちらも早くまとめねば) 今、仕事で完全に社内向けの管理用Webアプリケーションを作っているのですが、どうせ完全に内部向けなら古いブラウザなんか気にせずHTML5で追加されたフォームをばんばん使っちゃえ♪ って感じで作っています。 で、ふと、「JavaFXのWebViewはWebKitベースなんだけど対応状況はどうなんだろう？」と思って調べてみたら意外に対応状況が優秀だったことがわかりました。さすがにChromeには負けますが、Safariよりは対応が進んでいたりします。と言うわけでその点についてまとめてみます。 以下のコードを表示してみることにします。 <!DOCTYPE html> <html lang="ja"> <head> <meta http-equiv="Content-T

SpringBootでのユニットテストをやったことがない方向けの資料になります。 本資料は、 Yahoo!ショッピング Tech Meeting主催 https://yahoo-shp-tech-meeting.connpass.com SpringBootハンズオン #1 https://yahoo-shp-tech-meeting.connpass.com/event/53268/ の発表資料になります。

s3_websiteはRuby製、MIT Licenseのオープンソース・ソフトウェアです。 Webサイトを管理する場合はどこにホスティングするのが良いでしょう。もし静的なサイトであれば意外と良い選択肢になりそうなのがAmazon S3です。そこで使ってみたいのがs3_websiteです。 インストールはRubygemsで簡単にできます。ついで設定ファイルを作成します。s3_website cfg createを実行すれば設定ファイルが生成されます。 ファイルを作成したら、s3_website pushを実行します。これでファイルがアップロードされました。 無事アップロードされています。 s3_websiteではpublic/outputフォルダ以下にあるファイルを自動アップロードしてくれます。つまりフォルダ階層を分けておくことでMarkdownで書いてコマンド一つでHTMLに変換し、その

たまに調べるのでメモ的に。2013年5月24日時点でのAWSの公開情報です。尚、ソースはAWSのフォーラム。 Amazon EC2 後述のネットワークで割り当てられているパブリックIPアドレス(EC2分のみ、CloudFrontは除く)ですが、スクリプトを書いて計算してみたら、"4,177,920"個という数字が出てきました。 実際に使われている数は、ネットワークアドレスやら何やらで、もうちょっと少ないとは思いますが、約417万個ものグローバルIPアドレスを保有しているといった計算になります。 US East (Northern Virginia) 72.44.32.0/19 (72.44.32.0 - 72.44.63.255) 67.202.0.0/18 (67.202.0.0 - 67.202.63.255) 75.101.128.0/17 (75.101.128.0 - 75.10