タグ

ブックマーク / shiumachi.hatenablog.com (7)

  • Cloudera Impala がリリースされました - 科学と非科学の迷宮

    (2012/10/25 15:48 追記) Cloudera 公式ブログで Impala についての紹介記事を掲載しました。このブログ記事の完全上位互換なのでそちらの記事をご参照ください。 Cloudera Impala:Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan Cloudera から、データサイエンティストのためのリアルタイムクエリエンジン「Impala」がリリースされました。Hive と完全互換のクエリ言語で、Hive より10倍以上速くクエリを処理できます。 概要及びダウンロードはこちらから! http://www.cloudera.com/content/cloudera/en/products/cloudera-enterprise-core/clouder

    Cloudera Impala がリリースされました - 科学と非科学の迷宮
    aoe-tk
    aoe-tk 2012/10/25
    HDFS、HBaseに格納されたデータに対してMapReduceを使わず高速に処理するクエリエンジンですか。
  • これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮

    なんだかんだで Hadoop 周りのも結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象1章と徹底入門1章だけ読んどけばいいです。余裕があれば象16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術

    これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
    aoe-tk
    aoe-tk 2012/07/01
    素晴らしいまとめ。あとHBaseのところのコメントがwww
  • hadoop アドベントカレンダー 2011 9日目 まずはここで検索しよう - 科学と非科学の迷宮

    hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は ML などで質問する前に検索すべきサイトを紹介します。 search-hadoop.com http://search-hadoop.com/ ML, javadoc, ソースコードの横断検索ができます。まずはここで検索しましょう。 markmail.org http://markmail.org/ hadoop に限らない、コミュニティ ML の検索サイト。search-hadoop.com は基的なコンポーネントの ML しか扱っていないので、flume や sqoop の ML も検索したければこちらを使いましょう。 ASF JIRA https://issues.apache.org/jira/secure/Dashboard.jspa Apache

    hadoop アドベントカレンダー 2011 9日目 まずはここで検索しよう - 科学と非科学の迷宮
  • 英語によるhadoop系メーリングリストへのバグレポート提出ガイド - 科学と非科学の迷宮

    hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 27日は誰もいないようなのでこれを27日とします。 id:showyou さんの担当でした。28日目とします。showyou さんすいません 基 テンプレ的に書くとこんな感じ。 「来は……であるべきだが、実際にはこうなっている」 前半は should を使い、but/in fact/however/while などを使って逆接でつないで次の文を書く。 以下の項目があるとレスポンスしやすい。 項目名 内容 概要 数行程度で何が起きたか書く 症状 特に、ログに例外が吐かれてたら必ず貼り付けること 直前にどんな作業をしていたか 何か特殊な作業を行っていたら、その手順を書く 再現性の有無 そのまんま 再現方法(わかっていれば) そのまんま 可能なら、該当 conf ファイ

    英語によるhadoop系メーリングリストへのバグレポート提出ガイド - 科学と非科学の迷宮
  • hadoop アドベントカレンダー 2011 8日目 fair scheduler のイベントログ - 科学と非科学の迷宮

    hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 今日は fair scheduler のイベントログを有効にする方法を紹介します。 注: CDH3u2 ベースです fair scheduler にはイベントログを出力する機能があります。 有効にすると、下記のようなイベントログが ${HADOOP_LOG_DIR}/fairscheduler/hadoop-<ユーザ名>-fairscheduler-<ホスト名>.log に出力されます。 2011-11-29 19:44:07,767 BEGIN_DUMP 2011-11-29 19:44:07,768 POOL pool1 1.0 0 10 0 5 0 2011-11-29 19:44:07,768 POOL default 1.0 0 0 0 0 0 2011-1

    hadoop アドベントカレンダー 2011 8日目 fair scheduler のイベントログ - 科学と非科学の迷宮
    aoe-tk
    aoe-tk 2011/12/09
    「……え、書いてないって?html ソースにコメントとして書いてますよ。」ちょw ほんとだwww
  • アメリカのIT企業で働くために行った英語の勉強法など - 科学と非科学の迷宮

    こちらの記事を読んで、自分も書きたくなったので書いてみました。 といっても私は別に仕事で普通に日語も使うし、半年ちょっとしか働いてないのでえらそうなことは何も言えませんが。 あくまで自分のメモ用。 入社前のスペック 小さい頃USに4年間住んでた。語彙の充実には全く役に立ってないが、多分リスニングと発音に若干のプラス補正がかかってる TOEIC は2010年(入社半年前)に遊びで受けて850ぐらい。参考記事 文法 Grammar in Use Intermediate Student's Book with Answers and CD-ROM: Self-study Reference and Practice for Students of North American English (Book & CD Rom) 作者: Raymond Murphy,William R. Smal

    アメリカのIT企業で働くために行った英語の勉強法など - 科学と非科学の迷宮
    aoe-tk
    aoe-tk 2011/10/25
    「シリコンバレーでメールを書く場合、主要なオープンソースコミュニティのコミッタやメンテナが書く形式でほぼ間違いなく通じます」ふむふむ。
  • NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮

    業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)」という

    NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
    aoe-tk
    aoe-tk 2010/09/29
    これは確かにすごい。
  • 1