タグ

2014年12月18日のブックマーク (6件)

  • Upgrading from HDP 2.1 to HDP 2.2

    This document describes Satoshi Tagomori's experience upgrading his Hadoop cluster from HDP 2.1 to HDP 2.2. He encountered issues when running the HDFS namenode upgrade command, with it running indefinitely. Attempts to rollback to HDP 2.1 were also unsuccessful. Restoring from a backup of the namenode metadata and restarting the cluster on HDP 2.1 recovered it, but block replication numbers were

    Upgrading from HDP 2.1 to HDP 2.2
    tagomoris
    tagomoris 2014/12/18
    Today's slide #hadoopreading
  • fluentd v1 configのチェッカを作った - たごもりすメモ

    tagomoris/fluentd-v1-checker · GitHub fluentd-v1-checker | RubyGems.org | your community gem host Fluentdの設定ファイルについてはv1 config という新書式がある。v0.14からはデフォルトでこちらの書式でパースが行われる予定。 ここに @repeatedly さんが書いてるけど、今のうちから v1 config で書いて --use-v1-config しておくと将来的に困らなくてよいと思う。書式的にも綺麗になっているはず。 ところで v1 config といってもいろいろな経緯から、これまでの書式の設定ファイルをぶちこんでもなんとなくパースできるようになっている。値に # とかを含めたいとかでなければ設定を変更しなくても通る場合も多い。 「場合も多い」これが困る。起動してみて動

    fluentd v1 configのチェッカを作った - たごもりすメモ
    tagomoris
    tagomoris 2014/12/18
    書いた
  • 個別チャットで「お疲れ様です」でチャット始めるの辞めろ! - 宇宙行きたい

    @yoshiori 引用したいので社外にも頼む— SHIOYA, Hiromu (@kwappa) 2014, 12月 18 ということで社内ブログから転載 ↓ 以下原文ママ こんにちは!! 双剣、G級古文書全開放、HR302 のヨシオリです!! さて、チャットでこんな画面よく見ませんか!? (今回はこの画面取るためにワザと sorah にやってもらってます) これ、個人的に凄く邪魔です!!! 要件を全部入力してから呼び出して欲しいです!! まず呼びかけて、それから題を入力しはじめられると、その間待つのが時間の無駄です!! 具体的には 「お疲れ様です」って通知が来る 作業を中断して hipchat を見る 中々続きが来ない 中々続きが来ない!!!!!! 中々続きが来ない!!!!!!!!!!! この時間、完全に無駄です!!! さらに人によっては在席確認も兼ねているのか、こちらも「お疲れ様で

    個別チャットで「お疲れ様です」でチャット始めるの辞めろ! - 宇宙行きたい
    tagomoris
    tagomoris 2014/12/18
    これな
  • 日本企業から初のApache Hadoopのコミッタ(主要開発者)就任

    電信電話株式会社(東京都千代田区、代表取締役社長:鵜浦 博夫、以下:NTT)および株式会社NTTデータ(社:東京都江東区、代表取締役社長:岩 敏男、以下:NTTデータ)から、大規模データを対象とした並列分散処理を実現するオープンソースソフトウェアApache Hadoop(以下:Hadoop)およびその関連のプロジェクトのコミッタに、2014年12月18日、小沢 健史(NTTソフトウェアイノベーションセンタ)、鯵坂 明、岩崎 正剛(NTTデータ 基盤システム事業部)の3名が就任することになりました。 コミッタとは、Hadoopの開発やメンテナンスにおいて、プログラムを書き換える権限(コミット権)を持つ主要開発者のことで、現在、Hadoopの開発に関与している全世界で約3,000名のうち、コミッタはごく一部[約100名(2014年12月)]に限られています。Hadoopにおいては、

    tagomoris
    tagomoris 2014/12/18
    すごい
  • リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita

    リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。ElasticsearchDockerNorikraKibanafig このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かりま

    リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
    tagomoris
    tagomoris 2014/12/18
  • 初心者は役立つかもしれないRuby(Rails)のmethod名に「?」がつくmethodのまとめ - まっしろけっけ

    まとめようと思った経緯 題名の通りRuby(Rails)にはmethod名に「?」がつくmethodが多く存在します。 「空文字の場合はtrue/falseどっち返すんだっけ?」ってなってconsole等で確認することが良くあるので、 (自分が)よく使うものを一覧でまとめておいてみる 環境とか 今回の検証環境は下記 下記のversionにしたのは最新使ってみたかったという理由のみ! $ ruby -v ruby 2.2.0preview2 $ rails -v Rails 4.2.0.rc3各methodで調べるデータは下記 nil true false 文字(空文字と空文字以外) 数値(0と1) 配列(空配列と空配列以外) Hash(空Hashと空Hash以外) 実行するコードは下記 nil?の部分を各methodに変更していく params = [nil, true, false, "

    初心者は役立つかもしれないRuby(Rails)のmethod名に「?」がつくmethodのまとめ - まっしろけっけ
    tagomoris
    tagomoris 2014/12/18
    activesupportまじクソだなっておもった