ブックマーク / qiita.com/ajis_ka (2)

  • HDFSの現状と今後 (その1) - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Router based federation (2.9.0にもbackportされた) 3.1.0に入ることが確定した機能 (trunkにマージ

    HDFSの現状と今後 (その1) - Qiita
    civitaspo
    civitaspo 2017/12/25
  • Apache Hadoop 3でまずハマりそうなポイント - Qiita

    KMSのポート番号が変わったのは、HBaseのHMasterと被ったため。 参考: https://issues.apache.org/jira/browse/HBASE-10123 シェルスクリプトの書き直し CDHやHDPなど、BigTopを利用してビルドされたものにはinitスクリプトが用意されているため、サービスの起動停止にはinitスクリプトを利用しますが、素のApache Hadoopを利用する場合には、sbin/hadoop-daemon.sh, sbin/yarn-daemon.shなどを叩く必要がありました。 Hadoop 3ではこれらのスクリプトを直接叩くのは非推奨となり、代わりに--daemonオプションを利用します。--daemonオプションを利用したサービス起動・停止コマンドは以下のようになります。 $ hdfs --daemon start namenode $

    Apache Hadoop 3でまずハマりそうなポイント - Qiita
  • 1