タグ

ブックマーク / qiita.com/ajis_ka (3)

  • HDFSの現状と今後 (その1) - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Router based federation (2.9.0にもbackportされた) 3.1.0に入ることが確定した機能 (trunkにマージ

    HDFSの現状と今後 (その1) - Qiita
    wyukawa
    wyukawa 2017/12/24
    ふうむ、小規模、中規模クラスタだとそんなに恩恵ないのかなあ。1000台ぐらいある環境なら別だろうけど
  • Apache Hadoop 3でまずハマりそうなポイント - Qiita

    KMSのポート番号が変わったのは、HBaseのHMasterと被ったため。 参考: https://issues.apache.org/jira/browse/HBASE-10123 シェルスクリプトの書き直し CDHやHDPなど、BigTopを利用してビルドされたものにはinitスクリプトが用意されているため、サービスの起動停止にはinitスクリプトを利用しますが、素のApache Hadoopを利用する場合には、sbin/hadoop-daemon.sh, sbin/yarn-daemon.shなどを叩く必要がありました。 Hadoop 3ではこれらのスクリプトを直接叩くのは非推奨となり、代わりに--daemonオプションを利用します。--daemonオプションを利用したサービス起動・停止コマンドは以下のようになります。 $ hdfs --daemon start namenode $

    Apache Hadoop 3でまずハマりそうなポイント - Qiita
  • Hadoop 2.7.0がリリースされました - Qiita

    全般 Hadoop 2.7.0のリリースにおいて、合計で923件のissueが解決されました Common: 259 HDFS: 350 YARN: 253 MapReduce: 61 Release Note 注意事項 リリースより、JDK6はサポートされなくなりました リリースを商用で利用するのは推奨されません。2.7.1以降のリリースを待つことを推奨します。 MLによると、2015/5末あたりに2.7.1-RC0が出る予定。 新機能 Common HADOOP-9629 Windows Azure Storageのサポート スキーマにwasb://, もしくはwasbs://を指定することで、Windows Azure FileSystemに対してアクセス可能です。 HADOOP-7984 hadoopコマンドに --loglevelオプションが追加されました。 従来は、logl

    Hadoop 2.7.0がリリースされました - Qiita
  • 1