タグ

2017年12月24日のブックマーク (4件)

  • HDFSの現状と今後 (その1) - Qiita

    まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Router based federation (2.9.0にもbackportされた) 3.1.0に入ることが確定した機能 (trunkにマージ済) Tiered storage 3.1.0に入るかわからない機能 (trunkにマージ前) Ozone: Object store for HDFS Erasure Coding JIRA: https://issues.apache.org/jira/

    HDFSの現状と今後 (その1) - Qiita
    wyukawa
    wyukawa 2017/12/24
    ふうむ、小規模、中規模クラスタだとそんなに恩恵ないのかなあ。1000台ぐらいある環境なら別だろうけど
  • Apache Spark 2.3のCatalystでのコード生成の改善の解説 | Kazuaki Ishizaki

    この記事は? この記事は、Distributed computing (Apache Hadoop, Spark, Kafka, …) Advent Calendar 2017の21日目の記事です。 この記事の内容は? 2018年の早い時期にリリース予定のApache Spark 2.3に入る、Catalyst optimizerによって生成されるJavaコードの改善に関するまとめです。 結局何がいいたいの? Spark 2.2までは、DataFrameやDatasetのqueryの中で、複雑な式や多数のカラム、を使うと、実行時に例外が投げられて、運が悪いと実行が止まってしまうのを、よく見ていたこと思います。 この例外は、20年以上前に定義されたJavaのクラスファイルの仕様が持つ、2つの64KBの制限、からくるものでした。これらの制限によって起きる例外は、Spark 2.3ではかなり減り

    wyukawa
    wyukawa 2017/12/24
    こういうJavaバイトコードの制約ってprestoでは踏まないのかな
  • シンガポールに出現した「無人空港」の凄み

    コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能(広告ブロック機能を持つ拡張機能等)を無効にしてページを再読み込みしてください。 ✕

    シンガポールに出現した「無人空港」の凄み
    wyukawa
    wyukawa 2017/12/24
    自動化するのは良いけど、機械がうまくうごかないパターンもよくあるのでその辺大丈夫なのかな。
  • 「年収900万円家族」は一歩間違えば破綻する | 家計・貯金 | 東洋経済オンライン | 経済ニュースの新基準

    今回私たちの事務所へマネー相談に訪れたのは、大手メーカーで総合職として勤務している39歳のE男さんと専業主婦の奥様C子さんです。6歳になる息子さんが1人います。 誰もが知っている大手メーカーに勤めるE男さんの年収は約900万円。現在は会社の社宅に住んでいるそうですが、そろそろ家を購入したいとのこと。2人目の子どもも考えているそうで、将来のマネープランについてご相談にいらっしゃいました。 年収900万円で都心7000万円のマンションは買える? E男さんは、大手メーカーに勤務する39歳の男性。総合職として働くE男さんの年収は900万円です。現在の会社員の平均年収が400万円程度なので、年収900万円と聞くと、世間的にはかなりの高収入というイメージがあるでしょう。お話を伺ってみると、E男さんも、C子さんも「うちの家庭は高給取り」という意識がすごくあり、「ブランド志向」であることがわかりました。

    「年収900万円家族」は一歩間違えば破綻する | 家計・貯金 | 東洋経済オンライン | 経済ニュースの新基準
    wyukawa
    wyukawa 2017/12/24
    稼ぎ手が一人で3人家族で貯金300万円なのに7000万円のマンション買おうと思うのすごいと思ったけど、家買うのってそんなもんなんかな。