タグ

ブックマーク / shiumachi.hatenablog.com (2)

  • 「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

    Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが

    「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
  • プログラマ向けMacの不要なファイルを削除するためのコマンド - 科学と非科学の迷宮

    git や homebrew などに言及しているので「プログラマ向け」と書いてますが、別にプログラマじゃなくても人によっては有用と思います。 現在のドライブ使用量の確認 コマンドじゃないけど、グラフィカルに全体の使用量とその内訳をみたい場合はGrandPerspectiveというソフトが便利。 ドライブ全体 $ df -h 現在のディレクトリ以下の合計サイズ $ du -sh 現在のパス以下の全ディレクトリを容量順にソート ファイル数が多いとそこそこ時間がかかる。 $ du | sort -n 現在のディレクトリの全ファイルを容量順にソート $ ls -lShr ファイルの圧縮 現在のディレクトリの全ログファイルを gzip 圧縮 $ for file in `ls *.log*`; do gzip -c ${file} > ${file}.gz done キャッシュや古いファイルなどの削

    プログラマ向けMacの不要なファイルを削除するためのコマンド - 科学と非科学の迷宮
  • 1