タグ

2011年10月17日のブックマーク (4件)

  • HadoopでMap/ReduceクラスのKey/Valueを自動判別する

    HadoopでHiveなどを使わず生MapReduceアルゴリズムを書くと、MapクラスとReduceクラスのKey/Valueのクラス型をJob実行時にいちいち指定しなければいけないのが若干面倒くさく感じます。 僕がまだあまりHadoopについて理解してないのかもしれませんが...

  • 機械に置き換えられる仕事 - resolution

    ずっと前から続いているし、今後も続いて行くだろうと思うけど、無人戦闘機の記事を読んだり、ネットで仲裁の記事を読んだりして、機械に置き換えられる仕事が増えていると実感した。The Economistはかなり前からパイロットが乗る戦闘機と無人戦闘機を比較して動向を丁寧に追っていたが、きっとそれは転換期における重要なポイントの一つとして認識していたからだろう。 工場のオートメーション化が進んで多くの人が不要になったとか、絶対計算でいろんな仕事が取って代わられるとか、ずっと言われ続けていたことであるし、飛行機の自動操縦なんてものはかなり前から行われている。更に言えばライフネット証券だって、保険のおばちゃんを置き換えるものであるし、カブロボが資産運用をしたり、少しずつ少しずつ人が不要になる新しいビジネスができあがっている。無人戦闘機について言えばパイロットが不要になっても地上でサポートする人がけっこ

    機械に置き換えられる仕事 - resolution
    shiumachi
    shiumachi 2011/10/17
    "コードを書ける人間の強みというのは、その機械に置き換えというのを自分でテストできることだと思う。自分でテストできるようになれば、試行錯誤を繰り返すプロセスを数十倍、数百倍高速化できる"
  • Python Developers Festa 2011.10 - Elliptium

    Python の勉強会で Asakusa/Hadoop について話してきました. Python Developers Festa 2011.10 を開催します Python Developers Festa 2011.10 を終えて 「エ!? Python の勉強会で??」と思うかもしれませんが, 主催者の @voluntas さんに「Hadoop について話さないか? @Shiumachi が Hadoop について話して, @cocoatomo が Asakusa について話してよ」という話が飛んできたので, 喜んで発表してきました. 発表資料 発表 Hadoop を知ってる人で Asakusa のことを初めて知る人向けに発表してきました. なので浅く広く発表したのですが, 実は Asakusa を知ってる人がけっこういて,「その人達には物足りなかったかなぁ?」と振り返って思います.

    shiumachi
    shiumachi 2011/10/17
    . @cocoatomo の #pyfes レポート
  • https://www.information-management.com/news/big-data-is-scaling-bi-and-analytics?pg=1

    shiumachi
    shiumachi 2011/10/17
    ボーイングのジャンボ機は大西洋横断するごとに640TBのセンサデータを生成。そして1日に25,000回のフライトがある