agwのブックマーク - はてなブックマーク

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

Hadoopの時代は終わった、という言説をたまに見かけるようになりました。もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。以上をご了承の上、読み進めてください。要約データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが

agw 2017/07/12

リンク

リスクヘッジと給料と英語 - 科学と非科学の迷宮

この記事の要約英語が話せるようになれば、日本の人材市場ではなくグローバルの人材市場で自分の価値を判断されるようになる IT エンジニアにとって日本語のみの仕事はグローバルに比べて給料・待遇ともに劣っていて、各種経済予測からこれが改善されることは絶望的英語使ってグローバル企業で働くことは、「一攫千金や立身出世を狙う野心家のキャリアパス」ではなく、IT エンジニアにとって生き残るための必須能力となりつつあるあけましておめでとうございます。今年もよろしくお願いします。最近、私の会社で日本での本格的な採用活動を始めました。その関係で転職に興味ありそうな人と色々と話をしているのですが、全員が共通して「英語がきつそうで……」といった反応でした。いずれも技術者として優秀な方々ばかりで、その技術の修得に多大な努力を要していたはずです。自然言語というものは、母語であれば普通は特に専門教育を受けずとも使え

agw 2016/01/04

リンク

Google Code Jam で得た Python の tips(2) - 科学と非科学の迷宮

リストだけで1記事作れてしまうほど長くなってしまいました。それだけ頻繁に使ったということですね。目次 Part1 ファイル文字列正規表現辞書タプル Part2(この記事) リスト Part3 数学ビット演算条件式ループ例外処理その他おまけ:今回のテンプレートリスト python では「配列」ではなく「リスト」。 (最初の頃は「配列」の使い方を検索していました……) 要素の削除 list.remove(elem) マッチした最初の要素しか削除しないことに注意。インデックスで削除したい場合は del を使う。 del(list[idx]) スライス指定もできる。 del(list[i:j]) 複数の要素を同時に削除する関数はない。私は以下のようにしている。 c = 0 for i in delete_target_indexes: del(a[i-c]) c +=

agw 2010/06/21

リンク

Google Code Jam で得た Python の tips(1) - 科学と非科学の迷宮

2ヶ月前は全く Python を使えなかった私ですが、Google Code Jam の勉強を通して随分色々な技術を学ぶことができました。ここにまとめておきます。あまりに長くなりすぎたので3分割しました。目次 Part1(この記事) ファイル文字列正規表現辞書タプル Part2 リスト Part3 数学ビット演算条件式ループ例外処理その他おまけ:今回のテンプレートファイル標準入力から読み込む一度に最後まで読み込みたい場合は以下のようにする。 import sys for line in sys.stdin: 1行の場合は raw_input() が簡単。こちらは末尾に改行が入らない。 A = raw_input() 標準出力、標準エラー出力に書き出す print は改行が入る。 print "some text" カンマをつければ改行は入らないが空白が入る

agw 2010/06/21

リンク

Google の面接を受けてみた - 科学と非科学の迷宮

Google の面接について書かれたブログ記事が面白かったので翻訳してみました。原著者の許可取得済み。(Thank you, Petris!) 本文二週間ちょっと前、ぼくはカリフォルニアのマウンテンビューで Google の面接を受けてきたんだ！ Google の面接が面白い体験だったから、ぼくはそのことを話したいんだ。(Google からはこの記事を出すゴーサインをもらった) ぼくが面接を受けた職種は Google SRE だった。SRE というのはサイト信頼性エンジニアリング(Site Reliability Engineering)という意味だ。サイト信頼性エンジニア(SRE)はソフトウェアエンジニアでもあり、システム管理者でもあって、Google の製品サービスを端から端まで責任を持つんだ。合計8回の面接があった。最初の3つは電話越しで(電話面接)、残りの5つは現地での面接だ