「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
リスクヘッジと給料と英語 - 科学と非科学の迷宮
この記事の要約 英語が話せるようになれば、日本の人材市場ではなくグローバルの人材市場で自分の価値を判断されるようになる ITエンジニアにとって日本語のみの仕事はグローバルに比べて給料・待遇ともに劣っていて、各種経済予測からこれが改善されることは絶望的 英語使ってグローバル企業で働くことは、「一攫千金や立身出世を狙う野心家のキャリアパス」ではなく、ITエンジニアにとって生き残るための必須能力となりつつある あけましておめでとうございます。今年もよろしくお願いします。 最近、私の会社で日本での本格的な採用活動を始めました。その関係で転職に興味ありそうな人と色々と話をしているのですが、全員が共通して「英語がきつそうで……」といった反応でした。いずれも技術者として優秀な方々ばかりで、その技術の修得に多大な努力を要していたはずです。自然言語というものは、母語であれば普通は特に専門教育を受けずとも使え
今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 - 科学と非科学の迷宮
Fabric は、Python 製のデプロイ・システム管理ツールです。 最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプルなツールで、今からすぐに使うことができます。 Fabric はデプロイ・システム管理ツールで、類似のツールとして Ruby 製の Capistrano があります。 Fabric の最大の特長は、シェルスクリプトを書き慣れた人がいきなり利用できるところです。 シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや sudo() メソッドで囲むだけで、使うことができます。 シェルスクリプトを使っていていると、いくつもの問題に遭遇します。 名前空間の管理 変数の扱い 複雑なデータ構造がない(せいぜい
オフィス設営時に購入すべきアイテムリストのメモ - 科学と非科学の迷宮
まさに誰得記事 これを追加した方がいいというのがあったら教えてください こういうのをはてなネイバー(名前忘れた)はてなまとめみたいなキュレーションサービスでまとめればいいのかと今更思ったけど面倒なのでこのまま投稿する アイテム購入前に オフィスビルに入居している場合はサービス・備品をチェックして無駄な買い物をしないようにすること 清掃員が出入りするビルもあるので、その場合はオフィスのセキュリティをきちんと検討すること 想定環境 5〜10人ぐらい、一部屋のオフィス 有線LANを使うことは全く想定していない、ていうか今時有線LANをオフィスワークで使うとか邪魔すぎてありえない なるべくUSのオフィスの雰囲気を再現したかったのでパーティションは使わない なるべくモノを少なくする 家具 机 椅子 プログラマ等、デスクに長時間座る仕事をする場合はそれなりにいい椅子を調達すること。でないとケツとか腰と
atime関連マウントオプション使用時のディスク性能比較 - 科学と非科学の迷宮
要約 ITPro 掲載のチューニング記事に書かれていた、 「mount オプションに noatime オプションを付加すると読み込み速度が倍になる」 という情報について検証を行いましたが、検証方法や考察に誤りがありました。 調査の結果 Fedora8, Fedora9, Ubuntu8.04 LTS ではデフォルトで relatime オプションがついていることがわかりました。 検証方法を read() システムコールの実行時間測定という方法に変更し、あらためてデフォルト、noatime, relatime マウントオプション付加時の性能検証を行ったところ、私の環境(Core 2 Duo(2.2GHz),メモリ2GB,Fedora8)では noatime, relatime マウントオプションを付加することで、デフォルト時の実行時間の半分で read() システムコールを実行することができ
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
hbstudy#11 - 科学と非科学の迷宮
概要 URL http://heartbeats.jp/hbstudy/2010/04/hbstudy11.html 日時 2010/05/14 19:00 - 21:00 場所 ハロー貸会議室 新宿A(新宿三葉ビル6F) twitterハッシュタグ #hbstudy Ust録画 http://www.ustream.tv/recorded/6903324 MaatKitの紹介 講演者 吉田晃典(株式会社はてな) id:marqs @marqs 資料 http://www.slideshare.net/marqs/maatkit-4098945 MaatkitというMySQL用のツール群の紹介。 ツールの数が多いので、この講演ではよく使うツール数個について説明されていた。 特徴 ドキュメントもあるし、オプション例もある Facebookを始め多数の企業に導入されている 商用サポートもあるら
Google の面接を受けてみた - 科学と非科学の迷宮
Google の面接について書かれたブログ記事が面白かったので翻訳してみました。 原著者の許可取得済み。(Thank you, Petris!) 本文 二週間ちょっと前、ぼくはカリフォルニアのマウンテンビューで Google の面接を受けてきたんだ！ Google の面接が面白い体験だったから、ぼくはそのことを話したいんだ。(Google からはこの記事を出すゴーサインをもらった) ぼくが面接を受けた職種は Google SRE だった。SRE というのはサイト信頼性エンジニアリング(Site Reliability Engineering)という意味だ。サイト信頼性エンジニア(SRE)はソフトウェアエンジニアでもあり、システム管理者でもあって、Google の製品サービスを端から端まで責任を持つんだ。 合計8回の面接があった。最初の3つは電話越しで(電話面接)、残りの5つは現地での面接だ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
