「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
暴漢に襲われた - 科学と非科学の迷宮
こんにちは、マンションを一目見てから10分で購入したけどISPへの支払いが出来てなくて現在インターネットが止められているPyspa界の普通の人 shiumachi です。 この記事は pyspa Advent Calendar 2016 の19日目の記事です。昨日は @tokoroten のエントリ でした。 経緯 2016年2月12日、私は会社帰りに友人2人と武蔵小山の居酒屋で酒を飲んでいました。参加者は全員自宅が近いので、終電過ぎても飲んでいて、午前1時半くらいにようやくお開きとなりました。 私と友人Mは方向が同じだったので同じ方向に歩いて帰路についていました。歩道上を、左側がM、右側が私という並びで歩いていました。 私はスーツ姿にコートを着てビジネスリュックを背負っているという格好で、Mは私服でジャンパーを着ており、手ぶらで歩いていました。 すると、前方にふらふらと歩く男が一人現れま
新Google翻訳を使って3700ワードの技術文書を1時間で翻訳した - 科学と非科学の迷宮
新しいGoogle翻訳がニューラルネットワークに基づく機械翻訳に移行して品質が向上した、というので早速使ってみました。 翻訳対象はHadoopのFair Schedulerに関するドキュメントです。 Fair Schedulerは、Capacity Schedulerと並ぶHadoopの2つのスケジューラの一つですが、挙動が少し複雑で、理解するのに苦労します。ドキュメント自体も長く、英語に不慣れな人には読むのがなかなか大変な文書で、前々から訳したいとは思っていました。しかし、3700ワード(A4に文字ぎっしりで7ページ近く)の技術文書を訳すとなると、かなりの労力が必要になります。少なくとも一日仕事になるのは間違いありません。私も仕事が忙しく、なかなか翻訳の時間がとれなかったため、翻訳作業はタスクキューの底に埋もれてしまっていました。 そこで、今回新しい翻訳がどれほどのものか試すのも兼ねて、
リスクヘッジと給料と英語 - 科学と非科学の迷宮
この記事の要約 英語が話せるようになれば、日本の人材市場ではなくグローバルの人材市場で自分の価値を判断されるようになる ITエンジニアにとって日本語のみの仕事はグローバルに比べて給料・待遇ともに劣っていて、各種経済予測からこれが改善されることは絶望的 英語使ってグローバル企業で働くことは、「一攫千金や立身出世を狙う野心家のキャリアパス」ではなく、ITエンジニアにとって生き残るための必須能力となりつつある あけましておめでとうございます。今年もよろしくお願いします。 最近、私の会社で日本での本格的な採用活動を始めました。その関係で転職に興味ありそうな人と色々と話をしているのですが、全員が共通して「英語がきつそうで……」といった反応でした。いずれも技術者として優秀な方々ばかりで、その技術の修得に多大な努力を要していたはずです。自然言語というものは、母語であれば普通は特に専門教育を受けずとも使え
今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 - 科学と非科学の迷宮
Fabric は、Python 製のデプロイ・システム管理ツールです。 最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプルなツールで、今からすぐに使うことができます。 Fabric はデプロイ・システム管理ツールで、類似のツールとして Ruby 製の Capistrano があります。 Fabric の最大の特長は、シェルスクリプトを書き慣れた人がいきなり利用できるところです。 シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや sudo() メソッドで囲むだけで、使うことができます。 シェルスクリプトを使っていていると、いくつもの問題に遭遇します。 名前空間の管理 変数の扱い 複雑なデータ構造がない(せいぜい
最新のFedoraとUbuntuではrelatimeもnoatimeもいらない？ - 科学と非科学の迷宮
(2008/6/14 13:35 追記) 続き書きました http://d.hatena.ne.jp/shiumachi/20080614/1213415948 要約 前回の検証で、マウントオプションに noatime や relatime をつけても オプションなしのときと性能が変わらないという結果を報告しました*1。*2 しかし、調査の結果、Fedora8、Fedora9、Ubuntu8.04 LTS などでは カーネルのコンパイルオプションに default_relatime がついていることが 判明しました。 そのため、各ファイルシステムに noatime や relatime オプションを つける必要はなくなっています。 relatimeについての調査 relatime マウントオプションについて調査していたところ、 LWN.netに atime 周りの議論のまとめ記事が掲載され
hbstudy#11 - 科学と非科学の迷宮
概要 URL http://heartbeats.jp/hbstudy/2010/04/hbstudy11.html 日時 2010/05/14 19:00 - 21:00 場所 ハロー貸会議室 新宿A(新宿三葉ビル6F) twitterハッシュタグ #hbstudy Ust録画 http://www.ustream.tv/recorded/6903324 MaatKitの紹介 講演者 吉田晃典(株式会社はてな) id:marqs @marqs 資料 http://www.slideshare.net/marqs/maatkit-4098945 MaatkitというMySQL用のツール群の紹介。 ツールの数が多いので、この講演ではよく使うツール数個について説明されていた。 特徴 ドキュメントもあるし、オプション例もある Facebookを始め多数の企業に導入されている 商用サポートもあるら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
