YARN 上における分散処理基盤のリソース管理について - Qiita
本稿では，YARN 上における分散処理基盤のリソース管理の仕組みと，問題となる状況，および Spark の解決方法について，Spark の例をまじえて説明します． YARN の基礎 MapReduce v1 では，TaskTracker が MapSlot/ReduceSlot という単位でリソースを管理していましたが，YARN では，"コンテナ"という単位でリソースを確保し，その中で処理を行います． コンテナには，CPU/メモリ/ディスク帯域幅/ネットワーク帯域幅などを割り当てることが可能です．2014/12時点では，CPU/メモリのリソース管理サポートが入っています．ディスクIO/ネットワークIOの制御も来年には入るかもしれません． Spark on YARN におけるリソース管理の例 Apache Spark は，オンメモリ用上のデータ処理を容易に行うことができる分散処理フレームワー
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
『OffSec Training』の対象コースが世界最安となる早割+10%OFFキャンペーン中です。 脆弱性診断やペネトレーションテストのエキスパートを目指す方へ絶好のチャンスです！ 詳細はこちら
チームを破壊しているのは議論好きなあなた | サイボウズ式
【サイボウズ式編集部より】この「ブロガーズ・コラム」は、著名ブロガーをサイボウズの外部から招いて、チームワークに関するコラムを執筆いただいています。今回は、日野瑛太郎さんによる「チームを活性化する議論のやり方」について。 チームで働いていれば、時には議論をすることもあるはずです。以前、「民主的なチーム」が崩壊した話という記事の中で話し合いばかりしているチームの問題点について書いたことがありますが、これの逆で一切議論をしないチームというのも不健全です。議論したことで一人では到達しえなかったよりよい解決策が見つかることは少なくなく、こうやって「他人の頭」を借りることができるのもチームで仕事をすることの醍醐味の１つです。 2014年5月19日「民主的なチーム」が崩壊した話 もっとも、ただ議論をすればそれでいいというわけではありません。議論はやり方に注意しないと、時にはチームワークを大きく乱す原因
祝: Atom の Web Components 導入、ついでに Atom Shell の話。 - steps to phantasien
GitHub 謹製 Atom エディタが Shadow DOM を使い始めたという。 めでたい。せっかくだから私も Atom を使ってみよう。 起動してテキスト書きもそこそこにインスペクタで DOM を眺める。 するとあら素敵。Shadow DOM のみならず Custom Elements もばりばり使われているじゃありませんか。 ためしにステータスバーをつついてみるとわかる。 Atom は UI を React に書き直したものと思いこんでいたけれど、 React になったのはテキスト編集領域だけの様子。周辺の UI は Custom Elements ベースになりつつあるらしい。 もともと space-pen という jQuery ベースの内製フレームワークで書いていたものを、 徐々に Custom Elements 化していくという。 Atom, 意外と Web Component
代表取締役社長を退任させていただくことになりました : 起業家 森川亮ブログ
皆さんこんばんわ。 本日、プレスリリースやコーポレートサイトでも発表させていただきました通り、私森川亮はLINE株式会社の代表取締役社長を任期満了に伴い、2015年3月で退任させていただくことになりました。 1989年に日本テレビに入社し、2000年ソニーへ転職、そして2003年からこの会社で働いていて社会人経験の中で一番長いキャリアとなりました。そろそろ次のステージに移るタイミングと考え退任を決意しました。 2003年に36歳で当時30名程度のハンゲームジャパンに平社員で入社したのですがなんと翌月には事業責任者になることになり、また会社そのものはその年の夏にネイバージャパンと合併しNHN Japanになりました。 最初はゲーム事業でアバターやコミュニティサービスを強化し、その後MMRPGなど大型のゲームの事業にも参入、更にオンラインのパチンコやパチスロなど様々な事業を広げ日本でNO.1の
PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など
PostgreSQL 9.4がリリース。ドキュメントDB並の性能でJSONBサポート、レプリケーション機能の高度化など PostgreSQL 9.4の主な新機能は、バイナリ形式のJSONであるJSONBのサポート、高度なレプリケーションに利用できる新しいAPI、GINインデックスの高速化など。 一般的なドキュメントデータベース並の高速性 PostgreSQLでは以前のバージョンからJSON形式をサポートしていましたが、今回サポートされたJSONB形式は、バイナリ形式のJSONデータへの対応です。JSOBのサポートGINインデックスの高速化によって、ドキュメントデータベース並みの高速性を実現したとのこと。 JSONB supports fast lookups and simple expression search queries using Generalized Inverted In
O/Rマッパーによるトラブルを未然に防ぐ
2. copyright © 2014 kuwata-lab.com all rights reserved まえがき 現在、アプリケーション開発の現場では O/R Mapper (ORM) が普及しています。今後 も ORM を使った開発は、増えることはあっても減ることはないでしょう。 しかし ORM は、アプリケーション開発者にとっては便利でも、DB 管理者 (DBA) か らみたらトラブルの種でもあります。それが特にパフォーマンスに関する問題であるこ とが多いため、開発者と DBA が対立することも珍しくありません。 とはいえ、ORM による問題はすでに解決策が用意されている場合があります。本当の 問題は、すでに存在する解決策があまり知られていないことではないでしょうか。 そこで本発表では、ORM によってどのような問題が起こりやすいか、どう解決・予防 すればいいか、そして ORM
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.jreast.co.jp/aas/20141222suica100_stop2.html/