Hadoop YARN覚え書き | OpenGroove
Hadoop YARNの仕様とか設計について過去記事に書いたことがあるんだけど、も一回まとめ、というか覚え書き。 YARNではスロット数を制御するプロパティがなくなった、とドキュメントや参考書にある。これはMRv1でのmapred.tasktracker.map.tasks.maximum ,mapred.tasktracker.reduce.tasks.maximum のことだろう。実際にはMRv2に対応するmapreduce.tasktracker.map.tasks.maximum ,mapreduce.tasktracker.reduce.tasks.maximumというプロパティが存在しているが書いても無視されるらしく、何故これらが残っているのか謎。ともあれYARNではスロットの概念が消滅した代わりにコンテナという概念が採用され、ジョブのプロセスはコンテナ内で実行される。コンテナ
Hadoopチューニング – mapred.map.tasksの意味 – OpenGroove
Hadoopパラメータのコネタ。 mapred-site.xmlのパラメータで、mapred.map.tasksというのがある。 実は最近まで、mapred.tasktracker.map.tasks.maximumとの違いがよく分からないままスルーしていた。 mapred.tasktracker.map.tasks.maximumは各スレーブノードにおいて同時に並列実行可能なタスク数で、物理搭載コア数を元に適宜値を割り当てる。この辺の基準は参考書その他情報源に書かれている基本的なことなのでここで改めて書かないが、ではmapred.map.tasksは一体何なのか。参考書にも「ジョブに対するmapタスク数」としか書かれていなくて、それじゃ意味がわからないんだよなーw と、思っていたが、以下の説明でどうにか腑に落ちた。 mapred.tasktracker.map.tasks.maximum
直前まで開いていたファイルを開きなおす。 — 名無しのvim使い
あるファイルを開いた直後に、 直前まで開いていたファイルを、すぐにもう一度開きたくなることは良くあります。 vimエディタでは、直前まで開いていたファイルを「#」で指定できます。 今回の記事で説明する方法は、2つのファイルを行き来する時にも利用できます。 (Windows, Mac) 概要 あるファイルを開いた直後に、 直前まで開いていたファイルを、すぐにもう一度開きたくなることは良くあります。 vimエディタでは、直前まで開いていたファイルを「#」で指定できます。 今回の記事で説明する方法は、2つのファイルを行き来する時にも利用できます。 「#」の使い方 直前まで開いていたファイルを開きなおすには、次のコマンドを入力します。 ファイルを開くと、当然、「今開いているファイル」は「直前に開いていたファイル」扱いになります。 " 拡張子.bkをつけて、ファイルに保存 :b # 「#」をvimエ
Q&A | タンデムマス・スクリーニング普及協会
先天性の病気のなかには、生後早い時期に採血を行うことで診断できるものがあります。新生児のうちに早期発見しておくと、早期治療により知能の遅れなどを防止できたり、重い症状が出ないように注意して日常生活を送ることができます。このような取り組みが「新生児マス・スクリーニング」 ( 先天性代謝異常症等検査) で、世界各国で行われています。日本では1977 年に、 はじめは5つの疾患を対象と して始まりました。 新生児マス・スクリーニングで発見される病気は、ホルモンに異常のある病気と、栄養素を利用する過程に何らかの問題がある病気とに大きく分けられます。このうち後者を総称して「先天代謝異常症」とよびます。 「マス」とは「集団」、「スクリーニング」は「検査」という意味です。「新生児マス・スクリーニング」は日本に生まれてきた赤ちゃん全員が受ける事が出来る検査で、社会から赤ちゃんへのプレゼントといえます。 他
OOM relation to vm.swappiness=0 in new kernel
I have recently been involved in diagnosing the reasons behind OOM invocation that would kill the MySQL server process. Of course these servers were primarily running MySQL. As such the MySQL server process was the one with the largest amount of memory allocated. But the strange thing was that in all the cases, there was no swapping activity seen and there were enough pages in the page cache. Iron
Kernel.org git repositories
Kernel.org git repositories Git repositories hosted at kernel.org (singapore) index NameDescriptionOwnerIdleLinks pub/scm/bluetoothbluetooth-next.gitUnnamed repository; edit this file 'description' to name the repository.Grokmirror user3 yearssummarylogtree bluez-hcidump.gitBluetooth packet analyzerMarcel Holtmann6 yearssummarylogtree bluez.gitBluetooth protocol stack for LinuxMarcel Holtmann3 hou
Linux Command Line Books by William Shotts
Fifth Internet Edition Available Now! Designed for the new command line user, this 555-page volume covers the same material as LinuxCommand.org but in much greater detail. In addition to the basics of command line use and shell scripting, The Linux Command Line includes chapters on many common programs used on the command line, as well as more advanced topics. Released under a Creative Commons lic
Automate the Boring Stuff with Python
By Al Sweigart. Over 500,000 copies sold. Free to read under a CC license. "The best part of programming is the triumph of seeing the machine do something useful. Automate the Boring Stuff with Python frames all of programming as these small triumphs; it makes the boring fun." - Hilary Mason, Data Scientist and Founder of Fast Forward Labs "I'm having a lot of fun breaking things and then putting
あんな親にはなりたくない。そう思っていた自分が親になって知ったことと、これから親になるあなたへ。 | STORYS.JP
家族のかたちは色々あります。 母子家庭、父子家庭、仲の良い家族、あまり仲の良くない家族。 人生のストーリーを投稿するサイト「STORYS.JP」には、 結婚、出産、子育て、離婚など、家族にまつわるストーリーが多く投稿されています。 感謝していることもあれば、許せないこともある。 自分も大人になって、思い知る偉大さもある。 母親のことが嫌いだった、ある女性のストーリーをご紹介します。 ■お母さんと、3歳の私 「絶対あんな親になんかなるもんか」 10代の時、毎日泣きながら部屋でそう思っていた。 絶対に、お母さんみたいな親にはならないって。 認めて欲しかった。頑張ってるねって、偉いねって言って欲しかった。 それだけでよかった。 厳しい母親だった。親戚や近所の人たちは皆そう言う。 私は一人っ子で、生まれてすぐの事故もあってか母は懸命に私を育ててくれた。 食べ物は制限さ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dwango/scala_text: Scala研修用テキスト