Code Archive Skip to content Google About Google Privacy Terms
グーグルは、同社内でパラレルデータ処理に利用している言語「Sawzall」を、「Szl」というプロジェクト名のオープンソースとして公開しました。 書籍「Googleを支える技術」によると、Sawzallは分散処理のためにデザインされたDSL(Domain Specific Language)で、特定の用途に限っては非常に容易に処理を記述できるようになっているインタープリタ型のプログラミング言語。GFS(Google File System)とMapReduceを基盤とし、MapReduceをより簡単に実行できるものと説明されています。 なぜSawzallはオープンソースとして公開されたのか? グーグルは2003年8月に、論文「Interpreting the Data: Parallel Analysis with Sawzall」を発表し、これによってSawzallという言語がグーグルに
Apache Maven(アパッチ メイヴン/メイヴェン)は、Java用プロジェクト管理ツールである。Apache Antに代わるものとして作られた。Apacheライセンスにて配布されているオープンソースソフトウェアである。 特徴[編集] このツールの大きな特徴はプラグイン拡張により様々な使い方ができることである。ソースコードのコンパイル、テスト、Javadoc生成、テストレポート生成、プロジェクトサイト生成、JAR生成、サーバへのデプロイ、WAR, EARファイル生成など様々な機能が用意されており、Antの場合にはbuild.xmlという設定ファイルに細かい指示を記述して行っていた各処理を、Mavenでは大まかな指示をpom.xmlに記述して処理する形となっている。 Mavenの大きな特徴は、pom.xmlの<dependency>タグにプロジェクトで使用したいJARライブラリ名及びバー
Hadoop 0.21ではCounterでGCに使っている時間が見れるようになりました。 こんな感じです。 この例では5秒程度ですが、ジョブによってはもっとGCに時間を使っている場合があり、 もっと詳細を調べてチューニング出来ないかという話です。 まずはGCのログを取ります。 <name>mapred.child.java.opts</name> <value>-Xloggc:/tmp/hadoop-mikami/@taskid@.gc -Xmx1024m</value> このように-Xloggc で指定した場所にログを取れます。 @taskid@ には attempt_201010311624_0037_m_000000_0 みたいな感じでattempt_id が入ります。 以下が先程のジョブのあるMapタスクでのGCログです 0.164: [GC 3072K->416K(889
In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...
We all enjoyed Yoshinori announcement of HandlerSocket, the plugin to MySQL which open NOSQL way to access data stored in InnoDB. The published results are impressive, but I want to understand some, that’s why I run couple more experiments. In blog post Yoshinori used the case when all data fits into memory, and one of question I had what if we put data on SSD ( FusionIO 320GB MLC in this experime
We've got your back )Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our Buyer Protection Program. Our unique & carefully designed domain ownership transfer process is the best rated service in the market. Buyer Protection ProgramWhen you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about
米Yahoo!は、大規模データの分散処理を実現するMapReduceをリアルタイムに行うソフトウェア「S4」を、オープンソースとして公開しました。 MapReduceを実行するソフトウェアとして、オープンソースの「Hadoop」がありますが、Hadoopはあらかじめジョブを定義して投入するバッチ処理を前提としていました。 S4は、データをキーとバリューのペアで構成されるストリームデータとして非同期に受け取ることができ、処理結果もキーバリューのペアで構成されたストリームデータとして出力するようになっているとのこと。 この非同期なストリームデータによる入出力が、リアルタイムなMapReduceを実現するフレームワークとしてのS4の特徴といえます。 リアルタイムなMapReduceで何ができる? リアルタイムなMapReduceにはどのような用途が考えられるのでしょうか? S4の公開を表明したY
自分用開発メモ。 imagemagick, GNU make, jquery, YUI, Cassandra, MT, Javascript... 節操なく色んなことに手を出してます。 開発環境はdebian lennyだったけど、今は Mac or Ubuntu 10.04
アクターモデル(英: actor model)とは、1973年、カール・ヒューイット、Peter Bishop、Richard Steiger が発表した並行計算の数学的モデルの一種[1]。アクターモデルでは、並行デジタル計算の汎用的基本要素として「アクター」という概念を導入している。アクターモデルは並行性の理論的理解のフレームワークとして使われるほか、並行システムの実装の理論的基礎としても利用されてきた。 歴史[編集] アクターモデルはそれ以前の計算モデルとは異なり、物理法則を発想の基本としている。他にも、LISP言語、Simula言語、ケーパビリティ・システム、パケット通信、初期のSmalltalkなどの影響を受けている。アクターモデルは「数百・数千のマイクロプロセッサから構成され、個々にローカルメモリを持ち、高性能通信ネットワークで通信を行う並列コンピュータが近い将来登場するとの予測
Yahoo! Labs! Advertising Sciences has built a general-purpose, real-time, distributed, fault-tolerant, scalable, event driven, expandable platform called S4 which allows programmers to easily implement applications for processing continuous unbounded streams of data. I cannot say it enough: Yahoo! is kicking ass again. After hearing about Google Caffeine, many were quick to announce the death of M
Updated: Yahoo (s yhoo) has open-sourced its S4 project, a platform for developing real-time MapReduce applications. As we’ve seen with Google’s (s goog) new Caffeine infrastructure for its Instant Search features, as well other “NoHadoop” tools, there’s a growing trend of unchaining large-scale data analysis – via MapReduce, in particular – from its batch-processing roots. Inside Yahoo Labs, S4 i
Copyright © 2009-2015. All rights reserved. This blog is called myNoSQL and it is written by me, Alex Popescu, a software architect with a passion for open source and communities. It records my readings, learnings, and opinions on NoSQL databases, polyglot persistence, and distributed systems -- subjects that I'm passionate about. The opinions expressed here are my own, and no other party necessar
「こんなもの食わない方がマシだ」 美味しんぼの影響で息子(小6)が拒食症に…教えて!goo 1 名前: きこりん(関西地方):2010/11/03(水) 13:50:47.34 ID:ur9lQcB40 ?PLT グルメ漫画の影響で、息子が拒食症に? 根強い支持を持つグルメ漫画。「食」は生活に直結した題材であるため、文化から社会、さらには環境問題にまでひろがる多様なテーマ性が魅力のひとつですが、教えて!gooに、こんな投稿が寄せられていました。 この書き込みによると、漫画「美味しんぼ」の影響で、小学6年生の息子が拒食症になってしまったとのこと。農薬や保存料などの入った食品は口にせず、「こんなものを食べさせられるぐらいなら、食わない方がマシだ」が口癖になり、 2度ほど栄養失調で倒れてしまったようです。本当ならすごい話ですが、これに対し、 「食べ物に対する感謝の気持ちが完全に欠落していますよね
Interviewer: Now comes the part of the interview where we ask a question to test your creative thinking ability. Don’t think too hard about it, just apply everyday common sense, and describe your reasoning process. Here’s the question: Why are manhole covers round? Feynman: They’re not. Some manhole covers are square. It’s true that there are SOME round ones, but I’ve seen square ones, and rectang
@shichiseki さんが奈良に来ているというので砂原研に遊びに行く。@naomi_te さんや@yoppy3 さんらといろいろ話す。「独創性」とはなんぞや、という話をしてみたり……。 今年度の前半に書いた2本の申請書に対する評価を考えてみて、先日紹介した「科研費獲得の方法とコツ」を読み返しつつ先月4本研究費の申請書を書き、気がついたことがあった。特に「独創性」が弱いと指摘されていたので、この本の「独創性」に関するところを何回も読んだ。曰く、 独創性とは何か 「独創的な点」を示せとあるので,この項目の最後に「本研究はきわめて独創的であると言える」と書く人が意外に多いのだが,「独創的」という言葉があまりに陳腐になるので避けた方がよいと思う.[中略] 若手研究者に多くあるのは,図3-11のような文章(引用者注: 実際に申請して落ちた研究費申請書の例が図に書かれている)だ.このようにストレー
妻から言われたことをいくつかツイッター(URLはこちら)で紹介したのですが、 予想に反してかなりの反響がありました。 そんな「妻語録」を一度まとめてみました。 2010/06/03 07:44 かつてネトゲで数十人を率いていたという妻「相手が欲していることは何で、どうやったらモチベーションを高く持ってくれるかを必死に考え抜くの。そうしたら勝手にみんなが動いてくれる。それがマネジメントだよ。やってないから帰りが遅いんじゃないの?」…代わりに会社に行ってもらえませんか? 2010/06/04 07:46 (再掲)近所の豪邸の前で「ここの家主と僕との違いは何なんだあ!」と嘆いていたら、妻が「今まで背負って来たリスクの差じゃない?例えば受験勉強を頑張ると、落ちたら努力が無駄になるというリスクを背負うんだよね。遊んでいればリスクもないけど合格しない。そういうこと。」 2010/06/08 23:46
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く