Cloudera Blog
It’s hard to believe it’s been 15 years since the global financial crisis of 2007/2008. While this might be a blast from the past we’d rather leave in the proverbial rear-view mirror, in March of 2023 we were back to the future with the collapse of Silicon Valley Bank (SVB), the largest US bank to […] Read blog post
Hadoopリンクまとめ(1) - 科学と非科学の迷宮
Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日本語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa
今なお続く国家の殺人訓練 - 記憶の彼方へ
文京珠著『済州島四・三事件』を読んでいて、済州島と北海道が歴史的にリンクしていたことを知った。敗戦直前、日本軍は狂気の「決号作戦」を実行に移した。戦争がさらに一、二カ月長引いていれば、沖縄の悲劇は済州島でも北海道でも起こりえたといわれる。 グアムやフィリピンが陥落し、硫黄島への米軍の上陸を間近に控えた（1945年）二月九日、日本軍は、「決号作戦」と称して、七つの方面に本土決戦に備えた作戦計画の樹立を決める。済州島については「決七号」として作戦準備が進められ、北海道（「決二号作戦」）とならぶ、本土決戦に向けた重要地点とされた。（52頁） 済州島四・三事件―「島(タムナ)のくに」の死と再生の物語 作者: 文京洙出版社/メーカー: 平凡社発売日: 2008/04/01メディア: 単行本購入: 1人 クリック: 18回この商品を含むブログ (12件) を見る 北海道（「決二号作戦」）に関しては、札
勉強会発表「プログラマのためのHadoop入門」 - 科学と非科学の迷宮
id:kaigai の主催する勉強会で発表してきました。 Hadoop for programmerView more presentations from shiumachi. 答えられなかった質問 Shuffleフェーズって、ソートをどういう仕組みでやってるの？ データ全部をなめてるの？ Partitionerというクラスでデータを振り分けてる。タスクごとは独立してるのでデータをまたがってアクセスすることはないと思う。でも細かいことはちょっとわからない。 Map中にデータ追加したらどうなるのか？ さすがに扱うデータは最初に決めていると思うが、やったことないのでわからない。 Streamingって具体的にどんな処理してるの？ jarファイルは投げてるけど、実行時に使うスクリプトはどうやって投げてるのかわからない。 あとで調べときます。 今の世の中に出てるHadoop本って構築とか運用の話
リストラの感覚
NZの会社に勤めだして数ヶ月経ったときに大規模なリストラがあった。特にシニアアーキテクトなどの上級ポジションの人が半数以上クビになった。私を技術面接したアーキテクトも含まれていた。 このNZの会社ではリストラでクビになっても即刻辞職というわけではなく、人によって1週間から1ヶ月ほどの引継ぎ期間を設けていた。クビになった人にはなんとも切ない期間である。 しかし案外みんな冷静に引継ぎをこなしているのが印象的であった。 これで私としては、アメリカ、カナダ、NZの会社での大規模リストラを経験したことになる。 さて、日本ではリストラなどの失職などによる自殺が増加しているといわれて久しい。 ひとつの理由として組織からの脱落感を指摘しているブログもある。 これら自殺の共通点は「組織や社会からの脱落感」ではないか。そして彼らは組織や社会や学校という狭い世界が自分の存在意義のすべてだと勘違いしている。彼らは
NoSQLの成功は1:10問題にかかっている:Kenn's Clairvoyance
ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ
財政再建か、安全保障か: 極東ブログ
直面する課題は、財政再建か、それとも安全保障か。問われているのは、日本ではなく英国である。こうした問題設定は日本ではむずかしいので、他山の石といった話になるかわからないが、国際的な常識の部類でもあり、簡単に言及しておこう。 この話題、日本での報道は皆無かと思いきや、今日付けの毎日新聞記事「英国：財政再建か、安全保障か 核兵器の更新に２．７兆円、政府のジレンマ」（参照）にあった。簡素にまとまっている。 【ロンドン笠原敏彦】英政府が核ミサイル搭載の潜水艦４隻の更新計画を巡り「壁」にぶつかっている。推定約２００億ポンド（約２兆７４００億円）という予算規模がネックになり、「最終決定の先送り」や「核態勢の見直し」を検討しているのだ。財政再建と安全保障のバランスをどうとるか、論議が高まっている。 英国は近く、１９９８年以来１２年ぶりとなる「戦略防衛見直し」をまとめる予定で、核兵器にどう触れるかが注目さ
Mapreduce & Hadoop Algorithms in Academic Papers (3rd update) | atbrox
Mapreduce & Hadoop Algorithms in Academic Papers (3rd update) Atbrox is startup company providing technology and services for Search and Mapreduce/Hadoop. Our background is from Google, IBM and research. Contact us if you need help with algorithms for mapreduce This posting is the May 2010 update to the similar posting from February 2010, with 30 new papers compared to the prior posting, new ones
Pig and Hive at Yahoo! (Yahoo! Hadoop Blog)
Yahoo! has begun evaluating Hive for use as part of its Hadoop stack. Since, in many peoples' minds, Hive and Pig are roughly equivalent and Pig Latin is very close to SQL, this has led to some confusion. Why are we interested in using both technologies? As we have looked at our workloads and analyzed our use cases, we have come to the conclusion that the different use cases require different tool
Apache Hadoop: Best Practices and Anti-Patterns (Yahoo! Hadoop Blog)
Apache Hadoop is a software framework to build large-scale, shared storage and computing infrastructures. Hadoop clusters are used for a variety of research and development projects, and for a growing number of production processes at Yahoo!, EBay, Facebook, LinkedIn, Twitter, and other companies in the industry. It is a key component in several business critical endeavors representing a very sign
August HUG Recap (Yahoo! Hadoop Blog)
Thanks to the around 175 developers who came to Yahoo! recently for our monthly Hadoop User Group meeting. The energy in the packed room was phenomenal, and conversations continued long after the formal sessions. Hundreds of Hadoop Fans Flock to Yahoo! for the Hadoop User Group The event started with Arun Murthy from Yahoo! describing the best practices for developing MapReduce applications. Arun
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://allthingshadoop.com/2010/05/17/hadoop-bigdata-cassandra-a-talk-with-jonathan-ellis/
Home | Apache Ivy ™