Hadoopフレームワーク「Asakusa」がOSSで公開 － ＠IT
2011/03/31 ウルシステムズは3月31日、基幹業務システムのバッチを高速処理するためのフレームワーク「Asakusa Framework」の正式版をオープンソースとして公開した（発表文、GitHubのレポジトリ）。Hadoop上に基幹バッチシステムに必要な開発環境・実行環境・運用環境を実装したもの。HadoopはJavaベースのオープンソース分散処理技術として、すでに広く利用されている一方、業務処理への適用では、導入の難しさから利用が進んでいなかった。Asakusaを使うことで、Hadoopに詳しくないエンジニアでも簡単にシステム開発ができるという。 Asakusaは、MapReduceのDSLをコンパイルする「Ashigel Compiler」、Hadoopのデータフォーマットに合わせたデータモデルを生成するジェネレータ、統合テストスイートの3つのコンポーネントからなる。Ashi
mixi Engineers’ Blog » Tokyo Tyrantによる耐高負荷DBの構築
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
【コラム】エンタープライズ0.2 - 進化を邪魔する社長たち - (104) テレビがつまらなくなったシンプルな理由と「多チャンネル0.2」 | 経営 | マイコミジャーナル
世代を超えてヒトの心をつかむ「あだち充」の偉大さ ネットで「テレビは終わっている」という言説を目にします。「終わっている」には、「テレビを見ない」「テレビがつまらない」というニュアンスが込められているのですが、中川淳一郎さんの著書『ウェブはバカと暇人のもの』では、「ネットで話題になるのはテレビネタで、テレビの時代はまだしばらくは続く」と結論付けています。 私もこの論に賛成です。ツイッターのタイムラインにテレビの話題が躍ることは多く、何より2010年12月以降の「家電エコポイント半減」直前、家電量販店に「終わっている」はずのテレビを求めて客が殺到した事実が物語ります。 ただし、「つまらない」ことには賛成します。クイズ番組は「インテリ」ばかりが登場し、情報番組はラーメン、焼き肉、スイーツのヘビーローテーション、ドラマに至っては初回を見れば結末がわかる筋立てで、キャストを見ただけで演じる役割が想
第5回 大規模データを扱うためのHBaseとCassandra | gihyo.jp
どんなところに使える？ HBaseやCassandraはどちらもRDBMSで扱いきれないような大規模なデータの扱いに力を発揮します。強力なスケーラビリティも備えているため、データが増えても処理速度はそれほど低下しません。また、列指向データベースの強みを活かして、大量のデータを更新するようなバッチ処理のストレージとして利用しても有用でしょう。 具体的な利用シーン 大規模なデータをスケーラブルに処理する必要がある場合 大量データをバッチ処理する際のストレージとしての利用 HBaseのインストール 本稿では、実際にHBaseを使ってみましょう[1]。 まずは1台のサーバ上で環境を整えます。わかりにくかもしれないので、以下の手順を参考にしてください。JDK6およびHadoopのインストールが必要です。 プロンプト1 HBaseのインストール＆起動の手順 # http://java.sun.com
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
国産のクラウド構築ソフトがオープンソース化
ソフト開発ベンチャーのあくしゅは2010年11月19日、Amazon EC2のようなIaaS（インフラストラクチャ・アズ・ア・サービス）を構築するソフト群をオープンソースとして公開した。仮想マシンの生成やその自動化、管理画面、アプリケーションの分散処理支援といった各種ソフトを取り揃えた。 OSSとして公開したのは、仮想マシンの起動や削除などを制御する「Wakame-vdc」、仮想マシン群によるアプリケーションの分散処理を半自動化する「Wakame-os」、複数の仮想マシンから成るシステムの自動展開などを制御する「Wakame-fuel」の3ソフト。 Wakame-vdcは、仮想マシンソフトの「Xen」と「KVM」を使ったIaaSを構築できるソフト。Webブラウザによる管理画面を用意し、仮想マシンの生成や削除、セキュリティ設定などを簡単に操作できる。Wakame-osは、プログラムのソースコ
RFC2616: ハイパーテキスト転送プロトコル -- HTTP/1.1
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Welcome to Apache™ Hadoop™!
Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Akkaが1.0になった。JavaとScalaにアクターモデルをもたらす
頭スッキリ！あなたの集中力をアップする「リマインダー活用術」 : earth in us.
Hadoop、hBaseで構築する大規模分散データ処理システム