Chronos: A Replacement for Cron
Chronos is our replacement for cron. It is a distributed and fault-tolerant scheduler which runs on top of Mesos. It’s a framework and supports custom mesos executors as well as the default command executor. Thus by default, Chronos executes SH (on most systems BASH) scripts. Chronos can be used to interact with systems such as Hadoop (incl. EMR), even if the mesos slaves on which execution happen
Hadoop on-mesos
The document discusses Hadoop on Mesos, beginning with a short history of distributed computing. It describes how Mesos provides an operating system for clusters that allows applications like Hadoop to run as distributed frameworks. The document outlines challenges in running Hadoop on Mesos and how these were addressed, including using Mesos schedulers and reservations. It also presents a case st
米NSA、大規模データの分散処理ソフトで情報収集拡大
This copy is for your personal, non-commercial use only. Distribution and use of this material are governed by our Subscriber Agreement and by copyright law. For non-personal use or to order multiple copies, please contact Dow Jones Reprints at 1-800-843-0008 or visit www.djreprints.com. http://jp.wsj.com/article/SB10001424127887324449604578537021339881306.html
【CyberAgent】技術情報／TechReport - テックレポート／FlumeとGrowthForecastを使ったリアルタイムログ解析 | 株式会社サイバーエージェント
1. 概要 行動ログの分析が日増しに重要度を増していく中で、時間ごとの定期バッチでの処理ではなくリアルタイムな解析が今必要とされている。この要望に対して、リアルタイムログ収集ツールである「Flume」とWebAPIを利用したグラフ化ツール「GrowthForecast」を組み合わせてリアルタイムログ解析システムを構築した。その結果、これらの組み合わせでのシステム導入が容易であることがわかった。また、実際にブログ閲覧のPVを元に、そのアクセスの差分を取ったグラフを作成した結果、急激なアクセス増加の兆候を得られる可能性があることが示した。導入のハードルの低さとカスタマイズの自由度から、将来的に多数のシステムに導入できると私は考える。本論文では、これらの詳細をレポートする。 2. 目次 3. 序論 最初に本研究の動機となった背景を述べ、解決するために選んだツールについて、その選択した理由と内容に
富士通、Hadoop連携するCOBOL開発環境「NetCOBOL V10.5」を発売
富士通は2012年12月5日、COBOL開発・運用ソフトウエアの新版「NetCOBOL V10.5」を発売した。COBOLで開発したバッチアプリケーションをApache Hadoopで並列分散処理する機能を搭載する。オンプレミス用途のパッケージのほか、同社のクラウドサービス「Fujitsu Global Cloud Platform FGCP／S5」のオプションサービスとしても提供する。 NetCOBOLは、Windows、Solaris、Linux上で動作するCOBOLアプリケーションの総合開発環境と運用環境を提供する。新版では、Apache Hadoopのフレームワークである「MapReduce」とCOBOLのデータ形式の違いを吸収するために、同社独自のデータ変換機能を実装。COBOLのデータをMapReduceの入出力データとして扱う機構により、COBOLバッチアプリケーションを再コ
RubyからHiveサーバ経由でHiveを使う - brfrn169の日記
HiveサーバはThriftでできてるんで当然Rubyからも使えます。 が、ひどくはまったんでメモしときます。 環境は、CentOS 5.5です。 Thriftのインストール id:brfrn169:20101010:1286699822 Hiveサーバの立ち上げ方など id:brfrn169:20100312:1270530644 クライアントコードの生成 まず、http://archive.cloudera.com/cdh/3/ からソースを落としてきます。 落としてきたら、IDLからクライアントコードを生成します。 tar xvzf hive-0.5.0+20.tar.gz thrift -gen rb hive-0.5.0+20/src/service/include/thrift/fb303/if/fb303.thrift thrift -gen rb hive-0.5.0+20
Hadoop HDFSコマンド実行メモ（0.20.1）
# 全体のhelpを見る $ bin/hadoop dfs -help # コマンド単体のヘルプを見る $ bin/hadoop dfs -help ls -ls <path>: List the contents that match the specified file pattern. If path is not specified, the contents of /user/<currentUser> will be listed. Directory entries are of the form dirName (full path) <dir> and file entries are of the form fileName(full path) <r n> size where n is the number of replicas specified for the
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
Apache Hive
Apache Hive The Apache Hive ™ is a distributed, fault-tolerant data warehouse system that enables analytics at a massive scale and facilitates reading, writing, and managing petabytes of data residing in distributed storage using SQL. Github Mail Docker Community Apache Hive is a distributed, fault-tolerant data warehouse system that enables analytics at a massive scale. Hive Metastore(HMS) provid
Facebookの新しいリアルタイム解析システムとは？ - nokunoの日記
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
グーグル発「Hadoop」、日本企業も利用へ
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
日立製作所、Hadoopの評価・検証サービスを開始
日立製作所は2011年1月17日、オープンソースの分散バッチ処理ソフト「Hadoop」の評価や検証を行う「大量データ分散処理アセスメントサービス」を発表した。大量のデータを保有する企業などに対して、Hadoopを使うことでどのようなシステムが実現できるかを提案するコンサルティングサービスや、性能評価などの検証支援サービスを提供する。サービス開始は2月21日。 Hadoopは、米グーグルの分散処理ソフトを基にした分散バッチ処理ソフトで、米国だけでなく日本でもユーザー企業による導入が進んでいる（関連記事：リクルートや楽天、分散バッチ処理ソフトHadoopの利用を拡大）。日立としては、「ユーザー企業はまだ、Hadoopを使って何ができるか見極めている状態」（同社広報）と考え、まずはHadoopに関する評価と検証のサービスを開始した。将来的には、Hadoopを使ったシステム構築サービスなども提供す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
エンジニアのための『仕事・職場・転職』応援サイト Ｔｅｃｈ総研
IT news, careers, business technology, reviews