HDFS basics from API perspective2017年9月7日に開催されたdb tech showcase Tokyo 2017での講演資料です。
HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
Hadoop & Big Data
Why Cloudera Hadoop & Big Data Doug Cutting, Cloudera's Chief Architect, wrote Apache Hadoop in 2006. Learn about Hadoop and its impact on Big Data. Our Customers See a selection of Cloudera customers and how they use Cloudera to ask bigger questions of all their data. FAQs We answer some of your most popular questions about Cloudera and our technology. Blog Explore thought, technical, and communi
The Netflix Tech Blog: Hadoop Platform as a Service in the Cloud
by Sriram Krishnan and Eva Tse, Cloud Big Data Platform Hadoop has become the de facto standard for managing and processing hundreds of terabytes to petabytes of data. At Netflix, our Hadoop-based data warehouse is petabyte-scale, and growing rapidly. However, with the big data explosion in recent times, even this is not very novel anymore. Our architecture, however, is unique as it enables us to
［Cloud ＆ BigData］「Hadoopは神のようなエンジニアを不要にした」――。米アマゾンが講演
「10Gバイトのデータでもビッグデータだ。神のようなエンジニアを不要にするHadoopを使えばビッグデータ活用コストを下げられる」――。米アマゾン・ウェブ・サービシズ（AWS）のJohn Rauser Principal Quantitative Engineerは2012年2月28日、聴衆にこう語りかけた。同氏はクラウドコンピューティングの専門展「Cloud Days Tokyo/スマートフォン＆タブレット/ビッグデータEXPO」で、「The Changing Economics of Data: A View From Inside Amazon」と題して、米アマゾンにおけるビッグデータ活用の実際を事例を交えながら講演した。 Rauser氏はまず米アマゾンにおけるビッグデータ活用の事例を話した。2008年、アマゾンのアフィリエイトシステムは性能面の限界を迎えていた。そこで複数台で分散処
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Altan Khendup --- Hadoop at Home - Small Personal Cluster
GitHub - h2oai/h2o-2: Please visit https://github.com/h2oai/h2o-3 for latest H2O
http://myrrix.com/