Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
Apache Kafkaにも注目 ―Hadoop, Spark、分散処理フレームワークをめぐる2019年 | gihyo.jp
新春特別企画 Apache Kafkaにも注目 ―Hadoop, Spark、分散処理フレームワークをめぐる2019年 あけましておめでとうございます。 今年も大規模データ向けの分散処理フレームワークの展望についてご紹介します。例年Apache HadoopとApache Sparkを中心にお届けしておりましたが、今年はこれらに加えて、2018年に活用が広がりが認知された分散メッセージシステムのApache Kafkaについても 同様に取り上げたいと思います。 今年は、NTTデータに所属するエンジニアの中でも特にHadoop、Spark、Kafkaなどに深く取り組んでいる 岩崎正剛（Hadoopコミッタ）、猿田浩輔（Sparkコミッタ）、都築正宜（Sparkコントリビューター）、吉田耕陽、佐々木徹（Kafkaコントリビューター）、酒井遼平、田中正浩（Hadoopコントリビュ
Apache HAWQ を最新の Hadoop パッケージ ( HDP 2.5.3 ) で使ってみた（前編） | GMOインターネット 次世代システム研究室
2017.04.04 Apache HAWQ を最新の Hadoop パッケージ ( HDP 2.5.3 ) で使ってみた（前編） こんにちは。次世代システム研究室のデータベース・Hadoop (MySQL/MariaDB/PerconaServer, PostgreSQL, Hive, HBase, etc..) 担当のM.K.です。 今回は一連の GreenplumDB の検証の続きで、GreenplumDB を Hadoop とくっつけてしまった変種？の Apache HAWQ を試してみます。 HAWQ のアーキテクチャー理解と、HAWQ クラスタの構築をやってみました。 とりあえず前編です！後編はまたいつか・・ HAWQ は Hadoop で動くものの、GreenplumDB の特徴自体は変わらないので、以前に書いた「CentOS 7 に Greenplum DB クラスタを構築
Hortonworks Documentation
CDP Public Cloud CDP Private Cloud Base CDP Private Cloud Data Services Applications Legacy
Hiveのクエリを何倍も速くする４つの方法 - Qiita
はじめに HiveはHDFS上のデータをSQLで操作できるHadoopのエコシステムです。Facebook社により開発され、現在はApacheのトッププロジェクトの一つです。 Hiveがリリースされてから7年ほど時間が経ちました。 その間に他のビッグデータ用のSQLエンジンがいくつか登場しました。 これらのSQLエンジンの多くは、Hiveが苦手としていた低レイテンシなクエリの実行に応えることにフォーカスしています。 従来HiveのバックエンドはMapReduceで動いており、クエリを実行すると完了するまで数分から数十分、数時間の時間がかかりました。そのためアナリストの解析用途で利用するのは難しく、主にデイリーやアワリーの集計などのバッチ処理として利用されてきました。 しかしながら、現在もHiveの開発・改善は非常に活発に行われています。特にここ１〜２年の間にHortonworks社を中心と
HBase Meetup Tokyo Summer 2015 #hbasejp のまとめ
2015/6/26に開催されたHBase Meetup Tokyo Summer 2015のまとめです。 http://www.zusaar.com/event/14057003
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
Hive Hacks その2 – Hiveのログ、圧縮など – OpenGroove
注1 :スプリット不可の形式はHDFSで指定したブロックサイズよりも大きな圧縮ファイルをMapReduceの入力とした場合、入力が複数のMapタスクに分散されずに単一のMapタスクで処理されてしまうため、分散処理のメリットが損なわれてしまう。 注2 :ネイティブライブラリは、CDHの場合hadoop/lib/native/にインストールされている。Hadoopのデフォルトの動作では自動的にこのライブラリをロードして使用する。 MapReduceプログラムの出力圧縮 MapReduceにてMap（中間出力）とReduce（最終出力）それぞれを圧縮することができる。中間データ圧縮により性能改善が期待できる。 mapred.compress.map.output true: Mapの出力を圧縮する（SequenceFileを使用） false: 圧縮しない（デフォルト） mapred.map.o
Understanding HDFS Recovery Processes (Part 1) - Cloudera Blog
Having a good grasp of HDFS recovery processes is important when running or moving toward production-ready Apache Hadoop. An important design requirement of HDFS is to ensure continuous and correct operations to support production deployments. One particularly complex area is ensuring correctness of writes to HDFS in the presence of network and node failures, where the lease recovery, block recove
Hadoop分散環境試行錯誤メモ(Hishidama's Hadoop distributed Memo)
S-JIS[2011-11-03] 変更履歴 Hadoop（仮想）分散環境作成 試行錯誤 VMware Player上の仮想マシンを使ってHadoopの完全分散環境を構築した際の経過。 CentOSへのインストール CDH3版Hadoop本体がCentOSへインストールされている前提で、そのCentOSをNameNodeとし、VMイメージをコピーしてDataNodeを作る。[2011-09-25] VMware上のCentOSを起動し、rootユーザーでログインする。 NameNodeやDataNode用のデーモンを起動する為のシェルをインストールする。# yum install -y hadoop-0.20-namenode # yum install -y hadoop-0.20-datanode # yum install -y hadoop-0.20-secondarynameno
HDPとAmbariを試している - wyukawa's diary
今度新規にHadoopクラスタを構築する予定なのですが、HortonworksのHDPおよびAmbariをちょっと試しています。 僕は今までApacheのコミュニティ版Hadoop 1系を1年ほど運用していたので、今どきのHadoop事情にうとかったんですがいろいろ変わってるんですね。 NameNode HAとか名前だけは知っていたのですが、実態がどんなもんだかよくわかってなかったし。 今の時点でHadoopのディストリビューションを選択するとしたら、Apacheのコミュニティ版, CDH, HDPのいづれか３択で、どれを選ぶにしてもYARNに突入せざるをえないでしょう。 例えばHiveしか使わないにしても。 で、まあ、とりあえずHDPは新しいし触ったことある人も少なそうなのでちょっと試しています。 yumでひとつづつインストールしていってもいいのですが、AmbariというCloudera
Ansibleを使ってHadoop(CDH4) アップデート – OpenGroove
（毎日同じようなAnsibleネタ記事を書いているようだが、これでも微妙に違う） つい先日Hadoop CDH4が4.3.0から4.3.1になったので、せっかくだからAnsibleを使ってアップデートをやってみた。対象は疑似分散環境だからわざわざAnsibleを使わなくてもいいと言えばいいのだが、こういう定型作業の抽象化に慣れておきたいので、ま、練習のつもりで。 実行環境 管理用マシンからAnsible実行 （AWS t1.micro CentOS 6.3） アップデート対象のHadoop疑似分散モードマシン （AWS m1.small CentOS 6.3） メインのplaybookとなるcdh_update.yml 実行場所直下のtasksディレクトリに子playbookを分けて格納し、それらを順次実行させる処理を記述した。ホストの定義はserversファイルに記述。 servers（
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
dockerでhadoopクラスター作成
Hortonworks Cluster on Docker – Muhammad Sahputra – Medium
Apache Impalaパフォーマンスチューニング #dbts2018
IDCFクラウドのDebian JessieでMulti-Host Docker Networking - Part 5: AmbariとZeppelinをDocker Swarmにセットアップ - Qiita
GitHub - bloomberg/chef-bach: Chef recipes for Bloomberg's deployment of Hadoop and related components
HBase×Impalaで作るアドテク�「GMOプライベートDMP」@HBaseMeetupTokyo2015Summer
HDPをWindowsで動かしてみた
Datanode daemon not running on Hadoop 2.5.0