1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day
1日100個以上のHadoopクラスターを使い捨てる方法 / How to throw away 100 Hadoop clusters a day
Hadoop チューニング | GMOアドパートナーズグループ TECH BLOG byGMO
GMOアドマーケティングのT.Cです。 入社してから今までPHP, Ruby On Rails, Java, Spark, JavaScriptなどの様々な言語を使った開発に関わることでどんどん開発の幅が広くなりましたが、プロジェクトで運用しているHadoopクラスタについては関わる機会がなかったので、以前から興味を持っていたこともあって今回勉強してみました。 勉強する中でもっとも面白かったのはチューニングに関してでした。 クラスタの規模やアプリケーションの特性などでそれぞれ違いますが、やはりHadoopで決めた各Defaultの設定で各処理が期待した以上に早く終わるケースがある場合と、逆に処理が遅いケースもあるでしょう。 こういった場合にチューニングを行って最適化していけば、よりデータの処理時間を減らしてoutputが早く取得できたり、その分別の処理を行える余裕もできたりするかもしれませ
Apache Impalaパフォーマンスチューニング #dbts2018
2. 2 © Cloudera, Inc. All rights reserved. 嶋内 翔 (しまうち しょう) テクニカルエバンジェリスト 兼シニアセールスエンジニア お客様にとって最適なデータ分析基盤の提案をする仕事をして います 主な担当業種: 金融業界 主な専門分野: 分析データベース 略歴 2006年、NEC入社。OSS推進センターでOSSの基盤についての 基礎を学ぶ。 2011年、Cloudera入社。サポートエンジニアとして、日本のお 客様の技術問い合わせに回答していく傍ら、Hadoopの啓蒙活 動に務める。 2015年から現職。 自己紹介 3. 3 © Cloudera, Inc. All rights reserved. Clouderaは 現在は不可能なことも、データの力によって 近い将来可能になると信じています Apache Hadoopの 信頼できるリーダー企業
Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②
1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2017年1月30日 1 ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 DCNW1 深澤 開 Network for the Large-scale Hadoop Cluster at Yahoo! JAPAN 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 2 名前 深澤 開 (ふかざわ かい) 所属 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部 システム統括本部 サイトオペレーション本部 インフラ技術3部 (兼務) 業務 全社Hadoopの設計・構築・運用 データセン
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNのスケジューラを使用した、マルチテナントにおけるリソース管理の方法について紹介します。Read less
HBase, no trouble
2. • : (Tsuruhara Tomu) • : LINE LINE 1 • : HBase • • HBase at LINE 2017 http:// linedevday.linecorp.com/jp/2017/#A-6 • LINE Platform Development Chronicle https://engineering.linecorp.com/ja/blog/ detail/59 2 4. HBase ? Apache HBase™ is the Hadoop database, a distributed, scalable, big data store. Use Apache HBase™ when you need random, realtime read/write access to your Big Data. This project's
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera and Hortonworks Announce Merger to Create World's Leading Next Generation Data Platform and Deliver Industry's First Enterprise Data Cloud - Hortonworks
Apache Hadoop HDFSの最新機能の紹介（2018）#dbts2018
VagrantでAmbari(HDP2.6)/HDFS/HBaseをインストールした仮想マシン(CentOS7.4)を構築する
VagrantでAmbari(HDP2.6)/HDFS/HBase/Phoenixをインストールした仮想マシン(Ubuntu16.04)を構築する
GitHub - Netflix/inviso