2021年のApache Hadoop振り返り - Memo
Calendar for Distributed computing (Apache Spark, Hadoop, Kafka, ...) | Advent Calendar 2021 - Qiita の12月13日の記事です。 昨年の記事 aajisaka.hatenablog.com さて、今年もApache Hadoopを振り返ろうと思います。 リリース数の減少 今年もリリースが少ない年でした。本記事を執筆している時点では1月に3.2.2、6月に3.3.1がリリースされただけです。現在3.3.2のrelease voteが行われており、うまく行けば3.3.2がリリースされるような気がします。また、3.2.3についてもrelease branchが切られており、release voteが近いうちに始まると思われます。ところで、2020年には新しいminor versionの3.3.0が
2018年のApache Hadoopを振り返る - Qiita
概要 そろそろApache Hadoopは終わったのでは? という話がありそうなので、ここ最近の状況を書きます。結論を言うとまだまだ終わってないですが、クラウド事業者が提供するマネージドサービスが充実してきたことにより、直接 Hadoopクラスタ上でジョブを実行したり、Hadoopクラスタを運用したりする人々は特定の企業に集中していくのかなと考えています。 Apache Hadoopとは Hadoopは、大きく分けてHDFS(Hadoop Distributed FileSystem), Hadoop MapReduce, Hadoop YARN(Yet Another Resource Negotiator)の3つのコンポーネントから構成されており、Hadoopについての発言を見たときには、それらのうち何について語られているか注意が必要です。主語がでかいのはよくないです。 Hadoop
Hadoop-3.2.0の新機能の紹介とJava9+対応のコミュニティ動向
2018年11月19日開催された第25回Hadoopソースコードリーディングで発表した資料です。Read less
Apache Hadoop YARNとマルチテナントにおけるリソース管理
Apache Hadoop YARNのスケジューラを使用した、マルチテナントにおけるリソース管理の方法について紹介します。
Apache Hadoop 3.1.0 released. And a look back! - Cloudera Blog
This blog post was published on Hortonworks.com before the merger with Cloudera. Some links, resources, or references may no longer be accurate. This is the 3rd blog of the Hadoop Blog series (part 1, part 2, part 4, part 5). In this blog, we provide a high-level overview on the release of Apache Hadoop 3.1. The Apache Hadoop community just announced the release of Apache Hadoop 3.1.0! This is the
Hadoop, Sparkその他分散処理フレームワークの2018年を占う | gihyo.jp
あけましておめでとうございます。 例年、Apache HadoopやApache Sparkを中心に並列分散処理ミドルウェアの動向や展望についてご紹介しています。 今年は NTTデータに所属する 岩崎正剛（Hadoopコミッタ）、猿田浩輔（Sparkコミッタ）、鯵坂明（Hadoopコミッタ/PMC）の3名でディスカッションした内容を元にお伝えします。 ディスカッション中の岩崎正剛氏 Hadoop 3.0リリース 昨年の新春特別企画では、「2017年はHadoop 3.0がリリースされる年になるはずです。」と書きましたが、Hadoop 3.0.0が2017年12月13日にリリースされました。2017年の間に3.0.0-alpha2、3.0.0-alpha3、3.0.0-alpha4、3.0.0-beta1とリリースを重ね、なんとか2017年内に間に合った格好です。 2016年にリリ
HDFSの現状と今後 (その1) - Qiita
まず、Apache Hadoop 3.0.0リリースおめでとうございます! 公式の記事: https://blogs.apache.org/foundation/entry/the-apache-software-foundation-announces26 ここ最近の大きめのHDFSの機能について、いくつか語ってみたいと思います 3.0.0でリリースされた機能 Erasure Coding Router based federation (2.9.0にもbackportされた) 3.1.0に入ることが確定した機能 (trunkにマージ済) Tiered storage 3.1.0に入るかわからない機能 (trunkにマージ前) Ozone: Object store for HDFS Erasure Coding JIRA: https://issues.apache.org/jira/
The Apache Software Foundation Announces Apache® Hadoop® v3.0.0 General Availability - The Apache Software Foundation Blog
Ubiquitous Open Source enterprise framework maintains decade-long leading role in $100B annual Big Data market Forest Hill, MD —14 December 2017— The Apache Software Foundation (ASF), the all-volunteer developers, stewards, and incubators of more than 350 Open Source projects and initiatives, today announced Apache® Hadoop® v3.0.0, the latest version of the Open Source software framework for relia
最新版Hadoopクラスタを運用して得られたもの
8. ● Hadoop ○ HADOOP-12366 : expose calculated paths ○ HADOOP-11628 : SPNEGO auth does not work with CNAMEs in JDK8 ● HBase ○ HBASE-18000 : Make sure we always return the scanner id with ScanResponse ← NEW !!! ● Flume ○ FLUME-3026 : Add Kafka 0.10 support for Flume ○ FLUME-3065 : Enable multiple monitoring types ○ FLUME-3100 : Support arbitrary header substitution for topic of Kafka ● Spark ○ SPAR
「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②
1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2017年1月30日 1 ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 DCNW1 深澤 開 Network for the Large-scale Hadoop Cluster at Yahoo! JAPAN 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 2 名前 深澤 開 (ふかざわ かい) 所属 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部 システム統括本部 サイトオペレーション本部 インフラ技術3部 (兼務) 業務 全社Hadoopの設計・構築・運用 データセン
Capacity Schedulerについて - Qiita
この記事は、以下の記事の翻訳です。誤訳等ありましたら、編集リクエストをいただけると嬉しいです。 目的 このドキュメントは、Hadoopのプラグイン可能なスケジューラであるの一つであるCapacitySchedulerについて説明します。CapacitySchedulerはマルチテナントのためにクラスタを安全に共有することを可能にし、その目的は割り当てられた容量の制約の下で、アプリケーションに適切にリソースが割り当てられるようにすることです。 概要 CapacitySchedulerは、クラスタのスループットと利用率を最大にしながら、Hadoopアプリケーションを共有のマルチテナントなクラスタとして、オペレータフレンドリーな方法で実行するように設計されています。 従来、各組織は、それぞれのSLAを満たすキャパシティを持つ独自のクラスタを持っていました。このやり方は、一般に、平均的な利用率の低
Apache Hadoop 3でまずハマりそうなポイント - Qiita
KMSのポート番号が変わったのは、HBaseのHMasterと被ったため。 参考: https://issues.apache.org/jira/browse/HBASE-10123 シェルスクリプトの書き直し CDHやHDPなど、BigTopを利用してビルドされたものにはinitスクリプトが用意されているため、サービスの起動停止にはinitスクリプトを利用しますが、素のApache Hadoopを利用する場合には、sbin/hadoop-daemon.sh, sbin/yarn-daemon.shなどを叩く必要がありました。 Hadoop 3ではこれらのスクリプトを直接叩くのは非推奨となり、代わりに--daemonオプションを利用します。--daemonオプションを利用したサービス起動・停止コマンドは以下のようになります。 $ hdfs --daemon start namenode $
Apache Hadoop 2.8.0 の新機能 (抜粋)
1. Copyright © 2016 NTT DATA Corporation 2016/11/8 株式会社NTTデータ OSSプロフェッショナルサービス 鯵坂 明 Apache Hadoop 2.8.0 の新機能 (抜粋) Apache Hadoop ミートアップ 2. 2Copyright © 2016 NTT DATA Corporation 自己紹介 - 鯵坂明 鯵坂 明 (@ajis_ka) NTTデータ システム技術本部 OSSプロフェッショナル サービス Apache HadoopなどOSSのサポート業務を主に担当 Apache Hadoop committer & PMC member コミッタ暦2年 ドキュメント バグ修正 リリース管理など 3. 3Copyright © 2016 NTT DATA Corporation 最近のApac
サイバーエージェントにおけるデータの品質管理について #cwt2016
第45回Elasticsearch勉強会のLTスライドです。 BERTモデルをElasticsearch v8.0.0-beta1 にインポートして利用します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop and Kerberos
Cloudera Blog
（日本語）Hadoopは失敗した、という分析
Automation of Rolling Upgrade of Hadoop Cluster without Data Lost and Job Failures - Hadoop Source Code Reading #22 #hadoopreading
Sqoop Import: "-Dorg.apache.sqoop.splitter.allow_text_splitter=true"