Java11対応ほか、Apache Hadoop 3.3.0の新機能を紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、「Hadoop」黒帯の鯵坂(@ajis_ka)です。本記事では、Apache Hadoopで次にリリースされるマイナーバージョンである3.3.0で追加される新機能について紹介します。本記事では、特にHadoop CommonとHDFS（Hadoop Distributed FileSystem）の新機能を重点的に紹介しつつ、それらの機能に対するヤフーの貢献についても触れていきます。 Hadoop 3.3.0 概要 Hadoop 3.3.0はおそらく2019年の年末までにリリースされる予定で、この記事を執筆している10月23日時点ですでに1500件以上の修正が入っています(Hadoop 3.2.0は1089件)。つまり、
Facebook Data Infrastructure with Dhruba Borthakur - Software Engineering Daily
Facebook generates high volumes of data at a rapid pace. Dhruba Borthakur joined Facebook in 2008 to work on data infrastructure. His early projects at Facebook were around Hadoop, the distributed file system and MapReduce computation platform that laid the foundation for the “big data” movement. At the time, Facebook was generating as much data as any other startup, and the company needed to stay
Hadoop / Spark Conference 2019 Japan
3⁄14 に開催された Hadoop / Spark Conference 2019 Japan に行ってきました。参加したセッションの内容と感想を書いてみました。 Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって 「Hadoop もう終わりつつあるのでは？」と思われがちだけど、HDFS とか YARN といった技術は分散並列処理の基盤として主流だよ、という話。実際「Hadoop」という文字を Web の記事等で目にすることはかなり少なくなりましたが、分析基盤の構築の事例はまだ結構見るので、それらを支える技術として進化しているようです。 Apache Hadoopの現在と未来 参加申請の時に取ったアンケート結果の発表から。オンプレでの運用が多いのと、Kudu を使っているところがあったのが面白いな、と。あとは新機能の Hadoop Subma
JVM Profiler: An Open Source Tool for Tracing Distributed JVM Applications at Scale
JVM Profiler: An Open Source Tool for Tracing Distributed JVM Applications at Scale Computing frameworks like Apache Spark have been widely adopted to build large-scale data applications. For Uber, data is at the heart of strategic decision-making and product development. To help us better leverage this data, we manage massive deployments of Spark across our global engineering offices. While Spark
Hadoop Query Performance Smackdown
Are you using the fastest query tool for Hadoop? Provide and discuss the latest performance results of the industry standard TPC_H benchmarks executed across an assortment of open source query tools such as Hive (using MR, TEZ, LLAP, SPARK), SparkSQL, Presto, and Drill. Additionally, the performance tests will utilize a variety of data sizes and popular storage formats such as ORC, Parquet and Tex
Hadoop/HBaseのNodeのdecommission
H系のOSSは何年か触っているのですが、良く考えてみるとNodeの縮退を行ったことがありませんでした・・・ ※数十台程度の小規模な環境でしか運用したことが無いことと、故障もRAIDのHDD程度でマシンの大掛かりな故障という事象も無かったので ということで、縮退を行いました。...
#hcj2016 次世代アーキテクチャから見たHadoop/Sparkの位置づけのメモ - #garagekidztweetz
Hadoop/Spark Conference Japan 2016 、午後最初のセッションはノーチラス・テクノロジーズの神林さんのセッションに参加。 最初から、メモを取るのは相当しんどいだろうと覚悟のセッションでしたが、濃厚濃密な内容で最後まで楽しむことができました。 自分が参加した中からベストセッションを選ぶなら間違いなくこの神林さんのセッションがベストでした。こんなの他では聞けませんもの。 では以降よりメモ。 次世代アーキテクチャから見たHadoop/Sparkの位置づけ ～特にRDMA・NVMを軸としたときの分散並列処理の観点から / 神林 飛志氏（ノーチラステクノロジーズ） 完全裏番組宣言。マニア向け。 Hadoop/Spark 知りたいなら表番組に行ったほうがいいよ、の前置きからスタート。 そもそもメモをとれるのか、というチャレンジを自分もしにきてみた。 ノーチラスがみてるのは
On Hadoop and Big Data. Interview with John Leach | ODBMS Industry Watch
Trends and Information on AI, Big Data, New Data Management Technologies, Data Science and Innovation. “One common struggle for data-driven enterprises is managing unnecessarily complicated data workflows with bloated ETL pipelines and a lack of native system integration.”– John Leach I have interviewed John Leach, CTO & Cofounder Splice Machine. Main topics of the interview are Hadoop, Big Data
IIJ、ビッグデータ蓄積・利用のワンストップサービスを正式提供開始
IIJ、ビッグデータ蓄積・利用のワンストップサービスを正式提供開始：トレジャーデータとテーマは同じ IIJは2015年3月2日、ビッグデータの収集・蓄積・解析のための環境をワンストップサービスとして提供する「IIJ GIOストレージ＆アナリシスサービス」を、正式提供開始した。 インターネットイニシアティブ（IIJ）は2015年3月2日、ビッグデータの収集・蓄積・解析のための環境をワンストップサービスとして提供する「IIJ GIOストレージ＆アナリシスサービス」を、同日に正式提供開始したと発表した。トレジャーデータのサービスと同じ方向を目指していると考えられる。 IIJは、「IIJ GIOストレージ＆アナリシスサービス」を、2014年11月以降、試験サービスとして提供してきた。これまではクラウドストレージサービスのみだったが、保存したデータをBIツールなどで活用できる「解析オプション」を追加
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
Hadoop on docker 前編 - White scenery @showyou, hatena
後半書きました( Hadoop on docker 後編 - White scenery @showyou, hatena ) 書き忘れていましたが、この記事 Spark, SQL on Hadoop etc. Advent Calendar 2014 - Qiita の23日目になります。 はじめはPivotal社の商用SQL on HadoopであるHAWQの話でもしようかと思いましたが、先日掲載したスライドに大体書いているので読んで頂ければと思います。 今回はHadoop on Dockerについてでも話します。 最近はHadoopを動かすのにdockerを使う動きが出ています。 dockerで組み上げるメリットとしては、 1. VMに比べると速度が速い(と考えられる) 2. 各社配布しているVMと違いDockerfile辺りを見れば何やってるか理解できる 3. imageを管理すれ
ノーチラス・テクノロジーズ クラウドセミナー参加のときのメモ
20130515_クラウドセミナー 0�ۮaU ��ۮaU 下記セミナーに参加した時のメモ。 http://www.nautilus-technologies.com/topics/20130422.html 【西鉄ストア様の本部基幹システム移行事例】 端的に感想を述べると「簡単ではない」「いろいろ苦労した」に尽きる。 開発規模は非常に大規模。 ・約600人月 ・50～60人が関わる ・600本程度の外部とのI/F 案件内容 ・売上、債権（クレジット、売掛等） ・買掛金未払い計上 ・テナント管理 ・リベート管理 ・管理会計 売価還元法管理会計→個別原価法管理会計 とにかくNonStop！ →止まると全面的に営業が止まってしまう。 もともと... ・CGCグループでの中規模小売業の 共同利用基盤の開発しようというのが始まり。 ・500億円規模の小売業が集まって、 自社のシステムの共同利用基盤
Hadoop Operations #cwt2013
#cwt2013 Clouderaの小林 @d1ce_ によるHadoop構築・運用のポイントについてのスライドを公開しました。2013年度版ハードウェア選定、HA構成の考え方から、実際にサポートで直面した事例についても紹介していますRead less
HDFSの容量見積もり指針 - 技術メモ + α
といっても自分が初期構築時に検討したわけではなく、 運用中の経験からのボトムアップから気付いたこと。 HDFS容量を見積もるには以下を検討する必要があると思う。 1.解析対象のコンテンツ 基本。MapReduceで解析したいコンテンツの容量。 WEBサーバのアクセスログとか。 2.MapReduceの中間ファイル HDFS上に載せるコンテンツに気を取られがちだが、 同時実行ジョブ数、ジョブ内で実行されるMapタスク、Reduceタスク数に依存して 中間ファイルがHDFS上に作成される。 ジョブ実行後に掃除されるが、一時的にHDFS上に作成されることから考慮する必要がある。 これは事前に見積もるのが難しい気がする。 50TB,30ノード,レプリケーション数2のHadoopを運用しているけど、 ジョブ実行時は実測値として約8TBが中間ファイルとして使用される場合がある。 3.レプリケーション数
MapReduceは「ゆっくり死んでいく」、Hadoop開発者のカッティング氏
オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」が、大きな変貌を遂げ始めている。バッチ処理だけでなく、SQLクエリーを使ったインタラクティブ分析やインメモリー処理、機械学習処理などへと適用領域を広げているからだ。Hadoopのオリジナル開発者であるダグ・カッティング氏は、「新しい時代が始まった」と語る。 現在のHadoopの状況をどのように見ているか？ 同じような機能を備えたコンポーネントが複数提案されるなど重複はあるが、技術開発は非常に高速に進んでいる。（米Apacheソフトウエア財団が2013年10月に正式版をリリースした）スケジューラーの「YARN」によって、（Hadoopのストレージシステムである）「HDFS」の上に、様々なテクノロジーを共存できるようになったことが大きい。私が特に驚いているのは、（DAG：Directed Acyclic Graph＝有向
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スレーブ・ノードの無効化
https://docs.cloudera.com/documentation/enterprise/latest.html
PowerPoint プレゼンテーション
On Hadoop RDBMS. Interview with Monte Zweben. | ODBMS Industry Watch
オライリーのHadoop関連本リリース予定 (2014/8時点)
