サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
都知事選
aajisaka.hatenablog.com
LinkedInをじっくり見ていた方はすでにお気づきかもしれませんが、今年の4月からAWS Glueに異動しました。引き続きSDE (Software Development Engineer) をやっています。 Amazon EMRにいた頃はApache Hadoopだけに限らずApache Oozie、Apache Flinkなどの面倒を見ていたし、customerからのエスカレーション対応もしてきました。技術領域としては想定していたとおり自分の経験をフルに発揮できるもの (例えばEMRで提供している複数のOSSプロダクトを跨ぐclasspath conflictの解決や、Oozieのflaky job failureの修正: OOZIE-3652) でしたが、あまりにもマッチしすぎていてやや退屈であったこと、あるいはここでは書くことのできないいくつかの理由によりAWS Glueに異動
Calendar for Distributed computing (Apache Spark, Hadoop, Kafka, ...) | Advent Calendar 2021 - Qiita の12月13日の記事です。 昨年の記事 aajisaka.hatenablog.com さて、今年もApache Hadoopを振り返ろうと思います。 リリース数の減少 今年もリリースが少ない年でした。本記事を執筆している時点では1月に3.2.2、6月に3.3.1がリリースされただけです。現在3.3.2のrelease voteが行われており、うまく行けば3.3.2がリリースされるような気がします。また、3.2.3についてもrelease branchが切られており、release voteが近いうちに始まると思われます。ところで、2020年には新しいminor versionの3.3.0が
10年ほど前は、ビッグデータを蓄積し分析するといえばApache Hadoopという状況でした。ところが近年では多種多様なツールが次々に登場し、必ずしもHadoopを利用する時代ではなくなってきています。そんな状況において今一体どれだけの人々がどのようなユースケースでHadoopを活用しているのだろうか? また、Big Techと呼ばれる会社の中ではどのようなことが起こっているのか? その謎を解明するため、私はAmazonの奥地へ向かった。 Day 1 pic.twitter.com/WBVsfFW5Of— Akira Ajisaka (@ajis_ka) November 8, 2021 ... というわけで、アマゾンウェブサービスジャパン合同会社に2021/11/8付で入社しました。"Senior Software Development Engineer - Big Data, AW
2021/6/15にApache Hadoop 3.3.1がリリースされたので、リリースしてからしばらく時間が経つけどまとめておきます。 Hadoop 3.3.1に対する個人的な所感 Hadoop 3.3.1はHadoop 3.3.0からおよそ1年後にリリースされました、1年も経っているので、普段のbug fix releaseでは考えられないほどの修正がされ、もはやHadoop 3.2.0とHadoop 3.3.0との差分よりもHadoop 3.3.0とHadoop 3.3.1との差分のほうが大きいのではないかと思っています。Hadoop CommonとHDFSを中心に、その大きな差分についてこれから紹介していこうと思います。 NameNodeLayoutVersionの更新 Hadoop 3.3.1では、なんとNameNodeLayoutVersionが上がっています。普通のbug f
フレッツ光クロス導入 気がついたら自分が住んでいる区が光クロスのエリアに入っていたので、現在引いているフレッツ光から光クロスに切り替えたいということで申し込んだ。光回線を引いたときもそうだったのだがやはり最初は現地調査から始まった。現地調査によると、自分が住んでいるマンションに光クロスの回線はまだ届いていなかったため近くの電柱から地下を経由してMDFまで回線を引き、そこから宅内に光ファイバーを通すことになるらしい。おそらく問題ないだろうということで現地調査も終わり、回線工事もつつがなく完了した。 光ケーブルが2本生えてて気持ち悪い。もちろん隙間から生えているほうが後から追加した光クロス 工事後にNTT東日本から「あとはプロバイダに連絡してね」と言われ、現時点でプロバイダ契約しているぷららに聞いたがなんと「NTT東に頼んでください」と言われてしまい、結局NTT東に連絡して事情を事細かに説明し
Apache Hadoopについて、2020年にどんなことがあったのかざっくりと振り返りたいと思います。Advent Calendar枠です(大遅刻)。 Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 - Qiita Apache Ozoneが分離 オブジェクトストレージを担当するOzoneはすでにHadoop本体のソースコードからは分離されていましたが、新規のTLP(Top-Level Project)としてスピンオフしました。2019年にApache SubmarineがTLPになったのを見て、Ozoneもいずれそうなると思っていたので個人的には特に驚きはないです。プロジェクトが分離すると具体的に何が起こるかというと、committerやPMCなどが別々になります(他にもあるけど
このページを最初にブックマークしてみませんか?
『aajisaka.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く