Spark and YARN - Qiita
SparkとYARNについて書きます。テーマ的にインフラストラクチャについての話が多くなると思います。 SparkとHadoopの関係性 SparkはHadoopクラスタへの依存はしていない。(ただし、ややこしいのだがHDFSやYARNのクライアントライブラリへの依存はある)なのでHadoopなしでも動かすことができる。しかしそれでもHadoopと一緒に動作させることが多いのは以下の理由による。 クラスタマネージャとしてのYARN Sparkはアプリケーション（厳密にはSparkアプリケーション）ごとに下記のようなクラスタが構築される。Driver Programと呼ばれる、SparkContextオブジェクトを持ち、アプリケーションコードの主要部分を実行するアプリケーションのマスタコンポーネントと、RDDに対するオペレーションを実行するExecutor群。そして、Driver Progr
記憶が無くなったら自殺します: 一人暮らし・フリーターでも30歳までに1000万貯金出来てアラフォーで再婚したよブログ。
趣味はドラムと日々のやりくり。フリーターで貯蓄1600万→投資失敗・損失1000万→貯金が底をつきかけ再婚。社会人大学生。 今まだ記憶があります。 記憶が途絶えるほど泥酔したら自殺します。 土井さん、藤村さん、久手堅さん、三神さん、北口さん、その他アルバイト先の皆さまご迷惑をおかけします。 今、無断欠勤しています。２２時半から出勤です。 本当はこんな事書かずに死ぬつもりでした。 ただ、さっき７階を下見に行ったら怖くて、手汗がすごくて。 あああかんなって。自殺しきれんかもしらんなって。 未遂に終わったらかっこ悪いからブログには書かんとこうって。 そう思ってたのに書いてます。 朝倉さんからは電話かかってきました。 いくらちと電話したけどよくわからんかったって。 いくらちとの事が２２時までに解決せんかったら死ぬって決めてました。 でも怖くて今長引いてます。 本当は２２時頃には死んでる予定でした。
NEC、住友生命の次期イントラネット基盤を受注し2018年度に稼働
NECは2016年10月17日、住友生命保険からイントラネット基盤「あいキューブシステム」の次期システム構築を受注したと発表した。2018年度の稼働を予定する。次期システムでは、サーバー基盤の仮想化に次いで、SDN（ソフトウエア・デファインド・ネットワーク）の導入によってネットワーク基盤も仮想化する。 本システム基盤は、サーバー、ネットワーク、ミドルウエアなどのIT資源を提供する「インフラ基盤」と、各種業務システムを利用するために必要な認証機能、運用監視機能、セキュリティなどの共通機能を提供する「あいキューブ基盤」で構成する。 次期システムのインフラ基盤では、以前から取り組んでいるサーバーの仮想化に続いて、新たにネットワーク基盤を仮想化する。利用するSDN製品は未定。サーバー仮想化基盤においては、物理サーバーのPCサーバー化を進める。現在は商用UNIXサーバーとPCサーバーが混在しているが
Apache HBase I/O - HFile - Cloudera Blog
Introduction Apache HBase is the Hadoop open-source, distributed, versioned storage manager well suited for random, realtime read/write access. Wait wait? random, realtime read/write access? How is that possible? Is not Hadoop just a sequential read/write, batch processing system? Yes, we’re talking about the same thing, and in the next few paragraphs, I’m going to explain to you how HBase achiev
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Hive on spark is blazing fast or is it final
This presentation was given at the Strata + Hadoop World, 2015 in San Jose. Apache Hive is the most popular and most widely used SQL solution for Hadoop. To keep pace with Hadoop’s increasingly vital role in the Enterprise, Hive has transformed from a batch-only, high-latency system into a modern SQL engine capable of both batch and interactive queries over large datasets. Hive’s momentum is accel
Hive on Spark の設計指針を読んでみた
2. はじめに Apache Hive の実行エンジンとして Spark に 対応する機能が開発中 [HIVE-7292] Hive on Spark - ASF JIRA https://issues.apache.org/jira/browse/HIVE-7292 2014-06-25 に Hive on Spark の設計指針など が， Cloudera 社の Xuefu Zhang らによって 公開された
Job Scheduling - Spark 3.5.3 Documentation
Job Scheduling Overview Scheduling Across Applications Dynamic Resource Allocation Caveats Configuration and Setup Resource Allocation Policy Request Policy Remove Policy Graceful Decommission of Executors Scheduling Within an Application Fair Scheduler Pools Default Behavior of Pools Configuring Pool Properties Scheduling using JDBC Connections Concurrent Jobs in PySpark Overview Spark has severa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Spark 2.0 Technical Preview
Apache Spark Developers List - Removing the Mesos fine-grained mode