Spark on Hadoopが重要な理由 | Hadoop Times
最近、MapR TechnologiesのCTOであり共同創業者のM.C. Srivasは、Spark Summit 2014において「Spark on Hadoopが重要な理由」について発表しました。インメモリ・プロセシング・フレームワークを備えたSparkは、Hadoop上で補完的なフルスタックを提供し、これはMapRの顧客にとってすばらしい兆候を示すものです。M.C. Srivasはこのような使用例のいくつかを提示し、SparkとHadoopの統合がどのようにして、そしていつ、エンドユーザーへ最善の価値をもたらすのか、議論しました。 この発表のいくつかの要点は、次のようなものです。 Apache HadoopとOSSエコシステムは急速に進化しています。MapRはHadoopエコシステムの多くの部分を、MapRデータプラットフォームの一部として提供しています。 より簡単なAPIやPyt
VirtualBoxとCDH5でお手軽Apache Spark検証環境の構築 - データサイエ「ソ」ティストは語る
ということで、実際には1台のコンピュータ上なうえ、仮想化のオーバーヘッドもあるので「分散並列」で「高速」な処理はできないのだけど、動作検証ができる環境の作り方。 前提 仮想マシンホスト CPU: Intel Core i7 4770（8コア） メモリ: 24GB OS: Windows 7 Professional VirtualBox: 4.3.10 r93012 ゲストOS: CentOS 6.5 64bit もっとも、上記の環境はあくまで手元がそうだから、というだけで、VirtualBoxは最新版をインストールすればよいし、ゲストOSもCDHがインストールできるならUbuntuでもSLES（Suse）でもなんでもよい。 VirtualBoxで仮想マシンを作成 CDH5*1をインストールし、Sparkを動かすための仮想マシンを作る。CPU4コア、メモリ8GBを割り振る。ディスクは80G
#hcj2014 Hadoop Conference Japan 2014 で主に SQL on Hadoop の話を中心に聞いてきました（超個人的総括エントリ） - #garagekidztweetz
http://pixabay.com/en/elephants-family-baby-grass-341981/ 昨日（になってしまった、、、）は日本 Hadoop ユーザ会とリクルートテクノロジーズさんが主催するHadoop Confence Japan 2014 にいってきました。 最初に、この場を借りて、日本 Hadoop ユーザ会とリクルートテクノロジーズさんに感謝の意を書かせていただきます。 素晴らしい会場運営をありがとうございました！ （会場が前回のビックサイトから前々回のベルサール汐留に戻ったとはいえ、会場運営にかかる費用がかなり大きかったであろうことは火を見るより明らかで、感謝以外の言葉がありません。） ちなみに特に意図したわけじゃあなかったんですが、今回のカンファレンスでわたしは SQL on Hadoop に関連するものばかりきいてきました。 以降にわたしがとってきた
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Spark & YARNを試してみる（後半） – OpenGroove
前回からの続き。 以下に沿って、Spark & YARNモードでサンプルプログラムSparkPi を実行してみた。環境はAWSのm1.mideumマシン + CentOS6.5、CDH5のHadoop疑似分散環境にSparkも同居。Sparkのバージョンはまだ0.9.0。 Running Spark Applications (CDH5) jarファイルをHDFSにコピー。 $ hadoop fs -mkdir -p /user/spark/share/lib $ hadoop fs -put /usr/lib/spark/assembly/lib/spark-assembly_2.10-0.9.0-cdh5.0.0-hadoop2.3.0-cdh5.0.0.jar \ /user/spark/share/lib/spark-assembly.jar spark-env.shは、以下プロパ
しつこいがSpark & YARNの補足 – OpenGroove
しばらく前から気になっていたタイトルの問題、以下ブログに詳細が書かれており、やっと点が線につながってきた… Apache Spark Resource Management and YARN App Models 寝かせておくといつになるか分からない、かつ、読む気と書く気が失せるので、個人的に気になった点だけ今ここで要約しておく。意訳／誤訳／勝手に追記したりしてるので参考はほどほどに。 以下… MapReduceモデルでは最も上位の計算ユニットはJobだが、Sparkはその上にapplicationというレベルが存在する。applicatinsはJobをシーケンシャルに、もしくはパラレルに実行することができる。 Applicationはexecutorsと呼ばれるプロセスを持つ。executorはジョブが走っていない時でも起動している（データをメモリに保持し、タスクに対して素早く対応するこ
Cloudera Blog
We are thrilled to announce the general availability of the Cloudera AI Inference service, powered by NVIDIA NIM microservices, part of the NVIDIA AI Enterprise platform, to accelerate generative AI deployments for enterprises. This service supports a range of optimized AI models, enabling seamless and scalable AI inference. Background The generative AI landscape is evolving […] Read blog post
実際のところ Spark ソースコードリーディングだった #hadoopreading #16 はネ申回だった！ - #garagekidztweetz
Hadoop ソースコードリーディング #16 日 時： 2014年5月29日（木） 19:00～21:00 （受付開始 18:45） 場 所： 豊洲センタービル （NTTデータ） ← いつもの隣のビル！ 地 図： http://www.nttdata.com/jp/ja/corporate/profile/guide/map.html （有楽町線豊洲駅3番出口を出て、左手奥の建物。エスカレータを上がった1Fに受付を設営します） 定 員： 120名 Spark 、個人的にはまだ触ったことがないのだけれど、久々に Hadoop ソースコードリーディングが開催されるということで、参加してきました。 今回は、 Hadoop ソースコードリーディングというより、 Spark ソースコードリーディングだったというのはおいておいて、、 飲み食いなし！ 本当にソースを読んだ！！ スピーカーなお三方のプレ
Hadoopソースコードリーディング 第16回に参加してきました | DevelopersIO
Hadoopソースコードリーディング 第16回に参加してきました。今回は1.0がリリースされる目前のApache Sparkがテーマでした。 NTTデータ濱野さんの冒頭の挨拶 Spark1.0リリースを記念する予定が、されていないｗ 今回はお酒を飲んでグダグダする時間はないｗ Apache Sparkのご紹介（前半） NTTデータ土橋さん まずは土橋さんからSparkの背景やSpark Summit 2013の振り返り、Sparkの基本についての説明がありました。詳細はスライドを見てもらった方がいいですが、さくっと雰囲気を掴みたい方は以下のメモをご参照下さい。 土橋さん 6年前からHadoopに関わっている。 基本はインフラエンジニア Ansible使っている。 アジェンダ Sparkの背景 Spark Summit 2013振り返り Sparkのキホン RDD スケジューラ 前提 机上調
Spark Internals - Hadoop Source Code Reading #16 in Japan
The document discusses Spark internals and provides an overview of key components such as the Spark code base size and growth over time, core developers, Scala basics used in Spark, RDDs, tasks, caching/block management, and schedulers for running Spark on clusters including Mesos and YARN. It also includes tips for using IntelliJ IDEA to work with Spark's Scala code base.Read less
Hadoop YARNとApache Mesosの違いって何？ - 夢とガラクタの集積場
こんにちは。 CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。 ただ、CDH上でのSparkはリソースマネージャとしてHadoop YARNを使う模様。 Apache Mesosは使われないようです。 とはいえ、それ以前の問題として、Hadoop YARNとApache Mesosの違いがそもそもよくわかっていないという現状があります。 そのため、いい情報が無いかなぁ・・・と調べていたところ、丁度以下のスレッドが見つかりました。 How does YARN compare to Mesos? http://www.quora.com/How-does-YARN-compare-to-Mesos とりあえず、このスレッドに書かれている「差分」を訳し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.yoslab.com/entry/2014/07/08/135917
Apache Spark の紹介（前半：Sparkのキホン）
Apache Sparkのご紹介 （後半：技術トピック）
Spark shark
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
