タグ

関連タグで絞り込む (10)

タグの絞り込みを解除

Hadoopとyarnに関するkimutanskのブックマーク (14)

  • Introduction to Apache Apex

    kimutansk
    kimutansk 2016/05/29
    やはり、YARNに最適化された動作、HDFSに状態保存可能という意味で、Hadoopクラスタで運用する利点が大きいですね。Apexは。
    リンク

  • Can't create directory /yarn/nm/usercache/urika/appcache/application_1 - Permission denied

    Try to run a simple test and get permissioned denied errors; tried as both root and urika user. Just enabled kerberos... [root@skipper4 cloudera-scm-server]# hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100 Number of Maps = 10 Samples per Map = 100 Wrote input for Map #0 Wrote input for Map #1 Wrote input for Map #2 Wrote input for Map #3 Wrote inpu

    kimutansk
    kimutansk 2015/12/03
    yarnに対してジョブ投入した際にディレクトリができなくなる事象、解決方法はわかっても何故解決するかが不明ですし、ClouderaのQAにも書いていませんか。。。
    リンク

  • YARN Container Launch Details

    kimutansk
    kimutansk 2015/03/30
    YARNではdefault_container_executor.sh等の関連ファイルは全てその場で生成されて実行されるので、後で何か仕込むというのがやりにくい、と。個々のファイルの機能はこうなりますか。
    リンク

  • Running TeraSort MapReduce Benchmark – All Help & Support

    Please be advised our License Portal will be undergoing maintenance between March 15 10:30pm PST - March 16th 9:00am PST during which time users may experience intermittent performance issues. We apologize for the inconvenience. Please be advised that the Broadcom ERP system will be undergoing maintenance between March 28 7pm PST - Apr 1 7pm PST which will impact all new customer accounts created

    Running TeraSort MapReduce Benchmark – All Help & Support
    kimutansk
    kimutansk 2015/03/30
    YARNの生成ファイルの出力先はnm系のディレクトリ配下と。後で情報追うには必要ですか。
    リンク

  • Hortonworksのイベントに行ってきた - wyukawa's diary

    Hadoop and the Modern Data Architecture に行ってきました。 立派なホテルで良いイベントでした。ありがとうございました。＞ Hortonworksのみなさま セッションや会場にいた人との会話について少し書きます。 まず僕が使っているAmbariに関して発表がありました。 それによると、Hueみたいなクエリをsubmitする機能が入る模様。どうもHadoopクラスタへのアクセスをすべてAmbari経由にしたいようだ。うーん、それはどうなんだろ。。。Prestoあるし。個人的にはそれよりもっとクラスタ管理に注力してほしいと思ったり。。。例えばエラー通知をメールじゃなくてHipChatとかSlackにとばせるようにするとか。 Ambariで使っているNagios, Gangilaはdeprecatedになり、メトリクスをHBaseにためてPhenioxでクエ

    Hortonworksのイベントに行ってきた - wyukawa's diary
    kimutansk
    kimutansk 2015/03/13
    Spark on YARNはどこでも悩みの種なんですかね。メインの仕事でない中クラスタ管理で困った点をどうするか、というのもやはり悩みどころです
    リンク

  • Apache Hadoop YARN: Avoiding 6 Time-Consuming "Gotchas" | Cloudera Developer Blog

    We are thrilled to announce the general availability of the Cloudera AI Inference service, powered by NVIDIA NIM microservices, part of the NVIDIA AI Enterprise platform, to accelerate generative AI deployments for enterprises. This service supports a range of optimized AI models, enabling seamless and scalable AI inference. Background The generative AI landscape is evolving […] Read blog post

    Apache Hadoop YARN: Avoiding 6 Time-Consuming "Gotchas" | Cloudera Developer Blog
    kimutansk
    kimutansk 2015/03/06
    YARNのNodeManagerのメモリチェックを無効化すれば、Container Killerによってkillされるのは回避可能なんですかね。
    リンク

  • Taming YARN @ Hadoop conference Japan 2014

    The document discusses Resource Manager high availability in YARN. It describes how the active and standby Resource Managers store state information in ZooKeeper, and how the standby automatically fails over to become active if it detects a failure of the active. Key configurations include enabling HA, specifying the ZooKeeper addresses, and setting timeouts.Read less

    Taming YARN @ Hadoop conference Japan 2014
    kimutansk
    kimutansk 2015/03/02
    Container Killerによるkillはいきなり発動するのでかなり厄介ではありますね・・・　事前にそこまできちんと予測できるわけでもありませんので。
    リンク

  • YARN 上における分散処理基盤のリソース管理について - Qiita

    本稿では，YARN 上における分散処理基盤のリソース管理の仕組みと，問題となる状況，および Spark の解決方法について，Spark の例をまじえて説明します． YARN の基礎 MapReduce v1 では，TaskTracker が MapSlot/ReduceSlot という単位でリソースを管理していましたが，YARN では，"コンテナ"という単位でリソースを確保し，その中で処理を行います． コンテナには，CPU/メモリ/ディスク帯域幅/ネットワーク帯域幅などを割り当てることが可能です．2014/12時点では，CPU/メモリのリソース管理サポートが入っています．ディスクIO/ネットワークIOの制御も来年には入るかもしれません． Spark on YARN におけるリソース管理の例 Apache Spark は，オンメモリ用上のデータ処理を容易に行うことができる分散処理フレームワー

    YARN 上における分散処理基盤のリソース管理について - Qiita
    kimutansk
    kimutansk 2015/01/08
    YARN上でSpark動作させる場合にExecutor数をリソース利用状況に応じて増減させられるようになりましたか。減る予定のExecutorが保持するRDDはどうなるか調べてみますか。
    リンク

  • Cloudera Blog

    We are thrilled to announce the general availability of the Cloudera AI Inference service, powered by NVIDIA NIM microservices, part of the NVIDIA AI Enterprise platform, to accelerate generative AI deployments for enterprises. This service supports a range of optimized AI models, enabling seamless and scalable AI inference. Background The generative AI landscape is evolving […] Read blog post

    kimutansk
    kimutansk 2014/10/28
    KubernatesがDockerを実行するためのリソースをYARNから割り当てられる周りがやはり結合する上での一番の課題ですか。
    リンク

  • Taming YARN @ Hadoop Conference Japan 2014

    The document discusses YARN (Yet Another Resource Negotiator), a resource management framework for Hadoop. It describes YARN components like the ResourceManager, NodeManager, and ApplicationMaster. It covers YARN configuration, capacity planning, health checks, thread tuning, and enabling high availability of the ResourceManager through ZooKeeper.Read less

    Taming YARN @ Hadoop Conference Japan 2014
    kimutansk
    kimutansk 2014/07/11
    Mesosとよく似ていますが、でも明確に違うんですよね。Mesosより自動的にやってくれる要素が強い分、別の意味での大変さがあるわけですか。
    リンク

  • Cascading 2.5がHadoop 2をサポート

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Cascading 2.5がHadoop 2をサポート
    kimutansk
    kimutansk 2013/12/10
    「90%の問題は，SQLで合理的に表現することができます。Cascadingは戦い方の選択肢を提供するものなのです」と。
    リンク

  • Samza

    Samza allows you to build stateful applications that process data in real-time from multiple sources including Apache Kafka. Battle-tested at scale, it supports flexible deployment options to run on YARN or as a standalone library.

    kimutansk
    kimutansk 2013/08/25
    後はYARNで耐障害性を確保してKafkaからメッセージを取得する分散ストリーム処理基盤Samzaと。今度Stormと比較してみますかね。
    リンク

  • CDH4 LogPath and LogLevel Configurations | 外道父の匠

    Hadoop実践シリーズの続きで、地味ながら重要な所をいきます。 CDH4＋YARNの運用において、どのログを見れば良いのか、ログレベルはどのように設定するのか、というなんとも痒いところに手が届く孫の手編となります。 はじめに 本件に関連して、前回の外道式設定を若干更新してあります ここではログレベルをWARNとしています 各ノードのログ デーモンとしてのログで、HDFSとYARNに分かれてます。 ログ保存パス /etc/hadoop/conf/hadoop-env.sh

    CDH4 LogPath and LogLevel Configurations | 外道父の匠
    kimutansk
    kimutansk 2012/09/08
    CDH4を扱う『斬新なブログ』のために。。。とさすがですｗ
    リンク

  • CDH4 Configurations with YARN, Capacity Scheduler and Hive | 外道父の匠

    CDH4 Configurations with YARN, Capacity Scheduler and Hive 前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。 はじめに 言うまでもなく、参考・利用においては自己責任でお願いします ホスト名・ファイルパスは適当に変換してください descriptionの日本語は私のメモですので怪しかったらググってください 英文のみの場合はまだ未検証だったり説明するまでもないものになっています 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます ファイルはUTF-8です Hadoop設定 CDH3からCDH4への設定変更リスト core 公式 core-def

    CDH4 Configurations with YARN, Capacity Scheduler and Hive | 外道父の匠
    kimutansk
    kimutansk 2012/09/06
    こ、これは・・・みましょう。普通こういうの出してくれないですよね。凄いです。
    リンク
  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.