タグ

日本語に関するwlbhiroのブックマーク (6)

  • Apache Kafka 日本語訳

    ドキュメント Kafka 2.6 ドキュメント 以前のリリース: 0.7.x, 0.8.0, 0.8.1.X, 0.8.2.X, 0.9.0.X, 0.10.0.X, 0.10.1.X, 0.10.2.X, 0.11.0.X, 1.0.X, 1.1.X, 2.0.X, 2.1.X, 2.2.X, 2.3.X, 2.4.X, 2.5.X. 1. 開始 1.1はじめに 1.2ユースケース 以下はApache Kafka®の人気のある使い方の2,3の説明です。これらの領域で活動中の多くの概要については、このブログの投稿を見てください。 メッセージング Kafka は伝統的なメッセージブローカーの代替として良く動作します。メッセージブローカーは様々な理由で使われます (データプロデューサからの処理の切り離し、未処理メッセージのバッファ、など)。ほとんどのメッセージングシステムと比較してKafkaは

    Apache Kafka 日本語訳
  • [翻訳] Spark Architecture: memory - Qiita

    ここでの述べられているメモリモデルはSpark 1.6+ではdeprecatedとなっています。新しいメモリモデルは、 UnifiedMemoryManager をベースにしていて厳密なexecution と storage memory の境界がありません。 最近、私はSparkのアーキテクチャに関しての質問にStackOverflowで解答していました。それらの質問はインターネット上におけるSparkのアーキテクチャに対するよい説明がないのが原因であるように見えました。オフィシャルのガイドでさえ、詳細について書かれていなく、よいダイアグラムももちろんありません。”Learning Spark”のような幾つかのや公式のワークショップの資料に関しても同じことがいえます。 この記事では上記の問題に対する解答と Spark のアーキテクチャに対するガイドと Spark アーキテクチャに対する

    [翻訳] Spark Architecture: memory - Qiita
  • チューニング - Spark 3.2.1 ドキュメント 日本語訳

    ここから少し、楽天モバイルの宣伝になります。 このサイトでアフィリエートや広告を貼るつもりは全然無かったのですが、 6月中に楽天モバイルの契約30件を取るか、船を降りるかするように言われています。 回線の増設を考えている方、お子様に新しく携帯を持たせようと考えている方、 下記リンク先で楽天にログイン後、楽天モバイルの各プランをご検討いただけないでしょうか。 楽天モバイル 紹介リンク Sparkのチューニング データのシリアライズ メモリー チューニング メモリ管理概要 メモリ消費の決定 データ構造のチューニング シリアライズ化されたRDDストレージ ガベージコレクションのチューニング 他に考慮すべきこと 並行度のレベル 入力パスの並列リスト reduceタスクのメモリの使用 大きな変数のブロードキャスト データの局所性 概要 ほとんどのSparkの計算のメモリ内の性質により、Sparkプロ

  • CentOS 6 - 日本語環境にする : Server World

    システム全体の文字セットは変更せず、ユーザー固有で日語環境にするなら、以下のように個別設定をしてください。

    wlbhiro
    wlbhiro 2016/03/26
    日本語表示に必要
  • FileZillaで公開鍵認証を使ったSSH(SFTP)接続でエラーが発生する。

    昨日までサーバーと接続できていたFileZillaのSSH(SFTP)が、突如接続できなくなった。 状態: xxxx.xxx.xxxx.xxxxx に接続中... レスポンス: fzSftp started コマンド: keyfile "c:\ドメイン\sshkey.ppk" コマンド: open "user@xxx.xxx.xxx.xxx" 22 エラー: Disconnected: No supported authentication methods available (server sent: publickey,gssapi-keyex,gssapi-with-mic) エラー: サーバに接続できませんでした 利用しているFileZillaは次の通り。 FileZilla Client ---------------- Version: 3.6.0.2 Build inform

    FileZillaで公開鍵認証を使ったSSH(SFTP)接続でエラーが発生する。
  • YARN上のSparkの実行 - Spark 3.2.1 ドキュメント 日本語訳

    YARN上でSparkを実行する セキュリティ YARN上でSparkを起動 他のJARを追加 準備 設定 アプリケーションのデバッグ Sparkのプロパティ SHS カスタム executor ログ URL で利用可能なパターン リソース割り当てと設定の概要 ステージレベルのスケジューリングの概要 重要事項 Kerberos YARN固有のKerberos設定 Kerberosのトラブルシューティング 外部シャッフルサービスの設定 Apache Oozieを使ってアプリケーションを起動 Spark Web UIを置き換えるためのSpark履歴サーバの使用 複数のバージョンのSparkシャッフルサービスの実行 YARN (Hadoop NextGen)上での実行はバージョン0.6.0でSparkに追加され、続くリリースで改良されました。 セキュリティ 認証のようなセキュリティ機能はデフォル

    wlbhiro
    wlbhiro 2016/01/06
    設定項目
  • 1