あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
Apache Hive 1.0リリース，HiveServer2がメインエンジンに，API定義を固定化
あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。
RPCメソッド一覧から見るhiveserverとhiveserver2の違い (と、ついでにPresto) - たごもりすメモ
手元でいいかげんhiveserver2に移行しようと思いまして、移行するためには shib をhiveserver2に対応させなきゃならん、ということになるわけです。 で、実装する前にどうせ調べるから、ということでhiveserverとhivesever2は何が違うのかをRPC APIメソッドの一覧から見てみようと思いました。カジュアル！ hiveserver 古きよきhiveserverはThriftで接続してAPIを叩きます。*.thrift ファイルがやたら多いのが気になりますが、えいやとコード生成してしまえば結構わかりやすいコードが(どの言語でも)生成されますね。 メソッドの一覧を出してみるとこんな感じ。 execute(query) fetchOne() fetchN(numRows) fetchAll() getSchema() getThriftSchema() getClu
Upgrading from-hdp-21-to-hdp-24
This document summarizes the process of upgrading an HDP cluster from version 2.1 to 2.4. It describes installing HDP 2.1.5 without Ambari, then upgrading to HDP 2.3.4 using Ambari. Several issues were encountered with Hive on Tez and MR and worked around by changing configurations, increasing memory limits, and switching between Tez and MR. HDP 2.4.0 was then installed which resolved some issues
Hadoopソースコードリーディング 第20回で発表してきました - wyukawa's diary
Hadoopソースコードリーディング 第20回 Tickets, Thu, Mar 24, 2016 at 7:00 PM | Eventbrite 関係者の皆様おつかれさまでした。ありがとうございました。 スライドはこちら Upgrading from-hdp-21-to-hdp-24 from wyukawa HDP2.1からHDP2.3.4へblue green deployment方式でupgradeしようとしてhiveserver2のメモリリーク問題に遭遇したのでHDP2.4.0へupgradeした話です。 いくつかフォローアップしときます。 スライドのp6に設定変更した部分を記載していますが、いじった理由を書いておきます。 dfs.datanode.failed.volumes.tolerated=1 ambari設定では0だけど、別にdisk1本故障したぐらいだったらdata
hiveserver2 使いはじめのハマりどころの話 - たごもりすメモ
いくつかメモる。盛大にハマった。 metastore hiveserverとmetastore serverとhiveserver2で設定分けられないんだけど、というケース。単に以下の設定があればなんとなく動く。 <property> <name>hive.metastore.uris</name> <value>thrift://hiveserver.local:9083</value> </property> これがあれば hiveserver も hiveserver2 も metastore server をなんとなく参照してくれるようになるし、metastore serverも起動してくれるようになる。っぽい。 hiveserver2ポート変更 hive.server2.thrift.port を hive-site.xml で指定するか、環境変数で HIVE_SERVER2_T
よりセキュアなHadoopの作り方 〜 ApacheCon Asia 2021登壇報告
HDFSのブロックデータ転送の暗号化 HDFSの実データに相当するブロックデータの転送に対する暗号化はRPC暗号化とはさらに別のパラメータで管理されています。 hdfs-siteの dfs.encrypt.data.transfer を true に、 dfs.encrypt.data.transfer.cipher.suites を AES/CTR/NoPadding にそれぞれ指定することで有効化します。 この設定を無停止で反映するにあたっては、転送の暗号化設定の反映済/未反映を判別する dfs.trustedchannel.resolver.class によるノードの動的な管理、場合によっては拡張による独自実装が必要となります。 HDFSクライアントおよびNameNode・DataNode間で dfs.encrypt.data.transfer の真偽が一致していない場合はブロックデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
jackson-mapper-asl 1.9.13 javadoc (org.codehaus.jackson)
マスク着用のルール化検討 岸田文雄首相「世界と歩調を」
羽生結弦ショー開催で八戸ビジホが“1泊5000円→10万円”に吊り上げ炎上！ 支配人は直撃に「事実無根」も…（週刊女性PRIME） - Yahoo!ニュース
羽生結弦ショー開催で八戸ビジホが“1泊5000円→10万円”に吊り上げ炎上！ 支配人は直撃に「事実無根」も…（週刊女性PRIME） - Yahoo!ニュース