HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
HDFSのスナップショット - 一歩一歩
この投稿は、Hadoop Advent Calendar 2013 - Qiita [キータ] 21日目です。 今日は、HDFSのスナップショットについて書きます。 HDFSスナップショット HDFSスナップショットは、特定の時点でのHDFSの状態を記録しておくことで、問題があった場合に容易に復旧させることができる、バックアップを容易にするという目的で、Hadoopの機能としてHadoop2.2系より提供されています。 これまでも利用者が複数のコマンド(Hadoop、OS)を組み合わせれば同じような仕組みを実現できたと思いますが、これにより統一できることがポイントです。 HDFSスナップショットの特徴 HDFSスナップショットには以下の特徴があります。 ユーザ単位で実行可能 スナップショットは、特定のユーザのみが取得できるわけでなく、HDFSにアクセスできるユーザであれば誰でも取得できます
Cloudera Blog
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
HDFSネームノードのHAについて #hcj13w
Hadoop Conference Japan 2013 Winter で発表した、ネームノードHA についての資料です。10分だったのでかなり限定的な説明に終わっています。Read less
HDFSでアクセス制御リスト（ACL）を設定する
６日目です。 昨日のブログでHDFSの拡張属性を紹介しましたが、当初の予定はACLがメインででした。ところがCloudera Quickstart VM 5.2の思わぬ罠にハマってしまい、トラブルシュートに延々と時間を費やしたあげくに、結局はつまらないミスだったという、、、皆さんもご注意くださいね。（顛末に興味があればこちら） さて、Hadoop 2.5.0ではHDFSに拡張属性が追加され、ファイルやディレクトリに拡張属性が設定できるようになりました（HDFS-2006）。実はその前に、Hadoop 2.4.0から、HDFS上のファイルやディレクトリへのアクセス制御ができるようになっています。(HDFS-4685)。 アクセス制御リストと拡張属性 アクセス制御リストはユーザーが指定するもので、所有者、グループ、その他のユーザーに対し、パーミッションよりも柔軟なアクセス制御を行うことができま
Cloudera Quickstart VMの罠（？）
Cloudera Quickstart VMの最新版をダウンロードして、HDFSでACLの設定を検証しました。が、デフォルトの設定に罠があるので、試される方はご注意ください。 原因はつまらないことなんですが、こんなときにこそCloudera Managerがあれば問題無し！なはず。 「え？Quickstart VMってCloudera Managerから設定するんじゃないの？」 って思った方がいらっしゃるかもしれませんが、そう、罠にかかったのは私です。 言い訳すると、現在公開されているQuickstart VMは、過去のブログシリーズで書いた「Hadoopを10分で理解する」とは少し変わっています。デフォルトではCloudera Managerが起動しないのです。Cloudera Managerを使うためにはメモリが多く必要なので、今回の環境はCloudera Managerを使っていませ
HDFSの拡張属性 xattr
HDFSの権限 HDFSにはパーミッション（権限）の設定ができます。権限の設定により、誤ってファイルの削除を回避したり、権限のないユーザーがファイルを読めないようにするなどができます。（が、権限を指定しても悪意のあるユーザーのファイル操作からの保護はできないので、強固なセキュリティのためにはKerberos認証などと組み合わせる必要があります）。 また、HDFSに追加されたアクセス制御リスト（ACL）により、より柔軟な設定を行うことができます。 HDFSで権限や所有者を変更するには、 hdfs dfs コマンド（またはhadoop fsコマンド）から、chmod / chown / chgrp などのサブコマンドを使用します。いくつかの変更を行ってみました（一部のコマンドの出力が右側に隠れています） ※権限を有効にするにはdfs.permissions をtrueに設定します。 [shel
HDFS HA セミナー #hadoop
2013/05/30に開催した、HDFS HA(High Availability: 高可用性)セミナーの資料です。同じくご登壇頂いた、株式会社サイバーエージェントの上原誠様の資料は↓です。 http://www.slideshare.net/makotouehara39/cl-st-20130530nnhaRead less
AmazonS3 - Hadoop Wiki
S3 Support in Apache Hadoop Apache Hadoop ships with a connector to S3 called "S3A", with the url prefix "s3a:"; its previous connectors "s3", and "s3n" are deprecated and/or deleted from recent Hadoop versions. Consult the Latest Hadoop documentation for the specifics on using any the S3A connector. For Hadoop 2.x releases, the latest troubleshooting documentation. For Hadoop 3.x releases, the la
HadoopDfsReadWriteExample - HADOOP2 - Apache Software Foundation
Simple Example to Read and Write files from Hadoop DFS Reading from and writing to Hadoop DFS is no different from how it is done with other file systems. The example HadoopDFSFileReadWrite.java reads a file from HDFS and writes it to another file on HDFS (copy command). Hadoop FileSystem API describes the methods available to user. Let us walk through the code to understand how it is done. Before
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDE4Laszlo
[HDFS-9670] DistCp throws NPE when source is root - ASF JIRA
hdfs log file is too huge
Cloudera Blog
A HDFSClient for Hadoop using the native JAVA API, a tutorial