この投稿は、Hadoop Advent Calendar 2013 - Qiita [キータ] 21日目です。 今日は、HDFSのスナップショットについて書きます。 HDFSスナップショット HDFSスナップショットは、特定の時点でのHDFSの状態を記録しておくことで、問題があった場合に容易に復旧させることができる、バックアップを容易にするという目的で、Hadoopの機能としてHadoop2.2系より提供されています。 これまでも利用者が複数のコマンド(Hadoop、OS)を組み合わせれば同じような仕組みを実現できたと思いますが、これにより統一できることがポイントです。 HDFSスナップショットの特徴 HDFSスナップショットには以下の特徴があります。 ユーザ単位で実行可能 スナップショットは、特定のユーザのみが取得できるわけでなく、HDFSにアクセスできるユーザであれば誰でも取得できます
The ongoing progress in Artificial Intelligence is constantly expanding the realms of possibility, revolutionizing industries and societies on a global scale. The release of LLMs surged by 136% in 2023 compared to 2022, and this upward trend is projected to continue in 2024. Today, 44% of organizations are experimenting with generative AI, with 10% having […] Read blog post
HDFSの権限 HDFSにはパーミッション(権限)の設定ができます。権限の設定により、誤ってファイルの削除を回避したり、権限のないユーザーがファイルを読めないようにするなどができます。(が、権限を指定しても悪意のあるユーザーのファイル操作からの保護はできないので、強固なセキュリティのためにはKerberos認証などと組み合わせる必要があります)。 また、HDFSに追加されたアクセス制御リスト(ACL)により、より柔軟な設定を行うことができます。 HDFSで権限や所有者を変更するには、 hdfs dfs コマンド(またはhadoop fsコマンド)から、chmod / chown / chgrp などのサブコマンドを使用します。いくつかの変更を行ってみました(一部のコマンドの出力が右側に隠れています) ※権限を有効にするにはdfs.permissions をtrueに設定します。 [shel
2013/05/30に開催した、HDFS HA(High Availability: 高可用性)セミナーの資料です。同じくご登壇頂いた、株式会社サイバーエージェントの上原誠様の資料は↓です。 http://www.slideshare.net/makotouehara39/cl-st-20130530nnha
S3 Support in Apache Hadoop Apache Hadoop ships with a connector to S3 called "S3A", with the url prefix "s3a:"; its previous connectors "s3", and "s3n" are deprecated and/or deleted from recent Hadoop versions. Consult the Latest Hadoop documentation for the specifics on using any the S3A connector. For Hadoop 2.x releases, the latest troubleshooting documentation. For Hadoop 3.x releases, the la
Simple Example to Read and Write files from Hadoop DFS Reading from and writing to Hadoop DFS is no different from how it is done with other file systems. The example HadoopDFSFileReadWrite.java reads a file from HDFS and writes it to another file on HDFS (copy command). Hadoop FileSystem API describes the methods available to user. Let us walk through the code to understand how it is done. Before
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く