HDFSシェルコマンド一覧 | mwSoft
概要 HDFSをコマンドラインから操作する際に使える引数の一覧です。 下記のページを参考にしています。 HDFS File System Shell Guide http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html ls / lsr lsはLinuxなどのlsコマンドと同じ、指定ディレクトリのファイルの一覧を表示する。 $ hadoop fs -ls /user/hdfs Found 1 items drwxr-xr-x - hdfs supergroup 0 2011-11-11 01:35 /user/hdfs/sample ディレクトリを指定しない場合は/user/${ユーザ名}を見に行く。 ディレクトリが存在しない場合は、以下のようなエラーになる。 $ hadoop fs -ls ls: Cannot access
hueでロードバランシングできるようにしてみる : slog
2013年12月14日 22:41 カテゴリ hueでロードバランシングできるようにしてみる Posted by steelwool_oxide No Comments スチールです。この記事はHadoop Advent Calendar 2013の14日目の記事です。 13日目の記事はkmizumarさんの「cdh-twitter-exampleで遊ぶ」です。 さて今回はhueについて、ちょろっと手を加えてみたのでそちらについてまとめてみます。 hueはHadoop運用してる方にはおなじみだと思われる、WebのUIでHadoopが使えるというプロダクトです。 職場でも、運用には参加していないメンバーがhiveやImpalaを中心にこのhueを通して集計作業をしています。 そのhueのHAを組む記事が「High Availability of Hue」にあるので、そちらを元に環境構築の検証
アイネット－引き寄せの法則のプロジェクトマネジメント（PMBOK)への適用（プロジェクト成功のために）
１．はじめに ソフトウェア開発プロジェクトの課題は、プロジェクトの主要目標（品質、スケジュール、コスト）の達成率で見ると３０％以下という調査結果が出ているように成功率は非常に低いことである。 プロジェクトの成功確率を上げるために、一般的に認められているプロジェクトマネジメント知識体系（PMBOK)をプロジェクトマネジメントに適用することが多く実施されている。 問題を多く抱えたプロジェクトと途中で中止されたプロジェクトの主要要因の分析結果から、PMBOKをただ単に適用だけでなく、成功の法則である「引き寄せの法則」を理解し、PMBOKと一緒に適用すれば、プロジェクトの成功確率はさらに向上すると思われる。 ２．プロジェクトの成功と失敗について ソフトウェア開発プロジェクトの失敗と成功に関して事例を調査したCapers Jones著の「ソフトウェアの成功と失敗」によると、成功と失敗を決める条件とし
ソフトウェア開発技術者が知っておくべき５つの法則 - スタジオ・アルカナ技術ブログ
はいどうも～。 本日はhidetarouの番ですが休業中のため代打でしゃしゃり出たエンジニア吉田です。 「○○○な●●つの○○○」なんて感じのタイトルを付けると、 なんだか興味が惹かれるというのを目にしたので活用してみました。 ※個人的にはそうでもない気がしている。 というわけで、今回はソフトウェアに関係しそうな「法則」を５つほど紹介し、 それをソフトウェア開発業務にどう生かしていくかを考えてみます。 本日ご紹介する法則は以下の5つです。 ブルックスの法則コンウェイの法則パーキンソンの法則マーフィーの法則ハインリッヒの法則 でわでわ、早速。 ブルックスの法則 「遅れているソフトウェアプロジェクトへの要員追加はさらに遅らせるだけだ」 これは、IBMのOS/360（メインフレームOS）の開発者であるフレデリック・ブルックスが 名著「人月の神話」で提唱したプロジェクトマネジメントに関する法則です
HueでHadoopをWeb UIから使う - Tech Blog
Hue とは Hadoopは基本的にコマンドラインやJavaから操作する。そのため、初心者にはハードルが少々高い。 実は、オープンソースのWeb UIがApacheで開発されている。Web UIを用いることで、操作が単純になり、学習コストも低減される。 今回は、そのHueをインストールして使ってみる。 Hueの公式ホームページ： http://cloudera.github.io/hue/ HueのGitHubページ： https://github.com/cloudera/hue Hueのインストール 0. Hadoop環境を構築する。 カンタンにHadoop環境を試用するには、Cloudera社が提供しているVMイメージを用いるよい。ClouderaのダウンロードページからVMをダウンロードし、VMWare Playerで立ち上げれば、すでにHadoop環境が整っている。詳細は下記のエ
街にあふれるデータの達人：日経ビジネスオンライン
浅川係長は2012年9月まで、懐石料理や鍋物、寿司を提供する和食店の1つ、がんこあべのルシアス店の店長を務めていた。大阪の天王寺駅・阿部野橋駅エリアの中心にあり、50人ほどの宴会予約にも対応できる大型店を切り回した後に、同年10月に本部に異動。店長経験を買われ、外食産業では異色なテーマでデータサイエンスに挑んでいる。 そのテーマとは、実際の注文データを使った調理場業務のシミュレーションだ。オーブンやフライヤー、ガスコンロといった機材を備えた仮想的な調理場をPC上に再現し、人員を配置したうえで、1日分の実際の注文データを投入。注文が相次ぐ時間帯でも調理場の作業が滞らないか、調理機材が稼働していないムダがないかなどをチェック。新店舗や改装店舗の調理場設計に生かす。 シミュレーションでは、開店から閉店までに実際の店舗で受け付けた注文データを使う。宴会シーズンなどの繁忙期には1日で最大600件にも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
