bashのヒアドキュメントを活用する - Qiita
ヒアドキュメントはシェルスクリプトの中にちょっとした別のスクリプトを埋め込むときに便利です。 数行のスクリプトのためにわざわざファイルを作る必要がなくなり、見通しがよくなります。 # ちょっとしたスクリプトを動かすのに便利 # 例) oracleDBのテーブル一覧を出力する sqlplus -S user/pass@sid << EOS set pagesize 0 set feedback off select table_name from tabs order by table_name; EOS 要点 ヒアドキュメントを理解するうえで重要なのは、ヒアドキュメントは標準入力として扱われる、ということです。 文字列リテラルでないことに注意してください。 これを把握していれば、最初の例でcatにヒアドキュメントを渡していた理由がわかるかと思います。 catはファイルを省略した場合に標準入
CentOS 6でgitのバージョンを上げる - ソフトウェアエンジニアリング - Torutk
CentOS 6でgitのバージョンを上げる¶ 目次CentOS 6でgitのバージョンを上げるRPMforgeのgitをインストールwandiscoのgitをインストール依存関係解決のための暫定処置 CentOS 6.4の標準搭載gitはバージョンが1.7.1ですが、問題をはらんでいます。 CentOS 6のgitバージョンを1.7.1から新しくする RPMforgeのgitをインストール¶ wandiscoのgitをインストール¶ Subversion、Git、Hadoopの商用サポートを提供しているWandiscoがCentOS 6向けRPMリポジトリを公開しています。 CentOS 6 64bit版RPMリポジトリ http://opensource.wandisco.com/centos/6/git/x86_64/ /etc/yum.repos.d/wandisco.repoに追
git credential helperを使ってHTTP越しで認証がかかっているリポジトリにアクセスする
HTTP越しでリポジトリにアクセスする際、認証がかかっていると、毎回ユーザ名とパスワードを入力する必要がある。 Basic認証がかかっているリポジトリにgit・hgでアクセスする際、ユーザ名とパスワードを保存する方法 | misty-magic.h のように.netrcを使うことで入力の手間を省くことができるが、Git 1.7.9以降であれば、credential helperを使うことで同様のことができる。 git credentialコマンドの存在確認 $ git help -a|grep credential- credential-cache credential-cache--daemon credential-store git-credential-storeとgit-credential-cacheがあるのが確認できる。 credential-cache–daemonはgi
Apache Sparkの実行状況を可視化する - Qiita
Sparkの可視化ツール Sparkの実行情報を可視化する"trace-analysis"というツールがDatabricksのBlogの前書きにあるリンク先で紹介されていましたので使ってみました。 準備 trace-analysisを用意します。環境はWindows8.1を使っています。 可視化するSparkのイベントログはDatabricksが公開しているものを使うことにしました。（注意：そのままリンクをクリックすると約300MBのテキストが表示されてしまうので、右クリックで保存をお勧めします） 通常の環境ではspark.eventLog.enabledとspark.eventLog.dirが適切に設定されていれば指定ディレクトリの下に"EVENT_LOG_1"の名前で作成されます。 pdfcairoを含むgnuplotのインストール pdfcairoが含まれているgnuplotが必要の
SparkのDAGを確認するためにSpark UI Event LogをSpark SQLで調べてみた - TEPPEI STUDIO
Spark では、Spark UIというWEB画面が用意されており、実行中のSparkアプリケーションの稼働状況を確認することができます。 このSpark UIを見ると、どのJOB、Stageがどの程度時間かかっていて、あとどれくらい残っているかとか、どれだけRDDがメモリを消費しているかなどが分かります。 ところが、自分が実装した処理のどれが、どのJOBなのか、どのStageなのか、あるいは自分が作成したRDDオブジェクトがどれなのか、Spark UIを見てもよく分かりません。 RDDの区別は、setName を使えば、RDDに対して明示的に名前を設定できます。ただ、プログラム上でsetNameできるRDD以外にも内部的には色々RDDオブジェクトが生成されて、それがSpark UI上に表示されるのでよく分かりません。 もっとわからないのは、自分が実装したどの処理が、どのJOBか、どのSt
Kudu情報
Kudu情報まとめ (Photo by freepik) Clouderaが開発した新しいストレージエンジン、Kudu（クドゥ）に関する情報のまとめページです。徐々に拡充させる予定です。 2017/2/10 [Blog]: Qiita: Cloudera Enterprise 5.10でApache Kuduを使う Qiitaに寄稿したので興味があれば是非 2017/2/7 [News]: Cloudera Enterprise 5.10でApache Kuduがサポート対象に！ Cloudera Enterprise 5.10がGAに [blog]: Apache Kudu: リアルタイム分析のトップユースケース 2016/9/26 [News]: Kudu 1.0 リリース！ついに1.0が登場 Apache Kudu 1.0.0 released [Blog]: Apache Kudu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
