シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌
シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌」のスクリプトの出力は以下のようになります。 i-ec56a9f5 vol-07d00601 servername i-ec56a9f5 vol-8f550991 servername このようなレコードの特定の列を取り出して、処理する際にどうするのが効率的か、というのがこのエントリのお題です。 非常に古い話題なので、昔からシェルスクリプトを書いている人には自明な話ではありますが、最近、シェルの標準機能の話を聞く機会がなく、失われつつある技術になってきている気がしているので、改めて確認ということで。 例として挙げたレコードから
Ansibleを使い出す前に押さえておきたかったディレクトリ構成のベストプラクティス - 双六工場日誌
Ansibleのディレクトリ構成を決める際、プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定を変更する方法でしっくり来るものを思いつかず、どうしたものかと悩んでいたのですが、今日見つけたブログ記事でそれもスッキリ解消したのでメモっておきます。 結論 まず結論を。プロダクション環境、ステージング環境、開発環境といった環境ごとに異なる設定する場合は、以下のように対応するのが良さそうです。 ディレクトリ構成は、公式ドキュメントに従う。 Best Practices — Ansible Documentation プロダクション、ステージング、開発など、ステージごとの変数切替は以下のブログを参考に、"group_vars"を利用して行う。 インベントリファイルの中に、"[production:children]"のようなグループすべてが属するグループを作ってしまい、そのグ
Strata + Hadoop World 2014 in NYC に参加してきた。 - 双六工場日誌
2014/10/15-17の日程で開催された「Strata + Hadoop World 2014」に参加してきたので、見たセッションとざっくりとした感想をメモ。 発表者の録画ビデオやスライドはこちらにあるので、詳細が知りたい方はこちらへ。現時点では、スライドやビデオがないセッションも結構ありますが。 Speaker Slides & Video: Strata + Hadoop World 2014 - O'Reilly Conferences, October 15 - 17, 2014, New York, NY 今回Strata + Hadoop Worldのセッションは、以下のテーマにわかれていました。 Business & Industry Data Science Data-Driven Business Day Design & Interfaces Hadoop & Be
第6回 Zabbix-JP勉強会は、2年の空白を埋める非常に濃い勉強会だった #zabbix_jp - 双六工場日誌
今日は、第6回Zabbix-JP勉強会に参加してきました。 今回の勉強会は、約2年ぶりの開催！ @ike_dai さんが『Zabbix統合監視徹底活用 ~複雑化・大規模化するインフラの一元管理』を今年の2月に出したことが開催のきっかけになっています。この本は、Zabbixを大規模環境に適用するに当たっての実践的な知識が詰め込まれた労作です。まだ買っていない人はすぐ買いましょう。 本編の内容 そして、今回の勉強会は、この本の濃さに勝るとも劣らない非常に濃い内容でした。本編を以下にまとめてみましたが、タイトルだけでも内容が多岐に笑っています。（資料は、現時点で僕が把握できた範囲の公開資料です。【追記】4/14に@zembutsuさんの資料を追加、4/17に[@BSmile]さん、@qryuuさんの資料を追加） 本編 発表者(敬称略) タイトル 資料 Zabbix Japan 寺島 広大 (@k
bashのプロセス置換機能を活用して、シェル作業やスクリプト書きを効率化する - 双六工場日誌
@hirose31 さんが「シェルスクリプトでハマった件→【募】ステキな回避方法」でお題を出されていて、それに回答してみました。 その内容はリンク先を見てもらうとして、回答の中で使ったbashのプロセス置換について書かれた記事をあまり見ないので、回答で使ったプロセス置換のことをエントリにしてみたいと思います。 最初に注意点ですが、プロセス置換の機能は、bashやzsh*1の機能でPOSIX互換の機能ではありません。そのため、使用時には、対応していないシェルでは使えませんし、bashで使う場合も /bin/sh ではなく /bin/bash を明示的に指定する必要があります。たとえば、プロセス置換を使ったスクリプト「script.sh」に対して"$ bash script.sh" というコマンドは成功しますが、"$ sh script.sh" というコマンドは失敗します。この辺りの違いは「/
なれる！ SELinux のプロット（案）のメモ書き - 双六工場日誌
『なれる！SELinux』「あらすじ：とあるIT企業の新人が、現場で様々なトラブルに巻き込まれていくが、それらのトラブルの原因がすべてSELinux」というインフラエンジニアの成長物語を思いつくなど。 2011-02-03 09:04:53 via HootSuite なれる！SELinuxは、このころから温め続けているアイデアです。ただ、実際やり始めると思いのほか大変ｗ さらに最初のきっかけはこれ→ http://togetter.com/li/78041 SELinuxを知るためには、そもそものLinuxサーバの動きを知らないと行けないってことで、技術的にも追うことがたくさん出てきます。 そうこうしている間に、石川さんによるハンズオンや静岡遠征もあり、こちらのネタだけ先送りになっているので、今のところの妄想メモから出していきたいと思います。共同制作者絶賛募集中。 プロット シーン１ は
「メイド喫茶愛好家の集い」は、秋葉原文化の歴史的転換点（になるはず） - 双六工場日誌
最近、「エヴァンジェリスト」と言われると「メイド喫茶エヴァンジェリスト」のことを指すようになってきた気がしてならないせちろーです。 さて今日、2013年5月11日はメイド喫茶クラスタにとって、非常に重要なイベントの日でした。 その名も「メイド喫茶愛好家の集い」。 この10年の秋葉原のメイド喫茶を引っ張ってきた伝説的なメイド4名が一同に介する史上初のイベントです。募集当日、数時間で席が埋まってしまうほどの人気イベントでしたが、募集直後に見つけることができたため、僕は運良く参加することができました。 出演メイドのみなさん シャッツキステの有井エリス(@arii_erice)さん 元メイリッシュのありさ(@arisa_arisa)さん ぴなふぉあの田川まゆみ(@tagawasan)さん ＠ほぉ～むカフェのhitomi(@jjhitomin)さん このメンバーがどのぐらいすごいのかは、メイド喫茶ク
_%25E7%258F%25BE%25E5%25A0%25B4%25E3%2581%25A7%25E5%25BD%25B9%25E7%25AB%258B%25E3%2581%25A4%25E3%2583%2599)
「hbstudy #44 ベンチマーク勉強会(基礎編) 現場で役立つベンチマークのススメ」に行ってきた。 - 双六工場日誌
こんにちは。 最近、どんなブログを書いても「どんまいこの花嫁修業」には勝てない気がしているせちろーです。とはいえ、最近まじめにやっていない勉強会参加報告ブログを書いてみたいと思います。 さて、5月10日は「hbstudy #44 ベンチマーク勉強会(基礎編) 現場で役立つベンチマークのススメ」が新宿でありました。*1講師は、日本国内では数少ない（らしい）職業的ベンチマーカーの宮原さん@tmiyahar。 内容は、宮原さんがベンチマークの裏話や機材、ベンチマーク手法について、ニヤニヤしながら楽しそうに２時間半語り倒すという非常にマニア向けな内容です。（笑） ですが、そんな内容に惹かれて集まった参加登録者は開催時点で122人。スタッフも入れたら、当日は130人はいたんじゃないでしょうか。 これだけの人数が集まったのは、ベンチマークはインフラエンジニアの基礎技術の一つだと思いますが、一般的な確立
qpstudy 2013.04 での人生初のじゃんけん大会とメイド喫茶の紹介をしてきた。 - 双六工場日誌
昨日は、qpstudy 2013.04 に、スタッフとして参加して、主に受付をやってきました。 参加したみなさまお疲れさまでした。今回は、スタッフ的には反省点の多い回でもあったので、後日、全力でスタッフ反省会を行いたいと思います…。 LT大会にて人生初のじゃんけん大会 さて、今回のテーマは、『qpstudy３周年記念LT大会 〜新人さん、業界にようこそ！〜 with ビール』ということで、新人さんに向けた内容という以外は特にテーマを設けず、フリーのLT大会でした。 LTは、スタッフの想定以上に盛り上がり、時間が足りなくなったので、会場を提供していただいたニフティさんには時間延長の対応をしていただきました。ニフティさんマジニフティ！！ また、僕も最後に飛び込みでのLT、というか、人生初のじゃんけん大会にチャレンジさせていただきました。じゃんけん大会の景品は、手前味噌ながら「インフラエンジニア
CDH 4.1 と今後のHadoopのメトリクスインターフェースに関するメモ書き - 双六工場日誌
以下のJIRAの議論を見ると、Hadoopの各種メトリクスを取得するインターフェースは、現在はJMXおよびJMXサーブレット（http://namenode.example.com:50070/jmx などからJMXの値が取得できるインターフェース）*1が基本となってきているみたい。 https://issues.apache.org/jira/browse/HADOOP-7144 以前のメトリクスは「org.apache.hadoop.metrics」が基本だった。それに以下のようなインターフェースがあった。 org.apache.hadoop.metrics Ganglia ファイル 「/metrics」のサーブレット など 「org.apache.hadoop.metrics」の後継となる「org.apache.hadoop.metrics2」では機能として重なっている「/metri
/bin/sh と /bin/bash の違い - 双六工場日誌
みなさん、shebang書いてますか！ Shebangというのは、スクリプトの最初の一行目に書く、「#!/bin/sh」とか「#!/usr/bin/perl」とかそういうあれです。詳しくはWikipediaさん（シバン (Unix)）に聞いてくださいまし。 Twitter見てると、「そもそもこれにshebangなんて名前がついてるの知らなかったよ」という発言も見る不憫な子ではあるのですが、そこに何が書いてあるかで実は動作が違うよってのが今日の本題です。それで、はまっていたのを最近見て、まああまりここで引っかかる人はいないと思いつつ、この点を書いた情報を見ないのでまとめてみました。*1 今日取り上げるのは、bashがデフォルト設定になっているLinuxでの「#!/bin/sh」と「#!/bin/bash」のお話。確認はCentOS5, 6で行なっています。 さて、上記の環境の場合、「/bin
ps のオプションについてのメモ書き - 双六工場日誌
psで使うオプションについてつらつら調べたので、メモ。 psのオプションには、UNIXオプション（ハイフンで始まるもの）とBSDオプション（ハイフンを付けないもの）の2つの流派があり、それに加えてGNU psではハイフン2つで始まるロングオプションが使える。 このバージョンの ps が受け付けるオプションにはいくつかの種類がある。 1 UNIX オプション。まとめることが可能で、前にはダッシュを置かなければならない。 2 BSD オプション。まとめることが可能で、ダッシュを使ってはならない。 3 GNU ロングオプション。前に二つのダッシュを置く。 man ps より おそらく一番メジャーなのは、「ps -ef」（UNIXオプション）と「ps aux」（BSDオプション） それぞれの出力例は以下の通り。 $ ps -ef UID PID PPID C STIME TTY TIME CMD
インフラエンジニア双六製作記録 その２ コミケから委託へ - 双六工場日誌
インフラエンジニア双六の制作記録の続きです。前回のはこちら。自分の備忘録のために書いてあるので、わかりにくいところはご容赦ください。 前回の記録にも書いた通り、当初はそんなに売れるとは思っていなかったインフラエンジニア双六は制作陣の予想をいい意味で裏切って開始36分で完売！ 当日の様子は以下にて。 インフラエンジニア双六 当日 http://togetter.com/li/234933 増刷！そして委託！ コミケ当日にブースに来ていただいたにもかかわらず、お渡しできない方が多くいたことを受けて、コミケ終了後から増刷と委託販売の検討に入りました。しばらくは疲れきっていて、ちょっとお休みしてましたが^^; 増刷時の目標は、「欲しいと思ってくれる人全員に行き渡る」ということ。とは言え、赤字を出すと辛いので、その辺の計算をしたり、販売後にユーザのみなさまからもらった指摘の部分を直したりで、結局、委
qpstudy06 「チームディスカス 〜60人寄れば文殊を超えるよ〜」 に 「チーム受付」で参加してきました！ - 双六工場日誌
qpstudy06に会場・Ustで参加された方、昨日はお疲れさまでした。 14時から始まって懇親会を含めて終わったのは21時の長丁場。しかも、内容はqpstudy初のグループディスカッションで、気を休めるところがない濃い内容。 僕は終わったところでへろへろでした^^; qpstudy06の内容 今回のqpstudyではこれまでの話を聞くことが中心の勉強会から趣向を変えて、参加者主体のグループディスカッションをやりました。 ディスカッションのテーマは、こんな感じ。 ディスカッションテーマ 1. 社内でのナレッジ共有はどうしているか。 ノウハウやテクニックをどのようにして共有するか 成果物やアセットの再利用は進められないか ワークライフバランスを考慮して、時間どおりにみんなで帰るにはどうするか 2. みんなはどうやってキャリア形成のための勉強をしているの? インフラエンジニアの今後のキャリア形
パスワードを擬人化して覚えやすくしてみた。 - 双六工場日誌
最近パスワードが何者かに持ち出されるなど、定期的なパスワードの変更が求められるような機会が多くなっています。 そんな中、今から約1ヶ月前。Twitterタイムライン上で、次のような画期的な提案が発表されました。 先輩「暗証番号やパスワードには嫁の誕生日を使うのがいい」僕「なんでですか？」先輩「3ヶ月ごとに変わって安全だから」僕「先週も最終回ありましたしね」 2011-04-24 13:32:44 via web 僕もこれに感銘し、これまで「hogehoge」だったパスワードを「homuhomu」に変更*1。これですべてが上手くいったと思っていました。 しかし、マイクロソフトさんのパスワードチェッカで確認したところ。 ほむほむ弱い子……orz しかし、同じページにはそんな僕へのアドバイスがありました。 強力なパスワードをつくるために、「覚えられる文章を考えます。」と。 ということで文章化。
qpstudy05で大人の本気を見せてきたｗ - 双六工場日誌
qpstudy05 LTで、大の大人が本気を出して、自分の夢を実現する様を見せつけてきましたｗ やった内容はスライドをごらんください。タイトルは「俺のZabbixがこんなに可愛いわけがない（おかわり）」 俺のZabbixがこんなに可愛いわけがない（おかわり） View more presentations from Sechiro I. qpstudyは、会場の参加者が約100人、さらにUst視聴者がMax202人。総計で300人が見てたらしいです。そんなにたくさんの人が見てくれていたと考えるだけで、めまいがします。。。やってるときはテンション上げて突っ走りましたが、実は一夜明けた今でも結構ドキドキしています。 アップした資料もこれを書いている時点で1000Viewを超えて「本人が重大障害ｗ」などの褒め言葉ｗをいただいて、ありがたい限りです。Linux-HA Japanの収録の際に、アフレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メイドのいるお花屋さん、「forget-me-not」に行ってきた - 双六工場日誌