はてなブックマーク

Linux Advent Calendar 21日目を震えながら書きます。 @udzura です。普段は昨日紹介した Haconiwa などのようにLinuxコンテナランタイムやRubyを書いたりしています。正確には、雰囲気で書いています。 今日は、LinuxでOverlay networkを実現するミドルウェア、flannelの簡単な使い方と、コンテナとの連携の仕方、そしてvxlanのパケットの様子などのメモを書いていこうと思います。 flannelとは CoreOS社の開発している simple and easy な Overlay networkのためのミドルウェアです。 もともとはCoreOS（現Container Linux）自身で使うために開発されていた記憶があるのですが、現在はKubernetes と連携するためというところが第一のゴールのようで、普通はkubectlコマンド

OSS紹介 Advent Calendar 2017 にかこつけて、自作オーエスエスを紹介していくスタンス。ということで20日の記事です。 Haconiwaは、いわゆるLinuxコンテナランタイムです。コンテナといえばクジラっぽいロゴのやつが有名ですが、Haconiwaはmrubyを組み込んでおり、コンテナに関するLinuxカーネルの機能を自分で組み合わせて使える点、フック機構など様々なAPIにより自分自身を拡張できる点、に特徴があります。 リリースして RubyKaigi 2016 でおしゃべりしてから大体1年（雑...）経っているのですが、改めて紹介してみます。みるぞ！ インストール 手元にUbuntu Zestyの環境があるので雑にインストールします（Xenialならリポジトリ追加もできますがLTS以外は用意していなかった...） $ wget --content-dispositi

require 'specinfra' Specinfra.configuration.backend = :ssh Specinfra.configuration.host = 'sample.udzura.jp' Specinfra.configuration.ssh_options = {user: 'udzura', keys: '/Users/udzura/.ssh/udzura.pem'} Specinfra.configuration.request_pty = true Specinfra.backend #=> #<Specinfra::Backend::Ssh:0x007fd10b9c4418 @config={}> cmd = Specinfra::Runner.run_command('whoami') #=> #<Specinfra::CommandResult:

Puppetアドベントカレンダー、25日目です。 この記事が公開される頃には、きっと無事24日分の記事が完成していることでしょう。前日の @zipper さん、たのみましたよ......。 最終日は、2015年のPuppetの状況を振り返り、そして勝手気ままな妄想をしたためたいと思います。 Puppetの状況の整理 まず大前提として、Puppetは: 国内、海外共に大規模な実例もあり、充分に実績を持っているツールである 2015年末現在も活発に開発が続いている 公式の英語によるドキュメントが非常に充実している 以上のような理由により、OSSプロビジョニングツールの選択肢として普通に選ばれても問題のない、むしろ有利な面がたくさんあるツールです。 にもかかわらず、少なくとも現在の日本の開発現場においては若干手を出しづらい状況にある、という印象を持っています。 これには幾つかの理由があると思って

mrubyアドベントカレンダー、21日目です！！！ 前回は、harasouさんによる超便利ツールでした 。 ぼくも難しい記事は無理なのですが、今日は、あんちぽさんが以前スパイクで作っていた libpam-mruby をいじってみて、OS認証のmruby化について実験してみることにします。 PAMについてのおさらい PAMとは、 Pluggable Authentication Module の略で、各種の認証処理を実行するモジュール群と、それを利用するための標準的なAPIを備えたライブラリによる認証システムの呼称です。 代表的には、LDAP、SMBなどでのLinuxのユーザ認証に利用されているため、Linuxのユーザ認証のためのプラガブルな認証システムのことという文脈で使われることが多いようです。 Sambaユーザーのパスワード管理 PAMを利用して認証を行う より、図を引用させていただき

HashiCorp Advent Calendar、15日目の記事です。 今回のテーマは Packer です。 Packer pluginとは Packerの特徴の一つに、イメージの構築のための様々なフェーズをレイヤ分けして、それぞれでプラグインという形で分離しているところがあります。 Builder Plugins (AWS, OpenStack, GCE, QEMUなどのプラットフォーム層) Provisioner Plugins (Shell, Upload, Chef/Puppet/Ansible...) Post-Processor Plugins (DockerやVagrant Cloud周りの操作など、イメージ作成後の挙動) プラグイン機構を採用しているので、環境ごとに自分でプラグインを作成して拡張することも可能となっています。 筆者は以前、DHCPなしのOpenStack向

Syck とは Ruby 1.8 から標準で付いてきたYamlライブラリ。Cでできている。 http://gihyo.jp/dev/serial/01/yaml_library/0002 当時は世界一使われていた模様。あと、当時のRubyは文字列が文字コード情報を持たなかったので、日本語文字などを扱う場合色々苦労することもあったようだ。 Psych とは libyamlのRubyラッパー。tenderlove氏が中心となって作っているもよう。 http://doc.ruby-lang.org/ja/1.9.3/library/psych.html https://github.com/tenderlove/psych 経緯 Ruby 1.9.2 から添付されるようになった（libyaml が利用できる場合一緒にビルドしてくれる） http://keijinsonyaban.blogspot

新人教育 Advent Calendar 2014 というカレンダーに登録していたので、実質一日目の記事を...。 毎年新卒入社の方が２〜３ヶ月ペパボの福岡支社で研修するんですが、そのときエンジニア職種などの方は毎年技術書を読書会しております。そのチョイスで今年は下記の本を選んでみました。 はじめてUNIXで仕事をする人が読む本 これを 新卒入社4名（エンジニア2、デザイナ2） 前年度の新卒入社エンジニア1名 おじさん（@udzura）1名 で、一通り読んだ感想など。 良かった点 2ヶ月でちょうど読み終わった 期間が2ヶ月だったんですけど、みんなでゆっくり読んでちょうど終わって、最後に振返りも出来るボリュームだった。まあ、たまたま２ヶ月だったんですが... ただのコマンド、技術要素だけじゃなくて文化も教えている感じがした 我々はリナックスなサーバでRubyなどのUNIX文化と相性のいい言語

https://github.com/udzura/consul-rpm-builder 公式にはバイナリのみを提供しているみたいなので、もう少し楽なように各種ディレクトリや展開済のWeb UIをrpm化しておいた。Puppet/Chefのコード数が減って便利。 サードパーティのrpmは他にもあるのだが、個人的に でやっていきたいので自分で雑に書いた。 fpm が便利 fpm は各プラットフォームのパッケージを簡単に作成できるコマンド。Rubyのgemで提供されている。 適当なrootfsにディレクトリとファイル構成を構築する そこを指定して、後は適当にメンテナ名などの設定を入れつつコマンドを放つ Goの場合、バイナリ一発＋設定のディレクトリやファイル ぐらいしか必要ないのでこれだけでできる（rpmを作る場合は別途 rpm-builder が必要だった）。 fpm -s dir -t rp

久しぶりに Thor をちゃんと使って、それで結構調べたので未来の自分のためにメモしておきます。バージョンは 0.19.1 です。 すべての基本形 require 'thor' class Foo < Thor desc 'say', 'say hello' method_option :dry_run, type: :boolean, default: false def say puts "Say hello!" unless options[:dry_run] end end

すいませんでした... 24日に登録したつもりでいました。この記事は mod_mruby・ngx_mruby Advent Calendar 2014 23日 の記事となります... 気を取り直して。 Dockerでビルド君を作ろう クリスマスなのでmod_mrubyをDockerでビルドします。ただビルドするだけでなく、バイナリを吐き出してみましょう。 公式をもとにこういうDockerfileを作る。 FROM ubuntu:trusty MAINTAINER Uchio KONDO <udzura@udzura.jp> ENV DEBIAN_FRONTEND noninteractive RUN apt-get -y update RUN apt-get -y install \ sudo git curl bison \ apache2 apache2-dev apache2-uti

drone.io は以下のような設定を入れておくと、テスト実行コンテナとは別途サービス（多くの場合外部のDB）を立ち上げてくれる。 これがどうなっているかと言うと、まず、登録されたサービスの情報をもとに proxy.sh と言うファイルを生成する。 https://github.com/drone/drone/blob/master/shared/build/build.go#L534-L549 そのあと、実際にテスト用のコンテナをビルドするタイミングでそのファイルを /etc/drone.d/ 以下に追加し、ログイン時に自動で起動するようにしている。 https://github.com/drone/drone/blob/master/shared/build/build.go#L463 実際の proxy.sh の中身は以下のようになる。 #!/bin/bash [ -x /usr/b

あまりにショックだったので釣りタイトルになってしまった... consul の検証をしようと、ちょっくらバイナリを落としてサーバを立ち上げようとしたら以下のようなエラーになった。 [root@manage001 /]# consul agent -server -bootstrap -data-dir /var/consul/data ==> WARNING: Bootstrap mode enabled! Do not enable unless necessary ==> WARNING: It is highly recommended to set GOMAXPROCS higher than 1 ==> Starting Consul agent... fatal error: unexpected signal during runtime execution [signal

標記の通りで、Docker tips直球じゃなかったりしますが、コアにDockerがいるツールではあるよと言うことで。 どんな感じで運用しているかの話をしてお茶を濁しつつDocker話題を交えていきます。 インストール Puppetのマニフェストをきっちり書いて、後述するようにそのマニフェストをdrone自身にCIさせている。 DockerのPuppetモジュールとして garethr-docker と言うのを使っている。Droneのマニフェストはインストール手順を見て自分で書いた。 インスフトール手順をレシピに落とすのはそこまで難しくなかった。Puppetが苦手なら、ChefなりAnsibleなりで一度一通り書いておくと安心感があると思う。 監視 munin で雑にやっている。せっかくDockerが入るので普通にmuninのイメージを引っ張って監視が設定できる。便利。あ、 udzura/

こんな感じのタグがついて、Fluentdに送られます。このgem、最近著しく進歩したんですが、その過程を紹介したりしようと思います。 バージョン 0.1.1 まで このバージョンまではずっと前に作っていて、上記のスクラッチのコードを思いついて、すぐに実装してみた、と言う感じです。 上述したような特徴的なAPIは、BasicObjectとmethod_missingで頑張る、安全かどうかはテストで頑張る、と言う方針でやっています。 module Flnt class Logger < BasicObject # ... def method_missing(name, *args) return super if name.to_s =~ /(!|\?)$/ @tag = [@tag, name.to_s].join('.') unless args.empty? emit! args.fi

GitHub のGistのMarkdown、メモに便利なのは周知の通りなのだが、 チェックボックス記法が使える チェックボックス、チェックを入れたこともRevisionに入って記録される と言う特徴があるので、項目に締め切り日時などを入れとくと予実管理にもなる。 こんな感じ。チェック日時が分かる（上の「3 minutes ago」にマウスオーバーでタイムスタンプが見えるのですよ）。

具体的には、標準入力を取って、外部コマンド（今回はRuby、まあなんでもいい。docker execとかにつないだら夢がありそう）をそのまま流し込んで、出力を一行ずつ取る。 bufio.Scanner が、node.jsのcarrierみたいな感じで一行ずつ取るのに向いていた。あと、nodeの感覚でパイプをつなげられるgo-pipeを使った。これは便利だった。 スキャンし続けるgoroutineを回す コマンドの終了を監視するgoroutineを回す 標準入力を取るメインループを回す と言う感じでうまく行ったっぽい。 package main import ( "bufio" "fmt" "os" "os/exec" "gopkg.in/pipe.v2" ) func runScanLoop(scanner *bufio.Scanner) { for scanner.Scan() { if

$ docker run --cap-add=NET_ADMIN --rm -ti hoge_image /bin/bash bash-4.1# echo 'IPTABLES_MODULES_UNLOAD=no' >> /etc/sysconfig/iptables-config bash-4.1# service iptables stop iptables: Setting chains to policy ACCEPT: nat filter [ OK ] iptables: Flushing firewall rules: [ OK ] bash-4.1# service iptables status Table: nat Chain PREROUTING (policy ACCEPT) num target prot opt source destination Chain I

vboxss と言う便利そうなツールがでてきたけれど、Vagrantはデフォルトでは深遠なVM名をつけてしまうので連携上不便。 https://docs.vagrantup.com/v2/virtualbox/configuration.html の通り、VM名を指定できるのでそうすると良いと思う。

docker run -ti でインストールコマンドを実行する。そうすると実行結果のコンテナがタグなしでできる。正常終了を見届ける。 docker run -ti progrium/buildstep /bin/bash -c "apt-get -y update; apt-get -y install libmecab-dev mecab-ipadic-utf8; apt-get -y clean"

function percol-cdr () { local selected_dir=$(cdr -l | awk '{ print $2 }' | percol --query "$LBUFFER") if [ -n "$selected_dir" ]; then BUFFER="cd ${selected_dir}" zle accept-line fi zle clear-screen } zle -N percol-cdr これを読み込んで、おもむろに percol-cdr という 関数を 呼び出し、やった！ これでぼくもナウいpercolユーザだ！ ってやろうとすると $ percol-cdr percol-cdr:zle:4: widgets can only be called when ZLE is active percol-cdr:zle:6: widgets can

と書いてある。この環境変数 DEBIAN_FRONTEND って何だろう？ これは、インストーラで使うユーザインタフェースを制御するものらしい。 DEBIAN_FRONTEND=noninteractive のときは、インタラクティブな設定をしなくなる（＝入力待ちでブロックしなくなる）ので、自動インストールの際には便利だとか。 http://www.debian.org/releases/sarge/s390/ch05s02.html.ja この辺とかに載っていた。他にも、textとかgtkとかncursesがある。よく見かけるいきなりババッとターミナルでncursesが立ち上がるやつの設定は DEBIAN_FRONTEND=ncurses なんだろう（その辺の詳しいところを説明しているページを見つけられなかった...）。 Register as a new user and use Qi

`Handle`、`HandleFunc`、`Handler`、`HandlerFunc`についてまとめGo ただの勉強メモ程度ですが、httpパッケージ配下のHandle、HandleFunc、Handler、HandlerFuncについてまとめました。 Goでアプリケーションサーバを書くのはとても簡単で、そこらのLL並みの行数で小さなWebアプリケーションが立ち上がる。 package main import ( "fmt" "log" "net/http" ) func index(w http.ResponseWriter, r *http.Request) { fmt.Fprintf(w, "hello, go httpd!") } func main() { http.HandleFunc("/", index) e := http.ListenAndServe(":8080"

$ wget -qO- https://raw.github.com/progrium/dokku/v0.2.3/bootstrap.sh | sudo DOKKU_TAG=v0.2.3 bash 例えば、 dokku.example.local というドメ因で解決できるようなサーバにDokkuをインストールしておけば、勝手に /home/dokku/VHOST の中身が dokku.example.local になる（大事な部分）。アプリをデプロイしたら foobar.dokku.example.local というところにホストされる。 で、そのあと、Heroku並みに簡単にデプロイできるようにするまでが若干めんどいので詳しく書いておく。 公開鍵を登録する。 このままではプッシュできないので登録。dokku.example.localにログインしてこんな感じで良いのでは。

さくっとマッチャー書いた。 数行なので、プルリクしたもんかどうか迷う...。 failure messageを少し頑張った。 RSpec::Matchers.define :have_mysql_entry do |entry| match do |subject| if subject.class.name == 'Serverspec::Type::File' @content = subject.content if @value !! @content.lines.find {|line| line =~ /^\s*#{entry}\s*=\s*#{@value}\s*$/ } else !! @content.lines.find {|line| line =~ /^\s*#{entry}\s?=/ } end else raise "have_mysql_entry match

Rack限定ならむかし rack-spyup というものを書いた。自分で使ってみたけどJSON APIのデバッグとかだと革命的に便利だと思う。 ただ、Rackに到達する前にリクエストがお亡くなりになったりとか、そもそもサーバルビーじゃないしとかあると思うので、もっと汎用的な感じでダンプする手順をメモしてみる。 リクエストが来たら内容を全部ダンプするHTTPサーバを作る Rubyに標準添付されている、WEBrickの基本的な機能で割と簡単に作れる。 # -*- coding: utf-8 -*- require 'optparse' require 'webrick' require 'json' options = ARGV.getopts("p:", "port:") # The :monkey: raises # cf. http://d.hatena.ne.jp/vividcode/

a = Mechanize.new a.user_agent_alias = 'Windows IE 9' この user_agent_alias= は、中では Mechanize::AGENT_ALIASES と言う定数を参照してUAを決めているっぽい Mechanize::AGENT_ALIASES => {"Mechanize"=> "Mechanize/2.7.3 Ruby/2.0.0p353 (http://github.com/sparklemotion/mechanize/)", "Linux Firefox"=> "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.2.1) Gecko/20100122 firefox/3.6.1", "Linux Konqueror"=>"Mozilla/5.0 (compatible; Kon

SpeakerDeck のembedスクリプトは、親要素の横幅を基準にスライドの表示幅を決めるっぽい。 <div style="width: 65%"> <script async class="speakerdeck-embed" data-id="507ea19ed1e0a4000203d45d" data-ratio="1.3333333333333333" src="//speakerdeck.com/assets/embed.js"></script> </div>