Amazon Elasticsearch Service の認証・認可に関する面倒くさい仕様をなるべくわかりやすく説明する - 無印吉澤
はじめに 最近、仕事で Amazon Elasticsearch Service（以下、Amazon ES）を本格的に使う機会があって、認証周りの仕様で苦労させられました。 Elasticsearch を本格的に使う人は、自分で Elasticsearch クラスタを立てたり、Elastic Cloud を使ったりしてしまうからか、Amazon ES 周りの情報は意外と見つかりませんでした。せっかくなので、今回の記事では、自分が Amazon ES を使うにあたって調べた情報をまとめてみます。 はじめに いろいろな Elasticsearch Amazon ES の基本 Amazon ES が提供する認証・認可 パブリックアクセスの場合 VPC アクセスの場合 IP アドレス以外の認証・認可方法は AWS 署名しかない Elasticsearch API へのリクエストを AWS 署名する
ansible コマンドでのログ検索結果を TSV や Markdown 形式に変換する方法 - 無印吉澤
これは Ansible Advent Calendar 2017 の13日目の記事です。 ansible コマンドでログ検索 ansible コマンドって使ってますか？ Ansible と言えば普段は ansible-playbook コマンドを使うと思うので一応解説しておくと、ansible コマンドは Ansible モジュールを1個だけ実行するコマンドです。-m でモジュール、-a でそのモジュールに渡す引数を指定します。Running Ad Hoc Commands - Ansible Tips and Tricks あたりが詳しいです。 この ansible コマンドで shell モジュール を使うと、複数サーバ上のログを簡単に検索できます。 例えば以下のように、すべてのアプリケーションサーバに対して、一括で ERROR ログ数を検索できます。 $ ansible -i hos
EmbulkのfilterプラグインをRubyで開発する話 - 無印吉澤
Embulkにはfilterプラグインという仕組みがあり、これを自作することで、Embulkで入力およびパースした結果を色々と加工することができます。例えば、「すべてのログにホスト名を追加する」といった、ログの種類によらない共通処理を定義するのに向いた仕組みです。 ただ、いろいろ試してみた結果、以前の記事で取り上げたような特殊なログを処理する場合でも、 パース処理の中で、一度完成したらほとんど直す必要がない基本的な部分 → parserプラグイン 試行錯誤しながら、何度か直す必要がある部分 → filterプラグイン と使い分けた方が、コードの見通しが良くなりました。個人的には、parserプラグインと同じくらいfilterプラグインも自作することが多そうなので、作り方をメモしておきます。 特定カラムに含まれる文字列を置換するfilterプラグイン 一例として、以下のようなCSVファイルを
社内Wikiに情報を書くときに守ってほしい、たったひとつのルール - 無印吉澤
このページについて これは、社内 Wiki に情報を書くときに、私が個人的に守っていて、チームメンバにもできるだけ守ってほしいルールの紹介記事です。このルールを実際に運用するためのコツについても、基本ルールの派生という形で紹介します。 想定する環境 この記事は、社内に Wiki があって、フォーマットが決まったドキュメント（仕様書や手順書など）とは別に、各人がメモを自由に書いて共有できるような環境を想定しています。 Wiki の種類は問いません。PukiWiki、MediaWiki、Confluence、Esa、Redmine などのプロジェクト管理ツール付属の Wiki などなど……何でもいいです。Word 文書などにも適用できなくはないですが、文書を気軽に分けるのが難しい場面には、あまり向かないかと思います。 ルール：「このページについて」という欄をページの先頭に用意し、そのページの概
GitHub Wiki (personal plan)を個人用Wikiとして使ってみた話 - 無印吉澤
個人的な読書や勉強のメモを取るツールとして、かなり昔は紙copiやEvernote、ここ数年はEmacs + howmを使っています。howmはとても良いツールなのですが、いくつか不満があり、有料でもよいからクラウドサービス型のWikiに移行できないものかと考えていました。 僕は元々GitHubのpersonal plan (micro)を契約していたので、とりあえず夏休みに一週間ほどGitHub Wikiを試してみました。これからまだ使い込んでみるつもりですが、まずはファーストインプレッションを公開してみます。同じようなニーズを持っている方の参考になれば幸いです。 ちなみに、GitHub Wikiを評価するにあたっての比較対象は、自分がそれなりに使ったことがあるPukiWiki、MediaWiki、Redmine内蔵のWikiなどになります。 今までの方法 Emacsと、howm（Hit
タニタの Health Planet から新しいデータだけエクスポートして Google Spreadsheet にポコポコ足していく方法 - 無印吉澤
これまでのあらすじ 今回の内容 この記事を書いた時点のバージョン 事前準備 Health Planet API の準備 Google Drive API の準備 Drive API の有効化 Drive API に接続するための認証情報の作成 Google Spreadsheet ファイルの作成 Google Spreadsheet ファイルのパーミッション設定 設定ファイル エクスポート処理の実行方法 まとめ 参考文献 2016-02-02追記：launchd での定期実行 これまでのあらすじ 最近ウェストが気になってきたので、計測結果を Web サイト（Health Planet）に自動アップロードしてくれるタニタの体重計を買ったところ、そのサイトにエクスポート機能がなかった……。で、しぶしぶ Embulk output plugin を書いたら、とりあえず動いたのだった。 muziy
Health Planet からデータをエクスポートするための embulk-input-healthplanet プラグイン - 無印吉澤
きっかけ：エクスポート機能がほしい 注意事項 使用手順 1. Health Planet のアカウント作成 2. Client ID および Client Secret の取得 3. Embulk のインストール 4. embulk-input-healthplanet のインストール 5. Embulk の設定ファイルの作成 6. 実行 ソースコード (GitHub) 実装方法 タニタへの問合せ結果（2016-01-13追記） 参考文献 きっかけ：エクスポート機能がほしい 最近、測定結果を自動的にアップロードしてくれる体重計が欲しくなり、 単独で Wi-Fi 接続して、測定結果をアップロードできる Withings アップロードに専用スマホアプリが必要だが、測定できる項目が多い、タニタの上位機種（RDシリーズ） のいずれかで悩んだ結果、タニタの innerscan DUAL RD-902
カラムを好きな場所に挿し込みたい人のためのembulk-filter-insertプラグイン - 無印吉澤
EmbulkのFilterプラグイン「embulk-filter-insert」を本日リリースしました。Filterプラグインと言いつつ、このプラグインを適用してもレコードは減らず、むしろカラムが増えます。Rubygemsで公開済みのため、インストールは以下のコマンド一発です。 $ embulk gem install embulk-filter-insert このプラグインのインストール後に、例えば設定ファイルに filters: - type: insert columns: - host: host01 - service: service01 at: top と書くと、読み込んだレコードすべての先頭に、カラムが2個追加されます。カラムに含まれる値は固定値（この例では文字列"host01"と"service01"）です。 ソースコードに興味のある方は muziyoshiz/embul
EmbulkのLocalThreadExecutorプラグインに最大スレッド数を指定する方法 - 無印吉澤
2015年4月7日にリリースされたEmbulk 0.6.0から、Executorをプラグインで差し替え可能になりました。このニュースリリースの中に、 The built-in executor plugin is LocalExecutorPlugin that runs tasks using multiple threads. It has a shared thread pool and schedules tasks at most (number of available CPU cores) * 2 tasks in parallel. Number of threads is configurable using max_threads system parameter. http://www.embulk.org/docs/release/release-0.6.0.htm
embulk-filter-insert 1.1.0リリース（Liquidで環境変数を挿入できるようになりました） - 無印吉澤
Embulkが0.6系から0.7系にメジャーバージョンアップされて、色々と機能が増えたのに加えて、APIにも変更が加わったようです。 リリースノート Release 0.7.0 — Embulk 0.7 documentation Release 0.7.1 — Embulk 0.7 documentation プラグインを開発している人は、まず embulk selfupdate してから、embulk migrate <plugin dir> を実行すれば、万事幸せです。gradle のバージョンは自動で上げます。非互換になったAPIは自動で書き換えます。 #embulk— Sadayuki Furuhashi (@frsyuki) 2015年8月19日 Twitterで↑のお達しがあったのを見かけて、過去に作ったembulk-filter-insertプラグインが動かなくなっていない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
