[ -f /bin/zsh ] && SHELL=/bin/zsh [ -f /bin/zsh ] && exec /bin/zsh -l checking if tcsetpgrp() actually works... error~ configure: error: unexpected return status ./configure --enable-multibyte --prefix= % hello="Hello, " % echo $hello Hello, % world="World\!" % echo $hello$world Hello, World! % printf "%s\n" $hello Hello, % print $world World! % echo "$hello" Hello, % echo '$world\n' $world % echo
@joker1007 メインのバッチ集計処理基盤として bigqueryを利用するために今取り組んでいること、 そしてそれを支えるfluentdとembulkの bigqueryプラグインの現状を解説します。 self.inspect @joker1007 Freelance (Ruby/Rails/JS/Redshift/Bigquery) パーフェクトRubyとかパーフェクトRailsとか 最近はアプリより基盤寄りの仕事が多い (株)Reproで仕事中 Repro Inc.の最新情報 - Wantedly Hireling Now 資料作成サボってて時間がやばくなってしまい、 業務時間使って資料作ってたので、 宣伝を入れるからってことで許してもらいました BQの利用背景 MySQLの限界 将来的にもデータ量は増え続ける 割とヘビーな集計処理がある できるだけ同時に算出したい 構成イメー
InfluxDB とは Black Duck Open Source Rookies of the Year 2013 にも選ばれた今注目の Time series metrics database である。 ということでちょっと触ってみた。 インストール http://influxdb.org/download/ ページを見て、環境にあわせてインストールする。 例えば CentOS x86_64 の場合 $ wget http://s3.amazonaws.com/influxdb/influxdb-latest-1.x86_64.rpm $ sudo rpm -ivh influxdb-latest-1.x86_64.rpm influxdb process is not running [ FAILED ] Starting the process influxdb [ OK ] i
Fluentd v0.12 がリリースされました。git log を見るに v0.10.1 がリリースされたのは 2011/10/16 とのことなので、３年越しのメジャーバージョンアップとなりました。自分が Fluentd の開発に携わってから初ですね。感慨深い。 Fluentd v0.12 には Fluentd v0.12 is Released で言及されているように、今まであった Input プラグイン、Output プラグインに加えて、Filter プラグイン という仕組みが追加されています。本記事ではその使い方、および作り方を解説します。 2014/12/30更新 v0.12.2 で filter メソッドで nil を返すとメッセージを削れるようになったので記事を修正。cf. #515 合わせて v0.12.2 で、Filter プラグインのテストヘルパーが追加されたのでテスト
RubyKaigi 2013 の最終日、6/1に「Rails Gems realize RESTful modeling patterns」というタイトルで発表させていただきました。 Rails Gems realize RESTful modeling patterns from Toru Kawamura Ustream RubyKaigi Channel 2 相変わらずコードの実例に乏しく、idealisticなくせにemotionalでもない話になってしまい、自分の力のなさを痛感するばかりなのですが、まわりの方々には良かったという言葉をいただいて、とても感謝しています。 発表内容について 昨年の「RailsにおけるRESTfulなURL設計勉強会」で発表した「リソースモデリングパターンの提案」およびそれをまとめたブログ「リソースモデリングパターン」と基本的な論旨は変わりません。Ru
ruby-trunk-changes r60220 - r60317 - ruby trunk changes
今日は Ruby 開発者合宿があったので、とてもたくさんの変更がありました。不具合修正に新規メソッドの追加と冒頭では書ききれないほどあるので、どこかで 2.5 の新機能として紹介されるのをご期待ください。 ちなみに今日は svn さんのコミットも含めて 98個もあり、ruby-trunk-changes 開始から最多を記録しました。 yui-knk: r60220 2017-10-21 01:22:22 +0900 branch coverage で分岐の位置を指定するなどに使うためと思われますが、parse した時にその token のカラム番号を NODE に保持するようにしています。大作ですね。 svn: r60221 2017-10-21 01:22:24 +0900 version.h の日付更新。 svn: r60222 2017-10-21 01:22:24 +0900 r6
daemontoolsなserviceをハンドリングするための Chef::Provider::Service::Daemontools を書いてみました - （ひ）メモ
Chefでdaemontools配下のサービスをハンドリングするときは、コミュニティクックブックの daemontools を使ってる人が多いと思います。 https://supermarket.getchef.com/cookbooks/daemontools https://github.com/opscode-cookbooks/daemontools こんな感じで。 daemontools_service "tinydns-internal" do directory "/etc/djbdns/tinydns-internal" template false action [:enable,:start] end notification も送れます。 template '...' do ... notifies :restart, 'daemontools_service[tin
ログの欠損をできるだけ避ける Fluentd の out_forward 設定サンプル cf. http://blog.livedoor.jp/sonots/archives/44690980.html
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
YAPC::Asia 2012 ブログまとめ | YAPC::Asia Tokyo 2012 - YAPC::Asia Tokyo 2012 [SEPTEMBER 27,28 & 29th]
最終更新 2012.10.20 10:47 159件のエントリが登録されています YAPC::Asia 2012の感想ブログを収集しています。 YAPC::Asia Tokyo 2012 ブログ書いたよ！フォーム から、ブログの個別記事のpermalinkを投稿してください。 任意のタイミングで以下を更新します。 運営 .YAPC::AsiaTokyo2012 開催中です！#yapcasia-941::blog .YAPC後、とりあえず今の状態-D-6[相変わらず根無し] .YAPC::Asia2012に参加しました-valencia日誌 .DerfliegendeHolländer:YAPC::AsiaTokyo2012画像でふりかえる前夜祭設営 .DerfliegendeHolländer:YAPC::AsiaTokyo2012画像でふりかえる最終日＆片付け .YAPC::Asia20
予選の時間内では足りてないことばかりだったので、もう少し試行錯誤することにしました。 #isucon 2014の予選をほぼ一人で戦うハメになった話 - orangain flavor 目標は50000点、できれば60000点出したい。 予選終了時 Python実装 DBはRedisのみを使う Cookieがないときだけnginxで静的ファイルを返す Gunicornを使ったマルチプロセスモデル ワーカー数10、ワークロード10 最終提出スコア: 32710 細々とした改良 nginxの設定を追加。 redis-pyのパーサーをhiredisに置き換え。 テンプレートエンジンを使わないよう変更。 アプリを見なおして、RedisのRead/Write数を削減。 スコアはあまり上がらず 32912。 Gunicornのワーカーをmeinheldに置き換え 前回のエントリのコメントで id:met
2014.12.10 17:00 追記 登録エントリ39件 -- 櫛井です。 ISUCON4 本選にご参加いただいた皆さん、ありがとうございました！ こちらでは感想エントリや何をしたかに言及されたエントリをまとめていきます。見つけた順です。もしここに載っていないものがある場合は ISUCON4 本選のブログ書いたよ！フォームから教えてください！重複はこちらでチェックしますのでドシドシお願いします。 本選のTweetはこちらでまとめています ▼ISUCON4 本選 Tweet まとめ#isucon - Togetterまとめ メディア掲載 ・サーバーとウェブアプリを高速化し、さばけるアクセス数を競う技術戦が今年も -INTERNET Watch 運営 ・ISUCON4 本選リアルタイムフォトレポート 【更新終了】 : ISUCON公式Blog ・ISUCON4 お疲れ様でした - 鳩舎 ・I
この記事は trocco Advent Calendar 2023 の6日目の記事となります。 はじめに 今回はtroccoの内部でも利用されているETLのためのOSSであるEmbulkについて、core部分のソースコードリーディングを通して、そのしくみを紐解いていきたいと思います。 おことわり Embulkの基本的な使い方などについては解説しません。 筆者はembulk-coreにコントリビュートしているわけではないので、間違いなどがあればお気軽にご指摘ください。 今回見ていくcoreの実装自体は、比較的変更が少ないとされる各種プラグインが従うべきインターフェース部分(embulk-spi)から隠蔽されているため、今後この記事の内容が正しくなくなる可能性は容易にあります。 Embulkにはguessやpreviewやresumeといった機能も含まれていますが、今回は単純なembulk r
Immutable Infrastructure Hackathon :D で docker をさわってみた · takus's blog
Immutable Infrastructure Hackathon :D で Docker を触ってみただけという、ゆるふわなメモです。 @muddydixon さんや @yosuke_furukawa さんが drone を触ってたのに比べてだいぶ素人丸出しな感じですが、Docker 童貞からは脱却できたので、次は “Docker + Jenkins + serverspecでpuppetのmanifestをCIする” あたりに取り組んでみたいと思いました。 公式チュートリアル まず、公式サイトのチュートリアルで一通り使い方を学びました。 Docker on DigitalOcean DigitalOcean は 1GB メモリのサーバが 1 時間 $0.015 で使える格安の VPS サーバで、手元で VM 動かしたくなかったので使ってみました。Docker は “MacからVagr
大阪のNode.js勉強会でNode.jsのセキュリティについての話してきた #npp02 - from scratch
大阪Node学園に行ってきました。 かねてから雰囲気を知りたいと思っていた大阪Node学園に行ってきました。 行く前から今回の勉強会はすごく人数が少ない、という事だったので、役に立つ話(セキュリティの話)とぶっちゃけ話(心の闇)の両方をしようと思って行ってきました。 建前と本音の話 建前と本音というタイトルで話してきました。 建前編はセキュリティに関する話がメインで、そんなにNode.js関係ないんですがProductionで動かすなら知っておいてまぁ損はないです。 本音編は本音というかセキュリティに関するぶっちゃけ話なので言えない事が多く、削除してしまいました。 大阪Node学園の発表内容 「Node を稼働させる」 by @kumatch 資料 : Nodeを稼働させる from kumatch kumatch Node.jsを本番環境で起動させるには、っていうことで、プロセスをデーモ
概要 ↑ ついにロゴができた。 connpass: http://itamae.connpass.com/event/22857/ 開催概要 OSSの構成管理ツールであるItamaeのミートアップです。日頃お使いいただいているユーザの方々にいろいろ発表してもらいます。 日時: 12/9（水） 19時10分開場 19時30分開始 場所: クックパッド株式会社（地図） 東京都渋谷区恵比寿4-20-3 恵比寿ガーデンプレイスタワー12F 受付にて受付番号をお伝え下さい 軽食と飲み物を用意する予定です。 タイムテーブル 19:30-19:50 @ryot_a_rai オープニング 19:50-20:10 @sonots 「ぼくのかんがえた Itamae/Serverspec 構成フレームワーク 〜 板前の献立 〜」 20:10-20:30 @toritori0318 「Chef-soloからIta
マシンを再起動すると消えるので、その場合、再度 ssh-add する必要がある。 macOS の ssh agent には特別に keychain に秘密鍵を登録する -K オプションがあり、それを使うと再起動のたびに ssh-add する手間を省くことができる。 以前はこれだけで良かったのだが、Sierra (10.12) 以降では keychain に保存はされるものの、再起動時に自動では読み込まれなくなったので解決方法を記す。 1. .ssh/config に macOS 特有設定を書く 以下のような設定を .ssh/config に書いておくと、初回 ssh 時に keychain から自動で読み込まれるようになるのでお使い頂ける。
クラブスキン | PukiWiki
特徴 本家のpukiwikiに追加して下記の機能を実装。 また下記のプラグインを同梱してます。 同梱プラグイン Sonots' PukiWiki プラグインコレクション http://sourceforge.jp/projects/lsx/releases?package_id=7939 ajaxtree.inc.php http://www.revulo.com/PukiWiki/Plugin/AjaxTree.html newpage_subdir.inc secedit.inc.php sitemap.inc.php 同梱予定 spam_filter.php 美麻Wikiでシステム的に修正している点 - 美麻Wiki ナビゲーション グローバルナビゲーションを設置 /skin/pukiwiki.ini.phpを編集すれば、エリア毎とることも可能 ajaxtreeの実装（左カラムのサイ
fluent-plugin-ec2-metadata という fluentd プラグインを書いてみた · takus's blog
前々から fluentd のプラグインを書いてみようと思っていたので、ec2 の metadata をレコードに追加するようなプラグインを書いてみました。 takus/fluent-plugin-ec2-metadata プラグインの書き方は @tagomoris 先生の “fluentdのためのプラグインをイチから書く手順(bundler版)” が大変参考になったので、プラグインを書いてみたい人は見るとよさそうです。 あとは、@sonots 先生の fluent-plugin-record-reformer をかなり参考にさせていただいたのと、Ruby 初心者なので“パーフェクトRuby”にもお世話になりました。 なにをするプラグインか？ ### Input foo.bar {"message":"hello ec2!"} ### Output web.foo.bar { "role_t
XVimの紹介
Vim Advent Calendar 2012 27日目の記事です。 XcodeでのVimキーバインドを実現するXVimの開発経緯と使い方をご紹介したいと思います。まず初めにURLだけ貼っておきます。 https://github.com/Jugglershu/XVim さて、本題。ちょうど今から1年前、僕は友達ともにiOS向けアプリの作成を趣味で行っていました。当時僕はMacはあまり使ったことがなく、Objective-Cの個性あふれるシンタックスに苦しんでおりました。iOSアプリの開発なので、当然Xcodeを使うわけですが、シンタックスに苦しんでいるところへXcodeではデフォルトだとVimのキーバインドではなくEmacsのそれとなっており、そのままだと使い物になりません。 Vimのキーバインドにするにはどうしたらいいのか友人に聞いたら、「ない」との答え・・・またまた〜、そんなことな
たまにgemでツールを作りたくなるのですが、毎回イチから調べ回る羽目になるので、ひと通りの作り方をまとめておきます。 環境 bundler 1.7.6 thor 0.19.1 Ruby 2.1.2p95 Mac OS X Yosemite 10.10.2 gemの雛形を作成 gemの雛形を作るには bundle gem コマンドを実行します。 コマンドで実行するgemの場合は、-b オプションを付けて bin にコマンドファイルを生成させます。 ※以降では、DiskSizeRec というツールを作った時の例を示します。ファイル名等は適宜読み替えてください。 $ bundle gem disksizerec -b create disksizerec/Gemfile create disksizerec/Rakefile create disksizerec/LICENSE.txt crea
WEB系スタートアップのSREが「Be the Worst.(一番の下手くそでいよう）」な環境を求め、情シスの会社に入社しました
WEB系スタートアップのSREが「Be the Worst.(一番の下手くそでいよう）」な環境を求め、情シスの会社に入社しました これはなに? 入社エントリです 2023年03月にクラウドネイティブに入社しました 誰? 何をしていたの? 前田と申します。インターネット上ではglidenote(グライドノート)というidで活動をしています これまでGMOペパボ、Kaizen PlatformといったWEB系スタートアップでシニアエンジニア、SRE(Site Reliability Engineering)、Engineering Group Managerなどを担当し、月間数百億リクエストを処理するインフラを作ったり、各種セキュリティやIT監査を対応したり、兼任で情シスを担当したり色々とやっていました。一緒に働いた同僚達に感謝! そのほか個人では memolist.vim を作ったり(mat
:sonots: 便利
更新日:3月17日11時16分
PerlのDBD::mysqlをlibmysqlclient.aとstatic linkしたい話 - （ひ）メモ
static linkするにあたっての動機、諸注意（ハメがあるので必読）は [twitter:@sonots] さんの mysql2 gem を mysql5.6 の libmysqlclient.a と static link したい話 - sonots:blog を参照してください。 ここではDBD::mysqlをビルドする際のオプションのみ記します。 http://dev.mysql.com/downloads/mysql/ からダウンロードできるrpm MySQL-client-5.6.21-1.el6.x86_64.rpm MySQL-devel-5.6.21-1.el6.x86_64.rpm MySQL-shared-5.6.21-1.el6.x86_64.rpm の場合、 $ ldconfig -p | grep libmysqlclient libmysqlclient.s
Validation Night で focuslight-validator の紹介をしてきたよ - Studio3104::BLOG.new
良いイベントでございました。 LT の機会をいただきありがとうございました。 Validation Night - connpass しゃべったこと focuslight-validator という、おもに HTTP リクエストパラメタのヴァリデーションのために使うモジュールの紹介をしました。 LT なのに 40p 超のスライド作っちゃって、ガーッと駆け足でやったけど 90s くらいオーバーして迷惑をかけてしまった。 focuslight-validator focuslight/focuslight-validator · GitHub スライドにも書いたけど、汎用的に使えるヴァリデーションモジュールです。 名前から察すると、Focuslight 専用なの？って思わなくもない*1けど、Rails でも Padrino でも使える(と思う。使ったことはない。)汎用的なヴァリデーションモジュ
コードをカスタムしたかったので、rpm からではなく、自分でビルドして立ち上げたメモ Ubuntu な方はこちらの記事を見ると良い。本家も Ubuntu でビルドしているようなのでその方が確実 > http://qiita.com/udzura/items/460827c53c93ddcc28cf Goのインストール golang の最新は 1.4.x であるが、drone は 1.3.x を使ってビルドしているっぽい？ので 1.3.3 を入れることにする。 wget https://storage.googleapis.com/golang/go1.3.3.linux-amd64.tar.gz tar zxvf go1.3.3.linux-amd64.tar.gz mv go /usr/local/ export PATH=$PATH:/usr/local/go/bin
ALBのログをEmbulk + BigQuery + Redashで可視化する - LCL Engineers' Blog
Webエンジニアの森脇です。 LCLでは、AWS ALBのアクセスログを分析し、各種KPIを定期的に確認しています。今回は、Embulk + BigQuery + Redashを利用してのログ分析の事例について紹介したいと思います。 概要 AWS ALBのアクセスログは、S3へ記録されます。S3へ記録されたログを、fluentd / Embulk を利用して Elasticsearch / BigQuery へ格納しています。 Elasticsearchは、短期的なログの解析を目的としており、Kibanaを使用して予期せぬアクセスが発生した場合の調査等に利用しています。ログは一定期間を過ぎると破棄しています。 BigQueryは、長期的なログの保存・解析を目的としており、ログは永続的に保存しています。 準備 以下の流れでやっていきます。 ALBのアクセスログを有効化する BigQueryテ
% vim -x [filename] set encoding=utf-8 set fileencodings=utf-8,sjis,cp932,euc-jp vim -c ":e ++enc=sjis" [filename] vim -c ":e ++enc=utf-8" [filename] ~/.vimrc " any comment syntax on " " .vimrc " " Japanese Words set encoding=japan set fileencodings=utf-8,shift_jis,latin1,default,euc-jp " display mode, if it is insert mode set showmode " display line numbers on left side set number " auto indent s
embulk-output-bigquery の Partitioned Table 対応で調べてたので、その時に調べたものを雑にまとめておく。APIを直接叩いて実装しているので、bq コマンドでの使い方については調べていない。 EDIT: 現在は DATE もしくは TIMESTAMP カラムを指定した partitioning が可能ですが、本ドキュメント記載時にはまだ BigQuery がサポートしていなかったため、その記述が抜けています。 TL; DR 基本的に tableId に partition decorator ($YYYYMMDD) を指定して操作する DAYパーティションしか(今のところ)切れない。 特定パーティションのデータを置き換えたい場合は、パーティションを指定して、writeDisposition: 'WRITE_TRUNCATE'として load (または
シグナルのハンドラを書く ここからは、実際にGo言語でシグナルを扱う方法を紹介します。 最初に注意点ですが、シグナルに関する設定はプロセス全体に及ぶグローバルな設定です。 また、シグナルはフォアグラウンドのプロセスに最初に送信されます。 したがって、自作のコードでシグナルのハンドラを書き、それをgo runを使って実行すると、シグナルは自作コードのプロセスではなくgoコマンドのプロセスに送信されてしまいます。 これを避けるため、シグナルをハンドルするコードはgo runでは実行せず、go buildコマンドで実行ファイルを作成してから実行してください。 手始めに、SIGINTとSIGTERMを受け取ってもすぐには終了せず、それぞれSIGINT、SIGTERMと表示するコードを下記に示します。 package main import ( "fmt" "os" "os/signal" "sys
変更点 (2015/12/14): JRuby プラグインの実行方法を embulk が official にサポートしている embulk run -b . の方式に変更 起動時間を短くする方法について記載 Java なプラグイン Java なプラグインの場合は
Provisioning Frameworks Casual Talks vol.1 行ってきた - uzullaがブログ
5/10に渋谷で開催された、Provisioning Frameworks Casual Talks vol.1にいってきました。 https://gist.github.com/studio3104/5417631 大盛況、ほぼ満席でしたよ！ なんの会？ 国内でChef、Puppetでインフラを運用されているエッジな方々のトークでした。 具体的な所は半可通が嘘かいたらはずかしいので、アップされているであろうスライドや、他の人のレポートに譲ります。 参加された方のレポートリンクを集めてみましたので、これらをお読みいただければ十分です。 http://d.hatena.ne.jp/moznion/20130511/1368291455 http://d.hatena.ne.jp/inouetakuya/20130511/1368271417 http://blog.livedoor.jp/s
grep はファイル、または標準入力から指定した文字列を含む行を抜き出し、標準出力に出力します。大変便利です。 % grep [pattern] [filename] [pattern] の部分には正規表現が使えます。 UNIX/基礎知識/正規表現をみてください。また、 % cat [filename] | grep [pattern] のようにパイプを使用することもできます。 複数のファイルを複数指定することもできます。 % grep [pattern] * この場合は filename1:マッチした行の文字列 filename1:マッチした行の文字列 filename1:マッチした行の文字列 filename1:マッチした行の文字列 filename2:マッチした行の文字列 filename2:マッチした行の文字列 filename3:マッチした行の文字列 のようにファイル名が行の頭に
一般的には、複数のAWSアカウントを持っている場合 aws configure --profile <profile> で aws cli の設定をすると思うが、これだとあらゆる aws コマンドを打つたびに --profile <profile> オプションでプロファイル名を指定しないといけないのでめんどくさい。 シェル毎に別のプロファイルをデフォルトで指すことができるようにして、tmux のウィンドウ毎にプロファイルを切り替えたい。 関連: gcloud でシェル毎にプロジェクトの切り替え設定 AWS_DEFAULT_PROFILE, AWS_PROFILE AWS_DEFAULT_PROFILE および AWS_PROFILE 環境変数でデフォルトプロファイルを切り替えられるので、この環境変数をシェル毎に設定しなおせば良い。ツールによってどちらの環境変数が参照されるかまちまちなような
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
UNIX/コマンド/シェル・シェル組み込み/zsh - 会津大学UNIXウィキ
fluentd x embulk x bigqueryで作るバッチ集計処理基盤
InfluxDB を10分だけ触ってみた - Qiita
sudo をつけると SIgnal.trap がおかしくなる件 : sonots:blog
Fluentd v0.12 Filter プラグインの使い方と作り方 - Qiita
RubyKaigi 2013 で発表しました - ぶろぐ。@はてな
perl の SQL::Maker (と SQL::QueryMaker) を ruby に移植した
gem install で C拡張をビルドする流れを追ってみた : sonots:blog
Haikanko OSS版をリリースしました！〜 Haikanko OSS化への道(8) : sonots:blog
あるプロセスが開いているポート番号を調べる方法 : sonots:blog
#isucon 2014予選の延長戦をやってみた - orangain flavor
ISUCON4 本選 関連エントリまとめ : ISUCON公式Blog
Embulkのcoreのソースコードから紐解くデータ転送のしくみ
http traffic replay ツール gor は便利 : sonots:blog
Itamae Meetup #1 に参加してきた - log.fstn
macOS で再起動しても ssh agent に秘密鍵を保持させ続ける二つの方法 - Qiita
perlで快適REPL生活！ : sonots:blog
Ruby gemでのコマンドライン・ツールの作り方 - IT探検の追憶
OSS版 drone.io をソースからビルドする (CentOS 7) - Qiita
UNIX/コマンド/エディタ/vim - 会津大学UNIXウィキ
BigQuery の Partitioned Table 調査記録 - Qiita
Go言語で知るプロセス（3）
embulk のプラグイン開発時にお試し実行するには - Qiita
grep - ファイルにおけるパターンの検索 - 会津大学UNIXウィキ
aws cliでシェル毎にデフォルトプロファイルの切り替え設定 - Qiita