DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
Digdagへ日次バッチを移行して幸せになるお話
DMM.comラボではビッグデータ基盤の日次バッチ（ETL処理）のワークフローエンジンとしてDigdagを採用しました。 ワークフローの運用は、障害時のリカバリ、進捗状況に応じた他システム連携、JOB実行時間の局所化など様々な課題があります。 Digdag選定理由や設計の勘所（サーバ構成・ワークフローの設計方針）、Digdag Plugin実装、他チーム連携のためのClient実装など、課題解決のために取り組んだ内容について紹介させていただきました！
SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
【新機能】Amazon RDSのMySQLとMariaDBで監査ログに対応。ついでにrdsadminの動作も確認してみた。 | DevelopersIO
MariaDB Audit Plugin 1.2.0からはserver_audit_eventsに設定できる値としてQUERY_DDLとQUERY_DMLが追加されていますが、RDSでは使用できないようです。 RDS for MySQLの起動 ここでは、DBエンジンのバージョンで5.7.11を選択します。 なお、2016年5月2日現在では、コンソールのデフォルト値が「5.6.27」なのでMariaDB Audit Pluginが使用できないバージョンです。ご注意下さい。 オプショングループで、先ほど作成した物を設定します。 監査ログを試す MySQLにログインして内容を確認します。 まずPluginを確認しましょう。server_audit.soがインストールされていることが確認できます。 mysql> show plugins; +----------------------------
tpmを導入して、tmuxのconfを整理整頓しよう - なっく日報
github.com 結構前からtpmを使っているのですが、自分の周囲ではそんなに流行ってないようなのでご紹介。 tpm is 何？ Tmux Plugin Manager。tmux用のプラグインマネージャです。 zshでいうところのantigen。vimでいうところのNeoBundle的な。 導入方法 ほぼ公式のまんまですが。 インストール ターミナルにて。 git clone https://github.com/tmux-plugins/tpm ~/.tmux/plugins/tpm .tmux.confに設定追加 # List of plugins set -g @plugin 'tmux-plugins/tpm' set -g @plugin 'tmux-plugins/tmux-sensible' # Other examples: # set -g @plugin 'gith
IPアドレスを元に位置情報をリアルタイムに付与する fluent-plugin-geoip v0.0.1をリリースしました #fluentd - Y-Ken Studio
FluentdのレコードにあるIPアドレスを元に位置情報を付与するプラグインをリリースしました！ これを使えば、Maxmind社の提供するGeoIPというデータベースを利用してリアルタイムに位置情報を付与できます。 パフォーマンスを重視するため、BufferedOutputをベースに、GeoIPのC拡張を利用した設計としました。 y-ken/fluent-plugin-geoip https://github.com/y-ken/fluent-plugin-geoip http://rubygems.org/gems/fluent-plugin-geoip それでは早速使い方の紹介を行います。 使い方 インストール方法 # fluentdをシステム側に入れている場合 $ gem install fluent-plugin-geoip # td-agentを使っている場合 $ sudo /u
最近よくみる定番の動きは、だいたいこれで対応できるjqueryライブラリ | バニデザノート
ウェブデザインのなかで、 jqueryをつかった、さりげない「動き」をウェブサイト上で導入するのが 定番になりつつありますね。 ふわっと、ポップアップみたいに浮き上がってくるウインドウ、 画像やテキストのスライドなど 最近良く見るjqueryでつくる「動き」で、おすすめのライブラリをまとめてみます。 要素をスライドさせるならJquery.cycle.plugin 画像や、テキストなど、 非常にシンプルなhtmlソースを認識して対応してくれるプラグイン。 上から落ちてきたり、横にスライドしたり、フェードイン・フェードアウトしたり スライド番号をつけたり、スライド領域の要素の右左に矢印をつけたりもできます。 シンプルなdemo Even More Demosもオススメです。 オプション一覧はこちら → jquery.cycle.plugin ページ内ポップアップ、lightbox風表現ならfa
パソコン買ったらまず最初に入れとくべきモダンなvim管理 - Vim is running out
2011-08-13追記 最近のvim pluginの管理にはvundleがおすすめ。 http://vim-users.jp/2011/04/hack215/ .vimrcなどのdotfiles自体の管理には以下の方法が有用だと思います。 この記事でできるようになること - Windows, Linux環境間, または家, 会社間などでvim設定の共有が可能になります。 - 転職や,新しいPCを買ったときなどのvim環境設定があっという間に終わります。 (vim installは含まなければ5分程度?) この記事の主題は - pathogen.vim - githubとgit(git submodule) です。 - pathogen.vimの機能によって、.vim以下を綺麗にする - githubとgit submoduleを使って置いておくことで.vim以下をweb上で管理する の二
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dodie/vim-disapprove-deep-indentation: ಠ_ಠ Vim plugin to disapprove deeply indented code. ಠ_ಠ
cron でのコマンド実行が失敗したときにアラートを飛ばすための alerty というツール : sonots:blog