AWS Lambda Go without Go - so what
とある勉強会用にLTネタを作っていたのですが、発表できなくなったので腐る前にブログに書いておきます。 お前は何を（ｒｙ 記事のタイトルについて お前は何を言っているんだ なのですが、元ネタは以下のツイートです。 ここからTCPでやり取りするプロトコルが読み取れるし、mainって名前で同じプロトコル喋るバイナリならstaticにビルドすれば別の言語でもネイティブに動かせるんじゃね？https://t.co/dWjs8YiuFe— Masashi Terui (@marcy_terui) 2018年1月17日 LTのネタになりそうだったのでやってみたわけです。 aws-lambda-goについて じゃあ、まあaws-lambda-goは一体どういう仕組みで動いているんだろうと、ソースを読んでみました。 で、entry.goとfunction.goあたりでだいたい分かりましたが、net/rpcパ
ProxySQLをつかったRDSの切り替え - so what
ProxySQLとは ProxySQLはMySQL用のL7のプロキシサーバで、プロキシサーバのレイヤでR/W Splittingできたり、クエリの書き換えをできたり、負荷分散などができたりする便利ミドルウェアです。 www.proxysql.com Dropboxの中の人が書いているみたいで、Perconaの推しミドルウェアみたいです。（開発にも関わっているのかな？） あとQiitaにもいくつか記事が上がってます。 https://qiita.com/search?q=ProxySQL 設定の管理が結構独特で、MySQLっぽく振る舞うsqliteで管理されていて、動的にバックエンドのサーバを書き換えたりすることができます。設定まわりの概念的なものは『ProxySQL触ってみた - Qiita』がわかりやすいかも。 動的なバックエンドの切り替え 管理用インターフェースに対して、以下のようなク
DynamoDBとGoogleスプレッドシートを相互同期するやつ - so what
confdのDynamoDBをGoogleスプレッドシートで管理したかったので作りました。 docs.google.com 使い方 まず、以下のようにDynamoDBのテーブルを作ります。(confdのと同じ） aws dynamodb create-table \ --region ap-northeast-1 --table-name hello \ --attribute-definitions AttributeName=key,AttributeType=S \ --key-schema AttributeName=key,KeyType=HASH \ --provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=1 ついでにddbcliを使ってテーブルにデータを入れておきます。 $ ddbcli ap-north
Kumogata2 - so what
連休に入って酒量が増え体重も増え、昼夜わからない生活をし、ridgepoleのRails5対応はFが減らず、必要に駆られて使い始めたElasticBeanstalkの闇が見え始めた現実から目をそらすため、以前から懸案だったCloudFormation用ツールKumogataの次世代版を作ってみました。 なにが問題だったのか aws-sdk-v1 v1もまだまだ現役で使えるとはいえ状況を見る感じだいぶv2が主流になってきて、このままv1を使い続けるのはリスキー…なんだけどライブラリを変更するのが地味に大変。大量のFでモチベーション低下 モノリシック Kumogataは「フォーマットコンバーター+便利ツール」というもので、この2つは論理的に切り離すことができるはずなんだけど、初期の設計に建て増しを繰り返した結果、拡張がひっじょーにしづらい状況。おまけに対応フォーマットの追加に付随してgemもば
Libratoをコード化しました - so what
最近、業務案件でLibratoを使っています。 Libratoはメトリクス収集のSaaSで、メトリクスの収集とアラートの設定・通知ができます。 たぶんDatadogとかが競合になるんじゃないでしょうか。 Datadogほど多機能ではないですが、「グラフを書く」「グラフを並べてダッシュボード(Space)」を作る」「閾値を超える・下がる等でアラートを投げる(emal・hipchat・slack・SNS…etc)」「AWS・HerokuなどとのIntegration」と基本的な機能はそろっています。 有名な事例だとTreasure DataがLibratoを使っていたみたいです（いまはDatadogなのかな・・？） なんでDatadogじゃないの？ ずばりお値段です。 Datadogは$15/ホストの課金ですが、Libratoはメトリクスごとの課金になります。解像度を下げるとさらに安く。 ds
GitHub+Amazon SNS+Lambda+CloudFormationで簡易CI - so what
先ほどの記事に引き続き。 GitHubからAmazon SNSでLambdaにイベント飛ばせば簡易CIができそうだだったので作ってみた。 処理の概要 GitHubにpush→Amazon SNS→Lambdaにイベント Lambdaがイベントをフック→cfnスタックを作成 cfnスタックがEC2インスタンスを起動→git clone bundle exec rspec cfnスタックは処理完了後に自動的に削除 Lambda Function こんな感じ。 var Promise = require('bluebird'); var AWS = require("aws-sdk"); AWS.config.update({region: 'ap-northeast-1'}); var cloudformation = Promise.promisifyAll(new AWS.CloudFor
S3+Lambda+CloudFormationでサーバレスyumリポジトリ - so what
先日の記事で、大きめの処理をLambda+CloudFormationで実行するめどがついたので、S3+Lambda+CloudFormationでサーバレスyumリポジトリを作ってみた。 処理の概要 S3にrpmを追加・更新・削除 Lambdaがイベントをフック→cfnスタックを作成 cfnスタックがEC2インスタンスを起動→S3リポジトリをダウンロード createrepoを実行して、インデックスをS3にアップロード cfnスタックは処理完了後に自動的に削除 Lambda Function こんな感じ。 var Promise = require('bluebird'); var AWS = require("aws-sdk"); AWS.config.update({region: 'ap-northeast-1'}); var cloudformation = Promise.pr
fluent-plugin-elb-access-logを作った - so what
ELBのアクセスログのfluentdプラグイン、fluent-plugin-elb-access-logを作りました。 https://github.com/winebarrel/fluent-plugin-elb-access-log 既存の同様のプラグイン、fluent-plugin-elb-logとの違いは aws sdk v2を使っている タグを変更できる プレフィックス付きでlist objectsする request lineのURIをパースする 設定ファイル以外のテストがある です。 使い方 fluentd.confは以下のように設定します。 <source> type elb_access_log account_id 123456789012 # required s3_bucket my-bucket # required region us-west-1 # requ
AWS as Code!: WEB+DB PRESS Vol.85に記事を書きました - so what
WEB+DB PRESS Vol.85に『AWS自動化』という記事を書きました。@sawanobolyさん、@muramasa64さん、@y015i（y13i）さんとの共著です。 サービスやツールを使ってAWSの運用を自動化しようぜ！という内容です。 内容 具体的な内容は以下の三本です。 CloudFormation OpsWorks Codenize.tools CloudFormation @muramasa64さんと@y015i（y13i）さんによるCloudFomationでサーバ作成を自動化しよう、という記事です。 現場苦労感があふれていて、罠にはまりたくなかったら読んでおけという感じです…いやCloudFomationは良いサービスなんですけどね… 実際、現場運用しているのがわりとAWSパートナーが目立って、あんまりちまたでは流行ってない感があるので、興味のあるかたは読んでおく
PostgreSQLカンファレンス2014に行ってきた - so what
先日、PostgreSQLカンファレンス2014に行ってきたのでメモ。 NTTデータと PostgreSQL が挑んだ総力戦 大規模案件にPostgreSQLを投入した話。 案件 開発者1000人規模 10M step DB規模 1インスタンス/〜10TB DBアクセス 200TPS〜 ミドルウェア RHEL 6.2 PostgreSQL 9.2 Tomcat PostgreSQLの拡張 pg_statsinfo pg_stat_statement auto_explain pg_hint_plan pg_dbms_stats pg_bigm pg_reolg pgfincore DR対策で、SRの仕様策定者がいたりしたのでSR採用 十分実用的とのこと SQLの性能を担保 コーディング規約を作ったり pg_dbms_statsを使って本番を模した実行計画に固定してSQLを検証したり 実際に
GitHubを使った複数人でのスキーマ管理 on Rails - so what
要約 Chefみたいなスキーマ管理ツール（Ridgepole）を使うと、GitHubを使ったワークフローでスキーマを管理できる（と思います、たぶん） RailsのMigrationsについての問題提起 Migrationsは便利な仕組みですがベストではないと常々思っていました。 具体的には、特定のマイグレーションを保留にしにくいとか、複数人で作業するとコンフリクトすることがあるとか。 大きめのRailsプロジェクトだと特別なワークフローを用意して解決しているんですかね…声出して行こうぜ！とか。 Chef的スキーマ管理ツール: Ridgepole https://github.com/winebarrel/ridgepole （デモ） 以前からそのようなそのような問題意識があって、たぶん Chef的な冪等性保証する（操作ではなく定義を書くたぐいの）ツールがあれば解決できそう、でも実際作るの大
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cloudpack Night #7で発表しました / Roadworkerというツールを作りました - so what