Google BigQueryで今期アニメに関するツイートを分析するぞい！ - Qiita
BigQueryでアニメに関するツイートを分析する アニメツイートを記録したCSVをBigQueryに上げる データ形式を選択する CSV/JSON/AppEngine Backupが選べますが今回はCSVとします。 File Uploadでブラウザからファイルアップロード・・・といきたい所ですがファイルブラウザからのアップロードは10Mバイトに制限されています。 10Mバイト以上のファイルはGoogleのクラウドストレージにファイルをアップロードする必要があります。 Google Cloud Storage にデータを上げる Cloud StorageにBucketsを作成しファイルをアップロードします。 こちらではブラウザから10M以上のファイルのもアップロードできますが、数百Gバイトなどのでかいファイルはブラウザがタイムアウトなどを起こすのでGoogleの用意するツール(gsutil
Testable Hubot - TDDでテストを書きながらbotを作る
Forkwell のエンジニアの1人、正徳です。先日、入社した馬です。 最近Hubotでbotを作り始めて、朝会を通知させたり、Github Issueの件数を喋らせたり、と遊んでいます。 Hubotの記事はググればたくさん出てきて、喋らせるのはとても簡単です。ところが「Hubotでテストを書く方法」となると、情報がほとんど出てきません。 ChatOpsをやっているエンジニアが、まさかテストコードを全く書かずにbotを開発してる訳がないと思いますが、不思議と記事が見つかりません。 先人のブログなどが無かったので、自分で四苦八苦しつつ、なんとかTDDでHubot開発できる環境が作れたので、ブログにまとめてみました。 目次 Hubotでbotを作る方法 テスト用にモジュールを入れる mocha の実行方法 greet のテストを書く cron のテストを書く time モジュールを使っている
Redis のメモリが足りなくなった時にどうやってチューニングしたか - Qiita
Redis は便利なのですが、メモリが半分しか使用出来ないという問題が有ります。 非同期でファイルの書き込みを行う際に、メモリのスナップショット（コピー）を取るために、その分の空きメモリが必要なのです。 ここに Redis のソースコードのコメントを翻訳したものを置いておきます。 今回、メモリの空きが足りなくなったのは、準永続的な情報用のサーバと利用している物で、簡単に消すことは出来ませんでした。 そこで Redis のメモリダンプを解析し、利用していないキーの削除やデータ型の変更を行うことにしました。 メモリの解析 メモリダンプはそのままでは人間には理解不能なので、ローカルにdump.rdbファイルをコピーし、 Rdbtools を利用してCSVに出力し、そこから必要なデータに整形しました。 $ rdb -c memory dump.rdb > redis_memory.csv # バイ
Test-Kitchen で成果物の受け入れテストもやる…のはどうやるの - oogatta のブログ
僕 bats 好きなんですよ。なので Test-Kitchen でめっちょテスト書きます。なんとなくふわっとした複合的な要件は Serverspec で書きます。どちらにせよ、アプリじゃ無くてインフラなので、普段の25倍くらいは書きたいところです。 そんでいっぱしのレシピが書けて、クックブックが仕上がって、 git push して、そのあといろんなやり方で実際の環境、成果物をつくりますよね。自分の場合 docker のコンテナと IAM と Vagrant BOX にします。 VPS や自前のハードウェアに展開することが全く無いので、実際の論理マシンに直接 Chef を流すことが今はないのです。 なので、作るのは今 packer を gradle で動かして作ってます。 そこまではいいんですが、じゃあそこで例えば Vagrant の Box ができあがったとして、これもう一回、レシピ作った
Chef初心者がChef Solo+Vagrantでレシピを書いていく方法 - Qiita
chef-solo+Vagrantでレシピを書いていくすごい個人的な方法です。 【前提】 Chefレシピ書き初心者 ChefとVagrantはインストール済み vagrant provision or vagrant up --provisionでプロビジョニングする 動作を確認しながらプロビジョニングしたい 自前のレシピを作成する(外部Cookbookは使用しない) フロー knife soloコマンドでChefディレクトリのひな形を作成する saharaでサンドボックス上で作業する Chefのレシピを書く vagrant provision 書いたレシピが正常に働いでいることを確認 間違っていたりしたら、vagrant sandbox rollback 問題なかったら、vagrant sandbox commit 1~5を繰り返す 必要なツール vagrant-omnibusとsaha
AnsibleからVPC立てる
前置き 最近awsやgcpを触っていて、せっかく作った構成を他の人とかにも共有したいなーと思ってました。 Chefも触ったのですがなんとなーく肌に合わず、最近はAnsibleを使っています。 awsだけだとCloudFormationも有るのですがある程度のサイズになってくると、JSONは微妙ですね... CloudFormationをCoffeeScriptやRubyで書く色々なものも有るのですが、 だったら他のモノのクラウドも一貫して触れる物が良かったのでansibleにしています。 今回やること 以下の様なAWS VCP環境をAnsibleで作ります。 Playbookとかとか 構成 ベストプラクティスっぽい環境 VPCとか「ネットワーク構成」ってRoleに入れるのかな?? 区切りはよくわかないですね . ├── ec2-servers #hosts ├── envs/ #環境設定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://bynatures.net/wordpress/3920/