コメントは基礎的で一般的なものでありながら、「どのようなことをコメントに残すか」は経験のあるプログラマにとっても難しいもの。 この記事では、アンチパターンコメントを見ながら、どのようなコメントを残すべきかについて説明します。 by 馬場美由紀 （CodeIQ中の人） コードは機械のために、コメントは人間のために? プログラミング言語を学ぶとき、コメントは最初に習う項目のひとつです。そして、プログラムであればコメントを含んでいることが普通です。ある研究によれば、ソースコードの平均19%がコメントだそうです。 コードを書くとき、私たちは機械とコミュニケーションを取ることを意識しています。機械はコードを認識してコンパイルしたり実行してくれます。解釈できなければ教えてくれます。プログラマは、コンパイラのためにデータ型を明示するコードを書いたりもします。 一方、コメントは人間とコミュニケーションする

Vagrant を利用した Play! Framework 開発環境の作成 Play framework 2.x Scala Advent Calendar 2013 の 9日目の記事です。 チーム開発をしていると、Windows や Mac を使って開発をされていて、環境や細かいソフトウェアの違いによって特定の場所でしか発生しないようなバグや、設定の違いによる動作の差異に苦しくことがあります。 そこで、Vagrant を利用して構築した例を紹介します。 作成したファイルは、github に up しています。 https://github.com/unok/vagrant-playframework Vagrant ってなに? Vagrant とは、主に仮想環境構築や運用操作を便利にしてくれるアプリケーションです。 設定ファイルに沿った形で仮想環境を構築することが可能です。今回は、Vir

ドットインストール代表のライフハックブログ

Vagrant 1.4.0 で追加された Docker provisioner などを試してみたいと思い、勇んでアップデートしてみたところ vagrant up でエラー。 ・ ・ ・ [default] Configuring and enabling network interfaces... The following SSH command responded with a non-zero exit status. Vagrant assumes that this means the command failed! /sbin/ifdown eth1 2> /dev/null Stdout from the command: Stderr from the command: どうも CentOS などの Redhat 系 OS を使っている場合に private_network

pixiv のインフラに serverspec を導入した話

Redis in Action 作者:Carlson, Josiah L.Manning PublicationsAmazon Redis 広告配信やっています@yutakikuchi_です。 Redisの内部処理が1スレッドで受けているようなので、マルチプロセスからRedisに書き込み処理を大量に流した時にどうなるのかを検証してみました。言語はCを、Libraryはhiredisを使います。redis/hiredis hiredisを使って単一プロセスで実行した場合と、Apache Moduleにhiredisを組み込んでマルチプロセスの実行状態で検証します。検証機はCentOS6.4です。 hiredis Redisのinstall、version確認、起動 RedisのVersionは2.4.10です。 $ sudo yum install redis -y $ redis-serv

MongoDB Advent Calendar 2013の10日目の記事です。 2つほどNode.js + MongoDBで作ったサービスを最近リリースする機会があったので、そこで得られた個人的な知見や感想についてつらつら書きまとめようと思います。 前提 今回はアプリ側の開発を担当していて、インフラ周りはインフラチームやMongoDBのプロバイダーに御任せでしたので、そちらの設定などの話はノータッチです。 元々の業務ではMySQLを使っていて、この2つのプロジェクトで初めてMongoDBを勉強しました。 永続化にMongoDBを使う理由 MySQLでなくMongoDBを使う理由はMongoDB自体の利便性などもあげることができるかもしれませんが、個人的には運用面での利点が強いと思っています。（特にサンフランシスコのような人材採用が激しい地域の場合） シャーディングやフェイルオーバーが大規模

国内注目のWebサービスを支える言語・フレームワーク・アーキテクチャ一覧【2013年版】 をもとにナウい感じのサービスなどをまとめた。分類がおかしいかもしれないのん コード管理 ソースコードは Git で管理しているところが増えている Git GitHub GitHub Enterprise: Enterprise 向け Gitlab Gitlab Cloud Gitlab CE: オープンソース Gitlab EE: Enterprise 向け BitBucket Stash: Enterprise 向け codebreak; RhodeCode Gitorious GitPrep GitBucket GitHubクローンまとめ 無料でGitHubのような機能を実現するための候補 | Act as Professional - hiroki.jp 料金 private repositor

Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013 Amazon Elastic MapReduce is one of the largest Hadoop operators in the world. Since its launch four years ago, our customers have launched more than 5.5 million Hadoop clusters. In this talk, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and sh

ビッグデータ活用：その分析実装として注目されるMahout 長年蓄積した企業内データや、ソーシャルネットワークサービス、センサ端末から集められる膨大なデータを活用し、企業における利益向上やコスト削減などに活用する動きが活発になってきました。 データの分析手段として最近とみに注目されている技術として「機械学習」があります。大規模データの処理を得意とする大規模分散処理基盤「Apache Hadoop」の強みを生かし、簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを用いたデータ分析の例として「文書分類」を取り上げます。マシンを用いて分析実行する際の手順や陥りがちなポイント、チューニング方法の一例を紹介します。 Mahoutとは？ MahoutとはApache Software Foundationが公開しているOSSの機械

本日公開された HDFS-4949 のJIRAは、HDFSにインメモリキャッシュ機構を導入しようというものです。 Jiraに添付されているドキュメントより興味深い点を抜粋してみます：Centralized cache management 問題点1：複数ノードでのキャッシュの利用 HDFS上のデータの読み書きの際には、ディスクから読み出されたデータは、Linuxのカーネル内のページキャッシュ（原文ではBuffer cacheとなってます）にキャッシュされます。（これにより毎回ディスクアクセスを避けることが期待できます） しかし、ページキャッシュの情報はカーネルが持っており、ユーザーランドに公開されているわけではありません。つまり、上位のフレームワークの視点から見ると、タスクをどのノードに配置するかのために公開されているわけではないということです。（当たり前ですが、、） その結果、HDFSに

(この記事は、Hadoop Advent Calendar 2013の10日目の記事です) 並列分散処理の解析 HadoopやHBaseのような並列分散環境では、処理が多数のノードをまたがって実行されるために、トレーシングや性能のプロファイリングが難しくなります。各ノードで動作するサーバプロセスのロジックでは、他のノードにRPCで処理を依頼して結果を非同期に待つというパターンが多いため、CPUやネットワークのディスクのI/O帯域といったリソースを使い切る状況にはなりにくく、oprofileのようなプロファイラを利用して測定してみても、ボトルネックの手がかりがなかなか見つかりません。 そのような並列分散処理のトレーシングに利用しているツールとしてGoogleが発表したのがDapperで、例によってそれを参考にして作られたオープンソース実装としてHTraceがあります。HBaseのtrunkに

本文章には，2013年時点での内容が含まれています．2017年04月13日に typo の修正を行いましたが，内容に関しては更新を行っていませんのでご注意ください． この記事は，Hadoop Advent Calendar 2013 の 11日目の記事です．記事を書いている今現在，私は GMT で活動していますので，時間的にはセーフだと思います．また、TPO によらずHiveはかわいいです. 背景 YARN とは YARN は，Yet Another Resource Negotiator の略で， Hadoop v1 の JobTracker が行っていたリソース管理部分を MapReduce 以外にも利用しようと試みたものです．JobTracker は Map Slot/Reduce Slot という単位でリソース管理を行っていましたが，これをコンテナというより汎用的な単位でリソースを

(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo

pixivのインフラを支える技術2013 at Python Developers Festa 2013.11

みんなでやるRiak Advent Calendar ８日目。 一週間で基本操作を終えたので、どんどん進もう！ 今回は初の応用編。 大人気のFluentd連携だ。 今回やりたいこと 一台の開発環境で、apacheのアクセスログをriakに入れる。 つまりこれを試したい。 RubyとFluentdとfluent-plugin-riakのインストール ちなみに今までずっと書き忘れていたが、CentOS 6.4。 [vagrant@localhost ~]$ wget http://www.dnsbalance.ring.gr.jp/archives/lang/ruby/2.0/ruby-2.0.0-p353.tar.gz [vagrant@localhost ~]$ tar zxvf ruby-2.0.0-p353.tar.gz [vagrant@localhost ~]$ cd ruby-2

Fluentd / td-agentのリリースマネージャをしているrepeatedlyです．Fluentd Advent Calendarの8日目の記事になります． 色々とネタはあるのですが，なんかまとめっぽい記事の方が話題になると聞いたので，それっぽいネタで行くことにしました．2日目に「Fluentd 2013年開発・状況まとめ / 2014年に向けて」という開発体制的な話が出たので，この記事ではこの1年でFluentdに入った機能をいくつか紹介することにします． MLには毎度投げているのですが，全部の変更を追うのは難しいとは思うので，バージョンアップの目安にしてもらえればと思います． 各機能の後の()は利用可能になったバージョンです． Fluentd本体 --dry-runオプション (0.10.36) 他のサーバなどにあるconfigtestをするためのオプションです．--dry-r

複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記

Fluentd Advent Calendar 9日目。担当の古橋です。 Fluentd v11の情報は Fluentd Casual Talks #3 at :D でお話しすることにして、今回はFluentdの大幅な性能向上を可能にするMultiprocessプラグインを紹介…しようと思っていたら@niku4i さんに先を越されてしまったので！今回はSQL inputプラグインを紹介します。 SQL inputプラグインとは？ SQL inputプラグインは、SELECT文を定期的に実行することで、RDBMSから最近更新されたレコードや最近追加されたレコードを定期的に取り出してFluentdに流すことができるプラグインです。内部では"前回読み出したレコード"を記憶しており、前回読み出したタイミングより後になって更新/追加されたレコードを定期的に読み出します。 SQL input plug

MobFoxの事例： 14日間で月間600億件のインプレッションを裁く 約200台のPHPアプリサーバを管理、PHPから排出されるログ管理システムを作っていたが、非常に運用が大変な状態に。 TDagentをデータセンターにインストール、2行書き換えるだけでTreasure Dataにアップするように対応可能。 溜まったデータを1時間毎にサマライズしてMySQLに送るように。それらを用いてダッシュボードに情報表示 データをアノニマイズして利用、重要な情報のみローカルで管理。 Vikiの事例： Korean Drama, Taiwanese Drama, Anime and Telenovelas free online with subtitles. - Viki Viki;最近楽天に買収された、オンラインビデオサービス。 データ解析用にHadppを持っていたが、どうやってデータを集めていい

こんにちは。Fluentd Advent Calendar 11日目担当の @komamitsu です。ワイワイ。 Fluentd Advent Calendarにノリで登録したもののfluentd本体やプラグインに余り関わっていないので途方に暮れていましたが、fluent/fluent-logger-java のメンテナンスをしていることもあり、fluent-logger周りのことを書いてやりすごしたいと思います。 fluent-logger-javaの一年 地味な見出しですね。自分でも書いてみて素でちょっと引きましたが、とりあえずfluent-logger-javaに関連した出来事などを... fluent/fluent-logger-java/commits いくつか細かいバグの修正や改善を入れていますが、その中でもTCP切断後の再接続処理やタイムアウトの問題が改善されているので、地

readme.md ワイワイ！これはFluentd Advent Calendar 12日目の記事です。 私は現在、VOYAGE GROUPの子会社であるZucksというところで、Zucks Adnetworkという広告配信サービスを作っています。で、その中でFluentdが活躍しているよーという話をしてみます。事例紹介ってやつです。 置かれた状況 Zucks Adnetworkは、いわゆる広告配信サービスです。 広告配信サービスは配信した結果を何らかの形で集約して、よーするにお金がどうチャリンチャリンしてるかを確かめる必要があるわけです。その一つのやり方として、「配信結果を1件ずつ行分割したテキストファイルの出力しておいて、そいつをいい感じにまとめて、数え上げる」みたいな方式があって、つまるところ、私たちはそうやってます。 よくある課題と解決策 集約されるサーバに負荷が集中する 一次的な

Google のウェブログ公開ツールを使って、テキスト、写真、動画を共有できます。

はじめに Fluentd Casual Talks #3 に行ってきた！ 初めてのヒカリエ、DeNA！ 勉強会を取り仕切って頂いた @tagomoris さん、会場を提供して頂いた DeNA さん、@sonots さん、運営スタッフの皆さん、ありがとうございましたー！ ステッカー有難う御座いました！ 登壇された方、参加された方の記事 Fluentd Casual Talks #3 で Shadow Server on Fluentd の話をしてきた Fluentd Casual Talks #3 で話してきました Fluentd Casual Talks #3でLT＆Fluentd Advent Calendar 2013で記事書きしていました fluentd casual のメモ書きました Fluentd Casual Talks #3いってきた Fluentd Casual Talks

この記事は 「Elasticsearch Advent Calendar 2013」 の 4 日目の記事です、とかしたかったけど Elasticsearch の Advent Calendar はなさそうなので普通に投稿します。 Elasticsearch でクエリを投げるときにお世話になる Query DSL。 とりあえず match クエリ ぐらいは見様見真似で書けていましたが、基本的な構造をちゃんと理解していなかったので調べてみました。 Query DSL って何? クエリとフィルタって何が違うのか? というような基礎的な話を公式ガイドを見ながらまとめました。 英語の理解が怪しかったりするので変なところは公式ガイドの方を見てください。 参照先ドキュメントの Elasticsearch のバージョン Elasticsearch 0.90 のドキュメントを参照してこの記事を書きました。

GoのGenericsを使った効率的なキャッシュの実装 / Effective Generic Cache in Golang

2013年12月04日16:03 JavaScript Elasticsearchのデータを簡単にimport/exportする 最近、Kibana と Elasticsearch と Fluentd の組み合わせでログを可視化するの見かけたので僕も試してみました。とても簡単に可視化できて素晴らしいですね〜 :D ただ、開発環境で Elasticsearch のデータを作るのはメンドクサイです。うーん、何か良い方法は無いものかと探していたら、elasticsearch-knapsack (ナップサック!!!1) という Elasticsearch のデータを import/export してくれる gem を見つけました。これは便利そう！！ これを使って、本番環境のデータをちょろっと手元にコピーしてみました。 まずエクスポートから。github で書かれている通り、エクスポートさせたいサー

はじめに 書きかけです fluent-plugin-twitter を試してみた 当初は fluent-plugin-twitter が gem のコンフリクトで正常に動作しなかったが @y-ken さんにご対応頂いて動作するようになったのでテンション上がってブログにしてみた @y-ken さん、有難う御座いました！ 設定 elasticsearch や kibana 等はさくっとセットアップ。td-agent の設定だけ以下に記載。 <source> type twitter consumer_key xxxxxxxx consumer_secret yyyyyyyy oauth_token zzzzzzzz oauth_token_secret pppppppp tag input.twitter.sampling timeline userstream lang ja,en outp

ワイワイ！ この投稿は Fluentd Advent Calendar 2013 の7日目の記事です。 前日 10ヶ月ほど前、私が @tagomoris 氏のブログをコピペしながら人生初 rubygem として fluent-plugin-tail-asis を書いた時、 http://fluentd.org/plugin/ の plugin はまだ2桁だったんじゃないかと思うのですが、今覗いてみるとなんと 209 です。もう全部を調べるわけにはいかない量です。Fluentd プラグインは簡単に書けることから調べるの面倒だから自分で書いちゃえってなりがちな気もします。実際、私も他では利用価値の無さそうな plugin はちょろっと書いて /etc/td-agent/plugin/ に放り込むだけだったりします。private な Git リポジトリには入っていますけども。 そこで、今回はよ

こんにちは、もっと多くのJava技術者がCamelで楽できるはずと信じているツカノ(@snuffkin)です。 よくJavaで書くと冗長だと言われます。確かにそうだし、欠点もいろいろありますが、誇れる点も多くあります。そのひとつが、発達したJavaのエコシステムです。Javaで書かれたOSSは非常に多く、GitHub上に登録されている言語で最も多いのはJavaです。 自分に必要なOSSを使いこなせれば、実はそんなに書かなくて良いことが多いはずです。そのサポートを行ってくれるのがCamelです。 ちなみに、今回はJava Advent Calendar 2013の10日目の投稿でもあります。9日目は櫻庭さんによる、以下の投稿でした。 Java in the Box Annex: Java Advent Calendar 9 日目 - Stream のパラレル処理 11日目は高橋徹さんによる、

Tomcatで動かすJavaアプリをテストする環境が作りたくて、Dockerfileのサンプルを作ってみた。 # # VERSION 0.0.1 # FROM ubuntu:12.10 MAINTAINER horimislime "horimislime@gmail.com" # Setup RUN apt-get install -y software-properties-common debconf-utils RUN add-apt-repository -y ppa:webupd8team/java RUN apt-get update # Java7 RUN echo "oracle-java7-installer shared/accepted-oracle-license-v1-1 boolean true" | debconf-set-selections ENV DE

naoya さんのポータブルな Web アプリケーションを受けて最近思ってることをば。140 文字で時々書いてるんだけど、まとまりがないので一回まとめておきます。 12-factor app ステートフルなアプリケーションについては、Heroku の人が提唱してる 12-factor app というのが現在の状況をよく表してます。 The Twelve-Factor App The Twelve-Factor App（日本語訳） Heroku や他の PaaS によってもたらされたこうした一種の”制約”によって、アプリケーションの新しいカタチが生まれてきています。引き算によって新しい価値が生まれてきているわけですね。 とはいえ、PaaS は PaaS でそれぞれに独自の仕様を持っているわけですが、Heroku の buildpack という仕組みを使って、Heroku とインタフェース仕様

最近Dockerをちょっと触っていて、とりあえずDockerでコンテナを立ててsshでつなぐということをやってみた。 Dockerを入れる macだとDockerが入っているvagrant環境があるのでそれを落としてくる。 http://docs.docker.io/en/latest/installation/vagrant/ $ git clone https://github.com/dotcloud/docker.git $ cd docker $ vagrant upこれでDockerが動くvagrant環境が出来た。今後の作業はこのvagrantにsshした状態で行う。 $ vagrant ssh sshdが起動したコンテナにつなぐ http://docs.docker.io/en/latest/examples/running_ssh_service/ この辺を参考に。 まず

最近よく名前を聞くようになったDockerを触ってみた。 Docker は LXC と AUFS を使ったコンテナ型の仮想化ソフトウェア。 PaaS の dotCloud が自社で使っている技術をオープンソースとして今年の夏にリリースしている。 (dotCloud は docker inc. に社名変更してる) ちょっと前に @sowawa がFacebookで書いていたのを見て意識しはじめて、昨日の id:shiba_yu36 のエントリの流れをみていて、やってみようと触ってたら朝になっていて、仕事進んでないし Ruby Advent Calendar のネタもみつかってなかった。くやしいので調べた情報をメモしておく。 調べてみる Dockerで立てたコンテナにsshで接続する - $shibayu36->blog; 最初に読んだ。このときにはまだあまりどんなものか理解できていない。 コ

最近Serfというツールも気になっていたので、とりあえずクラスタを組んでイベントハンドラの設定をしてみるところまでやってみました。 Serfとは http://www.serfdom.io/ https://github.com/hashicorp/serf Serf is a decentralized solution for service discovery and orchestration that is lightweight, highly available, and fault tolerant. Orchestrationという層を支援する軽いツールみたいですね。これをうまく使うことで、クラスタにjoinしたweb serverを自動的に配下に加えるHAProxyとかを実装したり出来ます。参考: Serf+HAProxyで作るAutomatic Load Balanc

After Apple loosened its App Store guidelines to permit game emulators, the retro game emulator Delta — an app 10 years in the making — hit the top of the…

Fluentd Advent Calendar 2013に登録したものの、そういえば 1 年位全く fluentd に触ってなかったので、リハビリも兼ねて最近バージョンアップで導入された Vagrant の Docker provisioner を使って、ES+Kibana に流すとこまでを作ってみた。実用性には乏しい。 riywo/vagrant-docker-td-es-kibana-sample 以下解説。 Vagrantfile localhost から port forwarding で box の同じポートに接続させてる。さらに box の中で Docker が走っていて、Docker provisoner でコンテナを起動する時に、port redirect させているので、クライアントからダイレクトにコンテナと会話ができるようになっている。 ES と Kibana はarc

chefでサーバーの構築をプログラマブルにやるっていうのはもうだいぶ昔から定番になってきています。 今回は特にMySQL 5.6のインストールをchefで行う場合のケースについて書いていきます。 MySQL5.6はインストールがなかなかめんどくさく、chefを使わなくても結構大変です。 だがしかし、度重なる試行錯誤の末、ついにMySQL5.6をchefでインストールする決定版が出来たため、公開しようと思います! ただし、今回はEC2 + RDS等、webサーバーとDBサーバーを分けて、かつEC2(webサーバー)のみにMySQL5.6をインストールする場合のことを書いていきます。 ちなみにserverはCentOSを想定していますのでubuntuの方はすみません そもそもchefとは MySQL5.6を単純にインストールする場合 MySQL5.6をchefでインストールする まとめ そもそ

docker_cheat.md Docker 虎の巻 Fork from Docker cheat sheet 実際にコマンドを試したい場合は、すぐにDockerを試したい人のための基礎コマンドを参照 何故Dockerを使うべきか Why Should I Care (For Developers) "Dockerが面白いのはシンプルな環境に隔離性と再現性をもたらしてくれることだ．ランタイムの環境を一度作れば、パッケージにして別のマシンでも再利用することできる．さらに，すべてはホスト内の隔離された環境で行われる（VMのように）．最も素晴らしい点は，シンプルかつ高速であることだ．" Dockerで使われている技術 仮想環境構築に docker を使う LXC "Xen とか VirtualBOX みたいにホスト内に仮想マシンを立ち上げるんじゃなくて、ホスト内の隔離された環境で仮想マシンを動か

インフラ系技術の流れ - Gosuke Miyashita 今さら聞けない Immutable Infrastructure - 昼メシ物語 2014年のウェブシステムアーキテクチャ - stanaka's blog http://rebuild.fm/25/ この辺りを読んだ。自分の中ではImmutable Infrastructureについてはここ一週間で調べただけであり、解説などは出来ないが、とりあえず自分用のメモとして自分の思ったことなどを書いていく。 コンテナベースのデプロイ Dockerなどが出てきたことにより、Dockerのイメージをそのままアップロードし、それを本番でも動かすということが出来そうというのが面白かった*1。こういう風なフローになるとすると、これまでのデプロイ手順とは全く違うようになりそう。 これまでのデプロイと、コンテナベースのデプロイ これまでのデプロイは

2013-12-12 単純な環境構築を知る -Chefでiptables書き換え- Chef インフラ Chefの使い方は今までの記事でなんとなく使えるようになった気がするので、今回は実際に使えそうな環境構築をやってみたいと思う。やりたいことは apacheインストール iptablesを書き換える 公開 という感じだ。 apacheインストール まずapacheを入れたい。 本来はaliasだとか設定しなきゃいけないものはいろいろあると思うが、今回は単純にインストールして設定はデフォルトのままで。 となるとrecipeは簡単。 package "httpd" do action :install end service "httpd" do supports :status => true, :restart => true, :reload => true action [ :e

開発環境は難しい 最適な開発環境をつくるのっていつも難しいなーと思います。サーバ側に入って開発する人もいれば、クライアント側のIDEあげてる人もいるわけで人それぞれです。 その人に特化した開発環境をつくるだけであればそこまで難しい話ではありませんが、チームでの開発となるとそのあたりをうまく解消するのがだんだん難しくなってきます。また、新しくサブドメインが増えたりなど開発環境も常にアップデートし続ける必要があります。 このあたりを、サーバエンジニアが手動でやってると死にます。悪しきDev/Opsの対立関係がうまれてしまうので、なんとかしないといけない。 というわけで、オフィス移転をきっかけに開発環境を作りなおしてみました。以下の3点からさくらVPSを選びました。 コストを抑えたい 最近さくらVPSに東京リージョンができた ローカルネットワーク接続できるようになった 新規開発環境をつくる上での

Advent Calendar 2013：AWS CloudFormation Big Bang Template Summary

はじめに クリスマスの季節になりました。 AdventCalendarも3日目です。 S3の話をかくつもりでしたが、一年間いい子にしていたおかげで、一足早くKinesisというおもちゃが届きました。 今日はAmazon Kinesisについて書きたいと思います。 まだDocumentを読んだり、Sampleを動かそうとしている程度ですが、現時点でわかったことを書いてみます。 Amazon Kinesisって？？？ まだAmazon Kinesisに慣れた人もすごく少ないと思いますので、まずはKinesisの概念的なものから紹介です。 まずはStreamに対してデータをどんどん入れていきます。 それを1個以上のKinesisApplicationで取り出し処理をします。KinesisのStreamと言うのは一旦データを受け付けてくれるバッファのような役割をしてくれているようです。 Strea

こんにちはこんばんは、テクニカルグループの山田です。 今回はソフトウェアルーターであるVyattaを使ってVPCを拠点間接続し、それぞれのVPCにあるPrivateSubnet内のインスタンス同士で通信するまでの手順をご紹介します。 ※Vyattaについては下記を参照ください。 http://ja.wikipedia.org/wiki/Vyatta 構成図 VPCを2つ作成(192.168.100.0/24、192.168.200.0/24)それぞれのVPCのPublicSubnetにVyattaインスタンスを作成VyattaインスタンスにEIPを付与するVyattaと違うSubnet(PrivateSubnet)に疎通確認用のインスタンスを作成疎通確認用インスタンス同士で通信できればゴール Vyattaインスタンスの構築 Vyattaのインスタンスは、東京リージョンにある Vyatta

AWS 初心者向けWebinar Amazon Web Services料金の見積り方法 -料金計算の考え方・見積り方法・お支払方法-

capistranoを利用してEC2のオートスケールインスタンスにデプロイします。 「正常」な本番化のためにはオートスケールで起動したインスタンス内のソースコードも最新の状態に保つ必要がありますが、AMIを都度作りなおすのは面倒です。 ここでは自動起動するインスタンス側にもcapistranoを仕込んで起動時にソースコードをリリース用のブランチから自動で取得するように設定します。 capistranoはバージョン3が出ていますがバージョン2を使います。 前提 VPC内でオートスケール インスタンスのタグ名は統一。 [プロジェクト名]-[ロール名]-[識別子] ポイント AMIにローカルデプロイ用capファイルを仕込んで起動時に本番ソースコードを取得する デプロイ用サーバから指定のタグ名を持つオートスケールインスタンスを自動取得してデプロイできる PHPやperlならこれだけでほぼクリアでき

この記事では、Apache HTTP Server で稼働している Web サーバへ Fluentd (td-agent) を導入し、Treasure Data でアクセスログを収集し、R で収集したデータのアクセスログ解析を行うまでの手順を解説します。 Treasure Data (トレジャーデータ) とは Treasure Data は Cloud 型 DWH (Data Warehouse) サービスの一つで、Cloud 上で SaaSとしてビッグデータの格納、処理を利用できるサービスです。 （Treasure Data 社では BigData-as-a-Service と呼んでいます） 同様のサービスでは、Amazon Web Services の Amazon Redshift や Elastic MapReduce 等がありますが、Treasure Data の特長で、バッチで

JAWS http://www.zusaar.com/event/1109003 AWSがコスト削減だけじゃなくて あんな事やこんな事も出来過ぎて生きるのが辛いRead less

サーバーワークスという会社はもともとWeb系のSIerでしたが、2009年からAWS専業のクラウドインテグレーター（CIer）に転換し業績を伸ばしています。 なぜサーバーワークスがAWSにコミットするようになったのか、その結果何が起きたのか、これからどこに向かうのか、私たちのストーリーをシェアすることで、みなさんがクラウドでビジネスを立ち上げるための材料になれば幸いです！ AWSに関するお問い合わせ：https://www.serverworks.co.jp/contact/ サーバーワークスエンジニアブログ：http://blog.serverworks.co.jp/tech/Read less

データサイエンティストサミット：プログラム 『ビッグデータ』と共に昨今業界を賑わせているフレーズとして『データサイエンティスト』というものがあります。用語の意味や解説などは下記リンクなどを参考頂くとして、世間の見方としては様々ある模様です。AWS等クラウド全盛の昨今、ビッグデータ及びデータサイエンティストと呼ばれる役割や要素がその重要さを増しているのはまず間違いないと言って良いでしょう。 データサイエンス - Wikipedia 一般社団法人 データサイエンティスト協会 脚光浴びるデータ・サイエンティストってどんな人？ : 日経BizGate 「ITエンジニアのためのデータサイエンティスト養成講座」最新記事一覧 - ITmedia Keywords 「あいつ・・・なにやってるの？」データサイエンティストを殺す4つの環境 - dataminer.me 今世紀最も熱い職業「データサイエンティス

遅くなりましたが、11/29に行われた「JAWS-UG Osaka 特別編 re:Invent 2013 報告会」の出席レポートです。他の参加者や登壇者の金春さんも書いておられるので、一番興味があったWorkSpacesの部分だけまとめます。参加レポートと私の感想が入り混じっていますので、ご注意ください。 Amazon WorkSpacesのサービス概要 Amazon WorkSpacesは、AWSのリソースを使ったVDIサービスです。サーバ側のみならず、クラウドを利用してクライアント側の問題を解決するということで、Amazonとしても力を入れようとしているサービスの１つのようです。その証拠に、Amazonの矢印付きのロゴをサービスロゴに入れているとのことです。一方で、Amazonの日本側としては、困った問題があるようです。サービス名がWorkSpacesと複数名表記なので、日本語の表記を

渡辺です。 『アドベントカレンダー2013：AWS CloudFormationビッグバンテンプレート』の9日目のエントリーになります。今日はJenkinsサーバをAWSに構築するためのテンプレートです。昨日はくろの（福田）さんの超高速でチャットサーバーを起動！ ngIRCd編でした。 Jenkinsとは？ Jenkinsは継続的インテグレーション(CI)のためのデファクトスタンダードとなっているアプリケーションです。JavaのWebアプリケーションとして実装されていますが、単体でダウンロードして簡単に使うことができます。また、RedHat系のLinuxであれば、jenkinsのリポジトリをyumに追加して簡単にインストールすることができます。このように、手軽に導入できるのが指示されている理由のひとつでしょう。 しかし、AWS上で利用する場合、アクセス制御について考慮しなくてはなりません。

以前、EBSの内部構造を調べていて「結構知らないAmazon EBSの細かい話。主にEBSのネットワークの構造について」という記事を書きました。そこでEBSの性能はネットワークの帯域で制約される旨を書きました。すると、@namikawaさんに次のような指摘を頂きました。 このsh2さんのブログにも書いてあるけど、QEMUなりcgroupのレイヤでの制限に近いやり方なのかなぁと思っています。ただの想像ではありますが。d.hatena.ne.jp/sh2/20121217 確かにネットワークが性能の制約にはなりうるけど、ネットワークだけではProvisioned IOPSのようなIOPS単位での性能の制御は出来ないなぁと疑問に思っていました。気になったので、EBS絡みの性能測定や考察・Tipsを読んでみましたが、まだまだ解らない所だらけです。それでも、今回得た情報を元にProvisioned

あけりです。 『アドベントカレンダー2013：AWS CloudFormationビッグバンテンプレート』の10日目のエントリーになります。今日はElasticSearchをElasticに構築するためのテンプレートです。昨日は渡辺さんのAWSで継続的インテグレーション 〜 Jenkins編でした。 ElasticSearchとは？ ElasticSesarchとはオープンソースの全文検索エンジンです。似たようなものにApache Solrがありますが、最近は設定の簡単さや、スケーラビリティからElasticSearchの人気が高まってきているようです。 (噂によるとElasticSearchがなければCloudSearchはElasticSearchという名前だったのではないかと言われています) オススメする構成 そうとうリッチな構成です。 ELBがあります。 こいつはport 80で受

20131210 CM re:Growth - Infrastructure as Code から Full Reproducible Infrastructure へ

Developers.IO MeetUp 01 Massive Messaging Platform Deployment in a Week.

ついにAWSの管理コンソールからAutoScalingが管理可能になりました。 早速触ってみます。 EC2のコンソールの左ペインの最下部にAutoScaling（以下AS）の項目が追加されています。 選択してみると、左側に概要が表示されるので、「Create Auto Scaling Group」をクリックします。 Launch Configuration の作成 既存のLaunchConfiguration（以下LC）を使うか、新規にLCを作るかを聞かれるので、今回は新規LCを選びます。 すると、LC作成ウィザードに切り替わり、インスタンスの起動にまつわる設定が始まります。 AMI インスタンスタイプ 詳細設定 ここで、LC名を入力します。 それ以外はインスタンス起動の詳細設定と同じです。 ストレージ セキュリティグループ 確認画面 キーの選択 ここでLCで設定する鍵を選択して「Crea

HA NATのデモを起動 実装 Serfの設定ファイルは/etc/serf.confとしました。わずか5行です！(jsonなので１行でもかけますw) { "role" : "nat-i-6de81d6a", "event_handlers" : [ "member-failed,member-leave=/opt/serf/ha-nat.sh >> /var/log/serf-event.log 2>&1" ] } member-failed, member-leaveが発生した際に、Route Tableを書き換えるシェルスクリプト/opt/serf/ha-nat.shが実行されるという仕組みです。member-failedが発生した時には、そのインスタンスのロールが標準入力から渡ってくるので、それを利用してスクリプトを実行します。 シェルスクリプトの内容は以下の通りです。冒頭のインスタ

AWSのRoute53のフェイルオーバー機能とS3を使って、バックアップサイトを作ってみました。月額１００円ぐらいで（たぶんw） 普段はこんな感じ。 で、なんらかの理由で、ボ◯ビー（障害）が発生 ボ◯ビーが発生している間は、アクセスをバックアップサイトへ流す で、ボ◯ビーがいなくなったら 元に戻る と、ここまで、なにもしなくても全自動！ 安心してお酒が呑めますね。 バックアップサイトと聞いたら、そんな大げさな〜 そんな年に１回もあるかないか分からないような機会にそなえるのは、面倒だ！と思うけど、大幅にアップデートするときのメンテナンス表示や、リリース時の思わぬ事故の保険と考えればイイカモ！サービスを止めずに大きなアップデートをかけるときは心臓に悪いしね。 コストもかなり安いし。 月額１００円も掛からないと思います。詳しくは調べてないけどw まだ、AWSを導入していない場合でも ってな感

初心者向けにMongoDBの基本を解説しています。 この資料は2014/3/1のOSC 2014 Tokyo/Springで発表しました 。 2015/3/3最新の情報で一部アップデートしました。 2015/7/15MongoDB ver3.0ようにちょっと修正しました。

サーバークスCEOブログ　大石蔵人之助の「雲をつかむような話」は、 「はてなブログ」へ移行致しました。 旧ブログ記事のURLからお越しの皆様は自動で新ブログへ転送されます。 転送されない場合、恐れ入りますが下記URLから移動をお願い致します。 新URL：https://ceo.serverworks.co.jp/ 引き続き、大石蔵人之助の「雲をつかむような話」を宜しくお願いいたします。

師匠様方が走り回りまくる今日この頃、皆様いかがお過ごしでしょうか。しんやです。 弊社AWSコンサルチームでは、AWSでの環境構築を『AWS CloudFormation単独(パッケージのインストール等もCloudFormationで兼ねる)』、若しくは『AWS CloudFormation+Knife Solo』という組み合わせで行うのが主流となっています。当エントリでは後者の方、『AWS CloudFormation+Knife Solo』で環境構築を行う際の『knife solo』に於ける環境構築手順について、意外と初見では踏むべき手順が多く、躓く点も多かった(と個人的には思っている)ので備忘録も兼ねてエントリとしてまとめておこうと思います。 スタート地点 Gitインストール rbenvインストール ruby-buildインストール Rubyインストール by rbenv knife-

こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、 ストリームデータ処理に対するニーズの高まりを感じますね。 （Amazon Kinesis は、Stormとも連携できるようになっているようです）。 さて、先日、Storm 0.9.0 が正式リリースされたり、Apache Kafka 0.8.0 が正式リリースされたりしたので、 それらを連携して、ストリームデータの可視化を行うプロトタイプを作ってみました。 1. はじめに まず、「ストリームデータ」とは、連続的に発生し続けるデータのことを指します。 システムが出力するログやセンサーが発生するデータ、SNSなどで常時発生するメッセージなどが該当します。 今回は、Apacheが出力するログを、ストリームデータとして収集・可視化することを行ってみます。 1-1.やりたい

よく訓練されたアップル信者、都元です。アドベントカレンダー2013「AWS CloudFormationビッグバンテンプレート」、本日は13日目です。ああ、今日って13日の金曜日なんすねー。 さてさて、昨日はしんやさんのOpenPNE編でした。 GitHubクローン GitHubが流行ってしばらく経ち、世の中にはOSSのGitHubクローンがうまれました。その中でもGitLabは有名ですね。しかし本日はGitLabではなく、Scalaで書かれたGitHubクローン「GitBucket」をAWS環境に一発構築してみましょう。 ちなみに、GitBucketの作者様は@takezoenさんという方です。日本製です。また、私の好きなデータアクセスフレームワーク「Mirage SQL」も@takezoenさん作です。私がエンジニアの道に引き込まれたのも@takezoenさんの書いた本が一因だと思いま

おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO

クラスメソッド社イベント"Developers.IO 2019 Tokyo"実施セッション https://dev.classmethod.jp/news/developers-io-2019-tokyo/ AWSが提供するサービスは多岐に渡ります。AWS上にデータ分析基盤を構築する場合、どのAWSサービスを組み合わせるか、沢山の選択肢があります。どのAWSサービスがどういう要件に適しているか、弊社で担当した多くの案件を元にお伝えします。

これはFluentd Advent Calendar 14日目の記事です。 私は現在、VOYAGE GROUPの子会社であるadingoで、DMP cosmiの開発をしています。今日はcosmiでのfluentd利用の話をしようと思います。 DMPについて 過去に勉強会でアドテクまわり及びDMPについて話したのでそれを貼っておきます。ざっというと、いい感じにいろんなログを受けいられるようにして、それらをモニタリングしながら整理して使えるようにする、という役割をもったプロダクトです。 Head First Ad Technology and DMP http://www.slideshare.net/suzuken/head-first-ad-technology-and-dmp どこで使っているか ほぼ全てです。構成としては ログ収集サーバ | | out-forward (roundro

JAWS-UG Advent Calendar 2013の13日目です。ついでに独りでAdvent Calendarに挑戦中です。 AWSの費用を抑えるコツは、使っていないインスタンスをこま目に停止することです。例えば開発機として利用しているのであれば、出社した時に起動して退社時に停止するのが理想です。しかし、わざわざマネージメントコンソールにログインするの面倒くさいですね。私だったら、3日で手運用していることを忘れてしまいます。そんなモノグサちゃんでもちゃんと節約する方法を伝授します。Twitterによる起動停止です。 Twitterによるインスタンスの起動と停止 指定したユーザの特定の単語に反応して起動と停止するスクリプト例です。 起動・停止するインスタンスは、EC2のUserというタグ名でTwitterのユーザ名を設定しているインスタンスです。タグ指定なので、複数台でも起動出来ます。

CDP Advent Calendar 2013 の13日目です。クラウドデザインパターンというよりNetworkACLの機能そのままなのですが、AWSでBlackList型のFirewallを実現する方法についての情報が少ないので書いてみました。名前を付けるとしたら、そのまま「BlackList Firewallパターン」です。 1 解決したい課題 AWSのセキュリティグループによるアクセス制御は、ホワイトリスト方式のFirewallである。しかし、特定IPからの攻撃を検知した場合は、そのIPアドレスからの通信をブラックリスト方式によるFirewall機能で遮断したい。残念ながらセキュリティグループでは、特定IPからのアクセスは出来ない。 2 クラウドでの解決/パターンの説明 VPCのネットワークACLを利用すれば、ブラックリスト方式のFirewallを実装出来る。そこで、インターネット

CDP Advent Calendar 2013 の14日目です。主に動的なWeb/アプリケーションサーバの話ですが、AutoScaling時や障害発生時に影響なく処理を継続するにはセッションの保持方法に一工夫必要です。またログなどもローカルに保存すると後々面倒くさいです。その辺りを解決するには、サーバの状態（セッション・ログ・etc）を外出しするのが一番です。名前を付けるとしたら、「Stateless Serverパターン」です。昨今のImmutable Infrastructureの概念にも影響を受けています。 1 解決したい課題 AutoScalingを利用すると、負荷の増減に応じてサーバの増減が出来る。しかし、動的サーバの場合はセッションサーバを個々のサーバに保持していると、サーバが増減して別のサーバに振り分けられた場合セッション維持が出来ずに問題が生じる。また負荷が下がってサーバ

ちょっとずつ複雑なことをやっていっているのですが、正直まだ自分で作っていくイメージがついていません。 加速と減速＝イージングタイムラインパネルのフレーム数がでてるとこの下のスライダーでワークエリアの幅を操作できるグラフエディターというのが存在する。値グラフと速度グラフ。グラフを編集するときに触るのはハンドルだけイージングの速度が早くてコマが見える時はモーションブラーをかける(13:40)モーションブラーは色々ごまかせてしまうので最後につけたほうがいい。処理が重いから最初のほうでつけるとプレビューのときにしんどいとかもある（ただプレビューのときだけオフにするとかもできる）

Backlog の Amazon EKS クラスターを Blue-Green アップデートするためにやっていること Backlog の Amazon EKS クラスターを Blue-Green アップデートするためにやっていること backlog 2023年最も素晴らしいプロジェクトを表彰！Good Project Awardを開催しました 2023年最も素晴らしいプロジェクトを表彰！Good Project Awardを開催しました backlog Backlog開発者が夫婦の不和をなくす家庭管理アプリを作ってみた話 Backlog開発者が夫婦の不和をなくす家庭管理アプリを作ってみた話 backlog 創業からもうすぐ80年の老舗企業！ミートボールでおなじみの石井食品様で、プロジェクトテーマパークを用いた研修を実施しました 創業からもうすぐ80年の老舗企業！ミートボールでおなじみの石井食

Orchestrationやっぱりよく分かってなくて、色々話聞いてた。まだまだ分かってないけど、今のところをまとめるので、ここは違うとか指摘してください。 http://iiirc.org/snippets/321 Orchestrationに二つの意味が混ざっている？ という話になった。一つはmizzyさんも言っていたインフラの動的な部分という意味で、一つはnaoyaさんやstanakaさんが言っていたサーバ同士がうまくコミュニケーションしあって統制するという意味っぽい。 それぞれの役割やツールへの対応としては インフラの動的な部分 あるサーバの状態に合わせて、実行する内容を動的に変える capistrano, fabric, MCollectiveなどが該当 サーバ同士が相互的にコミュニケーションして統制する serfなどが該当 インフラの動的な部分としてのOrchestration

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

id:catatsuyが石狩DCでLTしていたように、 弊社のセットアップスクリプトもserverspecで管理されるようになった。 これによりセットアップスクリプトもテスト駆動になり、JenkinsによるCIでテストされるようになった。 手でセットアップしてみないと合ってるかどうかわからない時代は終わりを告げた。 そして世の中はImmutable Infrastructureに向かい始めている。 これは仮想化技術により、サーバをつくったり壊したりが簡単になったので、 冪等性とか考えずに新しいサーバをつくってバシッと切り替えれば、変に悩まなくてもすむよね、 ということだと理解している。 弊社はオンプレだけど、サーバのセットアップってのは毎日のようにやっていて、 セットアップしては壊してを繰り返している。 で、話は戻るのだけど、serverspecとかconfigspec、chef、ansi

1) 残念タイトル 2) @smagchとは。在宅で働いてるフリーランスのプログラマ。ほぼ開発を生業。メインでJavaScript（もともとActionScript, Java)少しPHPもする。今春、旭川の勉強会でComposerについて発表（http://www.slideshare.net/shimaguchi/compose )。以上より、VagrantやDockerに関して理解が深くはない。ほとんどない。このスライド、たぶんバグ満載。あらかじめ、ごめんなさいをしておいて、ハードルを下げる。というか、発表まで時間があったし、実務でも使っているので物凄いテクニカルな発表ができるという見込みをしていましたが、物臭な性格がボトルネックになるということを見込みを入れていなかったことが災いしましたぁ。 3) Vagrant。ローカルにVM立ち上げて、同じ環境で開発しようよ！って感じ？（たぶん