Provisioning Frameworks Casual Talks vol.1ChefとかPuppetとかの勉強会です 次回があるかはわかりませんが、今回はChef成分多めになっております Twitterハッシュタグ #pfcasual IRCチャンネル #chef-casual@freenode
Hypertext Transfer Protocol version 2.0 (draft-ietf-httpbis-http2-06) 日本語訳
この文書は「Hypertext Transfer Protocol version 2.0 (draft-ietf-httpbis-http2-06)」の日本語訳です。 原文の最新版 は、この日本語訳が参照した版から更新されている可能性があります。 原文はドラフト版であり、HTTP 2.0 は現在策定中の仕様であることに十分注意してください。 この日本語訳は参考情報であり、正式な文書ではないことにも注意してください。また、翻訳において生じた誤りが含まれる可能性があるため、必ず原文もあわせて参照することを推奨します。 公開日: 2013-08-26 更新日: 2013-09-23 翻訳者: Moto Ishizawa <[email protected]> 翻訳協力: Shigeki Ohtsu 概要 この仕様書は、最適化された Hypertext Transfer Protocol (HT
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
Docker (土曜日に podcast します) - naoyaのはてなダイアリー
Docker をいじって遊んでいる。 http://www.docker.io/ Docker は PaaS ベンダの DotCloud がその PaaS のバックエンドとして使っている (?) ミドルウェアを公開したもの。適当な条件の VM をポコポコ生み出してはテストや実際の運用に使うことができたりするもの。例えば「Ruby と Bundler が入っている VM」みたいなのを設定で作っておくと、後日何か Ruby でアプリケーションを動かしたいと思ったときにそのイメージをベースに VM を作ってデプロイしてやればすぐにアプリケーションが動き出す。そもそも PaaS がやっているのはそういう事で、それを汎用化したのが Docker。Travis CI のような、各言語ごとの実行環境が整った VM みたいなものに任意のコードを渡してビルドさせる、みたいなプラットフォームを作るのにも使える
Docker.md
Docker.md Docker Overview こんな人に有効 Linux 使ってるけど vagrant とか Virtual Box とか時間かかってめんどい VM 作りまくって何が何だかわからなくなった Warden が動かない, Buildpack なにそれおいしいの? Go! note: Ubuntu 12.04 (linux-image-3.8.0-23-generic) 使ってます。 Kernel 3.5 以前では安定しない模様。 インストール sudo DEBIAN_FRONTEND=noninteractive apt-get install -q -y curl $ sudo -s # export http_proxy=xxxxx # export https_proxy=xxxxx # curl get.docker.io | sh -x note: この手順だと
Dockerfile Best Practices
Dockerfiles provide a simple syntax for building images. The following are a few tips and tricks to help you get the most out of Dockerfiles. 1: Use the cache Each instruction in a Dockerfile commits the change into a new image which will then be used as the base of the next instruction. If an image exists with the same parent and instruction ( except for ADD ) docker will use the image instead of
HDFSの暗号化
Hadoopのセキュリティについての雑記 認証についてはKerberosを使うというのがスタンダードですが、暗号化についても徐々に進んでいます。 ネットワークの暗号化 例えば、ネットワークの暗号化については下記のブログがお勧めです。 http://blog.cloudera.com/blog/2013/03/how-to-set-up-a-hadoop-cluster-with-network-encryption/ ファイルシステムの暗号化 ファイルシステム／ディスクの暗号化は現状対応していないので、LinuxのDevice Mapperを使用したdm-cryptや、eCryptfsの仕組みを利用するしかありません。 ところが先週 Jira に「Hadoop cryptographic file system」というチケット(HDFS-5143)が登録されました。今後どうなるかわかりませ
Presentations from the Cloudera Impala meetup on Aug 20 2013
This is a technical deep dive about Cloudera Impala, the project that makes scalable parallel databse technology available to the Hadoop community for the first time. Impala is an open-sourced code base that allows users to issue low-latency queries to data stored in HDFS and Apache HBase using familiar SQL operators. Presenter Marcel Kornacker, creator of Impala, begins with an overview of Impala
Windows7にVirtualBoxとVagrantをインストールしたメモ - k-holyのPHPとか諸々メモ
開発環境に便利と話題のVirtualBoxとVagrantを、ようやくインストールしてみたメモです。 こちらの記事を参考にしました。 WindowsでVagrantする - みんなのちからになりたい Window 7 でVagrantでCent OS 6.3入れてみた - 僕の車輪の再発明 VirtualBoxを入れる Downloads ? Oracle VM VirtualBox から VirtualBox 4.2.16 for Windows hosts x86/amd64 をダウンロードして実行。 Setup Wizardが起動するので Next Next。なんかOracle製のドライバ類が色々インストールされるけど気にしない。 Vagrantを入れる Vagrant - Downloads から 最新版 v1.2.7 のページに飛び Vagrant_1.2.7.msi をダウンロ
AWS CLIでサービスの各種コマンドを動かしてみる(Redshift編1: クラスタ・スナップショット) | DevelopersIO
IAM, EC2, S3と基本的なサービスに触れてきたこのシリーズですが一気にここで新しめのサービスであるRedshiftに行ってみたいと思います。まぁ最近良く触っているのと言うのもあるので。 クラスタ(cluster)に関する操作 クラスタに関する操作は以下の5つ。 create-cluster describe-clusters modify-cluster reboot-cluster delete-cluster create-cluster クラスタを作成します。VPC内で作成/VPCを使わずに作成,シングルノード/マルチノード等の違いで必要とするパラメータの内容に若干違いが出てきますが、コンソールでの処理同様、デフォルト値が設定されるものについては指定無しで行ける模様。 $ aws redshift create-cluster --cluster-identifier cmt
Packer & Chef-SoloでAmazon EC2のAMIを簡単に作る方法
全国1000万人のPackerユーザーのみなさんこんにちはこんにちは。 Packerは、Mitchell Hashimotoさんによって開発が進められている様々な環境の仮想マシンのテンプレートを簡単に作れるツールです。例えばVagrantを使っている場合はいままではPatrick Deboisさんが作っていたVeeweeを使うのが定番でしたが、このPackerの登場で主流が移りつつあります。 またPackerでは、Amazon EC2用のAMI (Amazon Machine Image)を作成することもできます（某ドラクエ好きな著名エンジニアのIさんが「PackerはAMI作成ツールだ！」と言っていたのを聞いたような気がw） 今までは、Packerでミドルウェアやパッケージをインストールしたり、細かい設定をする場合にはShellのProvisionerを使っていたのですが、先日登場したバ
Debian squeeze に"最新の"MongoDB をインストールして fluentd から使う - ようへいの日々精進XP
きっかけ apt-get でインストールした MongoDB が fluent-plugin-mongo に非対応っぽい 最新のバージョンをインストールしてみることにした apt-get でインストールしたバージョン 最新のバージョンをインストール 手順 ここを参考にしてインストールを行う。 GPG キーの登録 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10 /etc/apt/sources.list.d/mongodb.list echo 'deb http://downloads-distro.mongodb.org/repo/debian-sysvinit dist 10gen' | sudo tee /etc/apt/sources.list.d/mongodb.list 古いバージョンに敬意を込め
MongoDB のコマンド操作メモ - ようへいの日々精進XP
概要 とりあえず MongoDB を触ってみたのでメモ こちらが MySQL の操作と比較していて個人的に分り易かった 操作 データベースとコレクションの操作 データベース選択（追加） use hogehoge hogehoge が存在しない場合には hogehoge が作成される。 データベース一覧 show dbs コレクション作成 > db.createCollection("firstmogo"); { "ok" : 1 } コレクション一覧 > db.getCollectionNames(); [ "firstmogo", "huga", "system.indexes" ] ドキュメントの操作 ドキュメント一覧 > db.huga.find() 特定のキーと値を指定してドキュメント一覧を取得 db.huga.find({path : "/cacti/"}); Apache の
fluentd がバージョンアップしたので確認した - ようへいの日々精進XP
概要 fluentd(td-agent) がバージョンアップしたので確認した バージョンアップについて Change Log 幾つかの修正等に合わせて、個人的に注目したのは td-agent の起動スクリプトで configtest オプションが利用出来るようになったこと configtest に関しては、改めて Change Log を確認すると 0.10.36 から利用出来るようになった --dry-run オプションを利用している（後述） バージョンアップ 環境 OS は Debian 6.0.7 td-agent は既に 0.10.35 が稼働している状態（下図） バージョンアップ後 こちらから deb パッケージをダウンロードして dpkg -i でサクッとインストール 下図のようにバージョンが 0.10.38 となった 個人的目玉な機能を試す configtest td-age
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
AWS CLIでサービスの各種コマンドを動かしてみる(EC2編3: イメージ) | DevelopersIO
EC2編第3弾は『イメージ』に関してです。ちょっと準備を必要としたのでその辺もまとめて。 実践用のEC2準備 今回エントリの実践用に、適当なEC2を準備する事にします。まずはキーペアの作成。 $ export AWS_DEFAULT_REGION=ap-northeast-1 $ aws ec2 create-key-pair --key-name aws-study-key { "KeyPair": { "KeyMaterial": "-----BEGIN RSA PRIVATE KEY-----\nMII(中略)zWw+w==\n-----END RSA PRIVATE KEY-----", "KeyName": "aws-study-key", "KeyFingerprint": "XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:XX:
AWS CLIでサービスの各種コマンドを動かしてみる(EC2編2: ボリューム) | DevelopersIO
volume(ボリューム)に関する操作 EBS関連コマンドは以下の9つ。 attach-volume create-volume delete-volume describe-volumes detach-volume import-volume describe-volume-attribute modify-volume-attribute describe-volume-status create-volume ボリュームを作成します。アベイラビリティゾーンが必須、容量(GB指定)、snapshot-id(volume-type, iops)についてはオプション指定が可能となっています。 $ aws ec2 create-volume --region ap-northeast-1 --availability-zone ap-northeast-1c --size 7 { "Ava
AWS CLIでサービスの各種コマンドを動かしてみる(EC2編1: インスタンス) | DevelopersIO
IAM編の次はEC2編です。IAM編についてはまだ制覇して無いですがその辺は緩やかに色々なサービスをつまみ食いしながらと言う事で。 AWS Command Line Interface aws/aws-cli Amazon EC2 (仮想サーバー Amazon Elastic Compute Cloud) | アマゾン ウェブ サービス（AWS 日本語） EC2(Elastic Compute Cloud) awscliでec2のコマンドを見てみましょう。唯一、1サービスで『全部の候補を表示しますか？』と聞かれます。それもそのはず、利用可能な機能は何と149個！数の多さに思わず怯んでしまいますが(笑)、要素別に整理して少しずつ試してみようと思います。 $ aws ec2 Display all 149 possibilities? (y or n) activate-license del
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rで計量時系列分析～CRANパッケージ総ざらい～
HOME
ElasticSearch勉強会 第1回 - Go ahead!
HOME
https://dev.classmethod.jp/articles/awscli-s3-1-bucket-vol1/
MongoDB on AWS
JSLinux