Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート | DevelopersIO
Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート 11/13(木)に「顧客理解のためのビッグデータ分析基盤」という勉強会をTalendさん、TreasureDataさんと一緒に開催をしました。クラスメソッドからは甲木が登壇したので、その様子をレポートしたいと思います。 Talend や TreasureData について、名前はよく聞くけど一体どんな製品なんだろう？という方が読まれると、だいたいこういう製品なのかー、というのがおわかりいただけるかと思います。 勉強会のプログラムはこんな感じです。 「クラスメソッド・カスタマーストーリーのご紹介」 クラスメソッド株式会社 AWSコンサルティング部 ソリューションアーキテクト 甲木洋介 「ハイブリッド環境で威力を発揮するビッグデータ統合ツールのご紹介」 Talend株式会社 マ
Knife-SoloからKnife-Zeroへの移行 #getchef - クリエーションライン株式会社
はじめに 前回はChef-SoloとChef-Clientローカルモードを比較し、ローカルホストの収束を行いました。今回はリモートホストを管理するためのKnife-SoloとKnife-Zeroを比較してみます。 Knife-Soloでは次図のように、ローカルファイルシステム上にあるCookbookやAttributeなどのポリシーをssh+rsyncでリモートホストに転送し、sshでリモートホストにログインしてChef-Soloを実行してポリシーを参照して収束を行います。 Knife-Zeroでは次図のように、ローカルホスト上にあるポリシーやNode Objectを参照するためのChef-Zeroを起動し、sshでリモートホストにログインすると同時にTCPポートフォワーディングを設定し、ローカルホストのChef-Zeroにあるポリシーを参照して収束を行います。 大変簡単に言うと、Knif
Wercker + Vagrant + AWS + serverspecでChefのレシピをCIする
[2014-01-09-1] からmasutaka.netのCIを開始したが、残念ながら masutaka.netに直接serverspecする、なんちゃってCIだった。 masutaka.netにcookしてからPRを出して、WerckerにCIさせていた。 WerckerとAWSを連携させて、テストのたびにサーバをまっさらな状態から 作り、終わったら破棄することが可能になったので、ここに記録しておく。 去年くらいに話題になったこの辺の話。 Vagrant + Chef Solo + serverspec + Jenkins でサーバー構築を CI - naoyaのはてなダイアリー naoya/circleci-serverspec なんで今までやらなかったかというと、cookが一発で通らないレシピになっ ていたから。。気づいてはいたんだけど、本番サーバのテストが通りさえ すればよかった
chef soloでJenkinsを入れる - 旧ブログ
最近、サーバーを一から構築する必要があって、chefを使ってみることにした。 CIしたいのでまずはJenkinsを入れる。 Chef: 11.12.4 Vagrant 1.5.4 Vagrant この辺のコマンド $ vagrant box add centos http://developer.nrel.gov/downloads/vagrant-boxes/CentOS-6.5-x86_64-v20140110.box $ mkdir vagrant_chef $ cd vagrant_chef $ vagrant init centos で環境構築。 Vagrantfileに config.vm.network :private_network, ip:"aaa.bbb.ccc.ddd" を追加する。 起動。 $ vagrant up sshコマンドで接続できるように $ vagra
Serverspecの概要からインストールまで
変化の激しいビジネスに対応するためにシステムやサービスには、これまで以上に迅速な導入や安定した運用が求められるようになってきています。このような要求を満たすために、仮想環境やクラウド環境を基盤として利用し、サーバの構築プロセスや構成管理プロセスの効率化のためにChefやPuppet、Ansibleといった自動化ツールが活用されるようになってきています。 このように自動処理で手軽にシステムやサービスをセットアップできるようになると、構築時の人為的ミスを防げるようになるなど便利になる反面、内部で実施されている処理が人の手から離れて、把握しづらくなる傾向にあります。また自動化の導入に際しては、システムが意図した状態に作り上げられているのかを確認する作業も重要になってきます。特に大規模で複雑な環境において、この確認作業を手作業で実施することは、高コストの要因となってしまいます。 参考: Think
個人で使ってみた Docker とCoreOSとか | feedforce Engineers' blog
こんにちは。 技術チームの星野と申します。 社内勉強会で、Dockerfileの作り方とか、CoreOSでのDockerでのデプロイ方法の一例を紹介しました。 ↑はその際のスライドです。前半のポエムっぽい序章は、適当に読み飛ばしていただければと思います。 個人としてDockerを試している理由は、構成管理をDockerfileというシンプルな形式で記述しようとしているところが魅力的だったからです。 「CoreOSの発表」と言いつつ、デモでは「CentOS7」も使ったりしました(CentOS7がリリース直後だったから!!)。 CentOS7ではsystemdがデフォルトで動いており、弊社ではCentOSを採用しているサービスも多いため、ここぞとばかりに試させていただきました。 補足 あと、スライドの補足として、今回デモで動かしたCoreOSの起動〜Jenkinsコンテナ起動までのスクリプトの
Chefのレシピをサクサク書けるVim用スニペット
タイトルのまま。僕はレシピの作成をVimを使ってやっているのですが、毎回似たようなコードを手打ちしていくのは頭おかしくなりそうなので、スニペット化していました。なんか需要がありそうなので公開しておきます。 コードはGitHubのryuzee/neosnippet_chef_recipe_snippetにおいてあります。 インストール方法大前提としてVimのNeoSnippetプラグインが必要ですので、適宜インストールしてください。 スニペットのインストールは、Bundleを使っている場合、.vimrcなどにBundleの追加とスニペットのパスの追加を行ってください(コードは折り返されているので注意)。 Bundle 'ryuzee/neocomplcache_php_selenium_snippet' let g:neosnippet#snippets_directory='~/.vim/
Serverspecが超高速で書けるserverspec-snippetsを作った - Glide Note
Serverspec書いてますか！ Serverspecが超高速で書けるようにsnippetsを作成しました。(本当は私がResource Typesを全く覚えられないので作成しただけなんですが) glidenote/serverspec-snippets どんな感じのものなのかは動画を見て頂くのが早いです。 インストール方法や使い方はglidenote/serverspec-snippets を参照ください。 https://github.com/Keithbsmiley/rspec.vim/blob/master/ftdetect/rspec.vim みたい感じで、 filetypeをruby.serverspecへと自動指定は出来るんですが、rspecと干渉するので、ちょっと良い案を思案中。 大変便利になった 追記 2014/06/26 should <=> should_notなど
簡単！MacOSXやLinuxにChef,Knife,Berkshelfを一発でインストールしてくれるChefDKの紹介 · DQNEO日記
Home Subscribe 最近 ChefDKという全部入りパッケージがリリースされたので、これで一発です。 http://www.getchef.com/downloads/chef-dk/ CentOS6だとこんな感じで一発です。 sudo rpm -ivh https://opscode-omnibus-packages.s3.amazonaws.com/el/6/x86_64/chefdk-0.3.0-1.x86_64.rpm rubyとかrbenvとかgemとかの環境について頭を悩ませる必要がないのでとても楽です。 ちなみにChefDKを使わずに自力でこれらをインストールしようとするとどうなるかというと、すごい時間がかかります。 とくにBerkshelfが依存しているライブラリで"dep-selector-libgecode" というのがものすごい怪物のようなしろもので、コンパ
Ansible チュートリアル | Ansible Tutorial in Japanese
Ansible Tutorial July Tech Festa にて開催されたハンズオンの資料が公開されていたことに刺激され、Chef の代わりに Ansible を使う資料を作りました。 Ansible を使って WordPress サーバーのセットアップを行い、ServerSpec でテストを行います。 まだ Ansible を試し始めたばかりで自分の勉強がてら書いています。 Puppet にも Chef にも乗り遅れたので Ansible に飛び乗ってみようかと。 GitHub Repository Ansible Tutorial Wiki 2013年08月13日 一段落 コピペで動かないところを全体的に修正しました。今後は 詳細ページ Wiki を充実させていきます 2013年09月09日 role についての追記しました 2013年12月22日 リニューアル Ansible
半歩進むChef-Solo - Cookbookの共通化（recipeとdefinition）
半歩進むChef-Solo 最近、Vagrant + Chef-Soloによるローカル開発環境Boxイメージ構築自動化に取り組んでいます。 Cookbookをつくるうえでのノウハウがたまってきたので、まとめの意味も込めて「半歩進むChef-Solo」シリーズでエントリ書いていこうと思います。 今日はChefで行う「共通化」についてです。 Cookbookの共通化（recipeとdefinition） Vagrant環境でChef-Soloによる構築自動化を行なっていると、複数の環境で似たような処理を行なっている箇所が出てくると思います。 例えば、同じResouceの組み合わせた処理が何箇所も出てきたり、特定のサーバソフトウェアに関連するセットアップをいろんなRecipeの中でやっていたり。 Chefにはこれらの処理をまとめるために、definitionとrecipeという仕組みがあります。
Chefを読んで実行するための全知識 - Qiita
このドキュメントでは、Chefを実行して、インフラを作成したい人が、既存のレシピがあるのを前提に、Chefの概要を理解するためのドキュメントです。Chef-soloの構成のみに対応した記述になっています。理解が間違えているところとかあればご指摘ください。 1. Chefの概要 1.1. Chefとは シェフは、インフラストラクチャーをコードに変換するための自動化プラットフォームです。仮想環境でも、物理環境でも、クラウドでも使う事ができます。インフラストラクチャを自動化することで、プロダクトのマーケット投入を早めたり、スケールや複雑さに対応したり、システムを安全に保ちます。 1.2. Chefの仕組み Chefはサーバーをセットアップして、希望の状態にするための「クックブック」「ノードオブジェクト」というDSL(設定ファイルっぽいもの)をローカルのワークステーションで作成します。それらのDS
Vagrantトラブルシュートメモ - Qiita
"The guest additions on this VM do not match the installed version of VirtualBox!"と表示される VirtualBoxとゲストOS内のVirtualBox Guest Additionsがアンマッチしているときに表示される。VirtualBox Guest Additionsのバージョンを認識して、自動的にインストールを行ってくれるvagrant-vbguestプラグインを使って解消する。 Provisioning時に"The expanded run list includes nonexistent roles"と表示される Vagrantfile内のrole_pathが誤っている場合に出力される。手元の環境はマルチVMで使用しているので、chef_solo実行部分にrole_path指定を挟む。 web.
デブサミ2014「サーバプロビジョニングのこれまでとこれから」講演メモ #devsumi - 元RX-7乗りの適当な日々
期待通り、面白い話だったのでメモを残しておく。 「サーバプロビジョニングのこれまでとこれから」 宮下 剛輔 氏 mizzy @gosukenator paperboy&co. テクニカルマネージャ サーバプロビジョニングとは プロビジョニングは3つのレイヤがある。 orchestration application service orchestration configuration system configuration bootstrapping cloud or vm image launch os install あまり厳密に捉えすぎる必要はない。とのこと。 Bootstraping 今日は割愛 Configuration ミドルウェアのインストールとか設定とか いわゆる構成管理ツール CFEngine, Puppet, Chef, Ansibleなど 会場は、Chef利用者多
デブサミ2014「グリーにおけるChef導入事例」講演メモ #devsumi - 元RX-7乗りの適当な日々
普段、Chefを使って運用しているので、なかなか参考になる話だったというか、共感できる部分が多かったです。 「グリーにおけるChef導入事例」 荒井 良太 氏 @ryot_a_rai グリー Chefとは サーバの構築や設定更新を自動化するツール サーバのあるべき姿をRubyで記述しておくと、セットアップしてくれる 冪等性 Chef社のOSS 導入背景 運用担当者が秘伝の手順書でサーバのセットアップを手動でやっていた。 非効率 オペレーションミスの危険 Chefにより自動化し、安定運用をはかる リードタイム Chefにより自動化し、サーバのデリバリーを素早く行う Before Chef Debianパッケージ サーバの役割ごとのメタパッケージ 設定ファイルはスクリプトで生成 設定値 パッケージ内 サーバ管理システムに問い合わせ サーバ管理システム 社内のサーバ情報を管理しているシステム サ
Mac OS XでVagrantとChefを使った環境構築のまとめ - Qiita
※ここで説明している方法でのChefのインストールはお勧めしません。 こちらを参考に入れてください。 http://qiita.com/hamichamp/items/d3ca7c365353285a564b Vagrantで仮想環境を作る準備をしよう VirtualBoxをインストールしよう https://www.virtualbox.org/wiki/Downloads 今回はMacOSXで環境を作るので、Mac版をダウンロードします。 Vagrantをイントールしよう http://downloads.vagrantup.com/ ここから最新のものをダウンロードしましょう。 この記事を書いている段階では、v1.2.7でした。 今回はMacOSXで環境を作るので、Mac版をダウンロードします。 Vagrantで仮想環境を作ってみよう 仮想環境を登録しよう 今回はCentOSをダウン
vargrant+chefでつくるPHP5.5+MySQL5.6+CakePHP3環境 - たけまるの日記
vargrant+chefでつくるPHP5.5+MySQL5.6+CakePHP3環境 巷で話題のvagrant、chefを試してみました。 折角なのでそれぞれ最新バージョンを積極的に入れてみることにしました。（結構苦労しました…） とりあえず手っ取り早く環境を作る手順を書いて行きます。 前提環境 ホストマシン環境 MacOS 10.9 VirtualBox 4.3.6 Vagrant 1.4.1 Chef 11.8.2 vagrant-omnibus 1.2.1 ruby 2.0.0p247 gem 2.0.3 仮想マシン環境 CentOS 6.5 64bit Apache2.2 (yumレポジトリ) PHP5.5 (remiレポジトリ) MySQL5.5 (公式rpm) 各種ソフトウェアのインストール VirtualBox 仮想マシンソフトです。以下URLからダウンロードしてインストー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2014年のChefとInfrastructure as code
VagrantでRails開発環境を整備 (CentOS 6.5/nginx/mysql5.6/rbenv/ruby2.1.0)
Future of Server Provisioning at Developers Summit 2014
