はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Chef https://www.chef.io インフラ環境の構成管理ツール。Ruby製。 アプリケーションのインストールや各種設定を全自動で行える。 かつては皆インフラ環境構築を手動で行ってきたが、 スクリプトや設定ファイル等に記述することで インフラ環境をプログラミング (Infrastructure as a Code) するのが最近のはやり。 似たようなツールとして、Puppet、Ansible 等がある。 Berkshelf http://berkshelf.com Cookbook の管理ソフト。Ruby でいうところの Bundler に該当するもの。 Cookbook 同士の依存関係を解消してくれる。 他の人が作ってくれた Cookbook は下記URLから検索できる。 https://supermarket.chef.io/cookbooks-directory Che

VirtualBox とは VirtualBox は x86 仮想化(その辺に転がっている普通のPC・サーバ)を仮想化するためのソフトウェア。 正式名称は Oracle VM VirtualBox。現在は Oracle が開発を行っている。 既存の環境に影響を与えずに、色々実験する際にはとっても便利なツール。 Vagrant とは Vagrant は仮想環境の管理をコンソールから行い易くするためのツール。 また、有志が作ってくれた Box を利用することで楽にテスト環境を構築することも出来る。 これを導入しておくと、各種環境を構築する際の手間が省けることが多い。 IPython とは IPython は既存の Python の対話型インタプリタを大幅に拡張したもの。 入力時の補完機能、クラスタ環境における並列処理、コマンドラインシェル機能、 GUI周りのツールキットなどの拡張が行われている

はじめに アクセスするURLに応じて接続先のWebサーバを切り替えたい場合、 つまり http://hoge.com/XXXX/ というURLに対して 「XXXX」の値毎にアクセスするサーバを変更したい場合、 リバースプロキシを使うことで解決できる。 図にするとこのような感じ。各 Web app は全て別のサーバー上に存在する。 今回は Nginx を用いてリバースプロキシを構築する。 Nginx とは Nginx 公式 ・基本的な HTTP 機能（静的なWebサーバ） ・Webアプリケーションと連携することで動的なページもOK ・C10K問題への対応（Apacheで問題になった） ・ロードバランシングができる。 ・リバースプロキシになる。 仮想環境の準備 作るもの 以下の合計3台の仮想環境を用意する。 Proxy サーバー (proxy_server): 1台 Web サーバー (web

形態素解析について 様々なユーザーの Tweet を収集して利用するパターンで最も多いのは、 Tweet 中に含まれる特定の単語を抽出して利用するパターンである。 今回は形態素解析器の MeCab を利用して、単語単位に分割して名詞、動詞、形容詞を抽出する。 Python で Twitter からの情報収集 (環境構築編) 環境構築等はこちら MeCabの出力形式 出力形式はオプションにより変わる。 'mecabrc': (デフォルト) '-Ochasen': (ChaSen 互換形式) '-Owakati': (分かち書きのみを出力) '-Oyomi': (読みのみを出力) デフォルトだと 表層形\t品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音 という出力になる。 サンプルコード ある文を単語単位(表層形そのまま)に分割して、 全単語 名詞のみ 動詞の

はじめに 今回は、Twitter Streaming API で得られる全ツイート中の 1% の 日本語 Tweet のデータをログとして収集し、 Fluentd を用いて、BigQuery に格納するシステムを構築する。 以下に BigQuery と Fluentd を説明を記載する。 BigQuery とは Google BigQuery とは、クラウド上で動作するデータウェアハウス。 以下の様な特徴を持っている。 テラバイト級のデータに対しても、高速に集計が可能。 ストレージ料金が安い (容量あたりの保存単価だとAWS S3 よりも安価) データのインポートが容易 (バルクアップロード / ストリーム)。 細かい話は次のリンクを参照。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja ありとあらゆるログデータを格納する先とし

Capistrano とは Ruby 製の自動デプロイ (& サーバー操作) ツール。 複雑な Rails 製アプリケーションのデプロイ作業を コマンド数行でさくっと片付けられるようになる。 Capistrano 自体の説明は以下の資料によくまとまっていた。 入門 Capistrano 3 ~ 全ての手作業を生まれる前に消し去りたい 本記事では Vagrant を利用して、 Rails 4.2 系 + Unicorn + Nginx 環境で Capistrano を利用してデプロイ作業をさくっとデプロイできるようになるまでの流れを (主に自分用に) まとめた。 前提条件 用意する開発・本番環境 development (開発用と同一サーバー), production (開発用と別サーバー) アプリケーションサーバー Unicorn Ruby のバージョン管理 RVM Webサーバー Ngi

devise とは Rails でログイン認証管理を行う際のメジャーな Gem 。 以下の10個のモジュールからなる。 Database Authenticatable: DB に保存するパスワードの暗号化。ほぼ必須のモジュール。 POST リクエストや Basic 認証で使われる。 Omniauthable: OmniAuth サポートのためのモジュール。 Twitter などの外部サービスのアカウントでユーザー登録させたい場合に追加する。 Confirmable: アカウント作成の際のメール認証モジュール。 メール中のリンクをクリックしないとログインできないようにできる。 Recoverable: パスワードリセットが可能になる。 Registerable: サインアップ処理が可能になる。 Rememberable: クッキーに保存されたトークンの生成・削除を行う。 Trackable

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに MeCab の標準の Ruby 用バインディングを利用してテキスト解析を行っていたら、 hoge.rb:XX: [BUG] Segmentation fault at 0x00123456789abc のようなエラーが発生した。 発生したタイミングは次の通り。 ・処理が一定の負荷を超えた場合、毎回そこで落ちる。 ・軽い処理の場合は落ちない。 落ちてた部分は下記の行。 node = MeCab::Tagger.new.parseToNode(string) Python で同様の事例 以前 Python で意図しないガベージコレクションが実行されることにより、 似たような事例が発生した事があった。 (この件は次のサイトが詳しくまとめてくれている Shogo's Blog: MeCabをPythonから使う注意点とか) 対処 Ruby でも同じことが起きてるんじゃないかと思ったので、

MySQL を DB に利用する場合で、外部キー制約を設定したい場合の方法。 Rails 4.2 から、標準で外部キー制約作成機能が追加された。 Ruby on Rails 4.2 Release notes 2.5 Foreign Key Support The migration DSL now supports adding and removing foreign keys. They are dumped to schema.rb as well. At this time, only the mysql, mysql2 and postgresql adapters support foreign keys. migration ファイルに下記のように書いてやればOK。 # add a foreign key to `articles.author_id` referencin

はじめに 今までの流れ この記事は以下の2つの記事の内容の続きです。 Vagrant で Ruby on Rails 4 の環境構築 Chef-Solo + Berkshelf による自動環境構築 今回やること Chef-Solo + Berkshelf による自動環境構築 で 自動環境構築の Hello, World! 的なことをやったので、 今度はもう少し実用的なものをインストールしてみる。 具体的には Vagrant で Ruby on Rails 4 の環境構築 で作った環境を Chef-Solo + Berkshelf を使って構築してみる。 インストール先 (Node) Chef-Solo + Berkshelf による自動環境構築 で Emacs をインストールした環境をそのまま流用する。 各種設定 仮想環境の設定 Chef-Solo + Berkshelf による自動環境構

はじめに 今回、諸事情により Python 使いの人間が Ruby on Rails 4 (+ Ruby) 世界に入門することになったので、 そのためのテスト環境構築を行う。 今回は仮想環境上にテスト環境を構築する。 仮想環境として、VirtualBox + Vagrant を用いる。 Ruby は RVM (Ruby のバージョンを管理するためのツール) で管理する。 この記事を作成している時点で最新版の2.1系をインストールする。 また、Rails 自身と Rails に必要な各種ライブラリ (Gem) は Bundler で管理する。 この記事を作成している時点で最新の4.2系をインストールする。 仮想マシン周りの構築 VirtualBox のインストール https://www.virtualbox.org/wiki/Downloads から最新版をインストール。 仮想環境の作成は

# !/usr/bin/env python # -*- coding:utf-8 -*- from requests_oauthlib import OAuth1Session import json ### Constants oath_key_dict = { "consumer_key": "xxxxxxxxxxxxxxxxxxxx", "consumer_secret": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "access_token": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx", "access_token_secret": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" } ### Functions def mai

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Hadoop、 Hive、Impala に関する書籍をちょこちょこ読み始めて、手元に実行環境が欲しくなったのでさくっと構築。 必要なもの: メモリ16GB以上積んだ Mac or Linux インストール済みのPC。 以下の記事を参考にしつつテスト環境を作る。 how-to-install-a-virtual-apache-hadoop-cluster-with-vagrant-and-cloudera-manager VirtualBox のインストール 以下から最新版をインストール。 https://www.virtualbox.org/wiki/Downloads Vagrant のインストール 以下から最新版をインストール。 http://www.vagrantup.com/downloads Vagrant によるクラスタ環境構築 ホストのコンソールで次のコマンドを実行。 Clo