2.1.1. TERASOLUNA Global FrameworkのSoftware Framework概要¶ TERASOLUNA Global Frameworkで使用するSoftware Frameworkは独自のフレームワークではなく、Spring Frameworkを中心としてOSSの組み合わせである。
2.1. TERASOLUNA Global Frameworkのスタック — TERASOLUNA Global Framework Development Guideline 1.0.0.publicreview documentation
2.1.1. TERASOLUNA Global FrameworkのSoftware Framework概要¶ TERASOLUNA Global Frameworkで使用するSoftware Frameworkは独自のフレームワークではなく、Spring Frameworkを中心としてOSSの組み合わせである。
WordPress を Docker で動かす（ OSX / Vagrant ）
Shin x blog Advent Calendar 2013 の 9 日目です。 Docker で PHP アプリケーションを動かしてみようということで、WordPress でやってみます。 WordPress 用 Docker コンテナを作る Docker は現状 Linux 上でしか動かないので、OSX 上では直接動きません。Vagrant で Linux（CentOS）の仮想マシンを作り、その上で Docker を動かします。 さっそく Linux 環境から WordPress が動く Docker コンテナまで、一気に構築できる Vagrantfile を作りました。これを使うだけで環境構築は終わりです。 shin1x1/vagrant-docker-wpdev まず、GitHub から git clone します。 $ git clone https://github.com
既存のchef cookbookをtest-kitchen対応させていく。 - Qiita
test-kitchenかぁ... test-kitchen、 最近見ないうちに、色々と機能が追加されていた。 version 1.0.0が正式にリリースされた。 せっかくなので使ってみた。 test-kitchenとは cookbookって世にあるじゃないですか。chefというツールで使う ミドルウェアインストールのためのレシピ。 で、そのレシピがきちんと動作するのか────インストールできるのか？ そしてインストールした後きちんと動作するのか？というのを確認するため、 opscodeが作ってるツールです。 必須なソフトウェア Vagrant Ruby 既存のchef cookbookを対応させていく 今回はたまたま対応準備を進めていた、 aiming-cookbooks以下にあるchef-td-agent cookbook(TD様のリポジトリからforkしました)を使う。 test-k
開発者必見！仮想環境の構築を自動化する方法とは（PackerやVagrantを利用した開発環境の構築）
③テンプレートファイルの構文チェック validateコマンドを使用して、作成したテンプレートファイルの構文をチェックします。 packer validate packer-template-debian71.json 構文エラーが無ければ、successfullyと表示されます。 構文エラーがあった場合、エラーとなったjsonファイルの行番号とエラー内容が表示されます。 punio@PAPA ~/my-packer-template $ packer validate packer-template-debian71.json Template validated successfully. punio@PAPA ~/my-packer-template $ packer build packer-template-debian71.json virtualbox output will
HueでCSVデータからHiveのテーブルを作る
４日目です。 本日はHadoopアドベントカレンダー2013の立候補がいないようなので、あえて書く@choplinさんが今 (22:30)書いて下さっているとのこと。凄い！ありがとうございます！ ＃決して無理強いはしてないはず、、、、、と信じたい（汗 本日のお題はHueとHiveについてです。 Hiveでテーブルを作成してデータをロードする場合には、1) CREATE TABLEを使用してテーブルを作成し、2) LOAD DATA INPATHなどを使ってデータをロードする、というような手順を踏みます。あるいは、既にデータがHDFS上にある場合、外部テーブルを利用することもできます。 テーブルを作成してデータをロードする例 CREATE TABLE a (a INT, b INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; LOAD D
hueでロードバランシングできるようにしてみる : slog
2013年12月14日 22:41 カテゴリ hueでロードバランシングできるようにしてみる Posted by steelwool_oxide No Comments スチールです。この記事はHadoop Advent Calendar 2013の14日目の記事です。 13日目の記事はkmizumarさんの「cdh-twitter-exampleで遊ぶ」です。 さて今回はhueについて、ちょろっと手を加えてみたのでそちらについてまとめてみます。 hueはHadoop運用してる方にはおなじみだと思われる、WebのUIでHadoopが使えるというプロダクトです。 職場でも、運用には参加していないメンバーがhiveやImpalaを中心にこのhueを通して集計作業をしています。 そのhueのHAを組む記事が「High Availability of Hue」にあるので、そちらを元に環境構築の検証
HadoopのMapReduceの運用 - wyukawa's diary
http://kzk9.tumblr.com/post/69268410641/2013-hadoop-treasure-dataを見て良いエントリだなと思いつつそういやHadoopのMapReduceの運用ってどうやんのがいいんだろって思って本エントリを書きました。 Treasure Dataに限らずある程度の規模のHadoopクラスターでMapReduceを運用してるところってどんな感じでやってるんだろうな。 僕が経験したものとしては HDD障害多発 ShuffleがうまくいかなくてReduceが遅くなる現象 - wyukawa’s blog JobTrackerのOutOfMemory HiveジョブでOutOfMemory です。 HDD障害はひどい時は毎日起きてたんだけどmapとreduceのスロット数を減らしたらぱったり起きなくなった。最初はメモリだけ見てたんだけどCPUも考慮
Apache Drill ではクエリ処理はこんな風に行われる（Hadoop アドベントカレンダー 2013 16日目） - nagix
この記事は Hadoop アドベントカレンダー 2013の16日目の記事です。 Apache Drill 概要 Apache Drill は Google Dremel に触発されて開発されたオープンソースプロジェクトで、2012年8月に Apache Incubator として提案されました。大規模データに対し、バッチ処理ではなく、インタラクティブなクエリの実行を可能にするという意味では、ImpalaやStinger、Presto といったプロジェクトと同様の大きな目的を持っていますが、SQL 2003 完全準拠、パーサや処理実行部分を Pluggable にして幅広いクエリ言語やデータソースに対応、JSON/Avro のようなネストデータに対応、スキーマはオプショナルでスキーマレスなデータに対応、といったところなど、より柔軟で拡張性の高いフレームワークを目指しているのが他のプロジェクト
Hadoop - OSC2013 .Enterprise
5. おさらい : Hadoopとは 数十分～数日のバッチ処理を 数分～短時間で処理 処理異常時は再試行 Google MapReduce 論文 (2004) MapReduceフレームワーク Google File System 論文 (2003) HDFS分散ファイルシステム データは複数の複製を保持 OS / Java 色々なデータを分散して保存 容易に入手できるコモディティな サーバを利用 主な利用用途 集計 抽出 OSC .Enterprise 2013 加工 分析 5 6. MapReduceの仕組み スコア 一覧 Shuffle （同じKeyでデータを集約） Map <A, 10> <B, 20> <C, 15> <A, {10,25} > <C, {10,5,15} > Reduce Map スコアの抽出 <A, 25> <C, 10> <D, 10> <B, 10> <C
Fluentd Casual Talks #3 に参加してきた #fluentdcasual | DevelopersIO
Fluentd Casual Talks #3 : ATND 2013/12/13 Fluentd Casual Talks #3 #fluentdcasual - Togetterまとめ 複数台のサーバーやクラウド環境を組み合わせたサービス運用において非常に有用となる様々なログの収集手段を提供するfluentdに関する勉強会『Fluentd Casual Talks #3』が開催されたので参加してきました！ Fluentd: Open Source Log Management 『#3』とあるように、今回でこのイベントは3回目。過去2回も100人〜200人規模での参加があり、非常に盛り上がっているシリーズとなっているようです。以下に過去2回分の参加レポートなどのまとめを置いときます。 Fluentd Casual Talks : ATND Fluentd Casual Talks まとめ
Fluentd Casual Talks #3 開催してきた＆しゃべってきた - たごもりすメモ
Fluentd Casual Talks #3 : ATND 開催しました。いつもながら会場を :DeNA さんにお借りしまして、いつもいつも大変お世話になっております。ありがとうございました。160人の募集に対して応募が最終的には200人弱、会場には定員の7割を超えるくらいは来てたのかなと思います。大盛況で良いことだったと思います。 で、もう他に感想エントリもあるようなのであまり書かないけど、fluentd v11-preview が突如リリースされたり*1、某TD社の新サービスが突然発表されたり*2、面白い人達がなんか面白いことやってて面白くて非常によかった。またやりたい。 しゃべってきた またしょうこりもなく Norikra の話。最近 fluent-plugin-norikra を大規模に整理したのでそれもからめて。 fluent-plugin-norikra #fluentdca
Fluentd Casual Talks #3 へ参加しました
Fluentd Casual Talks #3 に参加してきました。 各発表の内容は資料を見るなり、誰かがまとめていたりするので、そちらを見れば良いと思います。今回参加した理由は、Windows版のFluentdについての発表があったからです。というわけで、発表者の方と休憩時間に話した内容をまとめます。 NTFS限定、かつネットワークドライブは挙動を保証しない事をドキュメントに書いた方が良いと思う 監視対象がローテーションしていて、かつ別ボリュームへ移動している場合は保証外である事を明示した方が良いと思う NTカーネルのバージョンをどこからサポートするか明示した方が良いと思う 特にXPのバージョン(Windows Server 2003の1つ前のカーネル)まで遡ると、NTFSの挙動が違います GetFileInformationByHandleで判断する時は、FileIndexの他にdwV
Fluentd Casual Talks #3 - Blog by Sadayuki Furuhashi
Fluentd Casual Talks #3 でしゃべってきました。会場提供していただいた DeNA さん、主催の@tagomorisさんありがとうございましたm(_ _)m What's new in v11 - Fluentd Casual Talks #3 #fluentdcasual from Sadayuki Furuhashi Ustreamで録画されているので、見逃した人はここで見られます： @tagomorisさん（02:03〜くらい） @sonotsさん以降（11:08〜くらい） v11 preview1リリース fluentd v11 perview1 をリリースしました。 会場でもデモしましたが、インストール方法は： gem install fluentd -v v0.11.0.preview1 です。まだαリリースな状態ですが、とりあえず起動すると何が起こるのか分
Fluentdのタグ書き換えが捗る「tag_parts」プレースホルダを使ってみよう - Y-Ken Studio
Fluentdでログのちょっとした加工をする際に、タグの付け替えが必要です。 新しいタグを指定するか、先頭文字列の付け替えを行う手法が良く使われます。 しかしそれだけではかゆいところに手が届かず、もどかしい思いをされたことでしょう。 そんな時、タグをドットで分解した要素毎に分解して使えるプレースホルダが大活躍します。 この記事を読めば、これがなぜ今まで無かったのか不思議に感じる程です。 そう思えるほど便利な新機能、それでは早速紹介します。 プレースホルダとは プレースホルダとは、一部のfluentdプラグインの設定値の中で使える変数です。 良く使われるプレースホルダとして次のようなものがあります。 ${tag} __TAG__ {$tag_parts[n]} __TAG_PARTS[n]__ ${hostname} __HOSTNAME__ これはFluentdに届いたログを次のように加工
Yelp: Elasticsearchを活かすための取組み - ワザノバ | wazanova
http://www.youtube.com/watch?v=qAN6iyYPbEE#t=15m54s Yelpの検索チームのJohn Bilingsが、リアルタイムサーチに近いかたちにElasticsearchをうまくスケールさせるための取組みを紹介しています。 金曜日の夜にchicken tikka masalaを食べたいと思い、Yelpで店を検索して、はじめての店だったので、レビュー検索ボックスに "chicken tikka masala" を入力してみる。幸いいくつかの "chicken tikka masala" に関するレビューが表示される。 このデータはMySQLに保存されているが、 select * from reviews where content like '%chicken tikka masala%' and id = 123456 で簡単に問題解決か？いや、そ
Kibana+Elasticsearchで文字列の完全一致と部分一致検索の両方を実現する - Qiita
Elasticsearchはデフォルトで文字列を要素解析して保存する。これによって部分一致検索ができるようになるのだが、完全一致検索が難しくなる。 便利なTermsがうまくいかない KibanaにはTermsという値の上位10件とかを表示してくれるパネルがある。次のようなデータを入れているとする。 { "@timestamp": "2013-12-17T10:12:40+09:00", "remote_addr": "203.0.113.10", "country_code": "JP", "request_uri": "/index.php", "user_agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)" } すると、いまアクセスされている国の比率とかを見たければ、count
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
お手軽ログ解析 〜 Kibana編｜アドカレ2013 : CFn #16 | DevelopersIO
@smokeyonkeyです。12月も半月が過ぎ、いよいよ2013年の終わりが見えてきました。北海道では本格的に冬到来となり、毎日寒さに震えてます。 このエントリは『アドベントカレンダー2013：AWS CloudFormationビッグバンテンプレート』16日目の内容となります。 本稿はKibanaを使ったWebアクセスログ解析構成を一発構築するテンプレートになります。 Kibanaとは Kibanaはログ解析、可視化を行うためのオープンソースソフトウェアです。Kibana2はSinatra + Thinで構成されていたのですが、Kibana3はHTML + JavaScriptで構成される仕組みになった為、WebサーバのコンテンツディレクトリにKibanaのコンテンツを置くだけで簡単に使い始められます。またKibanaを参照しているWebブラウザから直接ElasticSearchにアク
hansode.org - このウェブサイトは販売用です！ - hansode リソースおよび情報
このウェブサイトは販売用です！ hansode.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、hansode.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
hansode.org - このウェブサイトは販売用です！ - hansode リソースおよび情報
このウェブサイトは販売用です！ hansode.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、hansode.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
2013年Chefの話題を一挙に振り返るまとめ | Engine Yard Blog JP
早いもので2013年もまもなく終わります。特にChefについては今年は大きな飛躍の1年になりました。Chefについては話題の流れも多く、自身としても何があったのかを即座には思い出せません。今回はすでにChefを使っている人の話題の復習や、Chefをまだキャッチアップしていない人が今からでも間に合う情報収集としてまとめてみます。 はてなブックマーク上でも2013年の記事でChefタグが付けられた3ブックマーク以上の記事が800エントリを超え、ブックマークの回数は3万2千回を超えるというとてつもない状況です。今回はその中でも100ブックマーク以上が付いた記事の中から特に注目が集まった話題を時系列で振り返ります。 2013年1月:「兆し」 2013年早々にChefの大躍進の契機になるエントリが@naoya_itoさんのブログに投稿されます。「開発メモ#4 : EC2スナップショットとの差分は c
kakakikikekeのブログ: fluentd+elasticsearch+kibana3をやってみた
2013年12月17日火曜日 fluentd+elasticsearch+kibana3をやってみた ■環境 CentOS 5.9 elasticsearch 0.90.5 kibana3 fluentd 0.10.39 のインストールは事前済ませておいてください 今回は/var/log/messagesを解析してみたいと思います ■/etc/fluent/fluent.confの設定 1. ログ送信側（クライアント側）設定 vim /etc/fluent/fluent_elasticsearch_client.conf <source> type tail format syslog path /var/log/messages tag log.messages </source> <match log.messages> type forward flush_int
systemdを本番運用してわかったこと - mixi engineer blog
こんにちは、運用部 アプリ運用グループの清水です。モンスト仲間募集中です。 以前、Fedora 8からFedora 17への移行のお話を書きました。Fedora 17ではsystemdがデフォルトで使われています。そのsystemdを本番環境で運用して1年以上が経ち、様々な経験をしてきました。systemdの環境で知っておくと役に立つと思われることについていくつか紹介したいと思います。 まずは、systemdの概要について簡単に紹介します。 systemdの概要と歴史 systemdは、従来のSysVinit/Upstartに代わるもので、Linuxサーバの起動時に初期設定やサービス起動をおこなうことにとどまらず、プロセスやリソースなど様々な管理をおこなうデーモンです。 Fedora 14の頃（2010年11月リリース）にTechnology Previewとして提供され、Fedora 1
クライアントサイドJavaScriptのライセンス管理 | GREE Engineering
最近シリコンウエハーもらって嬉しかったago（@kyo_ago）です。 このエントリはGREE Advent Calendar 2013 11日目の記事です。 今回はクライアントサイドJavaScriptにおけるライセンス管理の問題を取り上げたいと思います。 ライセンス管理の問題点 「使用しているライブラリのライセンス管理をどうするか」はクライアントサイドJavaScriptにかぎらず発生する問題ですが、クライアントサイドJavaScriptには以下の様な特徴があるため問題が複雑になります。 コードが結合、圧縮される場合がある クライアントサイドJavaScriptでは読み込みの速度を上げるため、使用しているライブラリの結合、圧縮を行うことがあります。しかし、この時誤ってライセンス文が捨てられてしまうことがあります。 ソースが外部に公開される クライアントサイドJavaScriptではソー
Varnishのログにアクセスしてみよう！ | GREE Engineering
こんにちは、Service Reliabilityチームのいわなちゃん(@xcir)です。チーム名が読みづらいのでSRやSレアと呼ばれたりもしています。レアリティが上がるように頑張って行きたいと考えています。 前回は「Varnishでテストコードを書こう！」という記事を書いたので、今回はGREE Advent calendar 2013の17日目も兼ねてVarnish Cache(以下Varnish)のログを読んだり加工してみたりしようと思います。 また、使用したVersionは3.0.3です。 Varnishのログのしくみ Proxyでアクセスログを取得したいというのはよくあると思います。通常のミドルウェアでは設定ファイルで出力ファイル名を決めたりします。しかし、Varnish本体(varnishd)の設定ではそのような項目はありません。 では、Varnishはログを出していないのか？と
git による分散作業パターン | GREE Engineering
分散バージョン管理を華麗に扱いたい堀口です。 GREE Advent calendar 2013 の 14 日目として参加させていただきます。 お二人に続き Haskell の話をしようかと思ったのですが、急遽無難な開発の話に変更しました :o Java や C++ には OOP の概念が必要であったように、分散作業の認識が薄いまま git や Mercurial を使うことは長期的に不幸をもたらします。 とあるプロジェクトにて、その一部を副産物のミドルウェアとして抽出すべく、アプリケーションと分離したい 不具合があったので原因を探りたいが、依存関係が複雑すぎるのでコードを読む量を減らしたい テストやレビュー、提案、リファクタの運用を強化したい よそのプロジェクトに迷惑を掛けないように、そこのツールを改良して使いたい。 いままで何気なく「こんなもんだろう」と思って手間をかけていませんでした
肥大化したActiveRecordモデルをリファクタリングする7つの方法（翻訳）
更新情報: 2013/11/19: 初版公開 2021/01/08: 訳文見直し、追記 こんにちは、hachi8833です。今回は、自分が知りたかった、Active Recordモデルのリファクタリングに関する記事を翻訳いたしました。1年前の記事なのでRails 3が前提ですが、Rails 4以降でも基本的には変わらないと思います。リンクは可能なものについては日本語のものに置き換えています。 なお、ここでご紹介したオブジェクトは、app以下にそれぞれ以下のようにフォルダを追加してそこに配置します。 注記: 以下は使われそうなフォルダを列挙しただけであり、実際にはこの一部しか使いません。 Value Object Service Object Form Object Query Object View Object Policy Object Decorator ⚓ 肥大化したActive
Apache ： リバースプロキシサーバ構築について | 技術ブログ| レック・テクノロジー・コンサルティング株式会社
こんにちは、Re:Qの中川（晴）と申します。 「Apacheによるリバースプロキシサーバ構築」をテーマにお話しさせて頂きます。 まず執筆にあたっての想いです。 「ネットワークは専用ハードウェア機器で構成する」 これは実績があり「当たり前」と言われてきたソリューションです。 ネットワークに限りませんが、こうした「当たり前」はシステム構成検討の上で、 時として「前提条件として構成決定」されてしまうことがあります。 お客様に安心して無難に提供できる面もあるからです。 ただし、お客様から見ると「高額なハードウェア購入／保守費が必要」という点は、 必ずしも最適なソリューションではない場合もあるのではないでしょうか。 近年、OSS、仮想化などの技術進歩により、要件によっては、 同等機能をよりコストを抑え実現可能な選択肢が増えてきています。 私たちはエンジニアは「当たり前」という固定概念にとらわれない柔
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
