pixiv.comの構成 - pixiv engineering blog
こんにちは。 休日のゲームライフを充実させるため、せっせとエンジニアリングブログを書いています、ソフトウェアエンジニアのサイリュムです。 今回はpixiv.comのサーバ構成について簡単に紹介したいと思います。 国際版 pixiv.comのウェブアプリケーション部分はRuby on Rails 3.2系で作成しています。 ユーザとのやりとりを行うフロントエンド部分はRailsに任せ、データのやり取りや複雑なロジックは後述する内部APIに任せています。 nginx + unicorn Rackサーバにはunicornを使っており、nginx + unicornな構成を取っています。 nginxとunicornはunix domain socketで通信を行うようにしています。WEBアプリケーションサーバに乗っている静的なコンテンツはnginxが返し、動的ページへのリクエストはRailsが処理
See what's New with The New York Times.
Welcome to We’ve redesigned our web experience with you in mind. A more immersive reading experience? We’re glad you asked. We’ve streamlined our article pages and created a more responsive interface with faster load times. So navigating between stories is easier and finding more content that appeals to you is just a click, swipe or tap away.
Railsの逆を行く、デザイナと開発者が協力するためのScala Liftフレームワーク - Qiita
最近のフレームワーク、っていうとどれもRailsと似たような感じで実装言語が違うだけでしょ？という感じですが、Liftはそんな中完全に逆を行ってます。 その思想は他の言語でも通用するはずなので、ぜひScalaなんぞ知らんという方も読んでいただければと思います。 Liftの特徴 公式な特徴はホームページに記載されていますが、個人的にプッシュしたいのは以下点です。これらは、Templatingに詳しく書かれています(日本語訳)。 1 デザイナフレンドリー 2 コントローラーがない 3 速い デザイナフレンドリー 自分の手元にあるerbやらjspやらasp(chtml/vbhtml)やらのファイルを見て、これをサーバーサイド側の言語を知らない人間に手渡せるか？と考えたときYesと言える人はどれくらいいるでしょうか。 それらのファイルにはそこそこコードが入り組んでいて、特にRailsの場合顕著です
「Google Glass」、販売対象者が拡大--「Google Play Music All Access」ユーザーの購入を可能に
Gizmodoが米国時間2013年12月31日に報じたところによると、Googleは、All Accessのユーザーにメールで通知しているという。「Google Glass Explorer」は、ウェアラブルコンピュータ「Google Glass」の早期導入プログラムだ。 これまでは販売対象者が限定されており、このデバイスを1500ドルで購入できるのは、一部の開発者やコンテスト優勝者、著名ユーザーだけだった。Googleは2013年11月、一般ユーザーも順番待ちリストに参加できる登録フォームをこっそりと公開した。 だが、All AccessユーザーはGoogle Glassを購入できるようになった。Googleは2013年11月、Google GlassからAll Accessサービスを利用できるようにしている。
cloudpackブログ - SUZ-LAB AMIで負荷テスト
複数のJMeter Serverを使った負荷テストをSUZ-LAB AMIを利用して簡単に実施してみます。 【事前作業】 (1) 負荷テストを実施するインスタンスに付与するEIPを事前に取得 負荷テストをする際に、Amazonへの申請が必要となるため事前に取得しておきます。 (2) Amazonに負荷テストの申請 申請は、AWS Vulnerability / Penetration Testing Request Formより行い、上記で取得したEIPをScanning IP addresses (Source)に入力します。 (3) SUZ-LAB JMeter Client AMIでテストシナリオを作成 SUZ-LAB謹製 JMeter Client AMI (5.6.3-2.4.0.1 64bit ap-northeast-1)や、JMeterで一番簡単に負荷テストなどで紹介したよ
第10回 MongoDBでの集計処理 | gihyo.jp
MongoDBでの集計処理の概要 一般的なNoSQLプロダクトは、RDBのSQLでいうGroup By句やSum関数などの集計機能がありません。集計を実施するには、アプリケーション側で独自にコードを書くことになります。 しかし、MongoDBは、NoSQLのパフォーマンスを維持しながら、RDBライクな機能を実装することを開発方針として掲げており、集計機能に関してもいち早く実装してきました。MongoDBで集計処理を行う方法は3つあります。 1. Aggregationフレームワーク SQLでいうGroup By句やSum関数を提供します。Mongo Shellからクエリと同じように実施できます。一部の処理（$groupと$sort）はシャーディングに対応しており、各シャードで処理します。 2. MongoDBのMap/Reduce機能 Map関数/Reduce関数を独自に定義し、集計処理を
MongoDBのAggregation Framework/MapReduceを使ってより賢く集計を行うためのまとめ - Yuta.Kikuchiの日記
Mogodb集計 MongoDBの集計機能が便利過ぎて泣けてくるお話し - Yuta.Kikuchiの日記 1月程前にMongoDBを使った集計機能の紹介をさせていただいた@yutakikucです。内容は全く大した事無かったのですが、タイトルで誘導を引っ張って200近いbookmarkを集める事ができました笑。みなさんの参考にしていただけたこと、大変嬉しく思います。今日はMongoDBの集計をもう一歩踏み込んだ内容を紹介して行きたいと思います。題材としてはAggregation FrameworkとMapReduceについてです。因に今回試してみたMongoDB-Versionは2.2.3です。Versionによって挙動が変わると思うので注意してください。 $ mongo --version MongoDB shell version: 2.2.3 Aggregation Framewor
【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Y's note
[:W560] Log集計用DB設計 考える問題 Document無しのAgile開発をガチで推奨したい@yutakikuchi_です。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので詳しい皆様からの突っ込み大歓迎でございます。また図々しいですが知恵をください(笑)。 今日の主目的は下の2要件を叶えるためのDB設計を考える事です。特に問題になるのがRealTimeの話でTableにLogDataを書き込む処理と集計のSQLをどのように組み立てるか、それ以外にもSystemPerformanceとArchitectureにも関わってきます。 リアルタイムで大量データを集計したい 定期処理で大量データを集計したい 使うもの Fluentd : Fluentd: Open Source Log
若手なので若手Webエンジニア交流会でLTしてきた | y_matsuwitter's
実はLTしたことなかったのだけど、今日初めて発表してきました。 GunosyのKPIの運用について、具体的なKPIについては極力ぼかしつつさわりの部分を紹介出来たのかなーと思ってますが、どうだったでしょうか。 KPIの運用に関しては、割とどの会社でも試行錯誤っぽいので、懇親会中とか結構色々聞かれましたが、大事なのは問題をきちんと分解して意味ある数字を追いかけましょう、ということなのかなーと思います。 それができればエンジニア・非エンジニアの別なく上手くチームが生きていくのかなと信じたい感じです。 DevOpsの話題も交流会中結構出ましたが、DevOpsとKPI運用というのも密接にリンクした領域だと思いますので、そこら辺も絡めた自分なりの解を見つけられれば嬉しいなと思う限りです。 Gunosy内でもまだまだ、試行錯誤なところもありますが、そんなGunosyで一緒に働いてくれるエンジニアさん、
リリース間近！MongoDB 2.6のリリースノート翻訳: 新機能と改善点 - Qiita
MongoDB 2.6のリリースノート翻訳シリーズ、第4弾です。前回までは、大きな追加/変更があったAggregation PipelineとWrite Commandを紹介しました。今回は、その他の機能追加/変更です。細かいですが、便利な機能やメソッドが追加されています。 注1: MongoDB 2.6は年内リリース予定です。 注2: MongoDBでは2.5.xは開発バージョンで、2.6.xがリリースバージョンとなります。 元のリリースノートはこちら http://docs.mongodb.org/master/release-notes/2.6/ 他の翻訳 まとめ！MongoDB 2.6のリリースノート翻訳と所感 リリース間近！MongoDB 2.6のリリースノート翻訳: 既存機能の変更点 リリース間近！MongoDB 2.6のリリースノート翻訳: Aggregation Pipel
MongoでMapReduceする - Qiita
この記事はMongoDB Advent Calender2013の21日目です。 MongoDBで手軽にMapReduceする方法について書かせていただきます。 MongoDBでMapReduce 世間的にMongoでM/Rするのは情弱、世間知らず、自殺行為などと色々disられてはおりますが、やはりスキーマレスで好きなデータを突っ込んでおいて、あとで集計をかけるというお手軽さからいうとMongoのM/Rも充分選択肢としてありだと思います。 前準備 実際に自分が今やっているプロジェクトのうちの１つに、apacheのアクセスログをfluentd経由でMongoに書き出しているものがあります。 ちなみにデフォルトのfluentdのプラグインだとpathが１フィールドに登録されてM/Rしずらいので、クエリストリングスをパースして１クエリを１フィールドに入れるout_exec_filterを自作して
リリース間近！MongoDB 2.6のリリースノート翻訳: 新登場のWrite Commandたち - Qiita
MongoDB Advent Calendarの穴埋め用投稿です。 そろそろリリースされそうなMongoDB 2.6のリリースノートの一部を翻訳しました。今回は大きな機能追加があった書き込み処理についてです。 注: MongoDBでは2.5.xは開発バージョンで、2.6.xがリリースバージョンとなります。 他の翻訳 まとめ！MongoDB 2.6のリリースノート翻訳と所感 リリース間近！MongoDB 2.6のリリースノート翻訳: 既存機能の変更点 リリース間近！MongoDB 2.6のリリースノート翻訳: Aggregation Pipelineの変更点 リリース間近！MongoDB 2.6のリリースノート翻訳: 新機能と改善点 リリース間近！MongoDB 2.6のリリースノート翻訳: エンタープライズ向け機能 はじめに: 新登場のWrite Commands MongoDB 2.6で
リリース間近！MongoDB 2.6のリリースノート翻訳: Aggregation Pipelineの変更点 - Qiita
リリース間近！MongoDB 2.6のリリースノート翻訳: Aggregation Pipelineの変更点MongoDB MongoDB Advent Calendarの穴埋め用投稿です。 そろそろリリースされそうなMongoDB 2.6のリリースノートの一部を翻訳しました。小出しになってあれですが、今回はAggregation Pipelineの変更点です。 次回は2.6で大きく変わった書き込みオペレーションの変更点を翻訳します。 注：MongoDB 2.6は年内リリース予定です。 元のリリースノートはこちら http://docs.mongodb.org/master/release-notes/2.6/ 他の翻訳 まとめ！MongoDB 2.6のリリースノート翻訳と所感 リリース間近！MongoDB 2.6のリリースノート翻訳: 既存機能の変更点 リリース間近！MongoDB 2.
リリース間近！MongoDB 2.6のリリースノート翻訳: 既存機能の変更点 - Qiita
そろそろリリースされそうなMongoDB 2.6のリリースノートの一部を翻訳しました。今回はCompatibility Changesです。残りは、ChangesとMongoDB Enterprise Featuresがあります。近日中に翻訳します。 また、ところどころに2.5.xという表記がでますが、MongoDBでは2.5.xは開発バージョンで、2.6.xがリリースバージョンとなります。 注：MongoDB 2.6は年内リリース予定です。 元のリリースノートはこちら http://docs.mongodb.org/master/release-notes/2.6/ 他の翻訳 - まとめ！MongoDB 2.6のリリースノート翻訳と所感 - リリース間近！MongoDB 2.6のリリースノート翻訳: Aggregation Pipelineの変更点 - リリース間近！MongoDB 2.
MongoDBを真面目に使ってみた - ひよくあブログ
MongoDB Advent Calendar 2013の10日目の記事です。 2つほどNode.js + MongoDBで作ったサービスを最近リリースする機会があったので、そこで得られた個人的な知見や感想についてつらつら書きまとめようと思います。 前提 今回はアプリ側の開発を担当していて、インフラ周りはインフラチームやMongoDBのプロバイダーに御任せでしたので、そちらの設定などの話はノータッチです。 元々の業務ではMySQLを使っていて、この2つのプロジェクトで初めてMongoDBを勉強しました。 永続化にMongoDBを使う理由 MySQLでなくMongoDBを使う理由はMongoDB自体の利便性などもあげることができるかもしれませんが、個人的には運用面での利点が強いと思っています。（特にサンフランシスコのような人材採用が激しい地域の場合） シャーディングやフェイルオーバーが大規模
はてなを退職しました - ninjinkun's diary
昨年末に株式会社はてなを退職しました。2008年の京都移転直後のインターンに参加し、2009年に新卒入社したので、5年くらいはてなに関わっていたことになります。 このエントリでは、自分がはてなでやったことと、エンジニアとしてのロールモデルを持つことができたこと、コミュニティ活動ついて、そして今後について書きます。 はてなでやったこと 最近ではスマートフォン系の仕事が多かったのですが、入社当初は運用を担当していました。たくさんのサービスを担当しているチームで、ここで様々なコードに触れた経験が今振り返ってみるとすごく良かったと思います。とにかくコードをたくさん読みました。 同期入社には既に実績がある人が何人もいて焦る一方、自分はテストを書いているつもりがDBのデータを消していたり、社内のメールを止めたりとひどいミスを連発していて、今思い出しても冷や汗が出ます。 その後 はてなキーワードフィーチ
まとめ！MongoDB 2.6のリリースノート翻訳と所感 - Qiita
今回の記事を含めて6回にわたって連載してきたMongoDB 2.6のリリースノート翻訳シリーズですが、最終回になって驚きの事実が。 過去の投稿で"MongoDB 2.6は年内リリース予定です。"と書いてきましたが、 MongoDB 2.6は年内にリリースされる予定はありませんでした！ すみません、完全に勘違いしていました。JIRAを見ると、まだまだ先のようです。直近では、MongoDB 2.4.9（と2.5.5）が 2014年1月7日にリリース予定となっています。 https://jira.mongodb.org/browse/SERVER 今回はリリースノートの内容をまとめてみました。 目次 2.6で何が変わったの？ すぐに使える注目の新機能 検証が必要な新機能 2.4からアップグレードするべきか？ MongoDBの今後 翻訳記事へのリンク 2.6で何が変わったの？ 1. Aggrega
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
第8回データマイニング+WEB勉強会＠東京で発表してきました。「MongoDBとAjaxで作る解析フロントエンド＆GraphDBを用いたソーシャルデータ解析」 - doryokujin's blog
お久しぶりです。@doryokujinです。11/14(日)に行われました、第８回 データマイニング+WEB 勉強会＠東京−大規模解析・ウェブ・クオンツ 祭り−で発表してきました。Togetterも参考にして下さい。 発表者・参加者双方の議論を重視するこの勉強会、今回もアツイ議論が絶えず巻起こって、とてもエキサイティングで有意義な勉強会でした。僕は前回に引き続き、今回も発表側として参加させていただきました。その時の資料は以下になります。 MongoDBとAjaxで作る解析フロントエンド＆GraphDBを用いたソーシャルデータ解析 View more presentations from doryokujin. 前回のログ解析バックエンドの続編として、散在する各種ログを集計してMongoDBに入っているデータを表・グラフとして可視化するためのフロントエンドのお話と、ソーシャルデータの解析をG
第７回データマイニング+WEB勉強会＠東京で発表してきました。「明日から始めるソーシャルアプリのログ解析」 - doryokujin's blog
発表者・参加者双方に有意義な勉強会：データマイニング+WEB勉強会＠東京 @doryokujinです。9/26(日)に行われました、第７回データマイニング+WEB勉強会＠東京で発表してきました。@hamadakoichiさんによるまとめ（発表資料一覧）とTogetterも参考にして下さい。 僕は第6回から参加させていただいていますが、前回に負けじと今回も本当に素晴らしい勉強会でした。 主催者@hamadakoichiさんの創設の思い・目的・進行方針からもわかっていただけますように、発表者と参加者双方が熱い議論を交わしながら進んでいく勉強会です。そんな勉強会に幸運にも発表枠を頂けましたので発表してきました。勉強会の発表はこれが初めてでした。 明日から始めるログ解析1 〜HadoopとMongoDB を活用したソーシャルアプリ解析〜 このエントリーでは、たくさんの方から頂いたフィードバックを元
Ruby/Rails: converting a Date to a UNIX timestamp
How would I get a UNIX timestamp (number of seconds since 1970 GMT) from a Date object in a Rails app? I know Time#to_i returns a timestamp, but doing Date#to_time and then getting the timestamp results in something that's off by about a month (not sure why...). Any help is appreciated, thanks! Edit: OK, I think I figured it out- I was processing a date several times in a loop, and each time the d
FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
Tanzu Cloud Native Application Platform for Multi-cloud
Accelerate application delivery across clouds Drive business agility by accelerating your ability to develop, operate and optimize any app on any cloud, at scale. A common cloud native app and data platform Standards-based “golden paths” anchored by real-time map of apps and operated by platform engineering Collaborate seamlessly across disciplines such as development and operations in a multi-clo
MongoDB 2.4 の性能 徹底評価 - 中年engineerの独り言 - crumbjp
まとめ 超長くなったのでまとめを上に持ってきた。 巷で言われているチューニングは結構嘘が多い事が解ってきた。 ツール等 workingSet Analyzer は信用ならない。（overSecondsはまあ良い） mongoperfの値は完全に参考にならない。 insert mongoperfの値はinsert性能と関連しない。（何を測ってるんだ？） カラムのプリアロケーションによるUPDATE時のデータ肥大化回避($setOnInsert)はMUST。 クリティカルな時間帯にストレージファイル(2GB)の生成を避けるチューニングの効果は懐疑的。 レコードプリアロケーション・チューニングは頑張る価値が無い。(むしろ逆効果) update 上記の通り必ずin-placeになるようにする。 paddingFactorが動くようだとお話にならない性能劣化 remove かなり高速。 全件削除の場
「自分が見たいものを世の中に生み出せ」 Twitter創業者ジャック・ドーシーが初めて語った”成功のためのリスト”
ジャック・ドーシーのStartup School 2013でのスピーチを全文書き起こし＆翻訳。「今までにやったことがないことをします」と前置きした上で、彼が感銘を受けた2冊の本と、ドーシー自身が作成し、日々実践している"あるリスト"の内容を紹介しています。少し長いですが、起業家はじめビジネスに身をおく人は必見のスピーチです。 今日はすごくたくさんの方に来て頂きました。ありがとうございます。 今日はいつもとは違うこと、今までに一度もやったことがないことをします。これまで私の人生の岐路で役に立った本をいくつか朗読したいと思います。 私からはこれらのポイントをご紹介しますが、これらの本からたくさんの教訓を学ぶことができます。皆さんもお時間があればご自身で読んでみてください。 他人になんと言われようと、自分自身にとって重要なものを創造せよ 初めに画家のロバート·ヘンリー著「アートスピリット」をご紹
HadoopとMongoDBを活用したソーシャルアプリのログ解析
The Ring programming language version 1.7 book - Part 47 of 196Mahmoud Samir Fayed
MongoDBのCapped CollectionとTailable Cursorを使ったRealTimeAccess集計 - Y's note
Index RealTimeAccess集計 Capped Collection Tailable Cursor まとめ RealTimeAccess集計 RealTimeAccess集計をするためにMongoDBの利用を考えます。サーバーの構成は上図のようなイメージで各種ApplicationServerからFluentdでLogAggregatorにRealTimeでLogデータを転送し、LogAggregator MasterがMongoDBにFluentdで書き込んで行きます。ここで言うRealTimeAccess集計の機能要件を整理すると以下のようになります。 Access発生後、1分以内で集計結果をWebツール上で確認したい。集計区間も1分単位など。 複数条件が指定可能で、柔軟なCross集計がしたい。 RealTimeAccess集計のSystem負荷を出来る限り抑えたい。
fluentdでHBaseに送り込んだログをImpala or Hiveで集計 – OpenGroove
fluentdでnginxのログをHBaseとHDFSに送り込み、それぞれHive or Impalaで遊んで集計かけてみた。 実行環境は以下2台。 nginx + td-agent (Amazon EC2 t1.micro、CentOS) Hive + Impala + HBase (Amazon EC2 m1.large、CentOS、CDH4.3のHadoop疑似分散モード） ログを送り込むための設定は以下のようにした。テーブルマッピングは実際のHBaseテーブルに沿って記述する。一応ローカルマシンにも書き込む設定にした。 /etc/td-agent/td-agent.conf <source> type tail format apache path /var/log/nginx/access.log pos_file /var/log/td-agent/nginx.pos tag
ジオトラスト（GeoTrust）のQuickSSL Premiumが1日単位で利用できるワンコインSSL
トップページ 「ワンコインSSL」へようこそ！ 「ワンコインSSL」とは 「ワンコインSSL」はジオトラスト社が発行する証明書「ジオトラスト クイックSSLプレミアム」を、従来の年次単位ではなく、最短1日より利用が可能となるものです。インターネットの普及にともない、「期間限定利用を前提としたキャンペーンサイト」や、「クラウド環境でのサイト構築」など、従来のSSLサーバ証明書ではカバーできないご要望に対応したサービスです。 本サービスを利用可能なお客様 以下サービスを契約いただいているお客様に限り利用出来ます。（2011年3月現在） 今後本サービスをご利用いただけるお客様は順次拡大していく予定です。
Treasure Agent Monitoring Service (ベータ)
Apache Hadoop の現在と将来（Hadoop / Spark Conference Japan 2016 キーノート講演資料）Hadoop / Spark Conference Japan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
株式会社スタイルズ
Twitter / itmammoth: この手の会社名を利用した、どーでもいい退職エントリ、いい加減無くならないかな。会社名除いて読んでみると、はっきりいって個人の日記レベル。 ◆はてなを退職しま
GitHub - nodanaonlyzuul/asciiart
正月休みだし Mesos 触ってみた : sonots:blog
GitHub - sparklemotion/mechanize: Mechanize is a ruby library that makes automated web interaction easy.
Redis strategy for activity log data
New Works - The 24hours artworks [/temp]
MongoDBとAjaxで作る解析フロントエンド＆GraphDBを用いたソーシャルデータ解析
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
RDB経験者に送るMongoDBの勘所（db tech showcase tokyo 2013）
The Technology behind pixiv Infrastructure
