Railsで大きなファイルを扱う際のポイント｜TechRacho by BPS株式会社
Railsで大きなファイルを扱う際のポイントをまとめてみました。 前提 大きなファイルとは だいたい100MB～10GBくらいのファイルをダウンロード・アップロードするのを想定することにします。 数MB程度だと、特別な工夫なしでもそれほど問題になりません。10GBを超えてくると、気をつけるべき点が変わってくるかと思います。 以下では主にサンプルとして、1GBのファイル（ISOファイルやZIPファイルなど）を想定します。 環境 以下のような環境を想定します。 Railsは4系 Nginx + Unicornのスタンダードな構成 サーバ1台のシンプルな構成（ロードバランサを使用した複数台構成については、末尾に少し記載しています） ダウンロード ファイルのダウンロード まずは、Railsアプリから大きなファイルを配信するケースを考えましょう。 たとえば、ISOファイルをサーバ内に保存しておいて、
オレオレ証明書をopensslで作る（詳細版） - ろば電子が詰まつてゐる
前回のopensslでRSA暗号と遊ぶでRSA暗号や秘密鍵について中身を色々といじってみた。続いて今回は、Apacheで使うオレオレ証明書を作ってみる。 細かいことはいいから、オレオレ証明書を作るコマンドだけ知りたい お急ぎの方は、以下3つだけやれば良い。これで10年間(3650日)有効なオレオレ証明書ができあがる。 $ openssl genrsa 2048 > server.key $ openssl req -new -key server.key > server.csr $ openssl x509 -days 3650 -req -signkey server.key < server.csr > server.crtできあがったserver.crtとserver.keyを、例えば/etc/httpd/conf/ 配下のssl.crt/ と ssl.key/ ディレクトリに設置
ぽろきぃのblog : Apacheモジュール mod_ext_filterを利用して実稼働環境と開発環境との差を吸収する
2010年01月26日18:22 カテゴリApache Apacheモジュール mod_ext_filterを利用して実稼働環境と開発環境との差を吸収する ポテトチップスを食べて後口が悪くて少し辛いポロキィです。こんにちは。今回は開発環境と、実稼働環境の違いを吸収するたのApacheの設定を Open & Share したいと思います。 ケーススタディ 仮定 実稼働サーバは、wiki.livedoor.jp というURLで動作しており、開発環境は、wiki.livedoor.lan というURLで動作していると仮定します。 問題点 polocy.js というjavascriptがあり、ファイル内でURLを記述する必要があります。以下のような感じです。 var hoge_url = 'http://wiki.livedoor.jp/polocky/'; このjsは、開発環境で実行すると、実稼
CentOS7.1 64bitにApache2.4.16をRPMからインストール
CentOS7.1の64bit版にApache2.4.16をRPMからインストールする方法を以下に示します。 ※CentOS6 64bitをご使用の場合は、当サイトのCentOS6 64bitにApache2.4をRPMからインストールのページをご覧ください。 CentOS7.1の標準リポジトリからインストールできるApacheのバージョンは2.4.6のため、RPMはApacheの公式サイトからダウンロードしたソースを元に作成していきます。 依存関係にあるパッケージで、CentOS7.1の標準リポジトリからインストールできるものについては、特別なものでない限り省略しています。 以下の各コマンドで、プロンプトが「#」で開始しているものはrootユーザーでの実行、「$」で開始しているものは一般ユーザーでの実行となります。 ここでRPMの作成に使用しているrpmbuildコマンドについては、当サ
gzip 圧縮した静的ファイルを、Apache から直接配信する方法 - Qiita
やりたいこと サーバの CPU 負荷、ネットワークの負荷を抑制したい ユーザから見た、サイトの応答速度を向上したい 実現方法 .gz ファイルを事前に生成し、可能なら Apache から直接そのデータをブラウザに返す mod_deflate なら返すときに圧縮するので CPU 負荷がかかるが、この方法ならそれを節約できる 前提 .html、.css 、.js の３種類だけを対象に .gz ファイルは事前の生成が必要 Ruby on Rails なら、rake assets:precompile で作られる 自分で .gz ファイルを生成するなら、下記のようにする $ find public -name "*.html" -o -name "*.css" -o -name "*.js" | \ xargs -ifile sh -c "gzip --best -c file > file.gz
Apacheで.htaccessを無効にすると場合によってはかなり早くなるよというお話
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Apacheの高速化の手法というのは、多くのサイトで紹介されています。そのうちの一つとして、.htaccessを無効にするという話がありますが、実はこれは場合によっては非常にパフォーマンスが向上します。それが一体どの程度なのかという実験を簡単にしてみました。 まずはApacheの設定 実験で使用するprefork版の設定ファイルはこのようにしています。プロセスの生成破棄が生じないような設定をしているので、パフォーマンス計測等、色々な実験に汎用的に使えておすすめです。 ServerTokens Prod ServerRoot "/etc/httpd" PidFile run/httpd.pid Timeout 100 KeepAlive On
Webサーバー構築(Apache) - CentOSで自宅サーバー構築
[root@centos ~]# yum -y install httpd php php-mbstring ← httpd、php、php-mbstringインストール [root@centos ~]# vi /etc/httpd/conf/httpd.conf ← Apache設定ファイル編集 #ServerName www.example.com:80 ↓ ServerName centossrv.com:80 ← サーバー名を指定 <Directory "/var/www/html"> # # Possible values for the Options directive are "None", "All", # or any combination of: # Indexes Includes FollowSymLinks SymLinksifOwnerMatch ExecC
はてなブログ | 無料ブログを作成しよう
織田信長 ぼちぼち、元気にやっています。少し薬にも慣れた...んかなぁ。相変わらず食べられないけど。朝、指がこわばって文字なんて入力できなかったけど、それはほぼなくなった。関節もどこも痛くない。薬効いてきたんやろな。 で、ブログを書こうと言う気がまた起きてきた。 …
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
mod_mrubyに高速化機能を追加
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 Apacheやnginxで動くLuaやその周辺を見ていると、Luaのコードをhttpd.confに直接書くような設定の方法があります。その結果、高速にLuaが動いて、「やっぱLuaはやいー、最高ー」とかそういう話を目にしたので、それだったらmod_mrubyでもやってやろうじゃないかと思いやってみました。 そもそもconfに直接書くとなぜ速いのか もともとmod_mrubyの売りの一つは、Apacheを起動させている状態で再起動することなく自由にスクリプトを変更して、Apacheの内部処理をリアルタイムに変更できる事です。mod_mrubyの基本的な考え方は以下を参考にして下さい。 なぜApacheにmrubyを組み込もうと思ったか しかし、
なぜFluentdなどを使ってログデータ活用するのか？ | Act as Professional
髪を切った@HIROCASTERでございませう。 今日は巷で話題のfluentd（フルーエントディー）を使って、アクセスログを活用するための準備をしたいと思います。 簡単にfluentdを使って何をするのか 例えばこんなことという、知識や目的の準備です。 fluentd とは？Linuxサーバなどのログを集約するためのツールです。ログ形式は良くあるテキスト形式ではなく、JSON形式にて構造化された形で保存されるため、集約されたログデータを解析したりするのがとってもやりやすくなります。 従来のテキストデータで出力されるApacheのログなどを読み込んで、fluentdでリモートログサーバに飛ばして、集約保存することなんてことができます。 集約されたログデータを解析サーバで解析して、グラフで出力とかするわけです。 具体的にどういうことができるの？ログデータの活用は無限大なので、さまざまな事が想
Apache 2.2でWebサイトをパフォーマンスアップ！（2/3） － ＠IT
Apache 2.2でWebサイトをパフォーマンスアップ！ － 最新Apacheの機能と設定方法教えます － 鶴長 鎮一（book@tsurunaga.jp） 2006/3/14 強化されたドキュメントキャッシュ機能を使う ドキュメントキャッシュ機能を導入すると、Apacheの応答性を向上させることができます。 従来のApache 2.0でも、mod_file_cacheモジュールを使用することで通常コンテンツのレスポンスを向上させることができました。ただし、mod_file_cacheの仕組みはApacheの起動時にファイルをメモリに読み込ませるというもので、コンテンツに変更があった場合は再起動が必要になるなど、動的なキャッシングには対応していませんでした。 Apache 2.2では、RFC 2616に準拠したHTTPコンテンツキャッシュが可能になりました。Cache-Controlヘッ
WEBサイト負荷テストツール7選 | さぶみっと！JAPAN
WEBサイトに情報を入力するだけで負荷テストができるLoad Impact、GUIから操作できるApache JMeterや、コマンドラインから使うcurl-loader・httperf・Siege・Pylot・abを簡単な使い方と共に紹介していきます。 Load Impact http://loadimpact.com/ Load ImpactはスゥエーデンのGatorhole AB社が管理している、フォームに必要な情報を入力するだけで負荷テストをしてくれるWEBサイトです。 ツールをインストールしたりする必要が有りませんので、非常に楽です。 毎月5回まで無料で負荷テストができます。 それ以上は10回/$30のクレジットを購入する事になります。 トップページのフォームにURLを入れて「Run free test」をクリックすると、世界各地のいずれかのAmazon EC2サーバから負荷テス
Apacheのエラー：Could not reliably determine the server’s fully qualified domain name…
Apacheを再起動した際に、 httpd: Could not reliably determine the server’s fully qualified domain name, using 127.0.0.1 for ServerName というエラーが出る場合がある。 これでも起動はするので、Apache自体は動くのだが、エラーをそのままにしておくのは気持ちが悪いし、あとあと問題を引き起こす可能性が高い。 日本語訳をすると ServerNameに127.0.0.1を使用した、FQDN（完全に適切なドメイン名）が確定できませんでした。 といった感じか。 このエラーは、/etc/hosts にlocalhost以外に自分で設定したホスト名が、Apacheの設定ファイルに定義されていないために発生する。 # Do not remove the following line, or v
検索エンジンの常識をApache Solrで身につける
表のような転置インデックス完成後は、クエリに対する結果を返す処理は簡単です。例えば、ユーザーが「Vim」というクエリを発行すると、検索エンジンは「Vim」を含む文書IDリストを返します。表では文書IDの「2」を返します。 検索エンジンを取り巻く7つの技術 検索エンジンのコア技術は前節で紹介したインデックスです。しかし実際に、検索インデックスだけで構成する検索エンジンから、検索サービスを構築するには多大なコストが掛かります。以下の節で検索エンジンを利用したシステム、検索サービスを構築する際に便利なコンポーネントを紹介します。 これらの機能のいくつかは、多くの検索エンジンが組み込んでいます。一方で、簡素な検索エンジンは、以下で紹介するコンポーネントをサポートしていないため、ユーザーが独自に開発するか、その機能を持つコンポーネントを組み込む必要があるものもあります。 【1】トークナイザ 検索エン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
http://codingsteps.com/install-apache-2-4-php-5-4-php-apc-on-amazon-ec2-with-amazon-linux/
mod_sed - Apache HTTP Server Version 2.4
How To Serve Pre-Compressed Static Files in Apache
How to force Apache to use manually pre-compressed gz file of CSS and JS files?