大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検
Webサイト負荷テストツール記事まとめ要約
急ですが、webサービスやwebサイトの負荷テストは行っていますか?どの程度のアクセスがあった場合にサーバが遅くなってしまうのかをバズる前に検証しておくべきです。 現在、Yahoo、はてブ以外にもGunosy等に載る事で簡単にバズり(普段のPV数 ＋ 想定PV数5000〜30000)その時にサーバが同時アクセスに耐えられなくなり、かなりの機会損失を被ってしまいます。自分のサーバ、または借りているレンタルサーバの能力値を理解していればそれなりの対策が打てるようになるのかなーっと。そうゆう事で負荷テストをオススメします。 今回は記事を書くというよりは負荷テストが出来るwebサービス、ツール、ソフトを紹介している記事をまとめて紹介して最後に要約していきたいと思います。 負荷テストツールをまとめている記事ベスト3 負荷テストを出来るサービスやツールを紹介しているまとめ記事を厳選して紹介したいと思い
須藤元気の『WORLD ORDER』情報まとめ - 凹レンズログ
日本人ダンスパフォーマンスグループWORLD ORDERのYouTube動画が海外で注目されている。そのライブパフォーマンス動画を見て、胸が熱くなり涙がでそうになってしまった。これまで、ダンスをみてこんな気持ちになったことはありませんでした。 震災にも最初に言及して、海外招待の舞台でこれだけのクオリティを披露する。しかもど真ん中に立ってるのは、元格闘家の須藤元気・・・強い興味がわいたのでWORLD ORDERについてまとめてみました。 WORLD ORDERとは WORLD ORDER（ワールド・オーダー）は、元格闘家・拓大レスリング部監督・タレント・俳優・作家の須藤元気（すどう げんき）が、6名の男性ダンサーとともに結成した7人組ダンスパフォーマンスユニット。･･･ 2011年7月10日、アメリカのロサンゼルスにあるステイプルズ・センターにおいて開催された「Worldwide Partn
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
Zabbix勉強会に行ってきた | Tricorn Tech Labs
皆様こんにちは、 インフラサーバエンジニア暦 9ヶ月 iwanです。 先々週ですが、第2回Zabbix-JP勉強会に参加してきました。 http://www.zabbix.jp/modules/news/article.php?storyid=185 最初のテーマは、Zabbixのインストール時の注意点/パフォーマンスチューニングでした。 テストサーバにホストを追加して、Zabbixで負荷の状況を確認していく内容でした。 まずは、インストール時に行うMySQLの設定ですね。 Zabbixデータベース作成前に、my.cnfを変更するお話でした。 文字化け対策の設定ですが、自分も検証中に最初にハマった箇所でした。 default-characterset=utf8 =>デフォルトエンコードをutf8に設定 skip-character-set-client-handshake =>SQLクライ
t32k.com - このウェブサイトは販売用です！ - t32k リソースおよび情報
このウェブサイトは販売用です！ t32k.com は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、t32k.comが全てとなります。あなたがお探しの内容が見つかることを願っています！
ソーシャルゲームのためのMySQL入門 | BLOG - DeNA Engineering
こんにちはこんにちは。最近お腹痛いばっかり言ってることで有名なiwanagaです。 DeNAは外部的にはプラットフォーム的な部分の方がフィーチャーされることが多いですが、実はソーシャルゲームの提供も行っています。怪盗ロワイヤルとか、どこかで聞いたことがあるのではないでしょうか。 僕はDeNAでソーシャルゲームが誕生した辺りからずっとサーバサイドを見てきましたが、そんな運用の中で自分が貯めてきた知見とかTIPSをご紹介したいと思います。 かれこれ10タイトル近くはレビューしたり運用したりしてるため結構言いたいことはいっぱいあるので、小出しにしつつ評判よければ次も書きます。 ソーシャルゲームのためのMySQL入門一覧 ソーシャルゲームのためのMySQL入門 - Technology of DeNA ソーシャルゲームのためのMySQL入門2 - Technology of DeNA 「MySQL
PHP op-code caches / accelerators: Drupal large site case study | 2bits.com, Inc. - Drupal and BackDrop CMS Consulting
2bits.com, Inc. - Drupal and BackDrop CMS Consulting For a large Drupal site, one of the biggest performance boosts one can do is to install an op-code cache/accelerator. Update: 2018-March This article was written many years ago, and the state of technology has changed, for the better. At present, the current Ubuntu 16.04 LTS comes with PHP 7.0, and the only op-code cache that works with it is th
プロのサーバ管理者がApacheのStartServers, (Min|Max)SpareServers, MaxClientsを同じにする理由 - blog.nomadscafe.jp
kazuhoさんが「プロのサーバ管理者の間では存在価値が疑問視されて久しい (Min|Max)SpareServers だと思う」と書いたり、hirose31さんが去年のYAPC::Asiaで{Start,{Min,Max}Spare}Servers,MaxClientsは同じにしているよと発表したり、実際前職のサーバはそのように設定されていたのですが、自分でうまく説明ができてなかったので、調べながら書いてみた。 本当はイントラブログ用に書いていたものですが、がんばったので転載。 前提として、CPUの使用率におけるsystemとfork Re: クラウドがネットワークゲーム開発者にもたらしてくれたもの - blog.nomadscafe.jpでも書いている通りforkってのはサーバにとって重い部類の処理になります。つまり負荷の高いときにforkを大量に行うのはしてはならないことの１つです。
Amazon EC2性能検証！気になるパフォーマンスをインスタンスタイプやリージョン毎に計測・比較してみた - 元RX-7乗りの適当な日々
大手クラウドサービスであるAmazon EC2では、9種類ものインスタンスタイプ(サーバの種類)から、利用したいスペックのサーバを選択できます。また、EC2のサーバは、4ヶ所ものリージョン(アメリカ東海岸、同西海岸、ヨーロッパ西部、シンガポール)から稼動させる場所を選択することができます。 ここで、気になるのが、Amazon Web Servicesの説明ページで、各インスタンスタイプの公表スペック差異として、EC2独自のCPU単位である"ECU"の数値や、IO性能のModerate(中)やHigh(高)で、どのくらいパフォーマンスが違うのかが見え辛いといった点。 また、一部の場所ではパフォーマンスが出ていない等の話が以前に出ていましたが、4ヶ所のロケーション(Region)によって、各場所でのインスタンス性能が全く同じなのか等も気になるところ。 ここを解明すべく、各種ベンチマークを実行し
2010年代には Apache の mpm_prefork とか流行らない (もしくは HTTP keep-alive のメリットとデメリット) - kazuhoのメモ置き場
HTTP の持続的接続の功罪について はじめに、HTTP の持続的接続 (keep-alive) のメリットについて。持続的接続を使うメリットは、以下の２点。 TCP 接続の確立にかかる時間の節約*1 TCP の接続と切断に必要な資源 (CPUとネットワーク) の節約 ウェブブラウザ〜データセンタ間の通信で、持続的接続を使う理由は、このうちの前者。特に太平洋を超えるようなケースだと、TCP 接続に0.2秒とかかかるので、メリットが大きい。 一方、持続的接続のデメリットは、 接続が切断されるまでの間、その接続を維持するためにコストがかかる (主としてメモリが無駄になる) という点になる。特に、１プロセス１コネクションを前提とするアーキテクチャ (例: mod_perl) だと、メモリの無駄使いが、とてもひどいことになる。 そこで、ブラウザからの接続を受ける HTTP サーバとアプリケーション
Gree Fast Processor: PHPを3倍(くらい)速く | GREE Engineering
ごあいさつエントリだけというのもなんなので、引き続きfujimotoです。実質上1つめのような気がするこのエントリでは、PHPが3倍くらい(少なくとも2倍くらいは...)速くなるGree Fast Processorというのを先月作ってみたのでご紹介です。 すぐわかるまとめ Gree Fast Processorというのを使ってみると、シンプルなsymfonyのプロジェクト(xav.ccで試しました)でも2倍弱、結構複雑なアプリケーションだと7倍くらい速くなったりします。いくつかの制約がありますが、パフォーマンスに飢えているかたはお試しください。 こちらはなんかすごい速くなっている感じのグラフ(一番上が速くなった版のRequests per Second、赤が通常版のRequests per Second): これはさすがにbest caseすぎる気がしますが、普通にやっても2倍弱くらいは
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
IDEA * IDEA