ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
さくらVPSを借りてから参考にしたサイト « tech*
ツイート私：仕事はシステムエンジニアをしていますが、サーバー構築、phpなどは初心者、ドメインの取得などもってのほか。という立場です。 当時評判だったさくらインターネットのVPSを使い、CentOS + Apache + Tomcat + MySQL + Java という環境で自分用のWEBサービスを作ったときに参照したサイトを備忘録をかねてまとめたいと思います。 さくらのVPSを使いはじめる – アカベコマイリ SSH,Apache,Ruby,MySQL,Subversionなどについて。 おそらくここさえ読めば大体のことはできます。 CentOSをサーバーとして活用するための基本的な設定 – さくらインターネット創業日記 さくらインターネットの田中社長のブログ。 パフォーマンスについての設定を参考にしました。 CentOSで自宅サーバー構築 – CentOSで自宅サーバー構築 もう説明
MySQLの管理に役立ちそうな超多機能モニターツール「MONyog」:phpspot開発日誌
MySQL GUI Tools. MySQL Monitor and Manager MySQLの管理に役立ちそうな超多機能モニターツール「MONyog」が結構便利そうです。 WindowsやLinux上で動作するブラウザベースのツールです。 以下に、一部ですがそのフィーチャーについて紹介。 サーバごとのデータ、インデックスサイズが一覧できる データベースごとのサイズ、インデックスサイズなどをグラフで表示 クエリーアナライザー。クエリの統計が見れます。SQLごとの平均、最大実行時間などが分かりやすい どんなクエリが何回呼ばれたかといった統計 接続履歴、トレンド レプリケーションのステータス表示 プロセスリスト ダッシュボード Monyogの更なるスクリーンショットはこちら こちらにMonyogのドキュメントがあるので参考にしてください。 $99 〜のツールになりますが、これだけ多機能で、管
データベースの基礎を理解しよう！ プログラミング未経験から始めるPHP入門
はじめに 本連載では、PHPまたはプログラミング初心者の方を対象に、PHPを用いたWebアプリケーションの作成方法を説明していきます。今回は、データベースとSQLに関して、「おすすめレストラン一覧を閲覧できるWebサイトを制作する場合」を例にして、説明をしていきます。 対象読者 プログラミングが初めてでこれから学習する予定の方 プログラミングの経験はあるがPHPを初めて学習する方 この記事の内容 はじめに 対象読者 動作確認環境 データベースとは何か･･･データベースはどんな役割？ データベース操作の基礎･･･データベース言語「SQL」とは SQL基礎：テーブルの作成･･･CREATE文を使ってみましょう SQL基礎：レコード追加･･･INSERT文を使ってみましょう SQL基礎：レコード検索･･･SELECT文を使ってみましょう SQL基礎：レコード更新･･･UPDATE文を使ってみまし
Mac OS XでAMP構築（1/4） ― ＠IT
Shin.鶴長 2008/5/19 DarwinをベースとしたUNIX系OS「Mac OS X」では、ApacheやSambaをはじめとするおなじみのアプリケーションを動作させることができます。今回は、Webアプリケーションの定番、AMP（Apache＋MySQL＋PHP）環境を導入してみましょう（編集部） Mac OS Xは、BSDの流れをくむ「Darwin」をベースとしたUNIX系OSです。 Mac OS Xを手掛けるアップルでは、発売当初からUNIX由来の堅牢（けんろう）性や安定性を前面に打ち出し、UNIX互換であることを強くアピールしていますが、「Aqua」と呼ばれる洗練されたユーザーインターフェイスに覆い隠され、普通に使用するうえでUNIXを意識することはありません。 しかしひとたび「ターミナル.app」を立ち上げれば、ps、ls、viなど、Linuxで慣れ親しんだコマンドに触れ
MySQL/PostgreSQL＋Sennaで行うラクラク全文検索……Tritonn＆Ludia導入のポイント | gihyo.jp
Tritonn、Ludia、そしてSennaとは…… 昨今のWeb 2.0と呼ばれるようなWebシステムでは、一般的に大量のコンテンツデータを内部に保有しているのではないでしょうか。大量のコンテンツから目的のコンテンツをユーザが選び取る手段の一つとして全文検索が挙げられます。全文検索とは、検索対象コンテンツの中身すべてに対して検索を行うことを指します。たとえば、タグやタイトルを対象にした検索だけでは、目的のコンテンツを発見できないような場合に有効な検索です。 データベースに保持された大量のデータを簡単に全文検索したい、という場合も多いことでしょう。本稿では、それを実現にする全文検索システムとして、次の2つを取り上げて紹介します。 Tritonn Ludia これらはそれぞれ、Tritonnは「MySQL」、Ludiaは「PostgreSQL」という、Webシステムを開発する上で人気の高
画像もDBに格納して管理する －扱いがめんどうなLOB(ラージオブジェクト)は使わない方法も含め
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Health Insurance High Speed Internet Work from Home Healthy Weight Loss Best Penny Stocks Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
CodeZine：DeNAの人気サイトに学ぶ LAMPによるWeb-DBシステム構築/運用の極意（前編）（モバオク, モバゲー）
シングルマスタの非同期レプリケーション機能では、マスタサーバーが1台に限定され、マスタからスレーブへの複製は非同期で行なわれるため遅延が生じ、短時間のスケールで見ると全スレーブとの同期が保証されない。しかし、その反面スレーブの台数を増加させていってもマスタサーバーの更新負荷は大きくならず、スケーラビリティを維持できるという利点がある。DeNAによる運用実績でも、マスタとスレーブ間の遅延は通常数秒程度以内に収まる。 このレプリケーションを利用する場合、アプリケーション側ではデータ更新時にはマスタサーバーへ接続し、データ参照のみを行なう場合はスレーブサーバーへ接続するように作成する必要がある。 Webや携帯電話向けサービスの場合、小さな規模で始めてユーザー規模、データ規模、ページビュー数を徐々に増加させていくことが多い。小さな規模のためDBの負荷分散が不要な場合でも、マスタサーバー1台、スレー
PHPとMySQLの個人的まとめ - ぱんぴーまっしぐら
Don't let me cry（右手を回して拳のつきあげ） Don't let me sigh（ 左手を回して拳のつきあげ）呪文のように唱えて（両手を頭の上でクラップジャンプ） MySQLではまったこと MySQLの文字化け 今さら何いってんのコイツとかそこ言わない。 文字コードを確認するSQL文「SHOW VARIABLES LIKE 'char%';」 MySQL4.1以降はサーバとは別にクライアントの文字コードが設定されている。 クライアント、サーバ間で違う文字コードがセットされていると、一度ucs2変換を通る。 よって、クライアント、サーバ間で違う文字コードを指定することとなり文字化けが起こる可能性がある。 PHPはmy.cnfで[mysql]、[client]を設定しようがクライアントの文字コードはビルド時に指定されたキャラクタセット(通常latin1)。 my
「ちょっと待て」 真・MySQLのクエリを最適化する10のTips：CodeZine
Jaslabs: High performance phpで紹介された「MySQLのクエリを最適化する10のTips」に対して、反論している人がいる。ブログ「20bits」のJesse氏だ。彼は「10 Tips for Optimizing MySQL Queries (That don’t suck)」というエントリーで、Jaslabs氏の記事は適切でないとしている。 Jesse氏の経験によれば、SQL最適化で最も重要なことはSQLやDBの基本をしっかりと理解することであり、60％がこれで解決するという。残り35％はDBやクエリの特殊な性質に対する対処であり、最後の5％で発想の転換などを求められる。Jaslabs氏はここにばかり力を入れており、それはまったくもって時間の無駄だと述べている（Jesse氏は「SQL_SMALL_RESULTなんて、生まれてこの方使ったことすらない」とまで言
MAMP & MAMP PRO - your local web development solution for PHP and WordPress development
MAMP PRO for Windows MAMP PRO is the commercial, professional frontend for the classic local server environment: MAMP. With MAMP PRO you can create a separate host for each of your web projects. You can install WordPress and other Extras like Joomla or Drupal with just a few clicks. This is just a small part of what you can do with MAMP PRO. Buy MAMP PRO for Windows MAMP for Windows MAMP is a free
MySQL＋Apache＋PHPをインストールしよう（1/3） ― ＠IT
PHPとMySQL はじめに、PHP（Personal Home Page tool）について簡単に紹介します（注）。ご存じのように、PHPはWebアプリケーションの定番として定着しています。また、Strutsのような大規模開発向けフレームワークがもてはやされる一方で、PHPをはじめPerlやRuby、Pythonといったスクリプト系言語に代表される「Lightweight Language」が手軽さと機能の豊富さから近年再注目されています。特にDBやWebとの相性がいいPHPは、初歩的なWebアプリケーションから本格的な用途まで幅広く利用されています。 PHP 4.1まではおおむね順調にリリースされていたのですが、PHP 4.2で「register_globals問題」が大きく取りざたされました（コラム1）。ちなみに、快速MySQLでデータベースアプリ！の第5、6回で紹介しているPHPサ
Tag2Find MOONGIFT
ファイルもタグ管理 すっかり定着したタグ管理。ファイルの管理にも導入しよう。 ファイルもタグ管理 情報をタグで管理すると言うのは、Web2.0系（と言うのも曖昧だが）アプリケーションで数多く取り入れられるようになってきた。既に違和感なく扱っている人も多いのではないだろうか。 それすら通り越し、何でもタグがなければと思っている方はこれを使ってみるといい。 今回紹介するフリーウェアはTag2Find、Windowsにタグ機能をつけるソフトウェアだ。 Tag2Findを使えば、Windows上のファイルについてタグ管理できるようになる。勿論、全てのファイルに行う必要はない。必要だと思ったファイルにだけタグをつけよう。 後はタスクバーになる検索ウィンドウで、タグ文字列を入力すれば即座に結果が得られる。また、プレビューやファイル情報を見られる専用のファイル管理インタフェースもある。 Tag2Find
DSAS開発者の部屋:5分でできる、MySQLのメモリ関係のチューニング！
MySQLのチューニングにおいて非常に重要となるメモリ(バッファ)関連のパラメータについて、 チューニングのポイント DSASのとあるDBサーバ(実メモリ4GB)の実際の設定値 をまとめてみます。 また、必要メモリの総量の計算や限界値を越えてないかチェックしてくれるスクリプトも紹介します。 是非、参考にしてみてください！ まず最初に注意点を。 バッファには2つのタイプがあります。 グローバルバッファ スレッドバッファ グローバルバッファはmysqld全体でそのバッファが1つだけ確保されるもので、 これに対し、 スレッドバッファはスレッド(コネクション)ごとに確保されるものです。 チューニングの際にはグローバル/スレッドの違いを意識するようにしましょう。 なぜなら、スレッドバッファに多くのメモリを割り当てると、コネクションが増えたとたんにアッという間にメモリ不足になってしまうからです。 in
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
WordPressのDBのwp_postsがクラッシュした時の修復方法
IDEA * IDEA
IDEA * IDEA
MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について｜blog｜たたみラボ
WizMySQLAdmin
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ