サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
higehiki.hateblo.jp
前回と前々回の続き。 最終的な構成↓ EC2 Webサーバ2台に fluentをインストール。 MySQLのSlaveサーバにmongoとfluentをインストール。 インストール手順はこちら参照。 やっぱりログは圧縮してS3にぶっ込んでおいたほうがいいよね!と途中で思い直したので、S3のプラグインもインストール。 /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-s3 DBのSecurityGroupでport24224と27017をWebのsgからアクセスできるように設定。 S3にuploadするfluentdの設定ファイルはこんな感じ。 vim /etc/td-agent/td-agent.conf # Input <source> type forward port 24224 </source> # Outpu
オートスケール下でのdeployというと、self-deploy (起動時にスクリプトを実行して、ローカルのソースを最新版にする!) がイケてる気がします! AWS EC2 capistranoでオートスケーリングインスタンスにデプロイ - cap version2 http://qiita.com/mychaelstyle/items/a550d4a0658c87c1ff30 こちらで紹介されている方法がまさにそれ! にも関わらず、今回はオートスケールの通常フローで実装してみました。 AWS SDK使ってラクしてみよう!とか思ったわけではないんですが、別案件のスクリプトががっつり使いまわせたからって理由です。<今回のゴール> capistrano3の動的IP取得 ⇒ ソース反映 + AMI作成 + オートスケール設定更新 先人の方々がcapistrano2でやられているのを参考にちょいち
AmazonRDSのreplica setを作って運用していたんですが、とある開発事案で、大量のレコードを短時間で生成する必要に迫られました。 要件としては、 ① 特定ファイル(複数)のファイル名から属性情報を抜き出す ② 既存テーブルAの属性情報にHitしないレコードをSELECTしてtmpテーブルを生成 ③ tmpテーブルに特定ファイル(複数)を1個ずつ展開してINSERT というようなものです。 ただ、特定ファイル内のレコード数が大きく、1ファイル、10万件〜100万件を想定しておく必要がありました。 ここで、単純にサーバー(php)から1行ずつINSERTするのは選択肢から消えます。 バルクインサートも検証しましたが、速度として満足いくものではなく、代替方法を検討しました。 結果、LOAD DATAを使おう!ってことになりました。 LOAD DATA INFILE "ファイル名"
このページを最初にブックマークしてみませんか?
『higehiki.hateblo.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く