AWS Data Pipelineを使ってRDS MySQLのデータを定期的にS3に出力する
なぜData Pipelineを選んだか？ 調査を行う過程で、AWS GlueとAWS Data Pipelineが候補に上がりました。 Q: AWS Glue とAWS Data Pipeline はどのように使い分けますか? AWS Glue では、Apache Spark サーバーレス環境で運用されるマネージド型 ETL サービスが提供されています。お客様は ETL ジョブに集中でき、基盤となるコンピューティングリソースの設定や管理について心配する必要がありません。AWS Glue ではデータ優先のアプローチが採用されており、ビジネスインサイトを引き出すことができる形式にデータを変換するための、データのプロパティと操作に集中できます。データカタログが統合され、ETL に加えて Amazon Athena や Amazon Redshift Spectrum でのクエリにもメタデータを
MySQLの負荷が高くて困ったときにやること - Qiita
遅刻してごめんなさい！ ここでは、「負荷が高い」とはリソースが枯渇した、あるいは枯渇しそうな状態で、かつそれがシステムに影響を及ぼしている、あるいは影響を及ぼしうる状態を指します。 負荷の傾向を見る snmpdが返す値や SHOW ENGINE INNODB STATUS などの値を見て負荷の傾向を見ましょう。 当社ではCloudforecastを使ってこれらの情報メトリクスとして収集しています。 メトリクスを常に計測しておき、通常の状態と異常な状態を可視化しておくことは非常に重要です。 CPUネックかIOネックか 負荷の原因としてどのリソースが不足しているのかを見極めます CPUが原因で詰まっているか、IOが原因で詰まっているか、という具合で大別できるのでまずそれを見ましょう。 CPUネックの場合はCPUを100%近く使いきっていることが多いです。 また、複数コアあって一部のコアを使い切
Datadog メトリクスモニター作成入門
Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果
【追記2つあり】みんな浸透圧を雑に語りすぎ
科学的な（ふりをしている）料理レシピでよくある「浸透圧によってうまみが抜けない」「浸透圧によって肉汁が抜けない」など 謎の誤った浸透圧信仰が気になるので指摘したくなった ていうかはてなは理系エンジニアが多いんだから高校化学で学習する浸透圧くらいちゃんと指摘・訂正してくれよと思った 浸透圧は半透膜（多くの場合は細胞膜）を挟んだ「溶媒」分子の移動に伴って生じる圧力のこと あらゆる物質は濃度勾配に従って濃度が高い方から低い方へと移動する この移動に際して小さい分子のみを通す穴の空いた膜が挟まると、小さい分子のみが移動できる状態になる この小さい分子の代表が水 細胞膜は（厳密には違うが）水のみを受動的に通す膜と考えていい 水に食塩など様々な物質が溶け込むと、相対的に「水の濃度」が低くなる 水は濃度が高い（他の物質が溶けてない）方から濃度の低い（いろんな物質が多く溶けている）方へと移動する この現象
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sandy Bridge環境が力尽きた人へのメッセージ「10年ぶり自作PC復帰の古強者達へ」パソコン工房 秋葉原BUYMORE店で見かけたPOP
長井ずみ on Twitter: "ツナ缶虫混入で1億円超賠償命令 はごろもの下請け業者に（共同通信） - Yahoo!ニュース わたしツナ缶の詳しさには自信あるから、この事故について語ってもいいよね いち「理論上一般消費者が知りうる情報をほぼすべて得た人」として、語らせてください https://t.co/rfsIPwNEhb"
ブクマカから知ったお役立ち情報ある？