1文字でSQLを200倍遅くする方法
こんにちは、19のSysAd班の翠(sappi_red)です。普段はtraQのフロントエンドの保守を行ったりしています。 こんばんは、19のSysAd班のtemmaです。普段は普段どおりのことをしています。この記事の面白い部分はすべて僕が書いています。面白くないところは翠君が書いています。 この記事では、日々パフォーマンスに頭を悩ませる開発者の方のために、ワンタッチで劇遅SQLを200倍高速でキュートなSQLに劇的ビフォーアフターする方法を紹介します。 「おいおいおい、遅くしたくて記事を読み始めたのに話が違うじゃないか💢」と思ってるそこのあなた👈 早くできるということは遅くもできるんですね。 TL;DR ここにテーブルがあります。 CREATE TABLE messages ( id CHAR(36) NOT NULL PRIMARY KEY, text TEXT COLLATE ut
『データ分析のためのSQL勉強会〜初級編〜』資料公開｜高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します！(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ
安全なWebサイトのつくりかた ざっくりまとめpart1 - Qiita
情報推進機構「安全なWebサイトのつくりかた」を読んだけど 情報量が多すぎて頭がフリーズしたので、現時点で最低限理解できる内容までを記録しておきます。 誰にでもわかるというより、僕にでもわかる文章で書いていますのでご了承ください。 Webアプリケーションのセキュリティ実装 例として、１１種類のセキュリティ脆弱性が挙げられています。 「何がまずいのか？」「どんなアプリで注意が必要なのか？」を 噛み砕いてからまとめていきます。 SQLインジェクション Part1（本記事） https://qiita.com/E-46/items/93199f38bdacd6b6076a OS コマンド・インジェクション Part2 https://qiita.com/E-46/items/aa43b6a01de8ab205591 1. SQLインジェクション どんな脆弱性なのか インジェクションとは「注入、投
MySQLのクエリの良し悪しはrows_examinedで判断する - かみぽわーる
仕事やらなんやらでMySQLのクエリの良し悪しを判断する必要があるとき、EXPLAINの内容だけだとどのぐらい良くなったり悪くなったのか分からないので SET long_query_time = 0; してrows_examined (そのクエリでrows_sent行の結果を返すために何行に触ったのか)も一緒に提示するようにしている(少なくともMySQL 5.7時点ではrows_examinedはslow_query_logでしか確認できないはずperformance_schemaが有効ならevents_statements_historyやその仲間たちで確認できるとのこと*1 MySQL :: MySQL 5.6 リファレンスマニュアル :: 22.9.6 パフォーマンススキーマステートメントイベントテーブル)。 例: 上の例のBeforeは、もともとDBAが書いた温かみのあるSQLでO
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
分析SQLのコーディングスタイル - クックパッド開発者ブログ
SQL、書いてますか？ こと大規模データ処理の分野においてはSQLはもはや標準インターフェイスであり、 分析やらバッチやらに関わっている皆様は日々大量のSQLクエリーを生産していることと思います。 そこでちょっと気になるのが、 SQLのコーディングスタイルってどうするのが一般的なんだっけ……？ という点です。 イマドキはSQLなんてO/R mapperに吐かせることが多いからなのか、 それともコードを広い範囲で共有することがそもそもないからか、 SQLのコーディングスタイルについて見聞きすることは他のプログラミング言語に比べるとだいぶ少なく、 いまいち決定版と言えるスタイルがないなと感じています。 そんなわけで本日は、SQLのコーディングスタイルについての意識を活発化させるべく、 クックパッドでわたし（青木）が使っているコーディングスタイルから特徴的な点を紹介したいと思います。 特に、分析
セッション→Session in DB→NoSQL - ウィリアムのいたずらの、まちあるき、たべあるき
ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです（たま～にコンピューター関係も） ちょっとした温故知新 ■セッションとその問題 Webシステムにおいて、１つの取引情報（＝ここでは、これをトランザクションとす る）が数画面に渡るときが有る。このような場合、データ（ここでは取引情報）をセッ ションに入れておく。この方法は、いまだに変わっていない。 しかし以下のケースでは問題が起こる。 ・負荷分散させた場合 ・障害時 ・タブブラウザ対応 ●「負荷分散させた場合」について。 例えばTomcatをA,B,Cという３台で走らせていたとする。そこに、Xさんがアクセスし たとき、Xさんが、TomcatAにアクセスし、TomcatA上にセッションを作成した場合、次 からアクセスは、TomcatAにしかアクセスできない。B,CからAのセッションを見れない から。つまり、セッション
SQLでエスケープなんてしたら負けかなと思ってる。 - めもおきば
オレオレSQLセキュリティ教育は論理的に破綻している | yohgaki's blog 「プリペアードクエリが基本だけど、動的に SQL を組み立てる場合もあるから、そういう場合に備えてエスケープも知っておいたほうがいいかも」 - Togetterまとめ SQLインジェクション対策で大垣靖男氏は何を勘違いしていたか | [ bROOM.LOG ! ] エスケープとプレースホルダをめぐる議論 - Togetterまとめ SQLインジェクション対策としてのプリペアドステートメントとエスケープについての議論 - Togetterまとめ IPAの「安全なSQLの呼び出し方」が安全になっていた | yohgaki's blog SQLへの安全な値の埋め込み方について、ここ数日で色々議論というか意見の投げ合いがありましたが、自分としての考えをまとめておきます。 1. SQLに値を埋め込む場合は、プリペ
FacebookがオープンソースのSQL対応分散クエリエンジンPrestoを発表、ペタバイト規模のデータ処理も可能
By Intel Free Press ギガバイトからペタバイト(100万ギガバイト)まであらゆるサイズのデータをインタラクティブに解析して必要なデータを発見可能となるオープンソースのSQL対応分散クエリエンジンがPrestoです。Facebookのような企業が持つ大量の商業データでも高速に処理可能となるように設計されており、Prestoの出すクエリ(データベース管理システムに対する処理要求を文字列として表したもの)は複数ソースのデータと組み合わせることも可能。このシステムを開発したFacebookでは、約300ペタバイトにも及ぶ企業内部のデータを保管するデータ・ウェアハウスにてPrestoを使用しており、毎日1000人を超えるFacebookの従業員たちが1日当たり3万以上のクエリを走らせ、1ペタバイト以上のデータがスキャンされている、とのことです。 Presto | Distribut
MySQLで相関係数を求めたい (2005-06-19)
Excelのcorrel()関数によると、このデータの相関係数は-0.74987である。SQLを操作した結果、これと同じ値が出てくればよい。今回、以下のような操作を行った。 CREATE TABLE correl(x int, y int); INSERT INTO correl VALUES (13, 34), (14, 29), (15, 33), (16, 16), (15, 26), (14, 40), (13, 31), (12, 33), (11, 35), (10, 45); CREATE TEMPORARY TABLE avg SELECT AVG(x) AS xavg, AVG(y) AS yavg FROM correl; CREATE TEMPORARY TABLE sd SELECT POW(x - xavg, 2) AS xsd, POW(y - yavg, 2)
ちょっと変わったSQLインジェクション
＠IT編集部のセミナーに出てきました 3月2日に、＠IT編集部主催の「＠IT セキュリティソリューション Live! in Tokyo」にて、NTTデータ先端技術の辻さんとインターネットイニシアティブの根岸さんとともに、ランチセッションに出演してきました。辻さん＆根岸さんのトークに絡ませてもらい、あっという間にランチセッションは楽しく終了しました。 事前の準備中はあれだけいろいろと話そうと思っていたのに、いざ始まると時間が足りないくらい盛り上がりました。ちょっと物足りないと思うくらいがいいのかもしれませんね。その会場で使った、2002年と2012年付近の出来事を示した資料がこちらです。 私はちょうど10年前の2002年にラックに入社しました。振り返ってみればあっという間の10年の社会人生活です。こうしてみると、いろんなインシデントがリアル世界とサイバーの世界で起こっていたんだなと懐かしくな
駆け足で見るGoogle Cloud SQLでできること（1/3） － ＠IT
連載：使ってみました！ Google Cloud SQL 第1回 駆け足で見るGoogle Cloud SQLでできること クラスメソッド 中村修太（なかむら しゅうた） 2012/2/22 アマゾンやマイクロソフトに続いて、ついにグーグルもRDBMSのサービスを提供し始めました。今回は、あえて詳細な解説は避けて、このサービスでどんなことができるのかを駆け足でお見せします（編集部） GoogleがついにRDBMSサービスの提供を開始！ 2011年11月、Googleは「Google Cloud SQL」というサービスの提供を始めました。リレーショナルデータベース管理システム（RDBMS）の機能をインターネットを通して提供するサービスです。はやりの言葉で言えば、「クラウド環境で動作するRDBMS」ということです。 本稿執筆時点では、このような形でRDBMSのサービスを提供している例は少なく、
PHP- SQLインジェクション - Manual
Getting Started Introduction A simple tutorial Language Reference Basic syntax Types Variables Constants Expressions Operators Control Structures Functions Classes and Objects Namespaces Enumerations Errors Exceptions Fibers Generators Attributes References Explained Predefined Variables Predefined Exceptions Predefined Interfaces and Classes Predefined Attributes Context options and parameters Su
SQLインジェクション対策～PHP(Perl)+PostgreSQL+JavaScript=Ajax～ - まんじうこわい@楽 - 楽天ブログ（Blog）
2007.03.22 SQLインジェクション対策～PHP(Perl)+PostgreSQL+JavaScript=Ajax～ カテゴリ：PHP 今日も引き続き開発を行なっていたのですが、データベース絡みの開発で気をつけないといけないのがSQLインジェクションです。 簡単に説明すると、入力フォームにSQLを書かれて、データベースをいじられてしまう事。（だと思ってます POSTやGETの値を信じてはいけないというのは、そんな事が関係しているのです。 で、SQLインジェクションを防ぐ為には特殊文字をエスケープしてあげる必要があるのです。PHPにはSQLのエスケープ関数があり、以前よく使われていたのが 「addslashes()」 なのですが、何でも今では推奨されていないとか（不具合があるとかないとか PostgreSQLを使用している場合に推奨されているエスケープ関数は 「pg_escape_s
第6回 意外に知られていないブラインドSQLインジェクション | gihyo.jp
前回の記事でSQLインジェクションの話は終わりにして、クロスサイトスクリプティングの話を書かせて頂こうと思っていました。しかし、6月5日に東京にて開催されたPostgreSQLカンファレンス2007でセキュリティをテーマに講演させて頂き、意外にブラインドSQLインジェクションをご存じでない方が沢山いらっしゃいました。40名ほどの聴講者の皆様にSQLインジェクションをご存じの方？とお聞きするとほぼ全ての方が知っていると答えたのですが、ブラインドSQLインジェクションをご存じの方は数名でした。 SQLインジェクションの常識 ブラインドSQLインジェクションの話をする前に、SQLインジェクションとその対策の常識について確認します。 SQLインジェクション対策として間違ってはいないが不十分な対策 エラーメッセージを表示しない（特にSQLエラー） ユーザ入力文字列をエスケープする これらはSQLイン
SQL Injection Cheat Sheet | Invicti
Use our SQL Injection Cheat Sheet to learn about the different variants of the SQL injection vulnerability. In this cheat sheet you can find detailed technical information about SQL injection attacks against MySQL, Microsoft SQL Server, Oracle and PostgreSQL SQL servers. What is an SQL injection cheat sheet? An SQL injection cheat sheet is a resource where you can find detailed technical informati
データベースの内部動作を知る
SQLのプログラミングは奥が深い。特にパフォーマンスの観点から、そう言えるだろう。 みなさんご承知の通り、同じ結果を出すプログラムでも、SQLの書き方次第で処理時間に何倍もの差が生じ得る。効率の悪いSQLを書いてしまう原因は、多くの場合、リレーショナルデータベースの内部動作やアプリケーションに関する理解不足である。両者をよく知った上で最適なSQLを書けるようになることは、システムエンジニアとしての重要なスキルの一つである。 特集『基礎から理解するデータベースのしくみ』では、リレーショナルデータベースの内部動作について、基本的な部分を分かりやすく解説している。SQLプログラミングに役立つことはもちろん、SQLチューニングやデータベース設計のための基礎知識としても不可欠だ。 イントロダクション ブラックボックスのままでいいの？ Part 1：SQL文はどのように実行されるのか SQL実行までの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLアンチパターン
SQLアンチパターン読書会 レジュメ
promob.jp