はてなブックマーク

Calendar for PostgreSQL | Advent Calendar 2021 - Qiita の10日目の記事です。 思い当たる節がある人は、今の見積もりの数倍の時間と予算を確保してからキックオフして欲しい。 多分、そのまま走ると誰か倒れるから。。。 で終わりにするわけにはいかないので、いくつか書きます。 もちろん、SQLがDBMSによって「方言」があるので、使える構文、関数名が違うってのは当然あるのですが、それ以外のところを中心に。 PostgreSQLのサーバーサイドエンコーディングはShiftJISをサポートしていない 今どき、新規で立てるデータベースはUTF8を選ぶよねーキャハハ、と思っても、何世代もバージョンアップしてきたOracleや、塩漬けされたOracleなんかは、ShiftJISを使っているところも多いのではないでしょうか。 自分で文字コードマッピングの処

いやー、知らないって怖いね。 なんだこのキモいSQLは、って思ってしまったけど、調べているウチに、これちゃんとSQL構文に則ってる！こちらが間違ってた！って事がわかっていきました。 あえて、知らなかった所から勢いで書いていたのを、そのままにしてみました。 キモいSQLコードを偶然見つけた SQLにおけるORDER BYって、その後にカラム（およびそのエイリアス）を並べてソート順として使用するわけですが、MySQL案件のお仕事の中で偶然こんなものを見つけて、絵に描いたような二度見リアクションしました。 SELECT * FROM tbl ORDER BY id = 23; -- (1) SELECT * FROM tbl ORDER BY FIELD( id, 23, 234, 543, 23 ); -- (2)こうした、「ORDER BYに、あたかもWHERE句で絞り込む条件指定のような使

MySQL Casual Advent Calendar 2016 - Qiitaの5日目の記事です。 AdventCalendar自体初参加でドキドキ。 トランザクションの開始は、BEGINしたときじゃない！ MySQLでは、BEGIN（START TRANSACTION。長いので、以下、特筆すべき場合以外は「BEGIN」で）を宣言しても、内部的にはまだトランザクションを開始してません。 SQLを投げたタイミングで、トランザクション開始になります。 このとき、更新のない、FOR UPDATEもないSELECT文でも、トランザクションが開始されます。 なにそれきもい。 「AutoCommit=ON/OFF」による違い AutoCommit=ONのとき トランザクションはSQLを発行するたびにBEGIN/COMMITで完了し、ロールバックできません。 複数SQLを束ねて１つのトランザクション

MySQL Casual Advent Calendar 2016 - Qiitaの6日目の記事です。 AdventCalendar自体初参加でドキドキ、してたら、成り行きで2日連続。 コレ用のきれいなエビデンス取れるような環境要していなかったので、普段より荒っぽいですが、Casualな感じで失礼します。 大きなテーブルを繰り返しSELECTしてたら、挙動が変わったんですよ。 バッファに載っているなら載っているで早いだろうし、載っていいなら最初ガッツリ遅くて、次からグイっと速くなるだろうと思っていたんですよ。 バッファに載りきらないなら、何回やっても遅いだろうと思っていたんですよ。 で、ちょいと計測的なことをやってた関係で、同じSQLを何度か叩いて平均、中央を見ようと思っていたんです。 そしたら、 45.71秒、44.90秒、24.44秒、13.32秒、13.12秒・・・ と、段階的に応答

ワンライナー mysql -u ユーザ -pパスワード -h 接続先 -e "SQL文" | sed -e 's/\t/\" \"/g' | sed -e 's/^/\"/g' | sed -e 's/$/\"/g' | sed -e "s/^/$(date '+%Y%m%d %H:%M:%S') /g" >> ファイル パスワードを生テキストで書くなって人はゴニョゴニョしてください。 追記：ゴニョゴニョするはなし、書きました。 MySQLで幸せになれるヤツの続き-パスワードを隠蔽する方法 - なからなLife 取りたい情報に応じて、権限が異なります。DBのroot相当の権限があるといいのですが、少なくとも「全スキーマへのSELECT」と「PROCESS」は必要になるはず。 何するやつ？ MySQLにログインして、-eの後に指定したSQLを実行して、ログアウトする。 SQLの結果をパイプで

クラウドサービスバンザイ！ ハードウェアの置き場要らないし、資産管理もほとんどいらないし。 負荷急増にもすぐ対応できるし、サーバー納品待ちとかないし。 「このロット、ハズレだなー」、とかないし。 Saasレベルののもに至っては、ほんとに「１ライセンス月いくら」しか気にしなくて良いからなー。 いいよのなかになったもんだー。 情報システムに資金を回しにくい非IT系ベンチャーにとっても、非常に嬉しい時代になりました。 そして、ふと沸き起こるトラブル 情シスがサーバーを手放して、Iaasを活用した。 情シスが開発を手放して、Paas・Saasに乗っかった。 そして残ったのは、ほんとに低層の「ネットワーク」の部分。 情シスが呼び出されるトラブルの多くが「ネットワークが繋がらない、遅い」という問題に。 そんなに複雑な構成を組んでいない、設定すべき情報もほとんどないネットワークで、トラブルが起こります。

タイトル通りですが、とりあえず列挙 STATSPACK的なもの、ないの？ ありません。 価格差考えてください。 TuningPack的なもの、ないの？ （ｒｙ 過去に実行したSQL、誰がいつ実行したか追えないの？ いわゆる監査ログってやつ。 無料でやりたいなら、generarl_logで全SQL吐いてください。 あとは有償/無償でプラグイン追加すればできるようになりますよ。 I/Oなり、なんらかのリソースを食うけどね。 監査やらない前提で必要スペック見積もっておいて、事故ってから騒ぐのやめてください。 クエリ遅いんだけど！ Oracleと同じ感覚で一文でバッチリ取ってくる数百行のクエリ書いて悦に入ってないで、実行計画まず見てくれ。 MySQLで相関サブクエリが死ぬほど遅いってことは、一度でも自分で調べる意思があってググッていれば、嫌でも目に入るだろ。 まさにggrks（死語？ この相談を受

それは突然やってきた MySQL 8.0.14がGAされました。 dev.mysql.com まあ、MySQLは結構な頻度でリリースがありますし、「GAとはなんぞや」との名言が生まれる程度に、マイナーリリースでも機能が増える、パラメータが増える、既存パラメータのデフォルト値が変わる、といったことが発生するかわいいヤツです。 まあ、あとでリリースノート読んでみるか、と思いつつ、ビールを飲みながらYoutube垂れ流してボケーっとしているところに、新しいものが出てくるとリリースノートとソースコードを読み漁る某APIの人のツイートが深夜に流れてきて、ふと気になったのが、今回のテーマである「innodb_parallel_read_threads」です。 InnoDB: InnoDB now supports parallel clustered index reads, which can im

所属している会社は小さいし、そこそこ実績のある中途しか採用していないので、Linux入門者を相手にする機会はそうそうないです。 なので、ここで吠えておくことにします。 「新しいLinuxの教科書」あれはいい本だ。 新卒SE向け研修（特に文系も採用しているようなところで）のテキストとして使うもよし、とりあえず自由に使えるLinux環境立てられるようになったらあとは自分で写経しながら読んでおけ、でも、いい感じに使える内容が書かれていると思います。 また、体系的に学ぶこと無く、うまいことやり過ごしてきてしまった中堅以上のエンジニアが読めば、学び漏れていたこと、表面的にしか理解していなかった話ことのフォローアップにもつながるでしょう。 深すぎず浅すぎず、狭すぎず広すぎず、よくまとまってます。 深みが必要になれば、その領域を掘り下げた本に進めばいいですしね。シェル芸本とか。 同系統の本を読み比べたわ

呼ばれたきがしたので soudai.hatenablog.com なお、InnoDB限定のお話ですよ。MyISAMを（システムテーブル以外で）使ったことない若輩者なので。 ちょっと余裕がないこともあり、思いつく最小限のことだけ書きます。追加で思いついたら後ほど＆温かいフォロー（というマサカリ？）歓迎。 checkpointに影響がある値 innodb_log_file_size Redoログのファイルサイズです。 生MySQLのデフォルトは「50331648 Byte（48MB）」、RDSのデフォルトは「134217728 Byte（128MB）」。大きなバッチ処理がなければ間に合うかも知れないですが、広げたほうがよいでしょう。 適切な値の範囲は、1M バイトから 1/バッファープールの N 番目のサイズまでです。ここで、N はグループ内のログファイルの数です。 https://dev.m

長くなりそうなので、先に要点だけ。 Twitterで 先日の「RDSの方がAuroraより速いケース」の件、とりあえず調べたい範囲のベンチマーク取れた。元記事って2000万件*5=1億件を1クライアントで処理してるのな。で、普通に？HammerDB TPC-Cで多重度上げてもRDSが速いケースがないか調べた。— atsuizo (@atsuizo) 2022年4月7日 に連なる一連のツイートに結構反応があったので、ブログにもまとめておきます。 RDS PostgreSQLの方がAurora PostgreSQLより速いぜ！って記事を見かけたけど、大量データを1クライアントで流し込む試験の結果だった。 複数クライアントからのOLTPワークロードでもRDSの方が速いパターンってあるのかな？TPC-Cで試してみよう！ インスタンスのサイズ（vCPU）と同時実行数によって、RDSの方が速いケース、

書き始めのきっかけと振り返り 6月いっぱい、ほぼ2日に1日のペースで「中小事業所のオフィスインフラを考える」と題して、勝手に連載記事的なものを投稿してまいりました。 これを思い立ったきっかけは、大企業相手の受託SI・コンサルを経験した後に、中小事業会社で実際に情シスをやってみて、「プロと素人とでは、力の差、知識の差、求めていることの差が開きすぎている」と思うことが多かったからです。 このへんは、ブックマークのコメントにも、如実にあらわれてきます。 「大したこと書いてない」ってニュアンスのコメントについては、「まさにその通り」でして、技術的には大したことではないんです。比較的リテラシの高いはてな利用者層であれば尚更、大したことがない、と見る人が多いと思います。 しかし、現実として、中小事業所では、「大したこと」じゃないノウハウで解決できるレベルの課題が山積しています。 専門スキルを持った人を

これが例のブツです。 ELECOM ほこりカバー LD-DUSTBK6 出版社/メーカー: エレコム 発売日: 2004/03/01 メディア: Personal Computers 購入: 5人 クリック: 13回 この商品を含むブログ (1件) を見る だいぶ前から、この商品の存在は知っていました。 しかし、「こんなの買うやつ、よほどの潔癖症だろ」くらいにしか、思っていませんでした。 情シスとして、入社前から組まれているLANの構成を１つ１つ現物確認して行ったら、カオスでした。 社内LANをすっきりさせるLANケーブル配線＆結線ルール なんていう、素晴らしい記事がありましたが、こんなの夢のまた夢。 ギガ対応Hub - ギガ未対応Hub - ギガ対応Hub というカスケード接続がいたるところにありました。 ケーブルも、カテゴリ5e/6対応してるかどうか怪しいのがゴロゴロ。 無線LANのア

MySQL Casual Advent Calendar 2018 - Qiita 14日目の記事です。 MySQLネタで書くと、Casualといいつつ、わりとCasualじゃない話になりがちなので、Casualレベルのお話を。 いや、あんまり優しくない制限の話なんだけど。。。 AWS Relatioal Database Service（以降、AWS RDS）でのMySQLのお話。 OS層に触れない AWS RDSの基本中の基本。DB as a Serviceということもあり、SSHでサーバOSにログインできません。 MySQLプロトコルをおしゃべりできるクライアントでMySQLユーザーとして接続してください。 NWの疎通確認用にtelnetやvcコマンドでの接続は一応許されてます。 OS層に触れないので、この辺も必然的に使えません。 トランスポータブル表領域 標準提供以外のプラグインの

MySQL Casual Advent Calendar 2016 - Qiita 12日目の記事です。 まさかの3回目。もうムリ。。。 JOIN ON句で結合条件ではなく絞込条件を書くことができることを、知らなかったのです。 具体的な名称がわからない＆検索にもヒットしにくいので、勝手に名前をつけました。 「JOINに直値」 わかりにくいと思うので、サンプルSQL書きます。 SELECT tbl_a.col1,tbl_b.col1 FROM tbl_a INNER JOIN tbl_b ON tbl_a.col1 = tbl_b.col1 AND tbl_a.col2 = 0; JOINでは一般的に「表A JOIN 表B... ON 表A.列 = 表B.列」と書いて表同士を結合するための条件を書きますが、ここに、一方の表の絞り込み条件を書けるんです。 SQLの教科書的な書籍ではまず見かけま

用途 時間計測したいけど、結果の行表示とか余計なものは全くいらない、ってケースありますよね。性能検証やってるときとか。 何百行何千行も取れるようなSQL流すと、表示するのも萎える。 pager有効だと「--More--」って出て止まる。これは「q」で残りの表示はスキップできるけど、それもめんどくさい。 pager無効にすれば余計な操作はいらなくなるけど、表示処理が重いし。 結論 psqlでログインして「\timing」で実行時間表示モードをONにした後、以下を実行します。 その１：メタコマンド「\g」を使って、/dev/nullにリダイレクトする。 SELECT ...(任意のクエリ) \g |> /dev/nullWindowsのコマンドプロンプトだと、Nullへのリダイレクトは「>nul」、Powershellだと「> $null」が該当するらしいのですが、これ使うと「The synt

timeout系パラメータはいくつかあるけれど 新規接続時のタイムアウト（connect_timeout）ではなく、一度確立した接続がタイムアウトで切断される現象に影響するタイムアウト設定のお話。 ERROR 2013 (HY000): Lost connection to MySQL server during queryにお悩みのアナタのためのヤツです。 「interactive_timeout」「wait_timeout」 ・interactive_timeout サーバーが対話型の接続で、対話型の接続を閉じる前にアクティビティーを待機する秒数。対話型クライアントは、mysql_real_connect() で CLIENT_INTERACTIVE オプションを使用するクライアントと定義されます。wait_timeoutも参照してください。 https://dev.mysql.com

まさにT/Oなんだが AWS負荷本、「AWSで作るシステム負荷試験のやり方」というIssueを掘り下げただけでも貴重なのだが、そもそも普通に負荷試験についてしっかり解説した書籍自体がレアなので、二重に美味しい。— atsuizo (@atsuizo) 2017年9月25日 AWS本では珍しい「ワンテーマ」の本 世に数あるAWS本の多くは「入門として、広く浅く」か「最新（最近だとサーバレス）の特定技術であんなことも！こんなことも！」のいずれかに分類されるかと思いますが、この本は「AWS上に構築したシステムの負荷試験をどうやってやるか」という、とある１つのソリューションに特化した本ということで、これらとは一線を画しています。 特に前者については、もう出尽くし感があります。一部の本が改訂版を出していますが、既存サービスも進化しているAWSにおいて、古い情報のまま次の本が出てこないモードに入りつつ

MySQL Casual Advent Calendar 2016 - Qiita 21日目の記事です。 穴があったら埋めたいタイプの人です。5回目。。。 なお、大トリの25日が空いているみたいですが、3年連続であの方でしょうか？(・_|襖| ある日、MySQLおじさんお兄さんに、、、 って言われたので、約束破ってみたｗ やることは、以下の通り。 binlog出力ON、binlog_format=MIXED まったく同じ構造のテーブルを３つ用意 テーブル1に1000万件用意(ibdファイル1.6GB) ログをFLHSH REPEATABLE-READで、テーブル1からテーブル2へINSERT ... SELECT 全件 ログをFLHSH READ-COMMITTEDに切り替えて、テーブル1からテーブル3へINSERT ... SELECT 全件 ログをFLHSH ログファイル確認 実験結果

topの概要 語り尽くされてますし、manにもすごく丁寧に説明がありますので、見た目だけ。 top - 10:12:59 up 42 min, 3 users, load average: 0.00, 0.01, 0.05 Tasks: 159 total, 1 running, 158 sleeping, 0 stopped, 0 zombie Cpu(s): 0.6%us, 0.4%sy, 0.0%ni, 96.8%id, 2.1%wa, 0.0%hi, 0.0%si, 0.0%st Mem: 4048536k total, 1446716k used, 2601820k free, 36404k buffers Swap: 4194300k total, 0k used, 4194300k free, 1124068k cached PID USER PR NI VIRT RES S