MySQL Connector/PythonからSQLを投げる | DevelopersIO
RDBを操作する際には、SQL文の組み立てが発生します。自前で文字列操作を駆使してSQL文を組み立てると、バグやセキュリティホールの温床となりかねません。 今回はMySQL Connector/Pythonからお行儀よくSQLを投げる方法を紹介します。 事前準備:MySQL Connector/Python のインストール MySQL Connector/Python のインストールは次の記事を参照して下さい。 MySQL Connector/Python 2.1をAmazon Linuxにインストールする 今回は 2.1.6 を利用します (非推奨)自前でSQLを組み立てる ナイーブにSQL文を自分で組み立て、データベースに投げてみましょう import mysql.connector config = { 'user': 'USER', 'password': 'PASSWORD',
PythonでMySQLに一括バルクInsert - ITips
「PythonのMySQLのInsertが遅い」 大量のデータを挿入したい場合、Insertに時間がかかる。 しかし一括でInsertすることで時間短縮することができる。 今回はそのバルクInsertについて紹介する。 一括でInsertする方法 pymysql の execute の代わりに executemany を使うと一括でInsertできる。 参考： pymysqlでbulkインサート - MasterYodaの昼下がり 検証 準備 pipで pymysql のライブラリをインストールする。 pip install pymysql MySQLのDBに検証用のテストテーブルを作る。 CREATE TABLE <code>hoge</code> ( <code>id</code> int(11) NOT NULL AUTO_INCREMENT, <code>name</code> v
MySQLを勉強し始めた頃に知っておきたかったことをいろいろ箇条書き - Qiita
sqlを勉強し始めて(SELECT,INSERT,UPDATE,DELETE,CREATE文,left join,inner join,group by,order by,distinct,サブクエリを覚えたぐらい)の頃の自分が、その当時に次のステップとして知っておきたかったSQLのいろいろを書いていきます。 注意 私自身sqlについて勉強中のものですので、間違いや、もっといい書き方があるなどがあると思いますが、 私がsqlを勉強し始めた頃にこれを知っていれば、sqlってこんなに面白いものなんだともっと早く知ることができたのにと思い、投稿させていただきました。m(__)m 間違いなどあれば指摘いただければと思います。 テーブル・カラム名とかは大分適当ですが、やりたいことが伝わる内容には気をつけましたのでよろしくお願いいたします。 基本的にMySQL 5.6で書いて行きます。 MySQLでサ
MySQLでロックを特定し、強制終了する
MySQLでロックが発生しているスレッドを特定（＋強制終了）する方法です。 よく忘れるのでまとめてみました。 間違っているところはマサカリお待ちしています。 ロック状態の確認方法 1.件数だけ mysql> SELECT trx_rows_locked FROM information_schema.INNODB_TRX; +-----------------+ | trx_rows_locked | +-----------------+ | 1 | +-----------------+ 1 row in set (0.00 sec) mysql> SHOW ENGINE INNODB STATUS\G ... ------------ TRANSACTIONS ------------ Trx id counter 709 Purge done for trx's n:o < 708
mysqlをdisる会 - Qiita
はじめに やあ （´・ω・｀) ようこそ、バーボンハウスへ。 このmysqlはサービスだから、まずsystemctl start mysqld して落ち着いて欲しい。 うん、「また」なんだ。済まない。 仏の顔もって言うしね、謝って許してもらおうとも思っていない。 でも、このタイトルを見たとき、君は、きっと言葉では言い表せない 「ときめき」みたいなものを感じてくれたと思う。 殺伐とした世の中で、そういう気持ちを忘れないで欲しい そう思って、この記事をかいたんだ じゃあ、注文を聞こうか。 というわけでmysqlをdisります。disるだけなので内容はありません。いいね？ mysql には罠がいっぱい そうなんですよ罠がいっぱいなんですよ奥さん。 いやこれはおそらくmysqlに限った話ではないんですけど例えばこういうの！ MySQLのチューニングなんてしたらパフォーマンス落ちるだけだし、デフォル
Googleがグローバルな分散データベースCloud Spannerをローンチ、SQLとNoSQLの‘良いとこ取り’を実装 | TechCrunch Japan
Tempus, a genomic testing and data analysis company started by Eric Lefkofsky, who previously founded Groupon, debuted on Nasdaq on Friday, rising about 15% on the opening. The company priced… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to independent lay
MariaDB、カラム型データベースエンジン「MariaDB ColumnStore」発表。OLAPへ参入
MariaDB、カラム型データベースエンジン「MariaDB ColumnStore」発表。OLAPへ参入 MariaDB ColumnStoreは、その名が示す通りMariaDBのストレージエンジンとして組み込めるカラム型のデータベースエンジンです。 一般のデータベースエンジンはデータを行単位で扱うのに対して、カラム型データベースエンジンは列単位で処理するのが最大の特徴です。 データを列単位で処理すると同一型のデータが並ぶためデータの圧縮効率が高く、また一般に列方向で行われる集計処理も高速に、しかも列ごとに分散して並列に行えるという利点があります。そのためにカラム型データベースエンジンは、大規模な分析や集計処理を得意とするデータベース製品で使われています。 MariaDB ColumnStoreはもともとオープンソースのデータウェアハウス向けデータベース「InfiniDB」をフォークした
AWSを一年使ってみて、最初から知っておけば良かったこと
AWSを使い始めて約一年が経過したので、この一年を振り返ってみて、最初から知ってた方が良かったな〜と思ったポイントをピックアップしてみました。 IAMロールはName変えられないし付け替えもできない件勢いだけで作ったIAMロールを付与して意気揚々と運用開始！数ヶ月後に付け替えできない事に気付いて、ec2ctrlとかいかにもEC2インスタンスをコントロールするためのロールなのに、なぜかS3の全権限付与してたり、もはや名前から予測できない事態になってしまったという話。 まぁ、別にオオゴトでは無いんですけどね。インスタンス作り直せば付け替えできるし、新しいロール作ってインスタンス作り直せばいいだけの話です。やるかやらないか。 やりませんけど！ VPCでVPN接続はリージョン毎に１つしか設定できなかった件IDC側のグローバルIPが複数用意できない前提ですが、IDCとAWS(VPC)間でのVPN接続
MySQLのmy.cnfファイルサンプル
MySQLのバージョン インストールされたMySQLのバージョンは以下のようになります。 名前 バージョン ダウンロード元 my.cnfサンプル 以下のサンプルを参照して、my.cnfファイルを作成してください。 # このファイルは MySQL 5.6を基準として作られてあります。 # http://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html を参照しました。 [mysqld] ##-------------------------------------------------------------------- # mysqldの基本設定 ##-------------------------------------------------------------------- # id は 1 から 2^
［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014
［速報］Amazon Aurora発表。MySQL互換で性能5倍、商用リレーショナルデータベースと同等の機能を提供するマネージドなデータベースサービス。AWS re:Invent 2014 Amazonクラウドを提供するAmazon Web Servicesは、同社の年次イベント「AWS re:Invent」を米ラスベガスで開催しています。 初日の基調講演では、クラウドがエンタープライズITにおけるニューノーマル（新しい普通）であることを強調。新サービスとして、MySQL互換でありつつ商用リレーショナルデータベース並の性能と機能を実現したという「Amazon Aurora」を発表しました。 MySQLとフル互換でありながら5倍の性能 Amazon Web Servicesシニアバイスプレジデント Andy Jassy氏。 既存のリレーショナルデータベースというのは高価で、プロプライエタリで
大人のためのInnoDBテーブルとの正しい付き合い方。
InnoDB関連でよくある質問のひとつに「テーブルのメンテナンスは何をすればいいんですか？」というものがある。InnoDBはMySQL 5.5でデフォルトストレージエンジンとなるため、InnoDBのテーブルメンテナンス計画を立ようと思う機会も増えることだろう。そこで、今日はInnoDBのテーブルメンテナンスの各種方法となぜそうしなければいけないかという理由を解説しようと思う。 ANALYZE TABLEテーブルメンテナンスの代名詞といえば、インデックス統計情報の更新ではなかろうか。運用を続けるうちに、知らず知らずインデックス統計情報が狂ってしまい、思うような性能が出ない。RDBMSにはそのような問題がつきものであるが、InnoDBの場合、ANALYZE TABLEは不要である。なぜなら、InnoDBが自発的に統計情報を更新するからだ。InnoDBは以下の条件に適合すると、ANALYZE T
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
(帰ってきた)InnoDBパフォーマンス最適化の基礎 | Yakst
MySQL Performance Blogの翻訳。Perconaのサポートエンジニアである筆者が、InnoDBのパフォーマンスチューニングの基礎について、ハードウェアやOSの選定からパラメータの推奨値まで解説する。 最近、2007年にPeter Zaitevが書いた「InnoDBパフォーマンス最適化の基礎」という記事を見つけた。これは素晴らしい記事で、読んでいると、MySQLとPercona Serversそして今日利用可能な全ての基盤技術に関して、6年近くの間に何が変わってきたのかを見直してみたいと思わせるものだ。 本当にたくさんのことが変わったものだ！この記事では、InnoDBの使用に効果的なパラメータの多くに、特にパフォーマンスの観点から焦点を当てる。私はサポートエンジニアで、Percona SupportではInnoDBパラメータの適切なサイズに関する質問がたくさん寄せられている
FacebookにおけるMySQLを用いた大規模システムアーキテクチャの現実～MySQL Connect 2013
米オラクルが主催するMySQLのイベント「MySQL Connect」が9月21日から23日まで、サンフランシスコで開催されました。Oracle OpenWorld、JavaOneとの同時開催でした。 基調講演の1つには、MySQLのヘビーユーザーであるFacebookのHarrison Fisk氏が登壇。FacebookにおけるMySQLの役割、大規模運用の背景などを紹介しています。その内容をダイジェストで紹介しましょう。 MySQL@Facebook Lots and lots of small data Harrison Fisk氏。 Facebookでデータパフォーマンスチームのマネージャをしている。社内ではMySQLはもちろん、HBase Hadoopなどにも関わっている。 まずは、どんな種類のデータをMySQLで扱っているのかについて。 Facebookとは基本的にグラフだ。グ
高性能、大容量対応のMySQL/MariaDB向けストレージエンジン「TokuDB」がオープンソース化される | OSDN Magazine
MySQL/MariaDB向けのストレージエンジン「TokuDB」を開発する米Tokutekは4月22日、初のオープンソース版となる「TokuDB 7.0」を公開した。MySQLで50GB以上のビックデータの活用を実現できるという。 TokuDBは、マサチューセッツ工科大学（MIT）、ラトガース大学、ニューヨーク州立大学の研究者らが開発したMVCCおよびACID準拠のストレージエンジン。書き込み中心のワークロード向けに設計されており、高速処理と拡張性を特徴とする。独自開発した「Fractal Tree」技術を利用し、MySQLやMariaDBでテラバイト級のストレージを利用できるようにするという。また、INSERT処理やクエリの速度も改善されるとのこと。圧縮、ホットスキーマ変更などの機能も備える。 これまではプロプライエタリのソフトウェアとして提供されていたが、バージョン7.0では「コミュ
長年の議論に終止符 -- MySQLとMariaDBの違い一覧 - 技術メモ置き場
(2014.12.3追記：このblogの内容は、以下の書籍にも反映させた。) SQLレベルの差異 MariaDB5.5とMySQL5.5ではSQLレベルでの違いはほとんどなかった。autoincrementの最大値の扱いくらい。 ただし、MariaDB10.0でREGEXPがマルチバイト対応になったので、アプリ側は注意。 項目 MySQL MariaDB Autoincrement 最大値に達すると、以降は最大値を繰り返す。Warningのみ。エラーにならない。tinyintなら…,125,126,127,127,127… 最大値-1まで。以降はエラーを返す。tinyintなら…,125,126,ERROR,ERROR,… EXPLAIN文 JSON形式 バージョン5.6から 未対応 Optimizer Trace バージョン5.6から 未対応（ただし、MariaDBのほうがオプティマイザ
GROUP_CONCAT関数の便利さは異常 - 開発の風景 〜KKZのSE日記〜
http://dev.mysql.com/doc/refman/5.1/ja/group-by-functions.html GROUP_CONCAT(expr) この関数は、グループからの連結された非 NULL 値を伴うストリング結果を戻します。非NULL 値がない場合は NULL を戻します。MySQL では、式のコンビネーションの連結された値を得ることができます。DISTINCT を使用することで、重複した値を除くことが可能です。結果の値をソートしたい場合は、ORDER BY 句を使用してください。逆順でソートするには、DESC ( 降順 ) キーワードを、ORDER BY 句のソートするカラムの名前に加えてください。デフォルトでは昇順になっています。これは、ASC を使うことで明示的に指定することができます。SEPARATOR の後には、結果の値の間に挿入されるべきストリング値が続
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL in Python Tutorial : Getting Started
MySQLのメンテナンス | BROKENDISH
MySQLと互換性をもつ『妹分』、MariaDBとは？
