【MySQL】改行コードを削除しながらSELECTする方法 - Wataame Frog
MySQLでSELECTする時に、レコード内に含まれる「改行コード」を削除しながら抽出する方法を備忘録としてポストします。 SQLで改行コードを削除する方法 原因 とあるレコードの一覧をcsvなりエクセル表で欲しいと言われたので、以前ポストしたCSEで1,000件ごと抽出しcsv書き出ししたのですが、行数を数えるとなぜか1,200件ほどになっていました。 原因を調べると、途中で「改行」しているレコードがわんさかとあり、こりゃイカンと。 改行している原因は「改行コードが含まれているから」だと何となく理由が分かったので「消しながら抽出すれば良いんじゃない」のと"ごにょごにょ"して、欲しいデータが作成できました。 この"ごにょごにょ"する方法を解説したいと思います。 Replace関数で置換 抽出したいカラムに対し Replace 関数で改行コードの変換を指定し、改行コードを置換・削除します。
Google、MySQL互換の「Cloud SQL」を強化。1万5000IOPS、10TBデータ、104GBメモリまでスケール
Google、MySQL互換の「Cloud SQL」を強化。1万5000IOPS、10TBデータ、104GBメモリまでスケール GoogleはマネージドなMySQLをクラウドで提供するサービス「Cloud SQL」を強化し、高性能でスケーラブルにしたことを発表しました。 強化されたCloud SQLは、最大で1万5000IOPSの性能を発揮、10TBまでのデータを扱えるようになり、インスタンスごとに104GBメモリまで搭載されるようになりました。 下記はGoogleが発表した従来のCloud SQLとの性能比較。赤いグラフが従来のCloudSQLで、8スレッドあたりで性能が頭打ちになっていますが、新しいCloud SQLでは性能がリニアに向上しています。 Cloud SQLはマネージドサービスとして提供されるため、データベースに対するバックアップやパッチの適用、万が一サーバが落ちたときのフ
MySQL 5.6 で loss-less semi-sync レプリケーション - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。運用本部 Hazama チームの深谷です。 今回は MySQL 5.6 で loss-less semi-sync レプリケーションを実現するパッチについて紹介します。 loss-less semi-sync って何？ 詳しい説明は、他の方のブログ を見ていただくのが早いですが、かいつまんで説明すると、MySQL 5.6 の semi-sync レプリケーションでは運が悪いとコミット済みのトランザクションが失われてしまうケースがありました。それを改修するものです。 弊社では一部サービスで、HA 構成のために semi-sync レプリケーションを検討していたのですが、 MySQL 5.6 ではこの問題が解決されていないため、5.7 からバックポートすることにしました。 Facebook ありがとう ところが、5.7 は 5.6 と相当コードが変更されていたため、容易にはパッチが
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
MySQLでNoSQL - アメーバピグでのNoSQLの実例
The document discusses using MySQL as a key-value store. It notes that MySQL can function as a KVS by storing each key-value pair in its own row and indexing on the key column. This allows for rapid load, fetch and simple queries on the keys. However, MySQL may encounter issues with joins and modifying the schema due to its relational design. Alternative non-relational databases like MongoDB may b
あなたのMySQL 5.6トレンド力をチェックする15の質問
このエントリーは MySQL Casual Advent Calendar 2013 参加記事です。カジュアルカジュアル。 MySQL 5.6のGAリリースからはや10ヶ月、みなさんそろそろカジュアルに導入なされていることだと思います。 漢(オトコ)のコンピュータ道: 優れたMySQL DBAを見分ける27+3の質問 のオマージュです。 Islands in the byte stream: 「優れたPerlプログラマを見分ける27の質問」の日本語訳 の@__gfx__さん からメンションをいただいたので作りました :) @yoku0825 最新版対応でかきなおしてくれると聞いて！+（0ﾟ・∀・） + ? Fuji, Goro (@__gfx__) 2013, 11月 12 がんばってみます :) 独断と偏見で有名そうなの並べてあるだけですので、他にも色々ありますよ探してみましょう :)
DBエンジニアのための技術勉強会で発表したスライドを公開しました。
DBエンジニアのための技術勉強会というイベントで、リレーショナルモデルにおけるDB設計について話す機会を頂いた。リレーショナルモデルは非常に重要であるにも関わらず、現場ではないがしろにされてしまっている。その結果、アプリケーションのロジックを上手くクエリで表現できず、開発現場では非効率な開発が行われ、多くの人がデスマ的な状況に追い込まれている。そういう危機意識について、これまで何度か本ブログでも書いてきたし、WEB+DB Pressで連載している動機もその点にある。リレーショナルデータベースはやはりリレーショナルデータベースとして使うべきだ。そのための鍵となるのが、DB設計である。 今回はなんと約2時間の持ち時間を頂いた。リレーショナルモデルについてはこれまで何度か話す機会を頂いたが、2時間というのは最長記録である。それに合わせてスライドもボリュームたっぷりのものになった。過去のスライドと
ストレージエンジンであそんでみた
こうなるはずだったんですがlightningのVGA変換アダプタとmini display portの変換アダプタを間違えて持って行ってしまいましたorz 次回から忘れないように全部まとめてキーホルダーに付けようと思います（´・ω...:.;::..
リアルタイム・ランキングを考える | GREE Engineering
はじめに こんにちは。プラットフォーム開発部のsp1rytusと申します。 先日、私もついに30歳のおっさんになってしまいました。加齢臭が出ないようにがんばります！ ランキングって？ ランキングは誰でもわかる、何らかの得点をソートして順位位置を決定する凄く簡単でシンプルなものです。しかし、ゲームを扱うコンテンツ・サービスにおいては、得点を通算/日別に順位付けされたものが直ぐに目に入るように、他人と自分を比較する非常に重要な役割を果たしています。そこで、この記事では次の３つ要件を満たすようなランキング・システムの難しさと、それを解決するための一例を簡単に説明させて頂きます。 順位付けはリアルタイムに行い、集計時間を必要としない。 100万件以上の得点データが扱える。 すべてのデータが正しい順位付けで取得できる(線形補完などで順位を概算しない）。 リアルタイムによる正確な順位付けは、データ件数
Facebookが何千台ものMySQLを人手を使わず自律管理する仕組み「MySQL Pool Scanner（MPS）」
おそらく世界でもっとも大規模にMySQLのクラスタを展開し、運用しているのがFacebookでしょう。複数のデータセンターにまたがり何千台ものMySQLサーバを運用するために、自動化の仕組みは欠かせません。 その自動化がどのような仕組みになっているのか。FacebookのデータベースエンジニアであるShlomo Priymak氏が、Under the hood: MySQL Pool Scanner (MPS)という記事をFacebookで公開しています。 かなり長い記事なので、ここではそのポイントをまとめて解説してみました。詳細はぜひ原文をあたってみてください。 MPSのおもな3つの機能 Facebookで稼働しているMySQLは、つねに1つのマスターとそこからレプリケーションされた複数のスレーブによるレプリカセットを構成しています。このレプリカセットの構造を維持し続けることで、可用性と
長年の議論に終止符 -- MySQL、MariaDB、PostgreSQLのオプティマイザ/エクゼキュータ比較 - interdb’s blog
https://mariadb.com/kb/en/optimizer-switch/にあるように、MariaDBのオプティマイザはかなり改良されている。 では、MariaDBのオプティマイザ/エクゼキュータはどの程度優秀か、４つのSELECT文の実行を通してMySQLと(ついでにPostgreSQLと)比較してみる。 (2014.12.3追記：オプティマイザについては省略してますが、こんな本がでます。) 結論を先にいえば「MySQLは検索が速い」というのは都市伝説。MariaDBはがんばってるけどPostgreSQLにはまだまだ及ばず。 ＊念のため。これはベンチマークじゃないよ、オプティマイザ/エクゼキュータの機能比較です。 自分で再確認したい場合はこちらにスクリプト群と実験のやり方を簡単に書いたので参照のこと。 調査環境 同一マシンにMySQL5.6.14、MariaDB10.0.4、
Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013
Facebook、Twitter、PayPal、LinkedInのMySQL担当者は、MySQLをどう使い、何を課題だと考えているか～MySQL Connect 2013 Facebook、Twitter、PayPal、LinkedInのMySQL担当エンジニアが集まり、それぞれの社内のMySQL利用状況、課題、これから期待する新機能などを語ったパネルディスカッションが、9月21日から23日までサンフランシスコで開催されたMySQLのイベント「MySQL Connect」の3番目の基調講演として行われました。 世界でもっともヘビーなMySQLユーザーといえる4社は、MySQLについてどのようなことを考えているのか、基調講演の内容をダイジェストで紹介しましょう。 Current MySQL Usage Models and Future Developments ──── まずはそれぞれの所
FacebookにおけるMySQLを用いた大規模システムアーキテクチャの現実～MySQL Connect 2013
米オラクルが主催するMySQLのイベント「MySQL Connect」が9月21日から23日まで、サンフランシスコで開催されました。Oracle OpenWorld、JavaOneとの同時開催でした。 基調講演の1つには、MySQLのヘビーユーザーであるFacebookのHarrison Fisk氏が登壇。FacebookにおけるMySQLの役割、大規模運用の背景などを紹介しています。その内容をダイジェストで紹介しましょう。 MySQL@Facebook Lots and lots of small data Harrison Fisk氏。 Facebookでデータパフォーマンスチームのマネージャをしている。社内ではMySQLはもちろん、HBase Hadoopなどにも関わっている。 まずは、どんな種類のデータをMySQLで扱っているのかについて。 Facebookとは基本的にグラフだ。グ
長年の議論に終止符 -- MySQLとMariaDBの違い一覧 - 技術メモ置き場
(2014.12.3追記：このblogの内容は、以下の書籍にも反映させた。) SQLレベルの差異 MariaDB5.5とMySQL5.5ではSQLレベルでの違いはほとんどなかった。autoincrementの最大値の扱いくらい。 ただし、MariaDB10.0でREGEXPがマルチバイト対応になったので、アプリ側は注意。 項目 MySQL MariaDB Autoincrement 最大値に達すると、以降は最大値を繰り返す。Warningのみ。エラーにならない。tinyintなら…,125,126,127,127,127… 最大値-1まで。以降はエラーを返す。tinyintなら…,125,126,ERROR,ERROR,… EXPLAIN文 JSON形式 バージョン5.6から 未対応 Optimizer Trace バージョン5.6から 未対応（ただし、MariaDBのほうがオプティマイザ
グーグルがMySQLを切り捨ててMariaDBを採用 | readwrite.jp
熱力学の第一法則にある通り、エネルギーというものは破壊することができない。ただ、ある形態から別の形態に変化するだけである。この自然法則はビジネスの話にも当てはまる。ある会社に対して良からぬことを行えば、いつの日かその会社にしっぺ返しをされかねないのだ。 検索エンジンのグーグルが、現在使用しているオラクルMySQLリレーショナル・データベースのシステムの全てを、MySQLから派生したMariaDBに移行することを決めた。これに関し、公式な理由などはおそらく何もないだろう。意図的ではないのかもしれないが、そこには明らかにオラクルに対する因縁めいた物が感じられる。 オラクルはここ数年間、グーグルがAndroidオペレーティングシステムにJavaコードの一部をコピーしていることと、37のアプリケーション·プログラミング·インターフェースにJavaプログラミング言語を利用していることで、著作権侵害を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Elastic Compute Cloud
データベース設計徹底指南
松本克彦 ピグにおけるリアルタイムランキングの導入
MySQL Bootcamp — MySQL Bootcamp 2013 documentation
Webアプリ開発者のための MySQL 基礎研修の資料を公開します : DSAS開発者の部屋
