DBマイグレーションツール作った話 - QiitaHelp us understand the problem. What is going on with this article?
PostgreSQLとMySQLとMariaDBのNoSQL実装状況 - Qiita
Happy Birthday to me!! この記事はラクス Advent Calendar 2016の6日目です。 昨日は@morihirokさんの「rmの-fオプションで泣かないために」でした。 OSS RDBに実装されたNoSQL実装状況まとめ いつの間にやら主要なOSSなRDBであるPostgreSQLとMySQL/MariaDBにNoSQL機能（というよりもドキュメントDB機能）が付いていたので仕事にも使えそうなのでまとめ。 各種都合によりPostgreSQL優遇気味で。しかし "PostgreSQL contains NoSQL." の「お前は何を言っているんだ」感がすごいですね……。 各DBMSごとのNoSQL機能実装バージョン PostgreSQL PostgreSQL 9.4でjsonb型がサポート 9.2でサポートされたjson型（テキスト）から発展し、jsonb型は
カジュアル開発者こそ Docker で MySQL を触ろう - Qiita
この記事は MySQL Casual Advent Calendar 2016 の25個目の窓です。 はじめに MySQL Casual はよく "カジュアル詐欺" とか言われて初心者に優しくないみたいなことをネタ的に言われることがあるわけですが、MySQL Casual における ”カジュアル” というのは ”カジュアルにMySQLに関することを話そう” という意味でのカジュアルです。 なので、その内容が初心者向けであれガチ勢であれ、広く気軽にシェアしようと理解いただければと思います。さあ君も今日からカジュアルだ！ と、言いながらタイムラインを検索してみたら @yoku0825 さんが6回くらい "カジュアル詐欺" とツイートしていて自縄自縛ではないかという気もしてきました。 MySQL の検証環境どうやって作ってますか さて、この記事を読まれるみなさんの多くは MySQL を使ってお仕
PostgreSQLのデータをGUIでいじる（macOS/Postico） - Qiita
本記事の対象者 ちょこっとしたデータの修正をさくっとGUIでやりたい（できれば無料で） Excelのデータを簡単にPostgreSQLのテーブルに追加したい AWS RDSのデータをGUIで触りたい 記事の内容 PosticoでPostgreSQLをいじる方法を丁寧に説明しています PosgtreSQLをGUIでいじるソフト？ OSXで使えるpostgresqlのGUIクライアントを参照のこと PG Commander PSequel Postico CSVimport機能があると書かれていたPosticoをかるく使ってみた。 （実際はCSV importではなく、表データコピペ機能だった。後述参照） 一時的なことだと思われるが、pgadminはダウンロードしてもなぜか展開が出来なかったので試さなかった。 windowsは調べてない Posticoをインストールする インストール Post
PostgreSQL 10がやってくる！(その1) - Qiita
これはPostgreSQL Advent Calendar 2016の17日目の記事です。 先日のPGCONF.Asiaでネタ系を使い切ってしまったし、今年一年の自分の活動報告をここでするのもアレだし・・・ということで、今日は若干手抜きの記事になります。すいません。 PostgreSQL 10がやってくる！ 9月にPostgreSQL 9.6がリリースされ、みなさんパラレルクエリなどの新機能を満喫されているかと思いますが、もちろん次バージョンの開発もコミュニティは着々と進めています。 次のバージョンは9.7ではなく、10。ついに9から10になります。でもって、バージョン番号体系もx.y.zからx.yという体系に変わるようです。10以降は1桁目(x)がメジャーバージョン、2桁目(y)がマイナーバージョンを表すっぽい。 英語もC言語も読みたくないけど、10の新機能が知りたい PostgreSQ
ハゲたサンタがMySQLを覗きはじめたお話 - Qiita
クリスマスまで後10日と迫りました。 MySQL Casual Advent Calendar 2016 の15日目です。 ご挨拶 はじめまして。 eshimizuです。 新卒入社の会社でMySQLを触り始め、4年目になる今に至るまでMySQL以外を扱って来ませんでした。MySQL以外何も知らない雑魚です。やさしくしてください。 去年くらいからMySQLのコードを覗きはじめたので、そのあたりの話をゆるく書いていこうと思います。 ※MySQL中級者以上の人にとっては、当たり前だったり悪手だったりするかもしれないので、悪手だった場合は「やさしく」良い手法を教えてください。 コードを読みたいのに読めない葛藤 MySQLを使っている人であれば、一度くらいは見てみたいなと思ったことはあると思います。 私もそれについては薄々感じていたのですが、具体的にどうすればよいのか分からず、挫折挫折のオンパレード
Go言語のWEBフレームワークRevelを使用してセキュアなAPIを作成 - Qiita
WHY 機械学習のモデルはできたけど、サービスインするには何らかの形でweb側から動作できる形にする必要があります。 Railsだと重すぎるし、Go言語使いたい。 そのようなモチベーションから私はGo言語でAPIを作成しました。 Go言語のWEBフレームワークは多々ありますが、今回紹介する記事はrevelを用いています。 コンテナとコードを公開しているのですぐに動作を確認することが可能にしています。 Docker: https://hub.docker.com/r/masayaresearch/go_api/ github: https://github.com/SnowMasaya/go_revel_jwt_mysql revelを採用した理由は下記です。 testのための機能が揃っている deployも簡単 必要なサンプルがある WHAT 何をすることを想定しているか 簡単な認証 AP
Elasticsearch にインデックスを生成しようとしたら Ruby の C 拡張ライブラリをデバッグしていた話 - Qiita
はじめに この記事は CrowdWorks Advent Calendar 2016 12日目の記事です。 昨日のエントリーは @nasum さんによる「nasneの容量をシェルスクリプトでSlackに通知する」でした。 先日起きたことを、ありのままに1話します。 MySQL にあるデータを Elasticsearch (以下 ES と略) にインデックスしようとしていたと思ったら、いつの間にか Ruby の C 拡張をデバッグしていた。な、何を言ってるのか (ry おまえは何を言っているんだ 三行でまとめると、 Ruby を使って ES にインデックスを作ろうとしたら予期しない現象に遭遇して、 原因を探ろうとしたら C 拡張で実装されている箇所だったので、 しょうがないからデバッグする方法を調べた という話です。 発端 事の起こりは、自社サービスのデータベースに溜まっているデータをより効
PostgreSQL10でテーブルパーティションへのINSERT性能が大幅Upする件 - Qiita
これはPostgreSQL Advent Calendar 2016の13日目の記事です。 はじめに PostgreSQLには、継承とトリガを利用したテーブルパーティション機能が従来からありましたが、パーティションへのINSERTが非常に遅いという問題がありました。一方、それらの従来のテーブルパーティション機能の様々な問題を解決するため、NTT OSSセンタのAmit Langoteさん(@amitlan)が中心となり、新たな改善版テーブルパーティション機能が(記事執筆時点で)開発中のPostgreSQL10に取り込まれました。PostgreSQL10では、従来版と新機能版の2つのテーブルパーティション機能を利用できることになります。 この記事では、PostgreSQL10新機能版テーブルパーティションのINSERT性能が、従来のものに比べてどれだけ改善されているのか簡単に比較検証します。
PostgreSQL で json_array_elements を使って、JSON データ（オブジェクトの配列）を行として扱う方法 - Qiita
はじめに これは PostgreSQL Advent Calendar 2016 の 12日目の記事です。 この記事では、私が PostgreSQL を使うことにしていてほんとよかったぁ、と思った件について書きます。 背景 今回のネタは JSON データ型に対するデータ分析です。 一般論として、JSON のようなゆるいデータ型を使うことはあまりデータベース設計上、良いこととされていません。 JSON データ型を使うと、テーブル設計が明確ではなくなってしまいます。 また、データ設計が正規化されなくなってしまいますので、冗長なデータの持ち方になってしまいます。 とはいえ、開発上、事前に適切なデータ設計をすることは難しいことがあります。 JSON データ型を使うことによって、なんでもそこで格納させることができますので、 ついつい開発のとき使ってしまいます。そして、あとで技術的負債となってしまった
PostgreSQLで並列プログラミング - Qiita
この記事はPostgreSQL Advent Calendar 2016の9日目の記事です。 はじめに 昨日、開発中のPostgreSQL10.0についにパーティショニング専用の構文が導入され次のバージョンもとてが楽しみです。パーティショニングについての記事にしようかと思ったのですが、それは別の誰かが書いてくれると期待し、本日分では、PostgreSQLの最新バージョンである9.6にパラレルクエリが導入されパラレル化が熱い今、PostgreSQLのパラレル機構を使って並列プログラミングをする方法をご紹介します。 サンプルプログラムとしてpg_foobarというEXTENSIONを作成しました。githubリポジトリからダウンロードしてください。 実行例 pg_foobar EXTENSIONではpg_foobar()関数を用意しており、SELECT pg_foobar(2, 3, 4)と実
MySQLクエリパフォーマンス改善簡易まとめ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 数年やってないと記憶の彼方に飛んでいきそうだったので、MySQLのクエリ改善方法のテンプレを自分用に明記。 スロークエリを除去する事。 初めはとにかく観察。スロークエリを出力させて、観察する。 indexが効かないクエリを排除する。 indexが予期できない条件分岐によるクエリを廃止する。 場合によってはソートをさせない。コード側でソートさせる。 JOINをわざとさせないのも一つの手。後にDB分離レベルのシャーディング等が発生する可能性のあるようなシステムでは、JOIN禁止にする事は決して間違ってはいない。 indexを必ず効かせる レ
PostgreSQLで自動フェイルオーバーする方法 - Qiita
以前投稿したbgwokerで超簡易クラスタ管理を進化させたpg_keeperについて投稿。 コンセプト このツールのコンセプトは**「PostgreSQLの自動フェイルオーバーを簡単に設定する」です。 Pacemaker/corosyncやrepmgrを使えばより細かく、柔軟に設定することが出来ますが、その一方設定が面倒だったり、多くのケースではそこまで柔軟な設定は必要ないと思ったので、「マスタ、スレーブ2台構成でもっと簡単に可用性を向上させたい」**と思い作りました。 監視プロセスはPostgreSQLのプロセスの一つとして動作するので、高機能なクラスタリングミドルウェアによくある監視プロセス自体の起動・停止・監視等の作業は発生しません。 ただし、pg_keeperが対応しているのはマスタ1台、スタンバイ1台で同期レプリケーションを使用した場合のみです。 スタンバイを2台以上使用するケー
Python で Twitter から情報収集 (MySQL と Python の連携) - Qiita
取得したデータを DB に格納 集めてきた Tweet データを DB に格納する部分。 MySQL 用のドライバを利用して、Python から MySQL を操作する。 Python で Twitter からの情報収集 (環境構築編) 環境構築等はこちら MySQL 用ドライバ 環境構築時にインストールしたものを利用する。 サンプルコード 実際の使用法はサンプルコードを見てもらう方が早いはず。 サンプル中の execute_sql() 関数のようにしてやると、指定したDBでSQLを実行できる。 mysql_tools.py #!/usr/bin/env python # -*-coding:utf-8-*- import MySQLdb ### Functions def main(): local_db = { "host": "localhost", "user": "root",
PDOでfetchAll()は避けた方がいいのかもしれない - Qiita
<?php ini_set('display_errors', 1); error_reporting(E_ALL); function get_pdo() { $dsn = sprintf('mysql:dbname=%s;host=%s;charset=%s' , 'database' , 'localhost' , 'utf8' ); $username = 'root'; $password = 'password'; $options = [PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION]; return new PDO($dsn, $username, $password, $options); } function fetch_array() { $pdo = get_pdo(); $statement = 'select * from
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerで分析環境構築(jupyter notebook + PostgreSQL) - Qiita
最速で日本語環境のMySQL Dockerコンテナを建てる方法 - Qiita
MySQL(InnoDB) で charset を utf8mb4 にする注意点の現在 - Qiita
[MySQL]大量のレコードをDELETEする - Qiita![[MySQL]大量のレコードをDELETEする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/745e1ea7d251c7714f5ad03be79df802c055d09b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGODYwNzUlMkZwcm9maWxlLWltYWdlcyUyRjE2Mzk5OTc3Mjk_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9YjUzOTYwYjMwNTlmYjcxNTM2ZDg5YTUzMDBhNjk2ZDQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D1e70476a1a17aabe70be40bc09ef5743%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCTXlTUUwlNUQlRTUlQTQlQTclRTklODclOEYlRTMlODElQUUlRTMlODMlQUMlRTMlODIlQjMlRTMlODMlQkMlRTMlODMlODklRTMlODIlOTJERUxFVEUlRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz02MjEwNzcwMjFiYTNmNGQyMDQ1MTQ1ODBlNWM0MWFjZg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzYW95YWdpMiZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTRiN2U3YmM0MWFlZTVlNDQxNzQ5NmIwODQ3ODU5OGVk%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D2c0135ca827f8557e7f774f639b68b45)
Dockerを使って一瞬でMySQLのmaster-slave構成を手に入れる - Qiita
