【PHP/Laravel】マイグレーションファイルを全て削除するとDB構築時間が99%削減！？ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。大阪楽楽開発課のdaina_rksです。 Laravelのマイグレーションを活用して、テーブル定義を更新しているサービスは多いと思います。 しかしサービスが継続するにつれ、気づけば大量のマイグレーションファイルが存在している、、、なんて経験はありませんか？ 私が携わっていたプロジェクトでも同じ悩みに直面していました。 この悩みに対して、私はマイグレーションファイルを全て削除するということを行いました。 今回はそのときの経験について、なぜマイグレーションファイルを削除するに至ったのか、削除するにあたって行なったこと、削除した結果どんな効果があったのかをご紹介します！ マイグレーションファイルを全て削除するに至った理由 問題 マイグレーションファイルを全て実行するのに時間がかかる マイグレーションファイルのメンテナンスコストがかかる アイデア アクション ダンプ＆リストアの仕組み構
SQLiteのDatabase is lockedで悩む人に見て欲しいロックの話
SQLiteを使ったサイトをいくつか運営しているのですが、時折発生する↓このエラーに頭を悩ませていました。 SQLSTATE[HY000]: General error: 5 database is locked 急いでいる方のために先に答えを書いておきますが、このエラーはSQLiteのトランザクションの挙動を理解していないために発生しているエラーであり、BEGIN IMMEDIATEを適切に使うことで解決しました。 何も考えず、pdoのbeginTransactions()を使ったり、単に BEGIN だけで開始したり…。 PDOの接続オプションで PDO::ATTR_TIMEOUT に20を設定しておけば書き込みが衝突しても20秒待ってくれるだろ、と思い込んだり…。MySQLやPostgreSQL、SQLSeverやOracleなどの商用データベースに慣れている方ほどこの Databa
MySQL 8.0 への移行が完了しました ～さようなら全ての MySQL 5.7～ - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームの飯塚です。 私たちは cybozu.com 本番環境の MySQL を昨年末から順次 8.0 系へアップグレードしており、前回の定期メンテナンスにおいて全てのインスタンスのアップグレードを完了しました。この記事では、私たちが MySQL 8.0 への移行に取り組んだ理由と必要になった対応について紹介します。 なぜ MySQL 8.0 へ移行したのか GTID-based レプリケーションにおける制限の緩和 再起動時に AUTO_INCREMENT のカウンタが巻き戻る問題の解消 実際に対応が必要だった MySQL 8.0 の変更点 utf8mb4 の照合順序のデフォルト値の変更 SQL_CALC_FOUND_ROWS と FOUND_ROWS() が deprecated に Connector/J のメタデータ取得処理の性能低下 sys.innodb_lo
データベースを遅くするための８つの方法
はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが１時間越えに化けることもザラにあるので原
Dockerハンドブック - 教会エンジニアの開発日記
Dockerの概念や仕組みまではなんとなく理解できるもののDockerfileを書こうとするとスムーズに書けなかったり、そもそものDockerの基礎、あるいはコンテナ技術というものの基礎が抜け落ちていてDocker環境に移行できていないところも多いのではと思い、この記事を翻訳しました。 Source：The Docker Handbook by Farhan Hasin Chowdhury（@Twitter） 本記事は、原著者の許諾のもとに翻訳・掲載しております。 コンテナ化の概念自体はかなり古いですが、2013年にDocker Engineが登場したことで、アプリケーションのコンテナ化がはるかに簡単になりました。 Stack Overflow Developer Survey-2020によると、 Dockerは#1 最も望まれるプラットフォーム、#2 最も愛されるプラットフォーム、および
PythonのORMライブラリsqlalchemyで利用可能なコネクションプーリングの実装について調べてみた | DevelopersIO
CX事業本部@大阪の岩田です。Python向けのORMライブラリsqlalchemyは標準でコネクションプーリングの実装が組み込まれており、create_engine()を呼出す際の名前付き引数poolclassの指定によってコネクションプーリングの実装を切り替えることができます。先日コネクションプーリングの実装について調べる機会があったので、内容をご紹介します。 環境 今回利用した環境です。 OS X 10.14.6 Python 3.8.2 sqlalchemy 1.3.16 pymysql 0.9.3 利用できるコネクションプーリングの実装 sqlalchemyは標準で以下のコネクションプーリングの実装を提供しています。 QueuePool NullPool SingletonThreadPool StaticPool AssertionPool 例としてNullPoolを使う場合は
DBeaver Community | Free Universal Database Tool
Basic support for relational databases: MySQL, SQL Server, PostgreSQL and others Data Editor SQL Editor Database schema editor DDL Basic ER Diagrams Basic charts Data export/import Task management Database maintenance tools All DBeaver Community featuresAdvanced securityAdvanced support for relational databasesConnection through ODBC driversNoSQL databases support: MongoDB, Cassandra, Redis, Couch
Docker でロードバランサ・アプリケーションサーバ・DBサーバの環境構築 - A Memorandum
はじめに Nginx でロードバランサを構成する Webサーバ1号機の作成 Webサーバ2号機の作成 ロードバランサの作成 ロードバランサとWebサーバの起動 Web アプリケーションの準備 Docker でアプリケーションをビルドする DBサーバの準備 ロードバランサとアプリケーションサーバの起動 まとめ はじめに 前回は Docker のインストールからイメージビルド・コンテナ起動・Compose までの流れをみてきました。 blog1.mammb.com 今回は以下のような、一般的な Web アプリケーションの開発環境を構築していきます。 前回の記事とあわせて、Docker の活用方法を理解いただければと思います。 Nginx でロードバランサを構成する 最初に、単純な Web サーバを Nginx でロードバランシングする環境を作成して動作を見てみます。 このような構成となります。
TerraformでNGTのポータブル環境を作った - BASEプロダクトチームブログ
はじめまして、BASEでSREに所属している浜谷です。現在は主にAWSを使用したインフラ構築と運用を担当しています。 そこで今回は前回好評だったBASEビール部部長が語ってくれた「Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる」のインフラ環境の構築についてお話をしようかと思います。 1. 背景 BASEでは機械学習の環境以前に今本番で何が動作しているのか、又その全体を把握するにはAWSのコンソールにログインして調査する方法しかありませんでした。 AWSの運用をしているとよくある事かと思います。 そんな中BASEではシステム全体構成図の見直しやサーバの一覧を自動化したりとインフラの見える化を進めています。 そこで次はインフラの構成管理を行っていこうといった流れがあり、まずはData Strategyチームの環境をTerraformで構成管理しようと相成りました。 2. 機械
Laravelでユーザーごとの権限を管理するlaravel-permissionをインストールする – エンジニアリング 入りました！
Laravelでユーザーごとの権限を管理するlaravel-permissionをインストールして使用する導入部分を紹介します。 使用しているのは Laravel5.6 と Mysql, nginx です。 ● Laravel Permission 1. Laravelのテストアプリの作成 permission_appというテストアプリを作成します。 laravel new permission_app 2. DB作成と .env へDB情報を保存 DB作成は phpmyadmin などで作成してください。 その後 .env に接続情報を書き込みます .env DB_CONNECTION=mysql DB_HOST=127.0.0.1 DB_PORT=3306 DB_DATABASE=<YOUR-DB-NAME> DB_USERNAME=<YOUR-USER-NAME> DB_PASSWO
SQLスタイルガイド · SQL style guide by Simon Holywell
概要 全般 推奨 非推奨 命名規則 通則 表 列 別名、相関名 ストアド・プロシージャ 統一的接尾辞 問合せ文 予約語 空白類 インデント 望ましい形式 Create文 データ型の選択 デフォルト値の指定 制約とキー 非推奨設計 付録 予約語リファレンス SQLスタイルガイド（日本語訳） 日本語訳について 日本語訳は誤訳や原文の最新版に追随していない恐れがあります。誤訳や改善点があれば、GitHubのissueまたはpull requestを使用するか、Twitterでお知らせください。 翻訳: 久利史之 @nkuritw 概要 このガイドラインは利用の他、forkしたり、自分自身のものに改変したりすることができます。ここで大事なのはスタイルを選択しそれを踏襲することです。変更の提案やバグの修正にはGitHubのissueまたはpull requestを使用してください。 このガイドライン
別にパソコンがなくてもプログラミングはできるよ - jfluteの日記
書く時間と考える時間 o 仕事を早く終わりにして帰りたい o スキルアップのためにプログラミングたくさんやりたい o オープンソース活動のための時間を確保したい こういう感じの様々な悩みがあるかと思いますが、 ズバリ！ 書く時間と考える時間を分離する をオススメします。 これができれば、通勤の電車でも、 用事があって歩いているときでも、 ご飯を食べているときでも、 お風呂を入っているときでも、 横になって休憩しているときでも、 ストレッチしているときでも、 ショー待ちしているときでも、 プログラミングができて捗ります。 書いて考えて書いての繰り返し 月並みですが、プログラミングは、ただひたすら書くだけの作業ではありません。 今の時代のプログラミングであればなおさら、プログラミング言語やフレームワークの進化により、書く量に対して考える量が増えていると思います。 もちろん、書きながらじゃないと
予約キャンセルDB
予約キャンセルデータベース https://yoyakucancel.com/ 予約キャンセルデータベースとは？ 予約キャンセル者等の電話番号を調べることができる、店舗間共有データベースサービスです。 大人数の予約をしたにもかかわらず、連絡なしにドタキャンした方などの電話番号を共有することで、予約キャンセルのリスクを軽減することができます。 どの店舗の方でも無料でご利用頂けます。ご利用希望の方は、こちらをご確認ください。 尚、登録されている電話番号は暗号鍵と共に不可逆暗号化（ハッシュ化）して保存されている為、運営者サイドでも電話番号はわかりません。電話番号を直接お問い合わせされてもわかりませんので、ご了承ください。 ショップID パスワード ©2015 yoyakucancel DB
EC-CUBEで商品を大量注文するとお届け先情報が空っぽになる件
EC-CUBE で商品を大量に注文した時に、お届け先情報が空っぽになるという問題が起きたので調べてみました。 なお、動作環境は EC-CUBE 2.13.2 です。 原因 色々と調べてみるとどうやら EC-CUBE の潜在的な不具合があり、他にも同様な現象が起こっている問題のようです。 2.11 お届け先情報が空になっている – EC-CUBE 開発コミュニティ – フォーラム #1341 (MySQLでSESSIONをDB保存する際の型がTEXT型なのでデータ量によってはあふれる) – EC-CUBE Trac カートに入れた商品情報はテーブル dtb_session のカラム sess_data に格納されるようになっていますが、DB に MySQL を使っている場合、sess_data のデータ型が text 型のため、沢山の商品を一度に購入しようとすると text 型のサイズ制限を
The SQLite Sorcerer - my SQLite admin tool » Flex"i"MMI
Screenshots | Get it ! | Release notes The SQLite Sorcerer or Darry BotAIR, for intimates, is a small SQLite administration application running with Adobe AIR™. The SQLite Sorcerer can help you to perform the main administration tasks on your SQLite database: Database: Create a new database from scratch, autocompacted or not, Compact, analyze / deanalyse a database Encrypt and rencrypt usi
HeidiSQL - MariaDB/MySQL, MSSQL, PostgreSQL, SQLite and Interbase/Firebird made easy
What's this? HeidiSQL is free software, and has the aim to be easy to learn. "Heidi" lets you see and edit data and structures from computers running one of the database systems MariaDB, MySQL, Microsoft SQL, PostgreSQL and SQLite. Invented in 2002 by Ansgar, HeidiSQL belongs to the most popular tools for MariaDB and MySQL worldwide. Download HeidiSQL, read further about features, take part in dis
【英語】オフショアWEB開発でよく使う英語表現・実際の会話例 - Yonotown - I'm Japanese
2015年6月からベトナム・ホーチミン市にて、オフショア開発(web)のPMとして働いています。 ベトナム人開発者に仕様を伝え、開発を管理し進める仕事です。 コミュニケーション手段は redmineなど文章は全て英語で記載する 対面も、英語で話して伝える 複雑な内容のみ、ベトナム人通訳スタッフ(日本語<->ベトナム語)に伝えてもらう というスタイルで、可能な限り英語で仕事を進めています。 今回は、Web開発で使う英語を知りたいという人向けに記事を書きます。 毎日の業務でよく使っている表現を、思いつく限りまとめてみました。 これらの表現できちんと通じて仕事が進んでいるので、一応実戦的なオフショア開発の英語になると思います。 開発シーンでの実際の英語のやりとりを書きおこしてみました。 参考になれば幸いです！ 1. 開発でよく使う英語表現 specification 仕様。specとも略される。
VIPツクスレ素材自動保管庫
VIPツクスレ素材自動保管庫 このサイトは２ちゃんねる内ニュース速報(VIP)板のRPGツクールスレッドで公開された素材を保管しています。 このサイトではJavaScriptを使用しています。JavaScriptが使用できない環境では正常に動作しない可能性があります。 「id:xxxx」というタグを付けると表示時に該当するIDの素材を表示するようになりました。(2011/05/31 - 22:00) 素材ダウンロードのファイル名を指定できるようになりました。(2011/06/01 - 13:00) 削除機能を実装。削除依頼を出す際は「削除依頼」タグの他に理由（修正版がある場合は修正版のID）などを付けていただけると助かります。(2011/06/01 - 16:00) タグ付けやタグ未登録の表示などの改善を目的とした DB 操作の最適化を行いました。まだ速度的な問題が改善されていないよう
[php] Twitter APIからつぶやきを拾ってDBに入れる
クラスとか用意する必要なし。phpとmysql実行できれば1ファイルでできる。短い、わかりやすい。 @masasonさんのつぶやきをdbに入れるコード。 PHP+Twitter APIでホームページに自分のつぶやきを表示 / 新・ブログ掲示板 KUNISAN.JP こちらのコードを丸々っとリスペクトさせていただきました。 （部分的に修正したのは、抜けていた日時の$pdataを取得する部分と追加したのと、sjis扱いをやめて全部utf-8にしたところ。） STEP1 : テーブルを用意 最初にsqlでdb・tableを用意する。 テーブルのイメージ図 ■ SQL -- phpMyAdmin SQL Dump -- version 3.1.3.1 -- http://www.phpmyadmin.net -- -- ホスト: localhost -- 生成時間: 2012 年 1 月 09 日
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
xRef - Database