Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。 前日は id:kijuky による チームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作った でした。 AI・機械学習チームの北川(@kitagry)です。 今回はMySQLへのインサートを20倍以上高速化した話について書きます。 仕事をちゃんとしてるか見張る猫 TL; DR はじめに 今回のテーブル バイナリログを無効化する 追試 LOAD DATA INFILE 追試 テーブルの正規化 インデックスを一時的に剥がす まとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使う インデックスを一時的に消す はじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。 そこでは推薦ロ
SQL Server 2022 New Features: セットアップ時の Azure Arc への接続 at SE の雑記
SQL Server 2022 CTP 2.0 時点の情報となり、今後の Preview / 一般提供開始時には変更されている可能性もあります。 SQL Server 2022 New Features: Microsoft Purview 統合 で紹介した Purview 統合 (ポリシー設定) や、今後紹介する Azure Active Directory 認証を使用するためには、SQL Server がインストールされている環境を Azure Arc に接続 (オンボード) する必要があります。 SQL Server 2022 ではセットアップ時に Azure Arc に接続することができる機能が追加されており、GUI や、コマンドラインセットアップで Arc に容易に接続ができるようになりました。 Install SQL Server from the Command Prompt
Azure SQL Database serverless (プレビュー) を触ってみました at SE の雑記
Build 2019 で発表された Azure SQL Database serverless を少し触ってみました。 ドキュメントはこちらから。 SQL Database serverless (preview) 基本的な考え方としては AWS の Aurora サーバーレス に通じるものがあるのかと。 (Azure SQL Database serverless は、現時点では最大 4 コアのモデルまでの小さなサイズでの提供となっていますので、スケール面での考え方は異なりますが) ■Azure SQL Database serverless とは？ Serverless とついていますが、サーバーがないわけではありません。 Azure SQL Database serverless は「プロビジョニングされたコンピュートリソースを持たない」Azure SQL Database の新しい
AKS を使用した SQL Server 2019 の AlwyasOn 可用性グループの構築 at SE の雑記
SQL Server 2019 は Kubernetes (k8s) が利用された構成も追加されています。 新しい機能として追加される Big Data Clusters についても、基盤部分は k8s が利用され、その上に様々な役割の Pod が起動することで、大規模データ分析の基盤の構築が行われます。 SQL Server 2012 で追加された AlwaysOn 可用性グループについても SQL Server 2019 では k8s をサポートし、k8s の可用性 / 回復性を使用した SQL Server の冗長構成のクラスターを構築することができるようになりました。 (SQL Server 2017 でも k8s 上に SQL Server をデプロイすることはできたのですが、シングルインタンスとしての利用想定となっており、k8s の仕組みを利用した AlwaysOn 可用性グル
MongoDBの様なNoSQLに勢いがあるのは何故ですか？SQLと比べてどんな利点や欠点がありますか？ - Quora
回答 (3件中の1件目) ハイプサイクルという概念をGartnerグループが提唱してまして、様々な流行りスタリのサイクルを分析する標準的な方法となっています。 ハイプとは過度な期待や熱狂を意味する言葉です。一発屋芸人の人気のカーブみたいなもので、テツandトモみたいに安定する場合と、消えていくものがあります。芸人ではありませんがDA PUMPは一茶の人間性もありまして、次は厳しいけど定着すると思っています。 なんだかのトリガーで評価が上がり始め、ピークを迎える。その後評価が下がっていき、底を打つと少し上がって定着するという経過をたどるとしています。これと同じモデルで、流行りのハイテク...
SQL Server 2008 および Windows Server 2008 のサポート終了に関する新たなオプションを発表
執筆者: Takeshi Numoto (Corporate Vice President, Cloud + Enterprise) このポストは、2018 年 7 月 12 日に投稿された Announcing new options for SQL Server 2008 and Windows Server 2008 End of Support の翻訳です。 テクノロジは驚異的なペースで飛躍的に進化しています。マイクロソフトのサーバー テクノロジも例外ではありません。2008 のリリース サイクルの開始時は、32 ビットから 64 ビットへの移行期であり、サーバー仮想化と高度な分析の黎明期でした。それから 10 年が経過して、今や本格的にハイブリッド クラウド コンピューティングの時代に突入し、データや人工知能などの分野で魅力的なイノベーションが進んでいます。 私はこの場を借りて、
SQL Database Managed Instance の Public Preview が始まりました at SE の雑記
昨年から情報が出始めている、SQL Database の Instance 単位の PaaS のサービスである、SQL Database Managed Instance (MI) の Public Preview が開始されました。 「リソースの作成」から「Azure SQL Managed Instance」で作成の画面を開くことができるかと。 現時点では、承認制のプレビューとなっているため、すぐに使うことはできないのですが、ドキュメントが公開されていますので、まずは、こちらを追っていく感じでしょうか。 What is an Azure SQL Database Managed Instance (preview)? Create an Azure SQL Database Managed Instance (preview) in the Azure portal Migrate y
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策｜ハイクラス転職・求人情報サイト AMBI（アンビ）
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
Announcing Azure SQL Database Premium RS, 4TB storage options, and enhanced portal experience | Microsoft Azure Blog
In March 2017, we introduced the preview for SQL Database Premium RS, which was designed for dev/test IO-intensive workloads where a limited durability guarantee and lower SLA were acceptable. We have decided not to take Premium RS to general availability and instead focus our efforts to expand the SQL Database core offerings. We understand that Premium RS did answer a need for some users and we a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
farstep on X: "テーブルに状態を持たせてはいけない "
Announcing Jumpstart ArcBox for DataOps | Microsoft Community Hub
Azure の更新情報 | Microsoft Azure
HammerDB — Open-Source Database Benchmark
Azure の更新情報 | Microsoft Azure
Changing the size of a column in SQL Server Management Studio
'Microsoft.ACE.OLEDB.16.0' provider is not registered on the local machine. (System.Data)
Three reasons why Windows Server and SQL Server customers continue to choose Azure | Microsoft Azure Blog
At general availability, SQL Database Threat Detection will cost $15 / server / month | Microsoft Azure Blog
Virtual desktop infrastructure | Microsoft Azure Blog | Microsoft Azure
Azure の更新情報 | Microsoft Azure
