並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 524件

新着順 人気順

.databaseの検索結果201 - 240 件 / 524件

  • スロークエリログをDataDogで可視化するLambda Function を作った - mita2 database life

    MySQL 徹底入門 第4版が出ましたね! 著者の方々にサインをもらいたいところですが、Stay Homeな昨今なかなかチャンスがありそうにありません。 MySQL徹底入門 第4版 MySQL 8.0対応 作者:yoku0825,坂井 恵,鶴長 鎮一,とみたまさひろ,深町 日出海,福山 裕大,班石 悦夫,山﨑 由章発売日: 2020/07/06メディア: 単行本(ソフトカバー) 基本、オンプレ職人なのですが、最近、ちょっとだけ、AWS Auroraを触ったりしています。 Datadog で AWS Aurora のスロークエリログを可視化する Lambda Function を作りました。 Lamda 上でクエリを正規化してから、Datadog に送信しています。 正規化して、どのクエリが多くスロークエリログに出力されているか集計しやすくしています。pt-query-digest がやって

      スロークエリログをDataDogで可視化するLambda Function を作った - mita2 database life
    • DuckDB Doesn’t Need Data To Be a Database

      28 May 2024 DuckDB Doesn’t Need Data To Be a Database One of the many enjoyable things about databases is that they generally try to separate how data is represented internally (say on disk) from how it is used. To the point that it has become the norm to not even store the data on the same hardware that is running the queries. Databases have gotten so good at this, that the term is almost mislead

      • Git's database internals V: scalability

        AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be

          Git's database internals V: scalability
        • RSS Feeds for GitHub Advisory Database

          These RSS Feeds is a collection of GitHub Advisory Database. Supported Feed types JSON Feed Atom Feed OPML Feeds(All ecosystems): https://azu.github.io/github-advisory-database-rss/index.opml COMPOSER: https://azu.github.io/github-advisory-database-rss/composer.json (atom) GO: https://azu.github.io/github-advisory-database-rss/go.json (atom) MAVEN: https://azu.github.io/github-advisory-database-rs

          • PostgreSQL🐘と 比較しながら選ぶデータベース / select-database-usecase

            Open Source Conference 2020 Online/Niigataの登壇資料です。 https://ospn.connpass.com/event/181888/

              PostgreSQL🐘と 比較しながら選ぶデータベース / select-database-usecase
            • AWS Database Migration Service(DMS)チュートリアル - ヤマムギ

              公式ユーザーガイドのAWS Database Migration Service の開始方法を参考に実施しました。 このチュートリアルでは、オンプレミスからではなく、RDS for MySQLから、RDS for PostgreSQLへのデータ移行を試します。 VPC バージニア北部で元々作っていたDemo用のVPCを使用しました。 セキュリティグループ DMS用とソースデータベース、ターゲットデータベース、設定クライアント用に4つ作成しました。 DBConfiguration インバウンドはなしでデフォルトのままです。 DMS インバウンドはなしでデフォルトのままです。 MySQL 3306ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。 PostgreSQL 5432ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。

                AWS Database Migration Service(DMS)チュートリアル - ヤマムギ
              • GoのAthena用database/sqlドライバーをOSSでリリースした話 - Speee DEVELOPER BLOG

                この記事はGo3 Advent Calendar 2020の22日目です。 こんにちは、Speeeでサーバーサイドエンジニアをしている@muroon01です。SpeeeではUZOUという広告配信プラットフォームの開発をしています。 今回はGoでAthenaにアクセスするOSSを開発しましたのでそちらの話をさせていただきます。 github.com こちらは元々別の方々が作成されたものですが、 2年近くメンテナンスされてないようなので改修することにいたしました。 go-athena go-athenaはdatabase/sqlパッケージのAthenaのdriverです。下記のように(初期化)importをして使用します。 import ( "database/sql" _ "github.com/speee/go-athena" ) func main() { db, _ := sql.Op

                  GoのAthena用database/sqlドライバーをOSSでリリースした話 - Speee DEVELOPER BLOG
                • Announcing Pages support for monorepos, wrangler.toml, database integrations and more!

                  Announcing Pages support for monorepos, wrangler.toml, database integrations and more!2024-04-04 Pages launched in 2021 with the goal of empowering developers to go seamlessly from idea to production. With built-in CI/CD, Preview Deployments, integration with GitHub and GitLab, and support for all the most popular JavaScript frameworks, Pages lets you build and deploy both static and full-stack ap

                    Announcing Pages support for monorepos, wrangler.toml, database integrations and more!
                  • GitHub - microsoft/documentdb: DocumentDB offers a native implementation of document-oriented NoSQL database, enabling seamless CRUD operations on BSON data types within a PostgreSQL framework. Powering vCore-based Azure Cosmos DB for MongoDB.

                    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                      GitHub - microsoft/documentdb: DocumentDB offers a native implementation of document-oriented NoSQL database, enabling seamless CRUD operations on BSON data types within a PostgreSQL framework. Powering vCore-based Azure Cosmos DB for MongoDB.
                    • GitHub - activeloopai/deeplake: Database for AI. Store Vectors, Images, Texts, Videos, etc. Use with LLMs/LangChain. Store, query, version, & visualize any AI data. Stream data in real-time to PyTorch/TensorFlow. https://activeloop.ai

                      Deep Lake is a Database for AI powered by a storage format optimized for deep-learning applications. Deep Lake can be used for: Storing and searching data plus vectors while building LLM applications Managing datasets while training deep learning models Deep Lake simplifies the deployment of enterprise-grade LLM-based products by offering storage for all data types (embeddings, audio, text, videos

                        GitHub - activeloopai/deeplake: Database for AI. Store Vectors, Images, Texts, Videos, etc. Use with LLMs/LangChain. Store, query, version, & visualize any AI data. Stream data in real-time to PyTorch/TensorFlow. https://activeloop.ai
                      • cc.dev - Database-Driven Email Marketing

                        Database-driven email marketingConnect your database and target your audience directly using SQL. Send high-quality marketing emails at a fraction of the usual cost, using Amazon SES.

                          cc.dev - Database-Driven Email Marketing
                        • Announcing auto migration of EC2 databases to Amazon RDS using AWS Database Migration Service - AWS

                          Announcing auto migration of EC2 databases to Amazon RDS using AWS Database Migration Service AWS announces a “1-click move to managed” feature for Amazon Relational Database Service (Amazon RDS) that enables you to easily and seamlessly migrate your self-managed MySQL, PostgreSQL, or MariaDB databases to an equivalent Amazon RDS or Amazon Aurora database. Using the 1-click move to managed functio

                            Announcing auto migration of EC2 databases to Amazon RDS using AWS Database Migration Service - AWS
                          • Deno KV internals: building a database for the modern web

                            Deno is designed to streamline web and cloud development with built-in modern tools, direct access to web platform APIs, and the capability to import modules via npm. Web apps very often require some persistent application state. Setting up a database involves numerous configuration steps and the subsequent integration of an ORM or other systems. What if you could access such a database without an

                              Deno KV internals: building a database for the modern web
                            • How Litestream Eliminated My Database Server for $0.03/month

                              Here’s a riddle. My web app keeps all of its data in a SQL database. I can spontaneously tear it down, deploy the code to a different hosting platform, and the app will still serve all the same data. Running my app in production costs $0.03 per month. How is this possible? That’s easy. You have a separate database server running somewhere that stores all of your app’s state. No, my app never talks

                                How Litestream Eliminated My Database Server for $0.03/month
                              • GitHub - armink/FlashDB: An ultra-lightweight database that supports key-value and time series data | 一款支持 KV 数据和时序数据的超轻量级数据库

                                FlashDB is an ultra-lightweight embedded database that focuses on providing data storage solutions for embedded products. Different from traditional database based on file system, FlashDB combines the features of Flash and has strong performance and reliability. And under the premise of ensuring extremely low resource occupation, the service life of Flash should be extended as much as possible. Fl

                                  GitHub - armink/FlashDB: An ultra-lightweight database that supports key-value and time series data | 一款支持 KV 数据和时序数据的超轻量级数据库
                                • DBOS: A Database-Oriented Operating System

                                  Today, most people develop applications on operating systems such as Linux which are more than thirty years old, even though computing has changed a lot in the meantime. Since Linux was first released in 1991, the size of application state and data has grown by several orders of magnitude, many applications have moved to the cloud, and the world has woken up to the critical importance of security

                                  • SQLforDevs.com - Next-Level Database Techniques for Developers Ebook

                                    The Database Cookbook For Developers You don't know SQL. Aside from basic CRUD statements, you haven't used any advanced database features. This free ebook will share many recipes to make development faster by using a lot of stuff you probably never heard of. Your database knowledge is outdated Your Tech Stack has changed dramatically in the past 20 years: Some technologies are now state-of-the-ar

                                      SQLforDevs.com - Next-Level Database Techniques for Developers Ebook
                                    • GitHub - good-lly/lowstorage: 💾 Simple, lightning fast, object pseudo-database for S3-compatible storages using Avro schema

                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                        GitHub - good-lly/lowstorage: 💾 Simple, lightning fast, object pseudo-database for S3-compatible storages using Avro schema
                                      • GitHub - surrealdb/surrealdb: A scalable, distributed, collaborative, document-graph database, for the realtime web

                                        SurrealDB is an end-to-end cloud-native database designed for modern applications, including web, mobile, serverless, Jamstack, backend, and traditional applications. With SurrealDB, you can simplify your database and API infrastructure, reduce development time, and build secure, performant apps quickly and cost-effectively. Key features of SurrealDB include: Reduces development time: SurrealDB si

                                          GitHub - surrealdb/surrealdb: A scalable, distributed, collaborative, document-graph database, for the realtime web
                                        • Percona Playback で 本番 MySQLに流れているクエリを試験環境でリプレイする - mita2 database life

                                          データベースのバージョンアップの際、アプリケーションの網羅的なテストが可能であれば良いのですが、どうしても難しいケースがあります。 そのような場合、リプレイツールで本番環境に流れているクエリを、試験環境でリプレイ(再現)し、動作確認を取る方法もあります。 リプレイツールを探す MySQL の クエリ リプレイができるツールを探してみました。 Percona Tookit に pt-log-player というツールが含まれていたのですが、いつのまにか、なくなってました。。。 2013年にリリースされた、percona tookit 2.2 で削除されてしまったようです。 We removed pt-query-advisor, pt-tcp-model, pt-trend, and pt-log-player. Granted, no tool is ever really gone: i

                                            Percona Playback で 本番 MySQLに流れているクエリを試験環境でリプレイする - mita2 database life
                                          • SQLite as a document database

                                            SQLite has had JSON support for a while. However recently it added a killer feature: generated columns. (This was added in 3.31.0, released 2020-01-22.) This makes it possible to insert JSON straight into SQLite and then have it extract data and index them, i.e. you can treat SQLite as a document database. This has been possible with PostgreSQL and obviously is what something like Elastic provides

                                            • クエリ パフォーマンスが著しく低下した場合の一時的な対処方法 (SQL Server/Azure SQL Database) - NOBTAの気ままにITブログ

                                              アプリケーションから SQL Server/Azure SQL Database に対して実行されるクエリの応答が著しく低下し、コマンドタイムアウトが発生したり、通常よりも CPU 負荷が高くなり、全体的にパフォーマンスが低下するといった状況を経験されたことがある方も多いかと思います。 通常、上記のような現象が発生した場合、どのクエリで時間を要しているか、CPU リソースを消費しているかを、拡張イベント、サーバートレース、動的管理ビューなどで情報を収集し、解析することになりますが、即座に現象を解消するための対処を実施したい場合もあるかと思います。 今回は、クエリ パフォーマンスが著しく低下した場合の一時的な対処方法について自分の整理も兼ねて、まとめてみようと思います。 <対処方法 1> 統計情報の更新 1-1) データベース単位で統計情報を更新 1-2) テーブル単位で統計情報を更新 1-

                                                クエリ パフォーマンスが著しく低下した場合の一時的な対処方法 (SQL Server/Azure SQL Database) - NOBTAの気ままにITブログ
                                              • Oracle Database 19cとは何か? どういう位置づけのリリースなのか? | コーソルDatabaseエンジニアのBlog

                                                Dbvisit StandbyDB移行Oracle DatabaseOracle Database 19cQlik Replicate / Attunity ReplicateSharePlexSIOS LifeKeeperToad 2020.07.27 渡部 亮太 Oracle Database 19cとは何か? どういう位置づけのリリースなのか? 渡部です。Oracle Database 19cはOracle Databaseを利用してゆくにあたって非常に重要なリリースです。 いくつかの観点から、Oracle Database 19cの位置づけについて整理しておきます。 長期間サポートとしての19c 19cは、年次リリースモデルにおける"Long Term Release"として位置づけられ、他のリリースよりもPremier Supportの期間が長いです。また、3年間のExtende

                                                • Database Migration with Atlas - LayerX エンジニアブログ

                                                  この記事は、LayerX Tech Advent Calendar 2022 7日目の記事です。 Enabling Team エンジニアの @yyoshiki41(中川佳希)です! 直近チームで、 ORMフレームワークである ent を使う機会があり、 そこで利用している Atlas というデータベースマイグレーションエンジンについての紹介です。 ent ent の詳細な説明は省略しますが、以下のような特徴があります。 Go 用の ORM フレームワーク Go で Schema を記述し、コード生成を行う コード生成により、静的型付けされた明示的なAPIを実現 アプリケーションの中で扱いやすいようモデリングした Schema とそのリレーションを定義可能 e.g.) Edges で、エンティティ間のリレーションを表現 Eager Loading, Hook, Privacy レイヤなどの拡

                                                    Database Migration with Atlas - LayerX エンジニアブログ
                                                  • Introducing “Database Performance at Scale”: A Free, Open Source Book

                                                    Discover new ways to optimize database performance and avoid common mistakes that impact latency and throughput So many things have to align perfectly for impressive database performance. You need to think hard about factors like: The infrastructure your database sits on How it’s set up How you’re managing it How your application interacts with the driver How the driver interacts with your databas

                                                      Introducing “Database Performance at Scale”: A Free, Open Source Book
                                                    • Demystifying Database Isolation & Consistency Levels | Fauna

                                                      For many years, database users did not have to simultaneously understand the concept of isolation levels and consistency levels. Either a database system provided a correctness/performance tradeoff using isolation levels, or it provided a correctness/performance tradeoff using consistency levels, but never both. This resulted in a blurring of these concepts to the point that many people --- even e

                                                        Demystifying Database Isolation & Consistency Levels | Fauna
                                                      • DB移行プロジェクト、Oracle DatabaseからPostgreSQLへ、技術負債を解消する - LIFULL Creators Blog

                                                        こんにちは!テクノロジー本部基盤開発ユニット改善推進グループ所属の王です。 基盤開発ユニットは常にLIFULLの各種サービスが依存する基盤システムの構築と改善のために、いろいろな取り組みをしています。 www.lifull.blog www.lifull.blog www.lifull.blog 今回は技術負債の解消の一つである、DB移行プロジェクトの詳細について紹介します。 DB移行プロジェクトとは? 現在LIFULL HOME'Sの各種サービスが依存している中心的なデータベースをOracle DatabaseからPostgreSQLに置き換えることを推進しているプロジェクトです。 背景の詳細は省略しますが、現状のDB運用体制を続けると会社の事業発展のボトルネックとなることが予想されているので、運用コストの削減、開発効率およびパフォーマンス改善の面から移行の必要が出てきています。 プロジ

                                                          DB移行プロジェクト、Oracle DatabaseからPostgreSQLへ、技術負債を解消する - LIFULL Creators Blog
                                                        • Readyset | Same database, (much) faster queries

                                                          Add Readyset to your Postgres or MySQL database and serve millions of requests per second, at sub-millisecond latencies. All with zero code changes.

                                                            Readyset | Same database, (much) faster queries
                                                          • GitHub - oceanbase/oceanbase: OceanBase is an enterprise distributed relational database with high availability, high performance, horizontal scalability, and compatibility with SQL standards.

                                                            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                              GitHub - oceanbase/oceanbase: OceanBase is an enterprise distributed relational database with high availability, high performance, horizontal scalability, and compatibility with SQL standards.
                                                            • Database Migrations

                                                              Table of Contents I consider database migrations one of the most annoying problems to deal with during a software engineer’s life. Not only that, if it goes wrong, as it often does, people tend to develop anxiety related to any schema changes. So why is it so annoying? It looks simple at first glance but is deceptively tricky when you start thinking about it. My primary framework of choice is the

                                                                Database Migrations
                                                              • Writing a SQL database, take two: Zig and RocksDB | notes.eatonphil.com

                                                                For my second project while learning Zig, I decided to port an old, minimal SQL database project from Go to Zig. In this post, in ~1700 lines of code (yes, I'm sorry it's bigger than my usual), we'll create a basic embedded SQL database in Zig on top of RocksDB. Other than the RocksDB layer it will not use third-party libraries. The code for this project is available on GitHub. Here are a few exam

                                                                • Code scanning and Ruby: turning source code into a queryable database

                                                                  Suppose this were a SQL database, and I wanted to write a query to find all the expressions that are arguments in calls to the puts method. It might look like this: SELECT call_arguments.arg_id FROM call_arguments INNER JOIN calls ON calls.expr_id = call_arguments.call_id WHERE calls.name = "puts"; In practice, we don’t use SQL. Instead, CodeQL queries are written in the QL language and evaluated

                                                                    Code scanning and Ruby: turning source code into a queryable database
                                                                  • Why Linux HugePages are Super Important for Database Servers: A Case with PostgreSQL

                                                                    Often users come to us with incidents of database crashes due to OOM Killer. The Out Of Memory killer terminates PostgreSQL processes and remains the top reason for most of the PostgreSQL database crashes reported to us. There could be multiple reasons why a host machine could run out of memory, and the most common problems are: Poorly tuned memory on the host machine. A high value of work_mem is

                                                                      Why Linux HugePages are Super Important for Database Servers: A Case with PostgreSQL
                                                                    • GitHub - cockroachdb/pebble: RocksDB/LevelDB inspired key-value database in Go

                                                                      Pebble is a LevelDB/RocksDB inspired key-value store focused on performance and internal usage by CockroachDB. Pebble inherits the RocksDB file formats and a few extensions such as range deletion tombstones, table-level bloom filters, and updates to the MANIFEST format. Pebble intentionally does not aspire to include every feature in RocksDB and specifically targets the use case and feature set ne

                                                                        GitHub - cockroachdb/pebble: RocksDB/LevelDB inspired key-value database in Go
                                                                      • Amazon Database Migration Accelerator のご紹介 | Amazon Web Services

                                                                        Amazon Web Services ブログ Amazon Database Migration Accelerator のご紹介 本日、Amazon Database Migration Accelerator (DMA) をローンチしたことを発表します。Amazon DMA では、AWS Database Migration Service (DMS)、AWS Schema Conversion Tool (SCT)、AWS データベース移行エキスパートを活用することで、従来の商用データベースから固定料金で移行することができます。ローンチ時点の Amazon DMA では、Oracle や SQL Server から Amazon Aurora または Amazon Relational Database Service (RDS) for PostgreSQL/MySQL への移行

                                                                          Amazon Database Migration Accelerator のご紹介 | Amazon Web Services
                                                                        • Haskell Database Implementation - Part 1, Growing a Tree

                                                                          Having started my career as a software developer in 2013 with an undergraduate degree in Mathematics, I never got the chance to take some of the higher-level courses on subjects like compilers, programming languages, or databases. In 2020 I set out to correct some of the gaps in my knowledge, and one of the ways I did so was by writing my own database, in Haskell, from scratch. This series of post

                                                                          • 最近の MySQL の Internal Temporary Table 動作まとめ (version 8.0.28 版) - mita2 database life

                                                                            8.0 のGA以降、Internal Temporary Table まわりは改良が重ねられきました・・・ ネットの記事では既に古い内容になってしまっているものもあり、改めて最新の挙動を確認して整理してみました*1。 なお、MySQL 8.0 の Internal Temporary Table の動作は @kentarokitagawa さんの以下の記事も詳しいです。 こちらの記事を読んでから本エントリーを読むとより理解しやすいでしょう。 gihyo.jp Internal Temporary Table MySQL は、ORDER BY や UNION を含むクエリを処理するため、内部的に一時的なテーブル(Internal Temporary Table) を作成します。 Internal Temporary Table はクエリの実行が終わると、自動的に削除されます。 Interna

                                                                              最近の MySQL の Internal Temporary Table 動作まとめ (version 8.0.28 版) - mita2 database life
                                                                            • Prisma 2.0 | Now in Beta: Type-safe Database Access with Prisma Client

                                                                              We introduced the first Preview version of Prisma 2.0 in June last year. Today, we are excited to launch the first official Beta along with a new website and updated Prisma 2.0 documentation. Update: Prisma is now ready for production. Read more in the announcement article: The Complete ORM for Node.js & TypeScript. Contents Modern database access with Prisma Client 2.0 What's in this release? Ren

                                                                                Prisma 2.0 | Now in Beta: Type-safe Database Access with Prisma Client
                                                                              • [速報]Oracle Database 23cベータ版登場。JSONオブジェクトビュー、マイクロサービス対応のトランザクション機能など。Oracle CloudWorld 2022

                                                                                オラクルは米ラスベガスで開催中のイベント「Oracle CloudWorld 2022」において、開発中の「Oracle Database 23c」(以下、23c)ベータ版のリリースを発表しました。 1つ目は、リレーショナルデータベースのスキーマを基にJSONオブジェクトビューを構成できる「JSON Relational Duality」です。これにより23cではリレーショナルデータベースがJSONを用いたドキュメントデータベースとしても振る舞うようになります。 「開発者はMongo APIを使ってもいいし、SQL JSONを使ってもいいし、その両方を使ってアプリケーションを作ってもいいんです。この機能でSQLとJSONの間のインピーダンスの不一致を解決しようとしている、これを実現しているデータベースは、私たちが知っている限りでは、私たちが初めてです」(Mendelsohn氏) 2つ目は「

                                                                                  [速報]Oracle Database 23cベータ版登場。JSONオブジェクトビュー、マイクロサービス対応のトランザクション機能など。Oracle CloudWorld 2022
                                                                                • Postgres Full-Text Search: A Search Engine in a Database | Crunchy Data Blog

                                                                                  Early in on my SQL journey, I thought that searching for a piece of text in the database mostly involved querying like this: SELECT col FROM table WHERE col LIKE '%some_value%'; Then I would throw in some wildcard operators or regular expressions if I wanted to get more specific. Later on, I worked with a client who wanted search functionality in an app, so LIKE and regex weren't going to cut it.

                                                                                    Postgres Full-Text Search: A Search Engine in a Database | Crunchy Data Blog