The AI-native database developers love | Weaviate
The AI-native database for a new generation of softwareBring intuitive AI-native applications to life with less hallucination, data leakage, and vendor lock-in with the open source vector database developers love.
The AI-native database for a new generation of softwareBring intuitive AI-native applications to life with less hallucination, data leakage, and vendor lock-in with the open source vector database developers love.
An unlikely database migration
WireGuard is a registered trademark of Jason A. Donenfeld. Brad joins a startup When I first joined Tailscale almost a year ago, one of the first things I asked Crawshaw was, “So, what database do you use? MySQL, PostgreSQL, SQLite maybe?”, knowing that he loved SQLite. “A text file," he replied. “Huh?” “Yeah, we write out one big JSON object to a text file.” “How? When? What?” “Yeah, whenever som
These RSS Feeds is a collection of GitHub Advisory Database. Supported Feed types JSON Feed Atom Feed OPML Feeds(All ecosystems): https://azu.github.io/github-advisory-database-rss/index.opml COMPOSER: https://azu.github.io/github-advisory-database-rss/composer.json (atom) GO: https://azu.github.io/github-advisory-database-rss/go.json (atom) MAVEN: https://azu.github.io/github-advisory-database-rs
PostgreSQL🐘と 比較しながら選ぶデータベース / select-database-usecase
Open Source Conference 2020 Online/Niigataの登壇資料です。 https://ospn.connpass.com/event/181888/
公式ユーザーガイドのAWS Database Migration Service の開始方法を参考に実施しました。 このチュートリアルでは、オンプレミスからではなく、RDS for MySQLから、RDS for PostgreSQLへのデータ移行を試します。 VPC バージニア北部で元々作っていたDemo用のVPCを使用しました。 セキュリティグループ DMS用とソースデータベース、ターゲットデータベース、設定クライアント用に4つ作成しました。 DBConfiguration インバウンドはなしでデフォルトのままです。 DMS インバウンドはなしでデフォルトのままです。 MySQL 3306ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。 PostgreSQL 5432ポートに、DBConfiguration、DMS、マイIPからのインバウンドを許可。
GoのAthena用database/sqlドライバーをOSSでリリースした話 - Speee DEVELOPER BLOG
この記事はGo3 Advent Calendar 2020の22日目です。 こんにちは、Speeeでサーバーサイドエンジニアをしている@muroon01です。SpeeeではUZOUという広告配信プラットフォームの開発をしています。 今回はGoでAthenaにアクセスするOSSを開発しましたのでそちらの話をさせていただきます。 github.com こちらは元々別の方々が作成されたものですが、 2年近くメンテナンスされてないようなので改修することにいたしました。 go-athena go-athenaはdatabase/sqlパッケージのAthenaのdriverです。下記のように(初期化)importをして使用します。 import ( "database/sql" _ "github.com/speee/go-athena" ) func main() { db, _ := sql.Op
Announcing Pages support for monorepos, wrangler.toml, database integrations and more!
Announcing Pages support for monorepos, wrangler.toml, database integrations and more!2024-04-04 Pages launched in 2021 with the goal of empowering developers to go seamlessly from idea to production. With built-in CI/CD, Preview Deployments, integration with GitHub and GitLab, and support for all the most popular JavaScript frameworks, Pages lets you build and deploy both static and full-stack ap
EngineeringOpen SourceGit’s database internals V: scalabilityThis fifth and final part of our blog series exploring Git's internals shows several strategies for scaling your Git repositories that match related database sharding techniques. This week, we are exploring Git’s internals with the following concept in mind: Git is the distributed database at the core of your engineering system. When the
GitHub - activeloopai/deeplake: Database for AI. Store Vectors, Images, Texts, Videos, etc. Use with LLMs/LangChain. Store, query, version, & visualize any AI data. Stream data in real-time to PyTorch/TensorFlow. https://activeloop.ai
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Database-driven email marketingConnect your database and target your audience directly using SQL. Send high-quality marketing emails at a fraction of the usual cost, using Amazon SES.
The High-Performance Vector Database Built for ScaleMilvus is an open-source vector database built for GenAI applications. Install with pip, perform high-speed searches, and scale to tens of billions of vectors with minimal performance loss.
Deno is designed to streamline web and cloud development with built-in modern tools, direct access to web platform APIs, and the capability to import modules via npm. Web apps very often require some persistent application state. Setting up a database involves numerous configuration steps and the subsequent integration of an ORM or other systems. What if you could access such a database without an
GitHub - infostreams/db: Version control for databases: save, restore, and archive snapshots of your database from the command line
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Here’s a riddle. My web app keeps all of its data in a SQL database. I can spontaneously tear it down, deploy the code to a different hosting platform, and the app will still serve all the same data. Running my app in production costs $0.03 per month. How is this possible? That’s easy. You have a separate database server running somewhere that stores all of your app’s state. No, my app never talks
GitHub - armink/FlashDB: An ultra-lightweight database that supports key-value and time series data | 一款支持 KV 数据和时序数据的超轻量级数据库
FlashDB is an ultra-lightweight embedded database that focuses on providing data storage solutions for embedded products. Different from traditional database based on file system, FlashDB combines the features of Flash and has strong performance and reliability. And under the premise of ensuring extremely low resource occupation, the service life of Flash should be extended as much as possible. Fl
Today, most people develop applications on operating systems such as Linux which are more than thirty years old, even though computing has changed a lot in the meantime. Since Linux was first released in 1991, the size of application state and data has grown by several orders of magnitude, many applications have moved to the cloud, and the world has woken up to the critical importance of security
SQLforDevs.com - Next-Level Database Techniques for Developers Ebook
The Database Cookbook For Developers You don't know SQL. Aside from basic CRUD statements, you haven't used any advanced database features. This free ebook will share many recipes to make development faster by using a lot of stuff you probably never heard of. Your database knowledge is outdated Your Tech Stack has changed dramatically in the past 20 years: Some technologies are now state-of-the-ar
GitHub - good-lly/lowstorage: 💾 Simple, lightning fast, object pseudo-database for S3-compatible storages using Avro schema
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Percona Playback で 本番 MySQLに流れているクエリを試験環境でリプレイする - mita2 database life
データベースのバージョンアップの際、アプリケーションの網羅的なテストが可能であれば良いのですが、どうしても難しいケースがあります。 そのような場合、リプレイツールで本番環境に流れているクエリを、試験環境でリプレイ（再現）し、動作確認を取る方法もあります。 リプレイツールを探す MySQL の クエリ リプレイができるツールを探してみました。 Percona Tookit に pt-log-player というツールが含まれていたのですが、いつのまにか、なくなってました。。。 2013年にリリースされた、percona tookit 2.2 で削除されてしまったようです。 We removed pt-query-advisor, pt-tcp-model, pt-trend, and pt-log-player. Granted, no tool is ever really gone: i
GitHub - surrealdb/surrealdb: A scalable, distributed, collaborative, document-graph database, for the realtime web
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
NebulaGraph v3.8.0 released !Introduced the SINGLE SHORTEST PATH statement Learn more Flexible deploymentTake NebulaGraph Database wherever you want, on-premises, public cloud, hybrid deployment, or even on macOS/Windows. Plus, with easy-to-use browser-based visualization toolkits, you can take graph technology to the next level. High-speed data processingNebulaGraph's powerful native graph engine
SQLite has had JSON support for a while. However recently it added a killer feature: generated columns. (This was added in 3.31.0, released 2020-01-22.) This makes it possible to insert JSON straight into SQLite and then have it extract data and index them, i.e. you can treat SQLite as a document database. This has been possible with PostgreSQL and obviously is what something like Elastic provides
クエリ パフォーマンスが著しく低下した場合の一時的な対処方法 (SQL Server/Azure SQL Database) - NOBTAの気ままにITブログ
アプリケーションから SQL Server/Azure SQL Database に対して実行されるクエリの応答が著しく低下し、コマンドタイムアウトが発生したり、通常よりも CPU 負荷が高くなり、全体的にパフォーマンスが低下するといった状況を経験されたことがある方も多いかと思います。 通常、上記のような現象が発生した場合、どのクエリで時間を要しているか、CPU リソースを消費しているかを、拡張イベント、サーバートレース、動的管理ビューなどで情報を収集し、解析することになりますが、即座に現象を解消するための対処を実施したい場合もあるかと思います。 今回は、クエリ パフォーマンスが著しく低下した場合の一時的な対処方法について自分の整理も兼ねて、まとめてみようと思います。 <対処方法 1> 統計情報の更新 1-1) データベース単位で統計情報を更新 1-2) テーブル単位で統計情報を更新 1-
チュートリアル: Lambda 関数を使用して Amazon RDS にアクセスする - Amazon Relational Database Service
このチュートリアルでは、Lambda 関数を使用して、Amazon Relational Database Service (Amazon RDS) データベースに RDS プロキシ経由でデータを書き込みます。Lambda 関数は、メッセージが追加されるたびに Amazon Simple Queue Service (Amazon SQS) キューからレコードを読み取り、データベース内のテーブルに新しい項目を書き込みます。この例では、AWS Management Console を使用してキューにメッセージを手動で追加します。次の図は、チュートリアルを完了するために使用する AWS リソースを示しています。 Amazon RDS では、Microsoft SQL Server、MariaDB、MySQL、Oracle Database、PostgreSQL などの一般的なデータベース製品を
Dbvisit StandbyDB移行Oracle DatabaseOracle Database 19cQlik Replicate / Attunity ReplicateSharePlexSIOS LifeKeeperToad 2020.07.27 渡部 亮太 Oracle Database 19cとは何か? どういう位置づけのリリースなのか? 渡部です。Oracle Database 19cはOracle Databaseを利用してゆくにあたって非常に重要なリリースです。 いくつかの観点から、Oracle Database 19cの位置づけについて整理しておきます。 長期間サポートとしての19c 19cは、年次リリースモデルにおける"Long Term Release"として位置づけられ、他のリリースよりもPremier Supportの期間が長いです。また、3年間のExtende
この記事は、LayerX Tech Advent Calendar 2022 7日目の記事です。 Enabling Team エンジニアの @yyoshiki41（中川佳希）です！ 直近チームで、 ORMフレームワークである ent を使う機会があり、 そこで利用している Atlas というデータベースマイグレーションエンジンについての紹介です。 ent ent の詳細な説明は省略しますが、以下のような特徴があります。 Go 用の ORM フレームワーク Go で Schema を記述し、コード生成を行う コード生成により、静的型付けされた明示的なAPIを実現 アプリケーションの中で扱いやすいようモデリングした Schema とそのリレーションを定義可能 e.g.) Edges で、エンティティ間のリレーションを表現 Eager Loading, Hook, Privacy レイヤなどの拡
For many years, database users did not have to simultaneously understand the concept of isolation levels and consistency levels. Either a database system provided a correctness/performance tradeoff using isolation levels, or it provided a correctness/performance tradeoff using consistency levels, but never both. This resulted in a blurring of these concepts to the point that many people --- even e
Introducing “Database Performance at Scale”: A Free, Open Source Book
Discover new ways to optimize database performance and avoid common mistakes that impact latency and throughput So many things have to align perfectly for impressive database performance. You need to think hard about factors like: The infrastructure your database sits on How it’s set up How you’re managing it How your application interacts with the driver How the driver interacts with your databas
DB移行プロジェクト、Oracle DatabaseからPostgreSQLへ、技術負債を解消する - LIFULL Creators Blog
こんにちは！テクノロジー本部基盤開発ユニット改善推進グループ所属の王です。 基盤開発ユニットは常にLIFULLの各種サービスが依存する基盤システムの構築と改善のために、いろいろな取り組みをしています。 www.lifull.blog www.lifull.blog www.lifull.blog 今回は技術負債の解消の一つである、DB移行プロジェクトの詳細について紹介します。 DB移行プロジェクトとは？ 現在LIFULL HOME'Sの各種サービスが依存している中心的なデータベースをOracle DatabaseからPostgreSQLに置き換えることを推進しているプロジェクトです。 背景の詳細は省略しますが、現状のDB運用体制を続けると会社の事業発展のボトルネックとなることが予想されているので、運用コストの削減、開発効率およびパフォーマンス改善の面から移行の必要が出てきています。 プロジ
Add Readyset to your Postgres or MySQL database and serve millions of requests per second, at sub-millisecond latencies. All with zero code changes.
Writing a SQL database, take two: Zig and RocksDB | notes.eatonphil.com
For my second project while learning Zig, I decided to port an old, minimal SQL database project from Go to Zig. In this post, in ~1700 lines of code (yes, I'm sorry it's bigger than my usual), we'll create a basic embedded SQL database in Zig on top of RocksDB. Other than the RocksDB layer it will not use third-party libraries. The code for this project is available on GitHub. Here are a few exam
Database Migrations
Table of Contents I consider database migrations one of the most annoying problems to deal with during a software engineer’s life. Not only that, if it goes wrong, as it often does, people tend to develop anxiety related to any schema changes. So why is it so annoying? It looks simple at first glance but is deceptively tricky when you start thinking about it. My primary framework of choice is the
GitHub - oceanbase/oceanbase: OceanBase is an enterprise distributed relational database with high availability, high performance, horizontal scalability, and compatibility with SQL standards.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Code scanning and Ruby: turning source code into a queryable database
Suppose this were a SQL database, and I wanted to write a query to find all the expressions that are arguments in calls to the puts method. It might look like this: SELECT call_arguments.arg_id FROM call_arguments INNER JOIN calls ON calls.expr_id = call_arguments.call_id WHERE calls.name = "puts"; In practice, we don’t use SQL. Instead, CodeQL queries are written in the QL language and evaluated
Why Linux HugePages are Super Important for Database Servers: A Case with PostgreSQL
Often users come to us with incidents of database crashes due to OOM Killer. The Out Of Memory killer terminates PostgreSQL processes and remains the top reason for most of the PostgreSQL database crashes reported to us. There could be multiple reasons why a host machine could run out of memory, and the most common problems are: Poorly tuned memory on the host machine. A high value of work_mem is
GitHub - cockroachdb/pebble: RocksDB/LevelDB inspired key-value database in Go
Pebble is a LevelDB/RocksDB inspired key-value store focused on performance and internal usage by CockroachDB. Pebble inherits the RocksDB file formats and a few extensions such as range deletion tombstones, table-level bloom filters, and updates to the MANIFEST format. Pebble intentionally does not aspire to include every feature in RocksDB and specifically targets the use case and feature set ne
Amazon Database Migration Accelerator のご紹介 | Amazon Web Services
Amazon Web Services ブログ Amazon Database Migration Accelerator のご紹介 本日、Amazon Database Migration Accelerator (DMA) をローンチしたことを発表します。Amazon DMA では、AWS Database Migration Service (DMS)、AWS Schema Conversion Tool (SCT)、AWS データベース移行エキスパートを活用することで、従来の商用データベースから固定料金で移行することができます。ローンチ時点の Amazon DMA では、Oracle や SQL Server から Amazon Aurora または Amazon Relational Database Service (RDS) for PostgreSQL/MySQL への移行
Haskell Database Implementation - Part 1, Growing a Tree
Having started my career as a software developer in 2013 with an undergraduate degree in Mathematics, I never got the chance to take some of the higher-level courses on subjects like compilers, programming languages, or databases. In 2020 I set out to correct some of the gaps in my knowledge, and one of the ways I did so was by writing my own database, in Haskell, from scratch. This series of post
最近の MySQL の Internal Temporary Table 動作まとめ (version 8.0.28 版) - mita2 database life
8.0 のGA以降、Internal Temporary Table まわりは改良が重ねられきました・・・ ネットの記事では既に古い内容になってしまっているものもあり、改めて最新の挙動を確認して整理してみました*1。 なお、MySQL 8.0 の Internal Temporary Table の動作は @kentarokitagawa さんの以下の記事も詳しいです。 こちらの記事を読んでから本エントリーを読むとより理解しやすいでしょう。 gihyo.jp Internal Temporary Table MySQL は、ORDER BY や UNION を含むクエリを処理するため、内部的に一時的なテーブル（Internal Temporary Table) を作成します。 Internal Temporary Table はクエリの実行が終わると、自動的に削除されます。 Interna
Prisma 2.0 | Now in Beta: Type-safe Database Access with Prisma Client
March 31, 2020 Prisma 2.0 is in Beta: Type-safe Database Access with Prisma Client We introduced the first Preview version of Prisma 2.0 in June last year. Today, we are excited to launch the first official Beta along with a new website and updated Prisma 2.0 documentation. Update: Prisma is now ready for production. Read more in the announcement article: The Complete ORM for Node.js & TypeScript.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RSS Feeds for GitHub Advisory Database
AWS Database Migration Service(DMS)チュートリアル - ヤマムギ
Git's database internals V: scalability
cc.dev - Database-Driven Email Marketing
The High-Performance Vector Database Built for Scale | Milvus
Deno KV internals: building a database for the modern web
How Litestream Eliminated My Database Server for $0.03/month
DBOS: A Database-Oriented Operating System
NebulaGraph Graph Database
SQLite as a document database
Oracle Database 19cとは何か? どういう位置づけのリリースなのか? | コーソルDatabaseエンジニアのBlog
Database Migration with Atlas - LayerX エンジニアブログ
Demystifying Database Systems, Part 4: Isolation levels vs. Consistency levels
Readyset | Same database, (much) faster queries