劔 新しいハードウェアアーキテクチャ(メニーコア・大容量メモリー)に合わせた設計思想で、 性能を最大限に発揮する国産リレーショナルデータベース
劔 新しいハードウェアアーキテクチャ(メニーコア・大容量メモリー)に合わせた設計思想で、 性能を最大限に発揮する国産リレーショナルデータベース
This article covers the following “hyperparameters” sorted by their relevant stage. In the ingestion stage of a RAG pipeline, you can achieve performance improvements by: Data cleaningChunkingEmbedding modelsMetadataMulti-indexingIndexing algorithmsAnd in the inferencing stage (retrieval and generation), you can tune: Query transformationsRetrieval parametersAdvanced retrieval strategiesRe-ranking
ARIES のすごさがいまいち理解できないでいるのですが、本質的なところとしてはどういったところがすごいのでしょうか。 ARIES/IM、ARIES/KVLといった、リカバリ用途以外のアルゴリズムでも名前が入ったものがあったりするので、周辺用途でも応用が利くようなアイデアを包含するものなのではないかと思っているのですが、いかんせんそこが掴めないでおります。 熊崎 宏樹:ARIESの本質、これは僕も疑問でした。Algorithms for Recovery and Isolation Exploiting Semanticsの頭文字を取ってのARIESですが何がSemanticsをExploitしているのかという点について考えるたびに別の答えが思いつくのでまるでわかりませんでした。 そこで去年、大阪に訪問していたC. Mohan先生(ARIESの著者)に直接聞いてみました。(Mohan先生の
Movies is a non-trivial demo app built using the TMDB (The Movie Database) API. It is built with learning, but not strict comparison, in mind. Movies is part of the TodoMVC TasteJS project. Credits The Movies App is a non-trivial demo application built on top of the TMDB (The Movie Database) API. It features multiple routes and views, authentication, dark mode and a range of performance optimizati
Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤(コンテナ技術)とデータセンター ネットワーク技術 データベ
3. プライバシー保護 今回は個人用ドメインなのでプライバシー保護が必須でした。 Route 53、Cloudflareともにプライバシー保護に関する機能は存在するのですが、その内容は両者で異なります。 Route 53 Route 53には名前通り「プライバシー保護」機能がありドメインの連絡先情報を「レジストラの情報に置き替え」または「REDACTED FOR PRIVACYで置き替え」してくれます。 どちらの方法で置き換えられるのかはAWSにより自動的に決められます。 ドメインの連絡先情報のプライバシー保護の有効化/無効化 ただし、保護される内容はTLDにより異なるため都度ドキュメントで確認する必要があります。 今回の.techドメインでは 組織名を除くすべての情報が非表示になります。 .tech という扱いでした。 Cloudflareではデフォルトでプライバシー保護が有効になってお
Trivy の「Misconfiguration Scanning」は Terraform をサポートしていて(AWS CloudFormation もサポートしている👏),Terraform コードのセキュリティ課題や設定ミスを検出できる❗️Trivy を活用した Terraform のスキャンを試した作業ログをまとめる📝 aquasecurity.github.io tfsec から Trivy へ 🔜 tfsec は現在も使えるけど,今後は Trivy に移行する流れとなっている💡 GitHub Discussions に今年2月頃 tfsec is joining the Trivy family というアナウンスが投稿されている❗️ github.com さらに GitHub の tfsec リポジトリ(master ブランチ)に今年5月頃 Migrating from
Amazon Web Services ブログ Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 Amazon Aurora は、クラウド向けに構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、従来のエンタープライズデータベースのパフォーマンスと可用性と、オープンソースのデータベースのシンプルさとコスト効率を持ち合わせています。Amazon Aurora MySQL は MySQL 5.7 と互換性に加え、 MySQL 8.0 とも互換性があります。MySQL 8.0 互換の Aurora MySQL 3 が一般提供されています。 Aurora MySQL 3 は、共通テーブル式 (CTE) のサポート、ロールベースの認証、レプリケーションの強化、ウィンドウ関数、インスタント DDL など、いく
On July 5, 2023, Meta launched Threads, the newest product in our family of apps, to an unprecedented success that saw it garner over 100 million sign ups in its first five days. A small, nimble team of engineers built Threads over the course of only five months of technical work. While the app’s production launch had been under consideration for some time, the business finally made the decision a
by Alistair Shepherd published on Dec 14, 2023 Carefully observing websites in the wild As the murderous tortoises start to converge on Ryūji’s hideout, they pull out their phone. It’s a cheap, older device but it’s survived the toils of the tortoise-ageddon well so far. Thankfully the internet still exists, although a bit slower, so they’re able to search online for how to scare tortoises away. T
[速報]AWS、SPARCサーバを仮想化してAWSに載せる「Virtualization for SPARC on AWS with Stromasys」発表。AWS re:Invent 2023 Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」で、SPARCプロセッサを搭載したサーバ環境を仮想マシンとしてAWS上で提供する新サービス「Virtualization for SPARC on AWS with Stromasys」(以下、SPARC on AWS)を発表しました。 これによりSPARCサーバ上で動作するアプリケーションに変更を加えることなく、AWSに移行できます。 x86マシン上の仮想マシンとしてSPARCサーバを実現する技術は、以前からStromasys社が提供しており、2019年にはAWS Marke
NLP若手の会 (YANS) 第18回シンポジウム (2023) チュートリアル https://yans.anlp.jp/entry/yans2023 松井 勇佑(東京大学)https://yusukematsui.me/ 近似最近傍探索とは、「似ているベクトルを探す」というシンプルかつ基盤的な技術である。近傍探索技術は古くから様々な分野で研究が進められてきたが、現在でも活発に技術革新が進んでいる。近年ではCLIPを用いたマルチモーダル検索や、埋め込み探索によるLLMへの知識追加方式として、近傍探索技術は注目を集めている。本チュートリアルでは、特に2010年代後半から目覚ましく発展を遂げ、多くのVector Databaseのバックエンドにもなっている「グラフを用いた探索方式」に焦点を当て、その理論と応用について解説する。
テクノロジー パスワードも口座番号もプレーンテキストで保存 Copilot+ PC上の全てを記録する「Recall」、セキュリティ上の大惨事を引き起こす? Image:Microsoft マイクロソフトはPC上で見たもの・行ったこと全てを探せる新機能「Recall」を世に送り出そうとしている。6月18日に発売される「Copilot+ PC」に準拠したマシンで利用できる予定だが、この機能がサイバーセキュリティにとって「大惨事」になりかねないと専門家が警告を発している。 RecallはローカルのAIモデルを使い、コンピューター上で見たり行ったすべてのスクリーンショットを記録し、数秒で何でも検索できる機能だ。マイクロソフトは、完全にデバイス上に構築・保存されるため、プライバシーも保護されると主張している。 が、サイバーセキュリティ専門家のKevin Beaumont氏は、本機能に潜在的なセキュリ
AWS News Blog Join the preview of Amazon Aurora Limitless Database Today, we are announcing the preview of Amazon Aurora Limitless Database, a new capability supporting automated horizontal scaling to process millions of write transactions per second and manage petabytes of data in a single Aurora database. Amazon Aurora read replicas allow you to increase the read capacity of your Aurora cluster
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか?そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能(公式サイトより) LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
The openVertebrate project, oVert for short, is a new initiative to provide free, digital 3D vertebrate anatomy models and data to researchers, educators, students and the public. X-ray CT allows researchers to visualize and quantify hard-to-measure characteristics. This image shows high and low density areas of the skull of an Angolan burrowing pig-nosed frog. Florida Museum of Natural History im
Published on July 19, 2023 (9 months ago) Everything I wish I knew before moving 50,000 lines of code to React Server Components React Server Components are a lot. We recently rethought our docs and rebranded Mux and, while we were at it, moved all of mux.com and docs.mux.com over to Server Components. So… believe me. I know. I also know that it’s possible and not that scary and probably worth it.
Hono + htmx + Cloudflare is a new stack Jul 21, 2023 As a former backend engineer, I sometimes find React complex. Moreover, as a framework developer, creating a hydration mechanism can be troublesome. But we often end up using React. One of the main advantages of using React is JSX. At first, JSX seems strange - “Why are HTML tags in JavaScript!!!” However, once I get used to it, I find that JSX
EducationSecurityIntroduction to SELinuxSELinux is the most popular Linux Security Module used to isolate and protect system components from one another. Learn about different access control systems and Linux security as I introduce the foundations of a popular type system. At GitHub Security Lab, our main mission is helping secure the open source software we all rely on. While securing applicatio
Amazon Web Services(AWS)は、ラスベガスで開催中のイベント「AWS re:Invent 2023」の基調講演で、同社が独自に開発しているARMベースの最新プロセッサ「AWS Graviton4」を発表しました。 Graviton4は2021年に発表されたGraviton3と比較してコア数が50%、メモリ帯域が75%増加し、演算性能が30%向上しており、より高性能かつ電力利用効率が高いプロセッサとなっています。 また、全ての物理ハードウェアインタフェースを完全に暗号化することで、より高いセキュリティを実現しました。 AWS CEOのAdam Selipsky氏は、Gravtion4はGraviton 3と比較してデータベース処理で40%高速になり、Javaアプリケーションでは45%高速になったと説明。 Graviton4はメモリ最適化されたAmazon EC2 R8gイ
CX事業部@大阪の岩田です。 本日のアップデートによりRDS ProxyがPostgreSQLの拡張クエリプロトコルをサポートするようになりました。本ブログではこのアップデートについてご紹介します。 ちなみに以前はpinningが「ピン留め」翻訳されていましたが、最近は「固定」翻訳とされているようです。個人的にはピン留めの方がしっくりくるので、本ブログにおいては公式日本語ドキュメントが「固定」と翻訳している事象を全て「ピン留め」と呼ぶことにします。 そもそも拡張クエリプロトコルとは? PostgreSQLではクエリを実行するためのプロトコルに、簡易クエリプロトコルと拡張クエリプロトコルという2つのプロトコルが存在します。ざっくりとした理解として、簡易クエリプロトコルの場合は生のSQL文をそのままサーバーに送信するのに対して、拡張クエリプロトコルの場合はパラメータを利用したSQL文を送信した
Stanchion is a SQLite 3 extension that brings the power of column-oriented storage to SQLite, the most widely deployed database. SQLite exclusively supports row-oriented tables, which means it is not an ideal fit for all workloads. Using the Stanchion plugin brings all of the benefits of column-oriented storage and data warehousing to anywhere that SQLite is already deployed, including your existi
Skip the API, Ship Your Database Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt With Fly.io, you can get your app running globally in a matter of minutes, and with LiteFS, you can run SQLite alongside your app! Now we’re introducing LiteFS Cloud: managed backups and point-in-time restores for LiteFS. Try it out for yourself! My favorite part about building tools is discover
TORANOANA Lab 物理削除 vs 論理削除 レコード消滅作戦 虎の穴ラボ 河野 裕隆 JJUG CCC 2024 Spring Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. #jjug_ccc_c 自己紹介 河野 裕隆(こうの ひろたか) 好きなもの ● 2019/08 虎の穴ラボ入社 ● VOCALOID(初音ミク) ● 新規開発チーム ● 謎解き、クイズ ○ ● クリエイティア他 X: @hk_it7 虎の穴ラボへの入社理由 ● スキルを高めあえる仲間がほしい ● ユーザーに近い仕事がしたい JJUG CCC登壇は半年ぶり3回目 初めてスタッフ参加🎉 2 Copyright (C) 2024 Toranoana Lab Inc. All Rights Reserved. #jjug_ccc_c
まえがき 今回は入門ということで、以下の2つのことをまとめています。 Prompt flowの作成~実行 簡易的なタスクをPrompt flowで実装 Prompt flowの便利機能には今回触れていません。次回以降まとめていきます。 以下のような便利機能を試していく予定です。 マネージドオンラインエンドポイントの作成 Variant Bulktest ベクトルDBやSerp APIとの連携 リソース構築 事前作成が必要なもの Azure OpenAI gpt-35-turbo Machine Learning Studioのワークスペース Azure OpenAIを作成し、上記モデルをデプロイします。エンドポイントとキーをコピーしておきます。 また、下記URLからワークスペースを作成しておきます。 Prompt flowとAzure OpenAIの接続 Connenctionsタブへ移動
はじめに こんにちは、CISO部の兵藤です。日々ZOZOの安全のためにSOC対応を行なっています。普段のSOCの取り組みについては以下「フィッシングハントの始め方」等をご参照ください。 techblog.zozo.com 6/10〜6/12にアメリカのフィラデルフィアで開催されたAWS re:Inforce 2024に参加してきました。この記事ではその参加レポートをお届けします。 フィラデルフィア現地会場前の様子 目次 はじめに 目次 AWS re:Inforce 2024とは セッションの紹介 Builder's Session TDR355 Detecting ransomware and suspicious activity in Amazon RDS TDR352 How to automate containment and forensics for Amazon EC2 B
The product https://joinmastodon.org Mastodon is a free, open-source social network server based on ActivityPub where users can follow friends and discover new ones. On Mastodon, users can publish anything they want: links, pictures, text, and video. All Mastodon servers are interoperable as a federated network. Open source The project is open source at https://github.com/mastodon/mastodon License
Cloud SQL Enterprise Plus エディションを発表:新エディションでは MySQL のパフォーマンスが最大 3 倍に向上 ※この投稿は米国時間 2023 年 7 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 Cloud SQL は、MySQL、PostgreSQL、SQL Server のワークロードを実行するための Google Cloud のエンタープライズ対応フルマネージド データベース サービスです。デジタルサービスから銀行、小売業まで幅広い業界で利用されており、現在 Google Cloud を活用している上位 100 社のうち 95% 以上のお客様が Cloud SQL を利用しています。より要求の厳しいワークロードがクラウドに移行するにつれ、より高いパフォーマンスと可用性を求める声が聞かれるようになりました。さらに、個々
instant.dev provides a fast, reliable and battle-tested ORM and migration management system for Postgres 13+ built in JavaScript. For those familiar with Ruby on Rails, instant.dev adds functionality similar to ActiveRecord to the Node.js, Deno and Bun ecosystems. We have been using it since 2016 in production at Autocode where it has managed over 1 billion records in a 4TB AWS Aurora Postgres ins
Private Cloud Compute: A new frontier for AI privacy in the cloud Written by Apple Security Engineering and Architecture (SEAR), User Privacy, Core Operating Systems (Core OS), Services Engineering (ASE), and Machine Learning and AI (AIML) Apple Intelligence is the personal intelligence system that brings powerful generative models to iPhone, iPad, and Mac. For advanced features that need to reaso
はじめに ポリモーフィズム形式の実装 ポリモーフィズム形式の実装の利点 ポリモーフィズム形式の実装の欠点 代数的データ型形式の実装 代数的データ型形式の実装の利点 代数的データ型形式の実装の欠点 まとめ We are hiring! はじめに Kotlinのsealedタイプ (sealed class と sealed interface) は、外部モジュールによるクラスの継承やインターフェースの実装 (以降は実装で統一します) を制限することで、継承先クラスの一覧を静的に取得できるようにする機能です。 以下は公式ドキュメントの例ですが、sealedタイプを使うことで log() 関数内の when が全てのとり得るパターンを網羅していることがコンパイル時にチェックされ、冗長な else を省くことができます。 また、Error インターフェースの直接の実装先が増えて when が網羅性
ペーパーカンパニーは正式に法人登記されているもののビジネスの実態がない会社のことで、企業や大富豪の税金対策や、違法であったり制裁を受けたりした企業の所有者を隠すために使われることがあります。「巧妙に隠されているペーパーカンパニーの本当の所有者を見つけるコツ」を、国際調査報道ジャーナリスト連合(ICIJ)のジャーナリストであるカリー・キーオ氏が解説しています。 Tips for Linking Shell Companies to their Secret Owners – Global Investigative Journalism Network https://gijn.org/stories/tracking-shell-companies-secret-owners/ ペーパーカンパニーとそのultimate benefit owners(真の受益者:UBO)を発見することは、I
画像生成AI・Midjourneyのトレーニングに用いられたとされる、合計1万6000人以上のアーティストの名前が入ったリストの存在が明らかになりました。リストにはウォルト・ディズニーや草間彌生、フリーダ・カーロなどの著名アーティストも含まれていました。 Midjourney developers caught discussing laundering, and creating a database of Artists (who have been dehumanized to styles) to train Midjourney off of. This has been submitted into evidence for the lawsuit. Prompt engineers, your “skills” are not yourshttps://t.co/wAhsNj
メジャーアップグレードを先延ばしした場合のTCOと移行コストを比較しましょう。 延長サポート移行時のマイナーバージョンアップグレード方法 延長サポートは、特定のマイナーバージョンでのみサポートされています。 RDSを例に取ると、MySQLは5.7.44、PostgreSQLは11.22です。 マイナーバージョンの自動アップグレードを有効にしている場合、すでにこの最新マイナーバージョンにアップグレードされているはずです。 無効にしている場合、標準サポートの終了に伴い、延長サポート対象バージョンへ自動アップグレードされます。 ただし、自動アップグレードの実施タイミングは言及されておらず、メンテナンスウィンドウ中に実施される保証はありません(2024/01/10確認)。 アップグレードのタイミングをコントロールしたい場合、標準サポートが終了する前に、以下のどちらかを実施してください。 手動で実行
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
はじめに 先日Server-Side Kotlin MeetupのLT大会で登壇してきましたので、その内容をブログ記事でも公開します。 テーマはKotlin製のORマッパー、Ktormのクラス構造と機能拡張についてです。 Ktormの紹介 ktorm.org Ktormは、いくつかあるJDBCベースのKotlin製ORマッパーのうちの1つです。 それらの中でもっともメジャーと思われるExposedと比較すると、次のような特長があります。 シンプルな実行モデル 遅延実行やキャッシュなどの仕組みを持たないので、コードを読んで理解しやすく、SQLの実行タイミング等も把握しやすいです。 生SQLに近いDSL select() で検索条件を指定し slice() でカラムを指定する形式のExposedのDSL 1 に比べて、生SQLに近い文法を採用しており、SQLに習熟していれば少ない認知コストで読
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね? 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは? N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。(1 + N問題と呼んだ方がしっくりくる気がしますが...🤫) 背景 この取り組みを始めた経緯は、システムへのリクエスト
Tegon is AI-First Issue Tracking tool for engineering teams Tegon is an AI-first, open-source issue tracking software that uses AI to smartly automate manual task, workflows or provide more context to engineers for a given task. Issue Tracking is important for fast-paced teams, enabling them to organize list of tasks, collaborate, and track progress effectively. However, existing tools often intro
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く