PLAIDではPersonalizationに特化したリアルタイムユーザー解析エンジン（Blitz）を自分達で開発し、KARTEの基盤として使ってきました。今回新たに刷新した解析エンジンのコア要素である「強整合な解析」を実現する具体的なアーキテクチャ、技術選定の内容を紹介します。
Blitz（後編）：リアルタイムユーザー解析エンジンを実現する技術（強整合な解析） - PLAID engineer blog
PLAIDではPersonalizationに特化したリアルタイムユーザー解析エンジン（Blitz）を自分達で開発し、KARTEの基盤として使ってきました。今回新たに刷新した解析エンジンのコア要素である「強整合な解析」を実現する具体的なアーキテクチャ、技術選定の内容を紹介します。
杉浦茂 全仕事
漫画家・杉浦茂の全仕事を紐解くコレクション デタラメ、ナンセンス、シュール、奇想天外―― 杉浦茂を評する数々の言葉だけでも、この漫画家の異端ぶりが分かる。 戦前のユーモア・教育漫画から戦後の独特なギャグ漫画まで64年の漫画家人生を通じて膨大な作品を世に送り出した杉浦茂。 没後も未収録作品の発掘が行われ全集が再編されるなど 今もなお全容把握が進められている漫画家でもある。 このWebサイトでは杉浦茂に関わる膨大なコレクションから、 初出・再録を含めたすべての作品をまとめた。 まさに杉浦茂の「全仕事」を知るための入り口である。 このホームページについて ➡
はじめに 下の画像を見てください。これはとあるアプリの Firebase Console の App Check の Cloud Firestore のモニタリング画面です。この画面で 不正リクエストがどのくらいあるかが確認できます。 え？小さくてよくわかりませんか？もう少し拡大してみましょう。 ↓拡大してみました。不正リクエストは 2% ありました。30日間で不正リクエストは57万回あったということです！ さらに Authentication は 18% も不正リクエストがありました！ これは、どうにかしないといけない。。。ということで、最近 Firebase App Check を個人開発した Flutter アプリに導入したので、導入手順について紹介します！ コードの修正は簡単ですが、Firebase 側の設定がなかなか難解ですし、公式サイト は手順がひとつにまとまっていなくてわかり
Applies to: Windows Server 2022, Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012 Attacks against computing infrastructure have increased over the last decade in all parts of the world. We live in an age of cyber-warfare, cybercrime, and hacktivism. As a result, organizations of all sizes all over the world have had to deal with information leaks, theft of inte
「以前であれば『一部の攻撃者による限定的な悪用ならまだ猶予はある。直ちに慌てる状況ではない』と判断していたが、最近はその想定が通用しなくなった」――。JPCERTコーディネーションセンター（JPCERT/CC）の佐々木勇人政策担当部長兼早期警戒グループマネージャー脅威アナリストは、脆弱性を突く攻撃者の変化をこう話す。 米Palo Alto Networks（パロアルトネットワークス）製品に脆弱性が見つかり、その情報が米国の脆弱性情報データベースNVD（National Vulunerability Database）に2024年4月12日金曜日（米国時間）に掲載された。JPCERT/CCでは同日夕方から準備に取りかかり、4月13日土曜日に日本国内の企業や組織に向けて注意喚起を発出した。「週明けの注意喚起では、企業などの対応が間に合わなくなると判断した」（佐々木脅威アナリスト）という。 実際
社内勉強会「Modern Data Stack入門」の内容をブログ化しました - PLAID engineer blog
プレイドの社内向けに行ったModern Data Stack勉強会の内容が好評だったので、データ基盤に携わる方に向けてModern Data Stackの概要、主要サービス、重要だと思うトレンドをまとめました。
Examining the Deception infrastructure in place behind code.microsoft.com
The domain name code.microsoft.com has an interesting story behind it. Today it’s not linked to anything but that wasn’t always true. This is the story of one of my most successful honeypot instances and how it enabled Microsoft to collect varied threat intelligence against a broad range of actor groups targeting Microsoft. I’m writing this now as we’ve decided to retire this capability. In the pa
With contributions from Adnan Rahić and Ken Hamric. The OpenTelemetry Demo is a system that simulates a Telescope Shop, consisting of multiple microservices written in different languages, each handling a specific capability of this distributed system. Its purpose is to demonstrate how OpenTelemetry tools and SDKs can be used in an application to obtain telemetry for monitoring results and even to
Google CloudでOracleデータベースを提供へ。「Oracle Database@Google Cloud」発表
Google CloudでOracleデータベースを提供へ。「Oracle Database@Google Cloud」発表 オラクルとGoogle Cloudは提携により、Google Cloud上でOracle Databaseを稼働させる「Oracle Database@Google Cloud」と、Google CloudとOracle Cloudを高速回線で接続する「Cross-Cloud Interconnect」を共同で提供すると発表しました。 Cross-Cloud Interconnectは本日から東京リージョンでも利用可能になります。 Google Cloud上でOracleデータベースが稼働 両社が共同で提供する「Oracle Database@Google Cloud」は、Google CloudのデータセンターにOracle Cloudのインフラを持ち込み、そこで
What happened to Vivaldi Social? | Thomas Pike’s other blog
On Saturday 8 July 2023, user accounts started disappearing from the Vivaldi Social Mastodon instance. What was going on, how did this happen, and what were the consequences? This is a very long blog post, but to be fair, this was also to be a very long weekend. If you want to skip to the conclusion, there’s a TL;DR (too long; didn’t read) section at the end. Something’s not right It was around 17
GitHub - aerotoad/neboa: Type-safe NoSQL with Node & SQLite. 🌫️💽
Neboa (pronounced /ˈnɛβo̯a̝/, from Galician: «fog») is a simple, yet powerful, type-safe NoSQL database library for Node.js. It offers seamless data management with compile-time type-checking for enhanced reliability. Leveraging SQLite, Neboa ensures efficient and lightweight performance, making it perfect for Electron and other platforms. With its unique approach, Neboa empowers you to use a rela
Go is great for building command-line applications. We built one: Dolt, the world's first version-controlled SQL database. We wrote our own command line parser for handling all of Dolt's subcommands and arguments, but maybe we shouldn't have. There are lots of great ones out there that if we might have used instead if we were starting the project today: spf13/cobra has great support for code gener
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？
ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin
If you love Google Maps, here's how to make it easier to access on a Windows PC. Google Maps works great on Android and iOS devices. However, the company doesn’t offer a desktop application for the Windows operating system yet. While Windows features a built-in Microsoft Maps app, many still prefer Google Maps due to its ease of use and excellent database of geographic data. So, how do you use Goo
eC Programming Language
import "EDA" import "genericEditor" enum MediaType { unknown, tape, dvd, bluRay }; dbtable "Borrowers" Borrower { Borrower id "ID"; String name "Name"; String phoneNumber "Phone Number"; }; dbtable "Movies" Movie { Movie id "ID"; String name "Name"; MediaType mediaType "Media Type"; Date dateAdded "Date Added"; Borrower borrower "Borrower"; Date dateBorrowed "Date Borrowed"; }; DataSource ds; Data
お久しぶりです。GMO NIKKOのharuです。 私が担当するサービスGood!Appsは、GCPを用いて本番環境をクラウド上に構築しております。当然データベースもCloud SQLを使用しているのですが、次のような用途でローカルからCloud SQLに接続したいことがあります。今回は、公式が提供しているCloud SQL Auth ProxyというCloud SQLコネクタを使用した方法をお伝えします。 主な用途 データ確認: 開発中にCloud SQL内のデータを確認したい場合。 データ修正: 何らかの理由でCloud SQL内のデータを直接修正する必要がある場合。 データベースマイグレーション: Cloud Runなどのコンテナ環境からCloud SQLにデータを移行したい場合。 注意点 本番環境のデータベースに接続するため、操作は慎重に行ってください。 不要な時は接続を閉じること
Unexplanations: sql is syntactic sugar for relational algebra
Unexplanations: sql is syntactic sugar for relational algebra This idea is particularly sticky because it was more or less true 50 years ago, and it's a passable mental model to use when learning sql. But it's an inadequate mental model for building new sql frontends, designing new query languages, or writing tools likes ORMs that abstract over sql. Before we get into that, we first have to figure
This year, the YJIT team and I have gotten a paper accepted at MPLR 2023 (Managed Programming Languages and Runtimes), which is now freely available through ACM open access. The paper, titled “Evaluating YJIT’s Performance in a Production Context: A Pragmatic Approach”, goes into details of the strategy taken to evaluate YJIT’s performance in a production context. One of our key findings, when com
dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog
3行まとめ dbtのジョブが失敗した際やテーブルの廃止検討の際に、BI上のどのダッシュボードで利用されている(データリネージ)か知るのは重要です TableauのGraphQLのAPIからWorkbookとBigQuery上のモデルの埋め込みの関係を知ることができます dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureとして出力するスクリプトにより、dbtのジョブの失敗やテーブルの廃止がTableauのダッシュボードに与える影響などを調べやすくなりました 3行まとめ 背景 課題: dbtのexposureとしてダッシュボードを手動で記入し続けるのは難しい 解決方法: TableauのGraphQLのAPIを使い、 dbtのexposureを自動生成する 発展的話題 背景 業務において、DWHやデータマートの生成にdbtを、BIツールとしてTablea
Rails 7.1: Dockerfiles, BYO Authentication, More Async Queries, and more!
Rails 7.1: Dockerfiles, BYO Authentication, More Async Queries, and more! Rails World just started and we are getting together with the community in person to celebrate of the 20th anniversary of Rails and the release of Rails 7.1. In this release there has been over five thousand commits made by over 800 contributors since Rails 7.0, so it is packed with new features and improvements. Dockerfiles
Why Elixir Is the Best Language for Building a Bootstrapped, B2B SaaS in 2024 | SleepEasy Website Monitor
Why Elixir Is the Best Language for Building a Bootstrapped, B2B SaaS in 2024 [This article is the companion to my presentation for CodeBEAM America 2024, Elixir is the One-Person Stack for Building a Software Startup. You can download the slides as a PDF or view them in Google Slides.] I’d like to share why I chose Elixir as the programming language (and really, as we’ll discuss, the full stack)
Hyperdrive: making databases feel like they’re global
Hyperdrive: making databases feel like they’re global09/28/2023 This post is also available in 简体中文, 日本語, 한국어, Deutsch, Français and Español. Hyperdrive makes accessing your existing databases from Cloudflare Workers, wherever they are running, hyper fast. You connect Hyperdrive to your database, change one line of code to connect through Hyperdrive, and voilà: connections and queries get faster (
米Oracleが、米Microsoftの検索エンジン「Bing」が搭載するチャットAI機能「Bingチャット」に、クラウドサービス「Oracle Cloud Infrastructure」（OCI）を提供していると発表した。BingチャットはMicrosoftのクラウドサービス「Microsoft Azure」とOCIを併用する形で動作しているという。 米Oracleは11月7日（現地時間）、米Microsoftが提供する検索エンジン「Bing」が搭載するチャットAI機能「Bingチャット」に、クラウドサービス「Oracle Cloud Infrastructure」（OCI）を提供していると発表した。BingチャットはMicrosoftのクラウドサービス「Microsoft Azure」とOCIを併用する形で動作しているという。 Oracleによれば、MicrosoftはAzureとOC
MysqlRewinder という gem を作った | BLOG - DeNA Engineering
gem の概要 database_rewinder という gem があります。 これを使うとテストケースを実行するたびに DB の中身が初期化されて、しかも超速いというすごい gem です。 弊社でもヘビーユースさせていただいていたのですが、あるプロダクトの自動テストにおいて適切にデータが初期化されないケースがあり、 Flaky test の原因となっていました。 今回ご紹介する mysql_rewinder は、この問題を解決するために database_rewinder の代替を目指して開発した gem です。 使用例 Ruby on Rails / RSpec と組み合わせる場合、以下のように利用します。 RSpec.configure do |config| # MysqlRewinder の初期設定 config.before(:suite) do db_configs = A
土壌生物（ダニ、トビムシなど）の画像集
土壌動物の画像集 -------------------- 鋏角亜門（Chelicerata） クモガタ綱（Arachnida） カニムシ目（Pseudoscorpionida） 分類群01 分類群02 ==================== クモ目(Araneae) ==================== ダニ目（Acari） ササラダニ亜目（Oribatida） ==================== ヒワダニ科(Hypochthoniidae) オオナガヒワダニ（Eo. magnus） ヒワダニモドキ（En. minutissimus） ヒワダニ属(Hypochthonius spp.) -------------------- ツツハラダニ科(Lohmanniidae) ツツハラダニ属(Lohmannia spp.) フトツツハラダニ属(Mixacarus spp.) ---
GitHub Copilot Chat beta now available for every organization
ProductGitHub Copilot Chat beta now available for every organizationAll GitHub Copilot for Business users now have access to a limited GitHub Copilot Chat beta, bringing the power of conversational coding right to the IDE. Earlier this year, we announced GitHub Copilot X, which featured a number of technical previews designed to bring the power of generative AI and GPT-4 throughout the entire deve
Rails: aasm gemは今すぐRailsの新しいenumに置き換えよう（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Replace aasm with Rails Enum today | Arkency Blog 原文公開日: 2024/03/29 原著者: Szymon Fiedler 日本語タイトルは内容に即したものにしました。 参考: ステート・マシン - IBM Documentation Railsアプリには、いわゆるステートマシン実装を提供するgemが含まれていることがよくあります。それがaasmというgem（旧名acts_as_state_machine）である可能性はさらに高いでしょう（ところでacts_as_hasselhoffというジョークgemがあったのを覚えている人っていますか？）。 それはともかく、このaasm gemをActiveRecordモデルにincludeすると、かなりいろいろなことができるようになります
オラクル、マイクロソフト、OpenAIの3社は提携を発表し、OpenAIにさらなるAIインフラのキャパシティを提供するために、OpenAIが利用するプラットフォームをMicrosoft Azureに加えてOracle Cloudへ拡大することを発表しました。 もともとOpenAIとマイクロソフトは複数年にわたる長期的なパートナーシップにより、Microsoft AzureがOpenAIの独占的なクラウドプロバイダーとして、研究や製品、APIによるサービスなど、OpenAIのすべてのワークロードを支えることを発表しています。 今回の3社の提携は、このOpenAIを支えるクラウドプロバイダーにOracle Cloudが加わることを意味します。 OpenAIのサム・アルトマンCEOはこの提携に当たり、次のようにコメントしています。 We are delighted to be working w
<前編> ・ドメイン・ネットワーク帯を調査する手法 ・ドメインの調査 ・JPRS whois ・ICANN Registry Listings ・ネットワーク帯（IPアドレス）の調査 ・JPNIC whois Gateway ・BGP Tool kit ・その他の調査 ・検索エンジンを使った調査 ・Webサイトのクローリング ・Google AdSense ・公的データベースの活用 ・gBizINFO ・公開情報調査（Passive型の検索サービス） ・Robtex ・PassiveDNS ・viewdns.info ・Microsoft Defender Threat Intelligence ・違うTLDを試す ・RDAP サブドメインを調査する方法 様々な手法で収集した、ドメインとIPアドレス情報をもとにサブドメインを列挙するフェーズです。ドメイン/ネットワーク帯（IPアドレス）調査
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
Introducing Solid Queue
We’ve just open-sourced Solid Queue, a new backend for Active Job that we use in HEY to run about 1/3 of our roughly 18 million jobs per day. We’ll be moving more jobs in the coming days until we run HEY exclusively using Solid Queue. Besides regular job enqueuing and processing, Solid Queue supports delayed jobs, concurrency controls, pausing queues, numeric priorities per job, and priorities by
生成AIグラビアをグラビアカメラマンが作るとどうなる？第23回：Stable Diffusion AUTOMATIC1111 v1.9の新機能と使い方を解説(西川和久) | テクノエッジ TechnoEdge
4月13日にv1.9.0リリース！現在v1.9.3へAUTOMATIC 1111は、v 1.8.0を軽く確認した以降、AUTOMATIC1111 Forgeばかり使っていて、ご無沙汰だったのだが、4月13日、Xのタイムラインにv1.9.0の文字が流れてきた。これは！とアップデートの内容を確認すると、主な部分は以下の通り。 メインUIにSchedulerの項目を追加 SDXL-Lightningモデル用にSgm uniform scheduler追加 コールバックを並べ替えるためのUIを追加 ご覧の様に意外と少ない(もちろんパフォーマンス向上や細かい修正なども含まれる)。ただ1の「メインUIにSchedulerの項目を追加」は非常に大きい改良だ。 以前この連載でも指摘していたが、AUTOMATIC1111のSampling methodは、SamplerとSchedulerを一つにまとめてお
GW中に風邪で寝込んでしまい、家で古銭プッシャー2を一人でプレイしていたらGWが終わってやる気がでない岩間です。みなさんは、GW満喫できたでしょうか。 先日社内の情報共有で知ったのですが、2月12日頃からNISTのNVDが更新する脆弱性情報のエンリッチメントデータが大幅に減っているようです。 関連のツイート： NISTがCVEデータをNVDに登録するときのenrichmentを1か月前に突然停止した、なんてことが起こってたんですね。 Risky Biz News: NIST NVD stopped enriching CVEs a month ago https://t.co/fDK7dYdbki — todkm IT系 (@todkm) March 15, 2024 NIST¹が、NVD²における脆弱性への情報付加を2/12から停止している。CVSSやCWE等が付与されていない状態。2/
大阪府情報通信業Sky株式会社Sky株式会社（スカイ）は、1985年03月02日設立の代表取締役 大浦 淳司が社長/代表を務める大阪府大阪市淀川区宮原3丁目4番30号ニッセイ新大阪ビル20Fに所在す… 福岡県サービス業株式会社Q太郎フーズ株式会社Q太郎フーズ（キュータロウフーズ）は、鈴木 起史が社長/代表を務める福岡県糟屋郡粕屋町大字内橋705-1に所在する法人です（法人番号: 1290001060939… 東京都情報通信業株式会社ユチュブる株式会社ユチュブる（ユチュブル）は、2021年設立の東京都新宿区西新宿3丁目9番7号2Fに所在する法人です（法人番号: 6011101094627）。最終登記更新は2021/04…
バグバウンティにおける XSS の具体的な脅威の事例まとめ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、バグバウンティで実際にあった脆弱性報告の事例をもとに、XSS の具体的な脅威(Impact)についていくつか紹介します。 1. 始めに 免責事項 想定読者 2. XSS (Cross Site Scripting) HackerOne Top 10 Vulnerability Types Escalation (Goal) 3. XSS の脅威 (Impact) 3.1 Response Body から Session ID の奪取 3.2 Local Storage から Access Token の奪取 3.3 IndexedDB から Session Data の奪取 3.4 メールアドレスの改ざん 3.5 パスワードの改ざん 3.6 管理者アカウントの招待 3.7 POST Based Reflected XSS 4.
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get github.com/maragudk/goqite See goqite on Github Don't like queues? Get the Skip function to skip the queue for your messages! Example package main import ( "context" "database/sql" "fmt" "log" "time" _ "github.com/mattn/go-sqlite3" "github.com/maragudk/goqi
Design Systems Database: Surf among top‑notch Design Systems
Best-in-class Design Systems with components and foundations references from top-tier tech companies and leading UI teams
dbt exposureによるデータ基盤アウトプットの登録を自動化しました - Timee Product Team Blog
はじめに 課題感・背景 使用しているBIツールについて BIツールの使用ボリューム感について やったこと：概要 やったこと：詳細 referenced tableにテーブル名ではなくdbtモデル名が入るようにしたことについて 各種アウトプットの公開設定をmeta情報として付与する方針としたことについて tagを追加してexposureの検索性を向上させたこと exposureのnameにシートとダッシュボードのタイトルを反映する方針にしたこと 今後の発展 保守運用の設計 カラムレベルリネージュ ✖️ exposure おわりに We're Hiring!! はじめに こんにちは。okodooonです！！ データ基盤を参照したアウトプットが社内に溢れかえっていませんか？ 弊社は追いきれていないLookerStudioやConnectedSheetがめちゃくちゃ溢れかえっていました。 そんな折
【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ 2023 年 5 月 18 日に「AWS で実践！ Analytics Modernization ～事例祭り編～」を開催しました。今回の事例祭りでは AWS の Analytics サービスをご利用いただいている ミーク株式会社様、ニッセイ情報テクノロジー株式会社様、 ビットバンク株式会社 様、株式会社 Gunosy Gunosy Tech Lab DR&MLOps 様、にご登壇いただきました。本ブログでは当日の各発表内容を紹介いたします。 Amazon OpenSearch Serverless のご紹介 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 深見 修平 資料ダウンロード AWS の深見からは 2023 年 2 月
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Flutter】App Check を導入して Firebase を守ろう！【2023年9月】
Best Practices for Securing Active Directory
猶予はわずか1日、金曜公開の脆弱性が週末にはサイバー攻撃に悪用される
Trace-based Testing the OpenTelemetry Demo
Building an interactive shell in Golang
How to Install Google Maps on Your Windows PC
ローカルからCloud SQLに接続する方法 by Cloud SQL Auth Proxy
YJIT Is the Most Memory-Efficient Ruby JIT
BingチャットはAzure＋Oracle Cloudで動いていた
OpenAI、AIインフラをAzureだけでなくOracle Cloudへも拡大へ
ドメインやサブドメインを調査する話（後編） | 技術者ブログ | 三井物産セキュアディレクション株式会社
NIST NVDの脆弱性情報更新が停滞しているので調べてみた - セキュアスカイプラス
全国企業データベース-日本企業のプレスリリース
Patterns for Building LLM-based Systems & Products