DuckDB/DuckDB-Wasm と Postgres と S3 を組み合わせるメモ
モチベーション Postgres は OLTP として利用したい DuckDB は OLAP として利用したい 集計を Postgres でやらず、独立した DuckDB でやりたい データ保存は S3 を利用したい 保存先として一番安い 一定期間経ったら削除が簡単にできる 細かいデータ処理は DuckDB-Wasm を利用してクライアント側のリソースを利用したい 一度前処理したデータは S3 に Parquet 形式で置いておきたい 転送量ボトルネックに寄せる Cloudflare R2 などを利用すれば転送量はかからなくなる 概要 DuckDB は Postgres に直接アクセスできる仕組みを持っている PostgreSQL Extension – DuckDB Postgres のテーブルを DuckDB に持ってこれる COPY でテーブルを Parquet ファイルにすることが
RAGが「複雑な質問に弱い問題」を解決する「Plan×RAG」
本記事では、RAGの性能を高めるための「Plan×RAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「Plan×RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合はこちらの記事もご参考下さい。 本題 ざっくりサマリー Plan×RAGは、RAGの精度を上げるための新しい手法です。アールト大学とMicrosoft Researchの研究者らによって2024年10月に提案されました。 ざっくり言うと、Plan×RAGとは、「計画を立ててから検索する」手法です。Plan×RAGでは、ユーザーの質問を、まず最初に小さな単位に分解。その後、それらの関係性
DiagramsでAWS構成図をパッと記載しよう！ - Qiita
概要 突然ですが、AWS構成図は皆さんどうしていますか？ コーディングで構成図を作成する方法を最近知ったので、本記事で紹介します！ AWSアーキテクチャ図を手軽に可視化できるので、インフラ設計の効率化に役立ちます！ Diagramsとは？ Pythonでインフラ図を作成できるライブラリ コードを実行するとPNGファイル等として出力が可能 公式サイト： メリット・デメリット メリット AWSだけでなくGCP、Azureなどの構成図も対応可 コードでリソース管理できるので、変更等が柔軟に！ ソースなのでバージョンGitで管理も可能 デメリット AWSのアイコンが一部存在しない IoT Core, Bedrock、Local Zones等 (2024年現在) https://diagrams.mingrammer.com/docs/nodes/aws 複雑な設計になるとコーディングに時間がかかる
個人開発マネタイズ大全
この記事は以前 エンジニアと人生 というオンラインコミュニティで執筆し技術書典で頒布した本の中の、私の執筆した章をリライトしたものです。 無料公開の背景 本は有料で販売していたのでこの記事も有料記事にしようかとも思っていましたが、最近個人開発をネタにした特に中身のない記事を有料で買ってしまい後悔している友人を見かけて、そういうのにうんざりしていたので無料で公開することにしました。 個人開発云々いうなら中身のない情報商材じゃなくて自分のサービスで稼げよな！ ということで。でも投げ銭はありがたくいただくのでいいと思ったらバッジしてください！ 【追記】 上記に対して「有料記事がダメって事？」という反応を頂きました。書き方が悪く申し訳ありません。 有料でノウハウなどを販売する事は良いと思います！そしてそれでサービスの運営費を賄えるなら嬉しい事です。 なんならサービスに関する事ならこの記事の"データ
Cloud Profilerを使ってNode.jsのメモリリークの原因を特定する
Node.js のサーバーにおいて、メモリリークの原因の特定に Cloud Profiler を使って解決したので経緯などを含めて紹介します。 現象 Node.js のサーバーで、デプロイ後にメモリ使用量が増えていき、一定を超えると戻るという現象が発生していました。 このメモリ使用量が落ちているところのログを確認したところ FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory というログとともにプロセスが再起動していることがわかりました。明らかにメモリリークしてそうです。 原因をつきとめる まずは現象を再現するために、ローカルやテスト環境に負荷をかけて試してみたんですが、再現できませんでした。そこで本番環境でプロファイルをとって原因を探
サクッと始めるプログラミング入門【Python】
この本では、これからプログラミングを始めたい初心者・入門者の方に向けて、Pythonの基礎知識と使い方を体系的にまとめました。 【概要】 ・内容：Pythonとは？、Pythonの環境構築方法【macOS】、Pythonの環境構築方法【Windows】、VS Codeの概要と使い方、Pythonの実行方法、Pythonによるパッケージの管理方法【pip】、Pythonの基礎文法【変数】、Pythonの基礎文法【データ型】、Pythonの基礎文法【演算】、Pythonの基礎文法【コメント】、Pythonの基礎文法【制御文：if / for / while/ match】、Pythonの基礎文法【関数：def】、Pythonの応用文法【クラス】、Pythonの応用文法【型ヒント】、Pythonの応用文法【例外処理：try / except】、Pythonの応用文法【非同期処理：async /
サクッと始めるRAG開発【LangChain / Python】
この本では、初心者・入門者の方に向けて、RAGの知識や使い方を体系的にまとめました。少し難易度の高い内容になりますが、本書の中で事前に学んでおくべき項目を示しているため、ご安心ください。 【概要】 ・内容：RAGの概要【入門者向けの基礎知識】、RAGの処理フロー【In-Context Learning / Embedding / Vector Search】、RAGのビジネス活用ロードマップ【大企業向け】、RAGの実装アプローチ、RAGの大分類【Document RAG】、RAGの大分類【SQL RAG】、RAGの大分類【Graph RAG】、RAGの精度評価アプローチ、RAGの精度評価方法【LangChain Evaluation】、RAGの精度評価方法【Ragas】、RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】、RAGの精度改善のためのLLMOps概論、LL
社内システムのセキュリティ向上のため、Lambda + CloudFront + S3でインフラ基盤を再構築した話 - Uzabase for Engineers
はじめに ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は、AWSサービスである「Lambda」「CloudFront」「S3」を用いて、弊社で使用している社内向けシステムの基盤を再構築し、開発者体験の向上やセキュリティ対策を行なったお話です。 お話の内容 弊社で使用している社内向けシステムの一つに「Watson」というシステムがあります。「Watson」とは簡単にいうと「NewsPicks」のユーザーIDをもとにユーザーごとの情報を検索・閲覧できるシステムで、お客様からの問い合わせ対応等に活用される重要なシステムです。「Watson」は構築されたのが８年前と歴史が古く、歴史が古い故に数々の問題を抱えていました。今回のお話では、歴史の古い社内システムのインフラとバックエンドを更改し抱えていた問題を解決したぜ！というお話となっています。 抱えていた課
Notion以外で見つけた。今すぐ試したいタスク管理のスーパーアプリ3選 | ライフハッカー・ジャパン
タスク管理アプリといえばNotionが有名ですが、それ以外にも高度なタスク管理ツールはたくさんあります。 この記事では、Notion以外のタスク管理アプリを紹介します。 カレンダー、タスク管理、メールを一箇所で管理「Amie」▼詳細はこちら タスクの進捗、ToDo管理なら「Super Productivity」「Super Productivity」は、無料で使えるオープンソースのタスク管理アプリ。 Windows、Linux、Mac、Androidで利用可能で、ToDoリスト、タイムトラッキング、タイムブロッキング機能を兼ね備えています。 プロジェクトごとにタスクを整理し、所要時間を見積もってスケジュール化できるほか、実際にかかった時間を追跡する機能も充実。 ポモドーロタイマーやコーヒーカウンターなども備えており、無料とは思えない便利さです。 ▼詳細はこちら
RustのDockerイメージビルドを高速にする
要約 以下を参考にしましょう。 はじめに Rustは素晴らしい言語ですが、弱点もあります。その弱点の一つが、コンパイルが遅いことです。 特にDockerイメージのビルドにおいては、キャッシュをうまく使わないと、依存関係を含めて毎回すべてをビルドすることになってしまいます。 本稿ではDockerイメージのビルドを高速化する方法について解説します。 従来の方法とその問題点 レイヤーキャッシュの利用 Dockerにはレイヤーキャッシュが存在します。これは入力が全く同じであれば、以前ビルドしたレイヤーを使い回すというものです。 以前から知られている方法として、レイヤーキャッシュをできるだけ有効活用できるように工夫する、というものがあります。例えば以下のような方法です。 簡単に説明すれば、依存ライブラリのコンパイルだけ先に済ませておき、その後で本体のソースコードのコンパイルをするという2段階に分けま
データベース自作勉強会・輪実装会のススメ - エムスリーテックブログ
先日、社内有志で開催していたDB自作本 Database Design and Implementation の輪読会ならぬ輪実装会がついに完結を迎えました。 RDBMSをゼロから、毎週一人ずつ、1章分を実装してPullRequestを出しつつ資料も準備して発表をこなすという一見ハードな勉強会で、完走できるか不安もありつつスタートしましたが、やってみるとめちゃくちゃ楽しく最後まで完走できました。 本記事ではみなさんに「うちでもやってみたい」と思ってもらえることを願って、読んだ本の推しポイントや、どのように勉強会を進めたかを紹介したいと思います。 感動で涙の出るコード Part1: おすすめポイント 本が良い みんなでワイワイやるのが良い 3ヶ月で完走できるのがいい 完走後のモチベーションアップが良い Part2: 輪実装会 募集 参加者 進め方・実装 期間 Part3: おれたちのDB実装
Cloud Run で作るサーバーレス アーキテクチャ 30 連発 - これのときはこう！
Pro Tips for Maximum Impact: Event Fundraisers that Make More Money
医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話
どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ
「この文章、勝手に図表にならないかな」 AIで実現？ 資料作りを助けるツール「Napkin AI」、日本語対応で話題に
「この文章、勝手に図表にならないかな」 AIで実現？ 資料作りを助けるツール「Napkin AI」、日本語対応で話題に 今書いた文章、そのまま図表になってくれないかな──資料作りに追われるビジネスパーソンなら一度は考える理想。いままでは夢物語だったが、その実現を助けてくれるAIツールが日本語で使えるようになったとして、Xで話題になっている。 その名も「Napkin AI」。同名の米スタートアップ企業が提供するサービスで、文章や数値を入力するだけで、内容に基づいた図表を提案してくれる。出力した図表は商用利用が可能。テキストは、Napkin AIの機能で生成したものでも、それ以外のものでも、範囲を自由に決めて“ビジュアル化”できる。 出力したビジュアルの色やアイコン、フォントも編集可能。図表をPNG・PDF・SVG形式でダウンロードすることもできる。9月4日（日本時間）には、日本語やタイ語など
Rust on Rails!? Rust 版の Rails と呼ばれる "Loco" を試す！
Rust 版 Rails "Loco" Loco は Rails にインスパイアされた Rust の比較的新しい Web フレームワークです。 2024 年 9 月 1 日時点でバージョン 0.8.0 がリリースされています。 Loco の特徴 タイトルにもある通り、Loco is Rust on Rails. [1] を謳っており、 Ruby on Rails の開発体験の良さを Rust でも再現しようとしています。 また、小さいサービスや個人開発に適したフルスタックフレームワークとして開発されているようです。 内部実装では、コントローラーやルーティングは Axum で実装されていたり、 ActiveRecord は SeaORM で実装されていたりするそうです。[2] Axum や SeaORM については、別の記事で触れているので良ければご覧ください！ Rust | Axum と
"これはdynamodbでいけるわ"が流行語になった2ヶ月間の備忘録
はじめに 私ごとではありますが、現場でdynamodbをメインのデータベースとして採用してから約2ヶ月が経ちました。 たった2ヶ月いう期間で、何度も心身ともに崩壊し、そして粘り強く復活を遂げ、かろうじて奇跡的にレベルアップをしてきました。 今回の記事では、これからdynamodbの導入を検討しているエンジニアの皆様に向けて、わずかながら現場で(汗と血を流しながら)得た知見を共有したいと思います。 主にdynamodbを導入するときに楽できる部分、楽できない、苦労する部分がどんな感じか、この記事でなんとなく伝えられたら嬉しいです。 以下では、4つの項目(採用基準、設計、開発、運用)に分けて、知見を羅列していきますが、私もまだ駆け出しdynamodberの域を出ないので、誤りやアドバイス等ございましたら、是非コメントいただきたいです！ なお、ここで紹介する内容は基本的にはAWSの公式ドキュメン
Goで自作RDBMS - abekoh's tech note
はじめに Goで自作RDBMSに挑戦してみたログです。自作、といっても大部分は参考にした書籍の移植です。 ここ1年くらいRDBに向き合う機会が多く、その内部実装を手を動かしながら身を持って理解してみたいというモチベーションから始めてみました。ちょうど会社の『内部構造から学ぶPostgreSQL』読書会に参加したこともモチベーション上げるきっかけとなりました。 (他の方の記事ですが、読書会の記録はこちら↓) 『内部構造から学ぶPostgreSQL』読書会を完走した感想 ［改訂3版］内部構造から学ぶPostgreSQLの社内読書会振り返り データベースをデータの箱としか思っていなかった私の『内部構造から学ぶPostgreSQL』を読んだ感想 普段何気なく使ってるRDBMSですが、ACID特性を守るため・大量の読み書きを捌くため、非常に緻密に設計されております。 これを完全再現といかなくとも自分
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Troubleshooting AWS network throttling: A Comprehensive Guide
MongoDBをサービス無停止で継続的かつ安全にバージョンアップしている話_プレイドエンジニアブログ
RAGにベクトルDBは必要ない！DBも不要で運用めちゃ楽な RAG Chatbot を作った話
