サーバーレス技術の今と未来についてServerlessDays Tokyo 2024 直前イベントで話してきました
ServerlessDays Tokyo 2024 PreEvent 2024-09-21のServerlessDays Tokyo 2024にむけて、去年に引き続き、直前イベントでサーバーレス技術の今と未来について話してきました。 いよいよ明日からメインイベントですので参加お待ちしています！ Serverless Update 2024 文字起こし スライド全体はDocswellさんで公開しています。 PreEventはYouTubeでアーカイブがあります。 サーバーレスのおさらい 「サーバーレス」は、誤解を招きやすい技術用語で様々な定義がありますが、ここでは2つの視点で定義します。 運用者の視点としてのサーバーレスは、物理的なマシンや仮想マシン、EC2インスタンスのような「サーバー」を自分で管理するのではなく、その管理をクラウド事業者に任せるという考え方で、要するに完全従量課金型のフル
重複したIAM、拒否と許可どっちが優先？アクセス制御の特性をAWS・Google Cloud・Azure・Firebaseそれぞれについて理解する - Flatt Security Blog
はじめに こんにちは、セキュリティエンジニアの@okazu_dm です。 突然ですが、皆さんは以下のクイズに自信を持って回答できるでしょうか。これはSRE NEXT 2023で弊社が出題したクイズなのですが、それぞれのポリシーに存在するAllow, Denyのうちどれが優先されるかがポイントになります。 クイズの答えはここをクリック クイズの正解は......「④なし」でした。AWSのIAMポリシーは拒否(Deny)優先です。しかし、それは他のクラウドサービスでも果たして同じでしょうか？ 今回の記事では、各種クラウドサービスにおけるアクセス制御について焦点を当てます。具体的には「それぞれのアクセス制御は拒否優先なのかどうか」を調査しました。 リソースに対するアクセス制御は、クラウドサービス上でシステムを構築する際のセキュリティの根幹となる要素です。特に近年のクラウドサービスは、IAM(Id
セマンティックレイヤー入門
Findy「ABEMAの事例とともに学ぶ！セマンティックレイヤーで変わるデータエンジニアリングの世界」イベントの登壇資料です。
前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から直接 PostgreSQL にアクセスできる PostgreSQL の読み込みも書き込みもできる バッチ処理を PostgreSQL のリードレプリカからデータを読み込んで、DuckDB で集計して PostgreSQL に書き込むと言うのができる DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck PostgreSQL Extension 名前で誤解しやすいのですが DuckDB の PostgreSQL Extension であって、PostgreSQL の Extension ではないので注意してください。 DuckDB のPostgreSQL Extension は PostgreSQL のデータを直接操作で
AWS Certified Cloud Practitioner(CLF)／AWS認定クラウドプラクティショナーの学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Cloud Practitioner」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Cloud Practitioner(CLF)」とは 「AWS Certified Cloud Practitioner(CLF)」は、AWSクラウドに関する総合的な理解を持ち、クラウドの基本概念、主要なサービス、セキュリティ、アーキテクチ
Build a Database in 3000 Lines with 0 Dependencies | Blog | build-your-own.org
01. Complex systems are built from simple ideas Complex software like databases, compilers, and browsers are treated like black boxes. You use them every day as a user, but you probably don’t understand them as a programmer, even though they are nothing but code. Why? They have little in common with programmers’ daily task. Their code bases are so large, so discouraging. But that doesn’t mean you
ばおーばおーばおーばおー（法螺貝の音）。 はい、というわけでお約束していたクラウド戦国時代の話だよ。合戦物はいくつになったって男の子は大好きなものさ！ ああ別に女の子も見ていっても大丈夫だよ。グロ画像とか出ないから。いやちょっと出るかな。 クラウドベンダーの市場シェアさて、それでは始めよう。まずはビッグピクチャーをつかむために基礎的な数値から押さえておきたいと思う。ここら辺ができるコンサルっぽいね。クラウドベンダの市場シェアを見てみよう。 2024年1Qのクラウドベンダーの市場シェアこのグラフを見て驚くのは、まずAzureの躍進である。もう来年にはAWSを抜くのではないかという勢いだ。Google Cloudも健闘している。実数ではまだまだだが、伸び率は非常に良い。しかし今日の主役はこの二社ではない（関係はするけど）。シェアで見ると――申し訳ない言い方だが「ゴミ」にしか見えない――Orac
GitHub - quarylabs/quary: Open-source BI for engineers
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
SQL StudioThank you for your interest in SQL Studio 🙏 Sign up to be notified when the client is released. There is a very light FAQ down below :)
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう
アーキテクチャ図だけ描いてTerraformはGoogle Cloud Developer Cheat Sheetに書いてもらおう 初めての方は、初めまして。そうでない方も、初めまして。クラウドエース SRE 部で Professional Cooking Architect をしている zeta です。私はドンドコ島の充実度をオンライン1位(多分)にしましたが皆さんいかがお過ごしでしょうか。 はじめに クラウドエースの SRE 部は Google Cloud のインフラの面倒を見ることが主な業務です。世の中の多くの企業の似たような役割を持つ部署でもそうだと思いますが、インフラの設計・構築・運用といったフェーズを行っていきます。こういったインフラエンジニア的なことをやっていると、みなさんも一度ぐらいは「設計だけやったら勝手にインフラ構築されねーかな〜」なんて思ったことはあるのではないでしょ
As developers, we use databases all the time. But how do they work? In this series, we'll try to answer that question by building our own SQLite-compatible database from scratch. Source code examples will be provided in Rust, but you are encouraged to follow along using your language of choice, as we won't be relying on many language-specific features or libraries. As an introduction, we'll implem
Rails is Good Enough
The first time I watched the infamous “build a blog in 15 mins” video, Dreamweaver was a thing, Flash was owned by Macromedia, and Twitter did not exist. 20 years later, Rails is alive and well. While it has never been the the most popular kid on the block by any means, it remains widely used by bootstrapped founders, large tech companies and everyone in between. Learning programming after 40 with
はじめに SmartHRで届出書類機能を開発しているqwyngと申します。 今回はSmartHRの届書書類機能において、日本語エイリアスを用いた開発を行ったので紹介します。 背景 SmartHRの届出書類機能は、書類の作成から電子申請の送信までを一括で行うことができる機能です。 ユーザーは画面上で書類に記入するような感覚で書類の作成を行うことができます。 SmartHR届出書類機能の書類確認画面 この体験の実現のために書類のどんな項目にどのような値が入力されたかを永続化する必要があります。 DBのカラム名は英語であるため、開発者は日本語の項目名を英語のカラム名に脳内で変換する必要があります。 この変換が煩わしく、プログラムの修正やレビュー時を含めて開発者の負担になっていました。 そのため、日本語の項目名をそのまま実コードに使えるようにすることを検討しました。 日本語化の是非 日本語の項目名
Slack Agents & AssistantsとMCPを組み合わせてNotionデータベースを操作するAIエージェントを作ってみた - ジパンク Tech Blog
こんにちは、株式会社ジパンクCTOの太田です！ 社内のタスク管理にNotionを使っている場合、Slackから直接タスクの作成やステータス変更ができると便利ですよね。 昨年末頃からSlackで「Agents & Assistants」という新機能が利用できるようになり、対話的なUIでいろいろな操作を実現しやすくなりました。 そこで今回は、Slack Agents & AssistantsとMCPを組み合わせた、Notionデータベースの操作をしてくれるAIエージェントの構築方法をハンズオン形式で紹介します。 最終的にAWS Lambda Functionにデプロイし、実際の社内アプリケーションとして動かすところまでカバーするので、AIエージェント活用に興味がある方はぜひ参考にしてみてください！ この記事が、SlackをインターフェイスとしたAIエージェントとの協働の第一歩となれば幸いです。
Kamalシリーズ Kamalについては他にも記事を書いていますので、ご覧ください Kamal 2で さくらのVPS にRailsアプリをデプロイ(本記事) Kamal 2 を使い、インフラに詳しくない人でもNext.jsを296円のVPSにデプロイできるよう、説明してみる Kamal 2でNext.js + DatabaseをVPSにデプロイする Hono + JSX + Hotwire + SQLite + Kamal はじめに 開催されたばかりのRailsWorld 2024で発表されたKamal 2を使って、さくらのVPSにRailsアプリをデプロイしましたので報告します。 Linuxのサーバデプロイの知識がある程度あることを前提に、私が引っかかったポイントを中心に説明します。入門的な内容は、いつか別途書きたいと思います。 TL;DR Kamalを使うと さくらのVPSなどに、Ra
SREの菅原です。 カンムのサービスはWebサービス・バッチ処理なども含めて基本的にはECS上で動かしているのですが、簡単なバッチ処理はLambda+EventBridge Schedulerの組み合わせで動かすこともあります。 LambdaはECSに比べてDockerイメージのビルドやECRの準備が不要で作成の手間が少ないのですが、terraformでデプロイまで含めて管理しようとすると少し問題がありました。 terraformでのLambdaのデプロイの問題点 例えば以下のような構成のNode.jsのLambdaをデプロイする場合 / ├── lambda.tf └── lambda ├── app.js ├── package-lock.json └── package.json // app.js const util = require("util"); const gis =
はじめに 業務委託としてお手伝いをしている渡部です。 Stena Expenseは、1つのソフトウェアを様々なお客様がご利用される、いわゆるマルチテナント型のSaaSです。 マルチテナント型のSaaSでは、テナントごとにアプリケーションやデータベースをどのように分離するか、もしくは分離しないかが焦点になりますが、先日Stena Expenseではデータベースの分離方法の1つであるRow Level Security(以下、RLS)を導入したため、導入背景や作業時に実施したことを紹介します。 アーキテクチャの分離レベルとRLS導入の背景 マルチテナントのアーキテクチャを検討するにあたり、複数の分離レベルが存在します。 アプリケーションとデータベースをテナント間で共有し、テナントごとに分離しない アプリケーションとデータベースのテーブルをテナント間で共有し、テナントごとにテーブルの行レベルで分
DBaaSのトレンドは「Kubernetes対応」と「マルチクラウド」 NTTデータ小林氏が語る、クラウドネイティブなデータベースの今と選定のポイント
「＠IT Cloud Native Week 2024冬」の基調講演に、NTTデータグループ テクニカルリード 小林隆浩氏が登壇。「今から学ぼう！クラウドネイティブなデータベースの世界」と題して、クラウドネイティブ環境でデータベースを選択する上での基礎知識や、現在のトレンドと今後の展望を解説した。 DBaaSの利用率が圧倒的に高く、コンテナ環境でのDBはまだ少ない状況 クラウドネイティブが浸透する中、データベースをクラウドで提供するDBaaS（Database as a Service）の在り方は絶えず変化している。小林氏は「私は普段から『データベースをKubernetesで動かしましょう』という話をします。今日はその辺りの話から始め、データベースのマルチクラウド展開とはどのようなものなのか、今後どうなるのかといった話までたどり着きたい」と切り出した。 小林氏は、「Oracle Datab
sqlcを新規サービスに採用してみた！
golang.tokyo #35 〜カンファレンス 後夜祭！〜 LT会登壇資料 https://golangtokyo.connpass.com/event/317973/
衆議院選挙2024 選挙結果 -衆院選- NHK
衆議院選挙2024特設サイト 10月15日公示、27日投開票の衆議院選挙。この特設サイトでは、開票速報・開票結果をお伝えします。 各党獲得議席、全ての小選挙区・比例代表の候補者の当落と得票、開票所別の得票、関連記事や動画を掲載します。
「あなたのキャリアのなかで、特に印象に残るPull Requestは何ですか？」著名エンジニアの方々に聞いた【第二弾】 - Findy Engineer Lab
特定のリポジトリに対して機能追加・変更やバグ修正などを行う場合、エンジニアはPull Requestを発行します。プログラミングを続ける過程で数えきれないほど発行されるPull Requestは「エンジニアが歩んできた道のりそのもの」と言っても過言ではありません。 ならば、オープンソースコミュニティで活躍する方々が「特に印象に残っているPull Request」には、その人のOSS活動への思いや日々の研鑽が結実しているのではないでしょうか。今回は8名の著名エンジニアの方々に回答していただきました。 ※人名の50音順に掲載。回答者は敬称略。 k0kubunが紹介『Count trace_running for internal event』 github.com これは私が新卒1年目に初めてRuby本体に送ったPull Requestです。 当時、私は社内の開発者の生産性を改善するチームに所
想定読者 Terraformを利用している方 Terraform 1.10について知りたい方 Terraform 1.10がリリースされました! 表題そのままですが、Terraform 1.10がリリースされ、HCP Terraformでも利用可能になりました。 ここでは、簡単にアップデートをご紹介いたします。 Ephemeral Values Ephemeralとは、直訳すると「つかの間の」や「儚い」という意味ですが、Ephemeral Valueは今まで扱っていたTerraformの「値」を一時的なものにすることができる機能になります。 一時的になって嬉しいものはなんでしょうか。。。？🤔 そうです、APIキーやパスワード、証明書などのシークレット情報です。（） これまでTerraformのPlanの出力やStateなど、さまざまな場所にシークレット情報が残ってしまうことがありましたが
本記事の概要 pg_duckdb は、PostgreSQL のプロセス上でインプロセス OLAP クエリエンジンである DuckDB を実行するための拡張です。 DuckDB を利用することで、以下のようなメリットがあります。 PostgreSQL のネイティブクエリエンジンと比べ、OLAP ワークロードをより高速に処理できる。 DuckDB の拡張を利用し、 Iceberg や Delta lake といったオープンテーブルフォーマットでオブジェクトストレージ上に構築したデータレイクのデータを分析できる。 本記事では、 PostgreSQL 拡張の pg_duckdb の概要、私が pg_duckgb に注目した背景、および簡単な使い方などを紹介します。 pg_duckdb の概要 pg_duckdb は、スタートアップの Hydra、DuckDB 開発元の DuckDB Labs、Sa
SQLite is cool now. DHH uses it, Laravel defaults to it. Here is a list of sensible defaults when using sqlite. The whys? PRAGMA journal_mode = WAL; Why?: Allows concurrent reads and writes, making it more suitable for web applications with multiple users accessing the database simultaneously. PRAGMA synchronous = NORMAL; Why?: Balances performance and data safety by ensuring that data is written
過去の資産から 未来の資源へ デザインの生きた アーカイブをめざして 日本の貴重なクリエイティブ資産として、過去のデザイン資源を、活用可能な状態で収集・保管し、新たな産業創出のヒントとなるネットワーク型の知のデザインアーカイブを構築します。
SQLite on the edge
Plug & Play SQLite Batteries-included scale-to-zero database built on Cloudflare Durable Objects.
「Ruby on Rails 8」正式リリース。SQLiteを本番DBとして利用可能に。今後は6カ月ごとに新バージョンをリリース
「Ruby on Rails 8」正式リリース。SQLiteを本番DBとして利用可能に。今後は6カ月ごとに新バージョンをリリース Rubyを用いたWebアプリケーションフレームワーク「Ruby on Rails」の最新バージョン「Ruby on Rails 8.0」（以下、Rails 8）の正式リリースが発表されました。 Rails 8.0: #NOBUILD, #NOPAAS, all-in on SQLite as a production database option with jobs, cache, and cable, new authentication generator, and so much more! Final release is out https://t.co/qom10worLW — DHH (@dhh) November 7, 2024 Rails 8
OpenAI o1 の APIの使い方｜npaka
1. OpenAI o1「OpenAI o1」シリーズは、複雑な推論を行うために強化学習を用いて学習された新しい大規模言語モデルです。回答する前に考える特性があり、ユーザーに応答する前に長い内部思考の過程を生み出すことができます。これにより、科学的な推論に優れ、競技プログラミングの問題 (Codeforces) では89パーセンタイルにランクインし、米国数学オリンピック (AIME) の予選で全米の上位500人の学生に入る成績を収めています。また、物理学、生物学、化学の問題に関するベンチマーク (GPQA) では、人間の博士レベルの精度を上回る成績を達成しています。 APIでは、次の2つのモデルが提供されています。 ・o1-preview : o1モデルの早期プレビューモデル。世界に関する幅広い一般知識を使用して難しい問題を推論できるように設計されている。 ・o1-mini : より高速で
Convert AWS console actions to reusable code with AWS Console-to-Code, now generally available | Amazon Web Services
AWS News Blog Convert AWS console actions to reusable code with AWS Console-to-Code, now generally available Today, we are announcing the general availability (GA) of AWS Console-to-Code that makes it easy to convert AWS console actions to reusable code. You can use AWS Console-to-Code to record your actions and workflows in the console, such as launching an Amazon Elastic Compute Cloud (Amazon EC
Oracle Cloud Hangout Cafe Season8 #4
AWS Certified Machine Learning Engineer - Associate(MLA)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS Certified Machine Learning Engineer - Associate(MLA)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL SAP DOP SCS ANS MLS SAA DVA SOA DEA MLA AIF CLF 「AWS Certified Machine Learning Engineer - Associate(MLA)」とは 「AWS Certified Machine Learning Engineer - Associa
GitHub - chartdb/chartdb: Database diagrams editor that allows you to visualize and design your DB with a single query.
ChartDB is a powerful, web-based database diagramming editor. Instantly visualize your database schema with a single "Smart Query." Customize diagrams, export SQL scripts, and access all features—no account required. Experience seamless database design here. What it does: Instant Schema Import Run a single query to instantly retrieve your database schema as JSON. This makes it incredibly fast to v
Cloud SQL for MySQL 5.7 のデータを Cloud SQL for MySQL 8.x へ DMS を利用して移行してみた - VISASQ Dev Blog
はじめに こんにちは！DPE（Developer Productivity Engineering）チームの高畑です。 最近カーオーディオにハマっていて、スピーカーを変えたり DSP アンプを導入したりとオーディオの沼に腰あたりまで浸かってしまいました。 スピーカーケーブルをちょっと良いやつに変えたりしてみたんですが、正直違いが分かっていないので頭まで浸かるのはまだ先のようです。 現在、ビザスクでは遅ればせながら MySQL 5.7 から MySQL 8.x へアップグレードするためのプロジェクトが進行しており、既存のデータを移行するため諸々の検証を行なっていました。 検証を進めるにあたり、データの移行に DMS (Database Migration Service) を利用する方針となったので、経緯や方法をご紹介したいと思います。 移行方法の検討 当初、既存の MySQL 5.7 デー
Terraform 1.10 improves handling secrets in state with ephemeral values
Today, we are announcing the general availability of HashiCorp Terraform 1.10, which is ready for download and immediately available for use in HCP Terraform. This version introduces ephemeral values, for secure secrets handling and other improvements. Ephemeral values to enable secure handling of secrets Terraform’s management of infrastructure involves handling secrets, such as private keys, cer
GitHub - HexaCluster/pgdsat: PostgreSQL Database Security Assessment Tool
PGDSAT is a security assessment tool that checks around 70 PostgreSQL security controls of your PostgreSQL clusters including all recommendations from the CIS compliance benchmark but not only. This tool is a single command that must be run on the PostgreSQL server to collect all necessaries system and PostgreSQL information to compute a security assessment report. A report consist in a summary of
サーバレスをフル活用したビジネスｄアプリのアーキテクチャ（後編） - NTT Communications Engineers' Blog
はじめに この記事はコミュニケーション&アプリケーションサービス部でビジネスdアプリを開発している丸山、葛岡、露口、西谷、富田の共同執筆です。 今回は、NTTコミュニケーションズで提供するモバイルアプリ、「ビジネスdアプリ」の具体的なアーキテクチャやCI/CDの仕組みに焦点を当てて説明します。 前編では、開発背景やサーバレスサービスを活用したアーキテクチャの概要を中心に解説しています。前編はこちらからご覧ください。 なお、本記事の内容は2024年8月2日にGoogle Cloud Next Tokyo '24で発表した講演をベースに再構築したものです。 講演資料はこちらからご覧ください。 目次 はじめに 目次 Push通知のアーキテクチャについて 行動データ収集のアーキテクチャについて CI/CDについて サーバーのソースコードをPushした場合のCI/CDのアーキテクチャについて モバイ
dbtのUnit testsを導入してわかったこと - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかったことを紹介していきます。 dbtのUnit testsとは まずは簡単にdbtのUnit testsを紹介します。dbtのUnit testsはソフトウェア開発において実施されるユニットテストをdbtでも実現できるようにしたものです。dbtの1つのmodelをソフトウェアの最小単位としてとらえて、入力データと期待されるデータを準備します。入力データをテスト対象のmodelが処理し、その出力結果と期待されるデータを比較し検証すること
We recently launched the JavaScript Registry - JSR. It’s a new registry for JavaScript and TypeScript designed to offer a significantly better experience than npm for both package authors and users: It natively supports publishing TypeScript source code, which is used to auto-generate documentation for your package It’s secure-by-default, supporting token-less publishing from GitHub Actions and pa
この記事はenechain Advent Calendar 2024の6日目の記事です。 はじめに 2024年10月9日にローンチしたeSquare Liveは、電力卸取引のオンラインマーケットプレイスです。 新規サービスであり利用者の限られるtoBのサービスではあるものの、リアルタイム電力取引場というプロダクトの特性上、ローンチ直後から一定水準以上のパフォーマンスが求められます。 スケールすることを意識して開発してきましたが、約10ヶ月の開発期間のほとんどを機能開発に費やしていたため、リリース直前の段階で実際どの程度のパフォーマンスが出ているのかの計測ができていない状況でした。 そこで、リリース前の1ヶ月を使って負荷試験を実施し、パフォーマンスの計測とそこで発見されたボトルネックの解消をすることとしました。 この記事では、k6の拡張機能開発を中心に、実際にリリース前に行ったk6によるgR
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DuckDB から直接 PostgreSQL アクセスする
Oracle Cloud - クラウド戦国時代のゲームメーカー｜ミック
SQL Studio - Join the waitlist
Build your own SQLite, Part 1: Listing tables
def 保険料 = 算定額 * 保険料率 - SmartHR Tech Blog
Kamal 2で さくらのVPS にRailsアプリをデプロイ
terrraformを使ったGoのLambdaの管理 - カンムテックブログ
Row Level Security導入のためにやったこと
Terraform 1.10がリリースされました
pg_duckdb - PostgreSQL プロセス上の DuckDB で OLAP ワークロードを処理する
Brian Douglas' Tech Blog - Sensible SQLite defaults
JAPAN Design Resource Database
NewSQL Landscape
How we built JSR
【西川和久の不定期コラム】 「MCP」でチャットAIが外に飛び出せる！Claude DesktopでDBとファイルを操作してみた
k6拡張機能を活用したgRPC Webサーバーの負荷試験 - enechain Tech Blog