BIツールとは、蓄積されたデータを集約し、レポーティング機能により共有・比較・分析などを行い、データを有効活用することができるツールです。企業内でも、このBIツールのデータをチェックすることで、スムーズな意思決定に役立てることができ、最近では、営業部門から経営戦略等のさまざまな分野で活用されています。また、データを自動で分析してくれるため、DXの分野でも年々シェアが高まってきています。ここでは、BIツールの概要から導入メリットを解説した後、無料で使えるオープンソースソフトウェアのBIツールの特徴を比較し、用途や利用者レベルに合ったおすすめの選定ポイントを紹介します。 ＋ 目次 BIツールとは何か？ BIツール導入のメリット データを分かりやすく可視化し、活用しやすい 業務の効率化につながる 課題をリアルタイムに把握し、迅速な意思決定ができる BIツール導入のデメリット コストがかかる どの
RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO
はじめに こんにちは、CX事業本部MAD事業部の森茂です。 先日リリースされたRemix Stacks、Remixチームが公開しているAWSを利用したサーバレス構成のGrunge Stackテンプレートがどのような構成になっているのかを調べるために早速デプロイまでの流れを試してみました。 Grunge Stack Grunge StackはAWSを利用したサーバレス構成のアプリケーションテンプレートです。サーバレスフレームワークとしてはArchitectを利用しています。データベースにはDynamoDBを利用し、アプリケーションはCloudFormationを利用してLambdaへデプロイされAPI Gatewayを介して公開されます。また開発用にローカル環境のサンドボックス環境も用意されているのでAWS環境へデプロイせずに動作を確認することが可能です。（サンドボックス環境のDynamoD
AWS、独自開発したARMプロセッサ「Graviton 2」ベースのAmazon RDS MySQL/PostgreSQLをプレビュー開始。ARMはXeonを上回れるのか？
AWS、独自開発したARMプロセッサ「Graviton 2」ベースのAmazon RDS MySQL/PostgreSQLをプレビュー開始。ARMはXeonを上回れるのか？ Amazon Web Services（AWS）は、MySQLやPostgreSQLなどのリレーショナルデータベースをマネージドサービスで提供するAmazon RDSにおいて、Graviton2プロセッサのインスタンスをベースにしたサービスをプレビューとして開始したと発表しました。 New #AWSLaunches! Amazon Personalize enhances Recommendation Filters with filtering on item metadata Announcing Preview for Amazon RDS M6g & R6g instance types, powered by
この度、5秒で始められるゲームプログラミング学習サービス「プロアカ」をリリースしました。1人での開発でしたが月額課金制度まで実装しており、少し大きなプロダクトになったので知見を共有したいと思いました。 また、新型コロナの影響で自宅待機の時間が長くなっている方が多いため、自宅学習できる当サービスについて知っていただければと思いました。休校中の学生の方もぜひプログラミングを学んでいただければと思います。サービスサイトはこちらです。 #目次 作ったサービス サービス内容で工夫したこと 使用した技術 開発期間は半年間 リリース後 終わりに #作ったサービス 今回開発したゲームプログラミング学習サービス「プロアカ」は、JavaScriptプログラミング及びJavaScriptゲームプログラミングを学習できるサービスです。また、学習を終えた人がオリジナルゲームを開発するための開発ツールもあります。 J
PostgreSQL Client から自作 DBMS に接続する - goropikariの備忘録
最近、Go の練習がてら書いていた自作 DBMS に PostgreSQL client で接続できるようになったので、そのやり方を残しておきます。(これから紹介するサンプルコードはすべて Python ですが) github.com psql --version psql (PostgreSQL) 13.2 pgcon の資料と PostgreSQL の公式 Document、加えて PostgreSQL server と client 間に流れるパケットを眺めると、自作DBMSは client から接続されたときにどういうパケットを返せばいいのかが見えてきます。 https://www.pgcon.org/2014/schedule/attachments/330_postgres-for-the-wire.pdf https://www.postgresql.org/docs/13/
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
そうです。わずか10行しかないデータですが、 15,000列 あります。 「それデータモデリングをミスってるやん」というツッコミはあると思いますが、今回はそのあたりについてはノーコメントです。諸事情ありこのようなデータを扱うことになりました。 今回は Snowflake でもなかなか扱うことが難しい (横方向に) クソデカデータの世界 をご案内したいと思います。 クソデカテーブルを作る まずテーブルを作ります。 この時点でエラーが出てくれるならまだ良かった。。。 なんとこのクエリは問題なく実行でき、テーブルは作成できます。 作成できてしまいます。 作成できてしまったが故に、「さすが Snowflake、列数が多いテーブルも簡単に扱えるんだね!!」と高をくくってしまいます。 ちなみに PostgreSQL の場合は1テーブルあたり最大 1,600 列だそうです。まぁそれだけあれば普通は困らな
オープンソースへの貢献をメンターがサポートしてくれる「Google Summer of Code」、18歳以上なら誰でも参加可能に
オープンソースへの貢献をメンターがサポートしてくれる「Google Summer of Code」、18歳以上なら誰でも参加可能に Googleは2005年から毎年、夏休みの時期の学生を対象に、オープンソースへの貢献をメンターがサポートすることでオープンソースへの参加を促し、オープンソースの活性化にもつなげようというプログラム「Google Summer of Code」を開催しています。期間中に一定の課題をクリアした学生には奨学金も提供されていました。 今年もGoogle Summer of Codeの開催が発表されていますが、実は今年から参加資格が変更されました。これまでは学生に限定されていましたが、今年からは18歳以上なら誰でも参加できるようになりました。 下記は「Expanding Google Summer of Code in 2022」からの引用です。 Beginning i
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。下記セッションでは、本記事の内容以外にデモンストレーションも実施する予定です。 ※セミナー実施済の動画に関しては以下をご参照ください。 はじめに 2022年暮れ、ChatGPTの登場以降、あらゆる企業がDXの在り方を問われはじめ、大規模言語モデルの仕組みをどのように業務に取り入れるかを検討されていると思います。 その検討の一つとして、「GPT(LLM)が学習していない企業内のデータや最新のデータも有効活用すべき」 という点は非常に大きな論点なのではないでしょうか。 ご存じの通り、LLMとはインターネット上に存在するドキュメントデータをクローリングにより大量に収集し、それを学習データとして機械学習にかけたモデルです。 従って、至極当たり
Rails: Evil Martiansが使って選び抜いた夢のgem（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Gemfile of dreams: the libraries we use to build Rails apps—Martian Chronicles, Evil Martians’ team blog 原文公開日: 2023/01/17 原著者: Vladimir Dementyev（首席バックエンドエンジニア）、Travis Turner（技術記事編集者） サイト: Evil Martians -- ニューヨークやロシアを中心に拠点を構えるRuby on Rails開発会社です。良質のブログ記事を多数公開し、多くのgemのスポンサーでもあります。 日本語ブログ: 合同会社イービルマーシャンズ - Qiita 日本語タイトルは内容に即したものにしました。また、gemごとにGitHubリポジトリへのリンクカードも追加してあ
Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料
Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料 Google Cloudは、同社がPostgreSQL互換の高性能なマネージドデータベースサービスとして提供している「AlloyDB for PostgreSQL」と同じデータベースサーバを、オンプレミスやノートPCなどで実行できるソフトウェア「AlloyDB Omni」のテクニカルプレビュー版を発表しました。 Get a preview of AlloyDB Omni, a downloadable edition of #GoogleAlloyDB designed to run on premises, at the edge, across clouds, or even on developer laptops ↓
はじめに Flutter #2 Advent Calendar 2019の6日目の記事です。 大学生向け学習用マッチングアプリ「スタマチ」開発チームの TetsuFe です。 【追記】 2020年10/14日にオープンソースになりました↓ 2019年10-12月に実際に本アプリをリリースした経験をもとに、学生の個人（小規模チーム）開発にFlutterがオススメな理由を紹介していきます。 リリースしたアプリ 開発効率の高さ 学習リソースも充実、初心者の敷居も高くない UIの作りやすさ 審査の緩めなAndroidだけ先行配信できる Flutterを使うデメリット おまけとして、状態管理パターン・CI・利用したライブラリ 注意 React Nativeなどの類似クロスプラットフォーム開発フレームワークとの差異については触れません。実際React Nativeなどもある程度同じようなメリット/デメ
AWS、追加料金なくAmazon RDS for PostgreSQLの性能を最大2倍に引き上げる「Amazon RDS Optimized Reads」のAmazon RDS for PostgreSQL対応を発表
AWSは、追加料金なしでAmazon RDS for PostgreSQLの性能を最大2倍に引き上げる「Amazon RDS Optimized Reads」のAmazon RDS for PostgreSQL対応を発表しました。 Amazon RDS Optimized Readsによる高速化の仕組み Amazon RDSは、データベースを格納するストレージとしてネットワーク上のElastic Block Storage（EBS）を利用しています。 今回リリースされたAmazon RDS Optimized Readsは、PostgreSQLがデータベース処理の際に生成する一時テーブルを、EBSの代わりにローカルのNVMeベースのSSDブロックレベルストレージに配置することで、ネットワーク上のEBSへのトラフィックを削減し、一時テーブルの処理を高速化、これによりクエリの高速処理を実現して
攻撃者は、はじめに標的のECサイトの注文フォームに対し、不正なスクリプトを含んだ文字列を入力し、購入処理を行います（図1の①）。その結果、ECサイトの購入処理の部分にXSSの脆弱性が存在する場合、ECサイトの管理画面を閲覧した管理者は不正なスクリプトが実行され、クレデンシャル情報の窃取や、ECサイトへの簡素WebShellの設置などが行われます（図1の②～④）。その後、攻撃者によってECサイトにWebShellやユーザーの情報窃取を行うJavaScriptなどが設置されます。設置された“情報窃取JavaScript”によってECサイトを利用するユーザーのクレジットカード情報等を窃取され、“情報保存ファイル”としてECサイト内に保存されます（図1の⑤）。攻撃者は定期的なWebShellへのアクセスを行うことでこれらの情報を窃取していたと推測されます（図1の⑥）。 なお、攻撃者は、一連の攻撃の
こんにちは、MA基盤チームの田島です。私達のチームではMAIL、LINE、PUSH通知といったユーザへの配信をしています。その中でもマス・セグメント配信という一斉に行う配信では、配信対象者のセグメント抽出にBigQueryを利用しています。また、配信前に必要なデータをBigQueryに連携しデータマートの集計をしたり、配信後には配信実績の登録などの更新処理をしています。 そのような処理を定期的に行っているため、ネットワークの問題やサーバーの不調などにより処理が途中で失敗することがあります。そこで、リトライを容易にするため、すべての処理を冪等にしました。今回その中でも、BigQueryの追記処理に絞ってどのように冪等化したのかについて紹介します。 目次 目次 マス・セグメント配信基盤の紹介 課題 冪等化 BigQuery追記処理に関する冪等化の取り組み 冪等にならないケース INSERT 初
REST API Design Best Practices Handbook – How to Build a REST API with JavaScript, Node.js, and Express.js
I've created and consumed many API's over the past few years. During that time, I've come across good and bad practices and have experienced nasty situations when consuming and building API's. But there also have been great moments. There are helpful articles online which present many best practices, but many of them lack some practicality in my opinion. Knowing the theory with few examples is goo
CQRS設計パターンをモダナイズする
CQRSとは CQRS（Command Query Responsibility Segregation、コマンド・クエリ責務分離）は、ソフトウェアアーキテクチャパターンの一つで、つまりシステムのコマンド部分をクエリ部分から分離します。基本的な考え方は、データの書き込み操作（コマンド）と読み取り操作（クエリ）を異なるモデルで扱うことです。これにより、スケーラビリティ/パフォーマンス/セキュリティの観点で柔軟な設計が可能となり、クエリ要件に合わせて最適化が実現できます。 CQRSの基本構成としては、 コマンドモデル（書き込みモデル）：データの作成、更新、削除といった書き込み操作を担当します。このモデルは、データの整合性と一貫性を確保するために最適化されています。 クエリモデル（読み取りモデル）：データの読み取り操作を担当します。このモデルは、クエリのパフォーマンスを最大化するために最適化され
GWに技術書イッキ読み！Kindleセールで5/10まで半額の本を分野別に総まとめ - 仮想サーファーの日常
Amazonで、Kindle本が最大50％OFFになるゴールデンウィーク限定キャンペーンが開催されています。 期間は、2020年5月10日（日）まで。 50%OFFは、自分の観測範囲では前回の開催が2019年12月末だったので、4ヶ月ぶりの50%OFFセール。 これだけ多くの種類の技術書が50％OFFになる機会は多くないので、この機会にほしい本がないかチェックしておきたいですね。 【Kindle技術書50%OFFセール（5/10まで）】を見てみる この記事では、ゴールデンウィークに一気に技術書を読んで技術力を伸ばしたい方向けに、学びたい分野別にKIndleセール本をまとめました。 プログラミング言語を学ぶ HTML/CSSに入門したい HTML5/CSS3モダンコーディング フロントエンドエンジニアが教える3つの本格レイアウト スタンダード・グリッド・シングルページレイアウトの作り方 吉田
どこで手に入るの？ 何がはいってるの？ srcディレクトリを見てみる src/backendディレクトリにあるサーバ側のコードを見てみる ソースコードを読む際に知っておくと便利な関数 SQLを受け取り、処理する所 COPYやALTER TABLE等のDDLやSQLコマンドを実行する所 ソースコードを読む時に知っておくと便利な事(2020/12/15 追記) palloc()とpfree()関数 ereport()とelog()関数 先日のPostgreSQLアンカンファレンスでPostgreSQLのソースコードのディレクトリ構成や読み方について簡単に紹介しました。 ソースコードのディレクトリ構成は今後変わる予定があるので、ブログにまとめて今後も適宜アップデートしていこうと思います。 以下の説明はPostgreSQL 13をベースとしています。 どこで手に入るの？ 公式のgitリポジトリ g
パラメータドキュメントの参照すべてのpostgresql.confパラメーターについて必要なすべてのドキュメントとヘルプ。 Postgresの最新の9つのバージョンをカバーし、5つの言語で利用可能： 英語, 日本語, ロシア語, 中国語 and フランス語他のユーザーの推奨事項を確認するか、あなたの推奨事項を共有してください。
Amazon EC2 におけるセキュリティ(脆弱性)事例 - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、Amazon EC2 上で動く Web アプリケーションの脆弱性によって脆弱性攻撃が可能だった実際の事例について紹介します。 1. 始めに 2. Amazon EC2 におけるセキュリティリスク Amazon EBS 被害があった公開事例 3. Amazon EC2 で起こりうる脆弱性攻撃 SSRF が可能な脆弱性 SSRF における回避方法 4. Amazon EC2 の脆弱な報告事例 画像読み込み機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 SAML アプリケーションに潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデンシャルの不正入手が可能 Webhook 機能に潜む SSRF を悪用した EC2 のクレデ
Rails 6.1のDocker開発環境構築をEvil Martians流にやってみた（更新）｜TechRacho by BPS株式会社
更新情報 2019/11/20: 初版公開 2021/03/25: Rails 6.1.3.1に合わせて更新 2021/04/06: Ruby 3.0.1に更新 先々月に公開したこちらの翻訳記事の実践編ということで。試行錯誤しているうちにRailsが6.0.1になりました。 クジラに乗ったRuby: Evil Martians流Docker+Ruby/Rails開発環境構築（翻訳） Docker Desktop for Macについて これまではピュアな環境を求めてParallels Desktop for MacのUbuntu VM上でDockerを使っていたのですが、久しぶりにDocker Desktop for Macを使ってみると速度や使い勝手が随分よくなっていて驚きました。 Docker Desktop for Macの方がUbuntu VMのDockerよりビルドが速い（体感で
Amazon RDS Proxy for Scalable Serverless Applications – Now Generally Available | Amazon Web Services
AWS News Blog Amazon RDS Proxy for Scalable Serverless Applications – Now Generally Available At AWS re:Invent 2019, we launched the preview of Amazon RDS Proxy, a fully managed, highly available database proxy for Amazon Relational Database Service (RDS) that makes applications more scalable, more resilient to database failures, and more secure. Following the preview of MySQL engine, we extended
TL; DR Google Cloud 上で Rails をできるだけインフラ運用しなくて済むように構築するとしたら、こういう構成にするのはどうだろうか？ メインの Web アプリは Cloud Run メインのデータベースには Cloud Spanner 非同期ワーカーには GKE Autopilot 非同期メッセージングキューには Cloud Pub/Sub DB マイグレーションには GKE Autopilot rails console には GKE Autopilot はじめに 先日、Cloud Spanner の ActiveRecord アダプターのバージョン 1.0 がリリースされました。 Scale your Ruby applications with Active Record support for Cloud Spanner | Google Cloud Blog
動機 techcrunchの記事にてfirebaseを置き換えると意気込んでいる、supabaseが資金調達をしたというニュースを見かけ、個人的にbackend as a serviceに興味があったので触ってみました。 GetStart 詳しく知りたい方はdocumentを見てください。自分の記事では実際に触ってみた感想を記述していきたいと思います。 料金 基本無料、データベースのバックアップなど取りたい、さらにスケールさせたい場合は月25ドルです。 個人開発の規模なら無料枠でも大丈夫そうです。 プロジェクトの立ち上げ データベースの名前とpasswordを入力してリージョンに東京を選択します。 これだけでプロジェクトを立ち上げて、数分でデータベース(PostgreSQL)が用意されます。 プロジェクトトップページをみるとデータベースだけではなく、認証とストレージが使用できる模様です。
マルチテナントにおけるRow Level Securityの具体的な実装と注意点 - そーだいなるらくがき帳
文脈、背景や問題点の説明 マルチテナントを実装するうえで企業情報（以下company）単位で最小限の情報を扱うようにしたいがcompany単位にTableを作ったりDatabaseを作るのはALTERなどの運用が大変。 そこでRLSを採用するために実際の技術検証をした上での注意点と実際の運用について必要な情報をまとめる。 PostgreSQL 14を前提としている 公式ドキュメント CREATE POLICY 必ず一読はすること。 困ったとき、わからないときはまずは公式ドキュメントを都度見ること。 このドキュメントのゴール RLSの概要をつかめる RLSの最低限の注意点を理解し、実装時に罠を踏まない 自分たちでRLSのポリシー自体をメンテナンスすることができ、デバッグできる テーブル構成 create table if not exists company ( id uuid defaul
こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 さいたまスーパーアリーナは、埼玉県さいたま市中央区にある多目的アリーナ。本文には特に関係ありません。 最近、Terraformを書くことが多く、知見が貯まりつつあった時にちょうどディレクトリ構成に関する記事を読んでタイミングがよかったので、 今回はTerraformのディレクトリ構造の実例を晒したいと思います。 結構固まってきたからうちのチームの構成も晒してみようかな。 | Terraformのディレクトリ構成の模索 - Adwaysエンジニアブログ https://t.co/31FMkcCJOo— Yuichiro Fukubayashi (@fukubaya) July 3, 2020 クラウド化推進 なぜ定番が決まらないのか 前提となる条件 本番環境と検証環境はほぼ同じ構成 レポジトリとtfstat
IPv6セキュリティ概説-プロトコル編-
必修！IPv6セキュリティ〜未対応で⼤丈夫ですか？〜 IPv6セキュリティ概説 -プロトコル編- 東京⼯業⼤学 学術国際情報センター 北⼝ 善明 November 28, 2017 Internet Week 2017 Copyright © 2017 Yoshiaki Kitaguchi, All rights reserved. IPv6対応時のキーワード IPv4ネットワークからIPv6ネットワークに置き換わるのではない IPv6ネットワークがIPv4ネットワークに追加される 三つの視点での考慮が求められる IPv4ネットワーク、IPv6ネットワーク、デュアルスタックネットワーク IPv4だけのネットワーク運⽤との相違点を理解することが重要 Internet Week 2017 Copyright © 2017 Yoshiaki Kitaguchi, All rights reser
【2024年1月】Next.js での新規アプリの構成 & Next.js ディレクトリ構成(features)
選定の方針 ログインしての利用がメインで、ユーザーがあまり多くないサービスを想定しています。 開発効率の重視して、出来るだけWebアプリに集中できる構成を目指しています。 コスト理由で中断しないように、個人でも支払える費用感を意識しています。 Next.js ライブラリ構成 メインで使っているライブラリです。Next.js + Vercelの開発体験が良すぎるので、できる限り活用して開発することを意識して作っています。 フレームワーク Next.js メインで使うライブラリ SWR tRPC React Hook Form Jotai Style/CSS に関して Vercelがリリースしたv0をいいなと思って、v0の出力で使われているTailwind CSS + shadcn/uiを使うようにしています。(v0活用は検証中です) よく使うインフラ系サービス Vercel: Gitにpus
🦆🦆🦆🦆🦆🦆DuckDB入門🦆🦆🦆🦆🦆🦆
tl;dr SQLiteのOLAP版だよ OLAP系のクエリにおいて、PandasやSQLiteより早いらしいよ CSV・Parquet・Pandas DataFrameの読み書きできて便利だよ 背景 ポジション・競合 一言で言うとSQLiteのOLAP版です。位置づけとしては、論文(DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo))記載のSystem Landscapeがわかりやすいです。 （DuckDB: an Embeddable Analytical Database (SIGMOD 2019 Demo)より） このLandscapeでは、データベースを Standalone（クライアント・サーバモデル）か、組み込み（シングルマシン・インプロセス）か OLTPかOLAPか の二軸に分割しています。その上で、 ク
はじめに SQLite3 くらい楽に扱えて、PostgreSQL みたいにネットワーク経由で使える物ないかなーなんて思ったりする事ないですか？ありますよね、あるんです。 postlite このニーズに答えてくれるのが postlite です。postlite を使うと SQLite3 で作られたデータベースファイルを、PostgreSQL の様に扱えます。 仕組みは至って簡単で、僕が開発している go-sqlite3 に PostgreSQL の通信プロトコルのガワと、仮想テーブルを使って PostgreSQL のスキーマを疑似しています。 インストール postlite は go-sqlite3 の vtable を使います。ですので、go install ではなく postlite の README.md に書かれた手順を使わなければなりません。
Platform Engineering on Kubernetes を読んでCloud Native の現在地を理解する - じゃあ、おうちで学べる
はじめに 近年、Kubernetesの採用が進む中、複数のチームが関わり、複数のクラウドプロバイダーへのデプロイを行い、異なるスタックを扱う組織では、その導入の複雑さが新たな問題となっています。本書 『Platform Engineering on Kubernetes』は、Kubernetes に登場しつつあるベストプラクティスとオープンソースツールを活用し、これらのクラウドネイティブの問題を技術的に組織的にどのように解決するかを示してくれます。 learning.oreilly.com 本書では、Kubernetes上に優れたプラットフォームを構築するための要素を明確に定義し、組織の要件に合わせて必要なツールを体系的に紹介しており、実際の例とコードを交えながら各ステップをわかりやすく説明することで、最終的にはクラウドネイティブなソフトウェアを効率的に提供するための完全なプラットフォーム
Generative AI(ChatGPT)と対話する、社内用生産性向上ツールを開発し、業務利用リスクを解決した話｜sys1yagi
こんにちは、Ubie(ユビー)株式会社のUbie Discoveryという組織で、ソフトウェアエンジニアとして働いている八木(@sys1yagi)です。 ChatGPTが賑わっていますね。正確にはGPT-3.5やGPT-4といった大規模言語モデルのブレークスルーが賑わっているわけですが、一般的にはChatGPTを通して大規模言語モデルに触れるというケースがほとんどだと思います。 ChatGPTの業務利用のリスクChatGPTを使った業務効率化のアイデアなどが散見されますが、ChatGPTの場合、Open AI社によって入力内容を学習等に利用される場合があります。 基本的に会社で契約を結んでいないWebサービス等に対して、業務に関連するデータを入力するべきではないわけですが、便利さのあまりについつい入力してしまうケースもあるかもしれません。各社においては法務等と連携して利用に関する注意喚起等
よく知らないアプリケーションの性能と戦う、という状況 SNSにキャンペーン載せたらバズってサイトがずっと503なんです、なんとかなりませんか？ バッチがいつもの時間に終わらないんですけど、急ぎ見てください！ みたいな連絡を、そろそろ帰るかと思った21時とか明け方5時とかに電話が鳴って受けることって、そこそこあると思うんです。 私が設計したわけでもなく開発したわけでもなく、レビュー参加とかで辛うじて全体は分かるけど、いまからソース見る時間もないし、開発した方は性能面の対処が覚束ない。突然性能面で火を噴いてなぜか自分が召喚されて2~3時間でどうにかしたい、という闇な状況にどういうふうに対応していたっけ自分、というのを経験則100%で書いてみようと思います。 この前編は道具の紹介(OS編)、中編は道具の紹介(Java)、後編は道具の紹介(PostgreSQL)です。 中編 → https://q
Google Cloud、AI機能搭載のPostgreSQL互換ソフトウェア「AlloyDB Omni」正式版リリース
Google Cloud、AI機能搭載のPostgreSQL互換ソフトウェア「AlloyDB Omni」正式版リリース Google Cloudは独自に高性能化したPostgreSQL互換ソフトウェア「AlloyDB Omni」の正式版をリリースしたことを発表しました。 AlloyDB Omniは、Google CloudがPostgreSQL互換の高性能なマネージドデータベースサービスとして提供している「AlloyDB for PostgreSQL」と同じデータベースサーバを、オンプレミスやノートPCなどで実行できるソフトウェアとして開発が進められました。 参考：Google Cloud、高性能化したPostgreSQL互換「AlloyDB」のオンプレミス向けソフトウェア「AlloyDB Omni」発表。開発環境での利用は無料 トランザクション性能は2倍高速、分析的クエリは100倍高速に
PostgreSQL技術インデックス PostgreSQLインサイド PostgreSQLの活用技術について詳しく解説する記事が見つかる！ カテゴリーでの絞り込みができる「PostgreSQL技術インデックス」をご活用ください。
お知らせ 本記事をベースに新しい記事を公開しました。 PostgreSQL インデックス肥大化とインデックスコストへの影響（再モデル化） - ぱと隊長日誌 新しい記事ではインデックスコストモデルの正確性を向上させました。 新しい記事を参照いただけますと幸いです。 概要 PostgreSQL のインデックスサイズは一度大きくなると、その後小さくなるタイミングが限られています。 「［改訂新版］内部構造から学ぶPostgreSQL-設計・運用計画の鉄則」でインデックスファイルサイズが小さくなるのは以下のタイミングとしています。 DROP INDEX でインデックス自体を削除した場合 TRUNCATE TABLE でテーブル全体を空にした場合 REINDEX でインデックスを再構成した場合 [改訂新版]内部構造から学ぶPostgreSQL 設計・運用計画の鉄則 (Software Design p
ウェブサイトのアクセス解析にはGoogle Analyticsがよく利用されますが、サイトの訪問者についての情報をGoogleに教えたくないという人もいるはず。「umami」は、Google Analyticsの代わりとして利用できる無料のオープンソースアクセス解析ツールです。 umami https://umami.is/ umamiの利用は無料ですが、自分でサーバーを立てて運用する必要があります。インストール手順を解説したページによると、インストールからアプリの起動までは数個のコマンドを実行するだけでOKとのこと。なお、データベースサービスとしてMySQLかPostgreSQLのどちらかが必要です。 インストールが完了したらブラウザからサーバーにアクセスしてログインします。初期ユーザーネームは「admin」、初期パスワードは「umami」に設定されています。 「Setting」の「We
はじめに 普段はRailsを使用して開発をすることが多く、開発環境はMacBook Pro(Intel) + Docker for Macを使用しています。 ただ最近は以下のようなこともあり、今後のためにRails/RSpecの実行時間がどのようになるか検証しました。 MacBook Pro 2021 (M1 Pro)を購入 Docker for Macの有料化（個人的には対象外ですが） Docker for Macの代替えとして、Lima + Dockerがよさそう Lima + Dockerで、Docker for Mac ボリュームマウントの遅さから解放されるのでは？ 環境 MacBook Pro 2021 (M1 Pro) CPU: M1 Pro (10 core) メモリ: 32GB MacBook Pro 2018 (Intel) CPU: Intel Core i5 2.3G
DBへのコネクションプーリングなどを実現する「Amazon RDS Proxy」が正式版に。サーバレスアプリからの頻繁な接続要求などを高速処理
DBへのコネクションプーリングなどを実現する「Amazon RDS Proxy」が正式版に。サーバレスアプリからの頻繁な接続要求などを高速処理 Amazon Web Services（AWS）は、データベースサービス「Amazon RDS」に対応するプロキシサービス「Amazon RDS Proxy」が正式版になったことを発表しました。 Amazon RDS Proxy is now generally available. A fully-managed, highly available database proxy feature for Amazon RDS. With RDS Proxy, make your applications more scalable, resilient & secure. https://t.co/2MyaK3uCfh pic.twitter.co
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BIツールとは？無料で使えるおすすめOSSの比較6選（2023年版） | OSSのデージーネット
東大生が5秒で始められるゲームプログラミング学習サービスを開発・リリースした話 - Qiita
Snowflake で1万"列"データを扱う技術 - Qiita
【ChatGPT】とベクトルデータベースによる企業内データの活用(いわゆるRAG構成) - Qiita
学生の個人開発にもFlutterがオススメな理由（リリース例あり） - Qiita
ECサイトのクロスサイトスクリプティング脆弱性を悪用した攻撃 - JPCERT/CC Eyes
BigQueryでのデータ追記処理における冪等化の取り組み - ZOZO TECH BLOG
PostgreSQLのソースコードの構造
PostgresqlCO.NF：人間のためのPostgreSQLの設定
できるだけインフラ運用したくない Ruby on Rails on Google Cloud
Firebaseを置き換える？新時代baas supabaseを触ってみた
Terraformなにもわからないけどディレクトリ構成の実例を晒して人類に貢献したい - エムスリーテックブログ
SQLite3 を PostgreSQL にできるコマンド postlite
よく知らないアプリケーションの性能と戦わないといけないときの防衛術（前編） - Qiita
PostgreSQL技術インデックス｜PostgreSQLインサイド
PostgreSQL のインデックス肥大化と実行計画のコストへの影響 - ぱと隊長日誌
他人にデータを渡さずに無料でアクセス解析できるオープンソースツール「umami」
M1 Pro + Lima + Dockerが速い (Rails/RSpec検証)