タグ

shimookaのブックマーク (22,342)

  • AIに個人情報を入れまくってたら人生が終わりかけた話

    転職活動が終わった。内定も出た。あとは退職届を出すだけだった。 そのはずだった。 事の発端だが、俺は中堅SIerで働く34歳のエンジニアだ。去年の秋くらいからChatGPTを業務でもプライベートでもガンガン使っていた。 使い方はまあ、みんなと同じだと思う。コードレビュー頼んだり、メールの文面考えてもらったり。ただ、俺にはひとつ悪い癖があった。 個人情報を一切マスクせずにそのまま突っ込んでいた。 いやいや、OpenAIだって学習に使わない設定あるじゃん そう思うだろ?俺もそう思ってた。だからオプトアウトの設定だけして、あとは何も気にしてなかった。 具体的に何を入れていたか、正直に書く。 転職活動の職務経歴書。氏名、生年月日、住所、電話番号、勤務先の正式名称、部署名、プロジェクト名、上司の名前。全部いりのやつを「もっと良くして」ってそのまま張った。 確定申告の相談。源泉徴収票の数字を全部打ち込

    AIに個人情報を入れまくってたら人生が終わりかけた話
  • pg_bigm (bi-gram インデックス)

    更新日: 2024年12月27日 1. pg_bigm とは pg_bigm は PostgreSQL に文字列の中間一致検索に使える GIN 方式のインデックスを提供するオープンソースの拡張モジュールです。以下のような B-tree インデックスを適用できない問い合わせを高速化することができます。 SELECT id FROM documents WHERE content LIKE '%文字列%'; bigm とは bi-gram (バイグラム)の略です。文字列中の連続する 2 文字ごとにインデックス項目を作ることを意味しています。 なお、 PostgreSQL 体には追加モジュールとして pg_trgm という連続する 3 文字ごとにインデックス項目を作る tri-gram (トリグラム)のモジュールが付属しています。ただし、 pg_trgm はマルチバイト文字列が扱えないという制

    pg_bigm (bi-gram インデックス)
  • pg_bigmを用いて日本語の全文検索を実行する: PostgreSQL | NEC

    pg_bigmは、PostgreSQL体では用意されていない日語の高速な全文検索機能を提供するツールです。 このページでは、pg_bigmの使い方や注意点を紹介します。 ※pg_bigmの機能概要や基的な使い方はこちらをご覧ください。 PostgreSQL体では、日語の全文検索機能は提供されていません。 全文検索機能用の追加モジュールとして、contribパッケージ内にpg_trgm(ピージートライグラム)が用意されていますが、pg_trgmのインデックス検索は検索文字列が3文字以上の場合にしか対応していないため、日語検索の場合において多く発生する2文字検索には適していません。 pg_bigmを使用することによって、2文字の場合の検索も含めて日語の全文検索機能を利用できるようになります。

  • PostgreSQLのチューニング技法 -しくみを知って賢く使う- PostgreSQL Conference 2009 Japan

    PostgreSQLのチューニング技法 - しくみを知って賢く使う - PostgreSQL Tuning Technique - Let's use PostgreSQL effectively, finding out its internals - PostgreSQL Conference 2009 Japan 2009.11.21 PostgreSQLしくみ分科会 PostgreSQL Mechanism Research Working Group 笠原 辰仁. 坂田 哲夫. 桑村 潤. Tatsuhito Kasahara. Tetsuo Sakata. Jun Kuwamura. 2 PostgreSQL Conference 2009 Japan welcome ! 今日は、PostgreSQLのパラメータについて、しくみを 交えながら解説します 各パラメータの働きのしく

  • PostgreSQL の構造とソースツリー(3) | Let's POSTGRES

    ソースコードの歩き方 デバッガを使ってソースコードを追っ掛けてみよう PostgreSQL のような巨大なシステムでは、目でソースコードの流れを追うのは容易ではありません。 そこでお勧めなのが、gdb などのデバッガを使って実際のコードの実行の流れを追うことです。 デバッガというとしり込みする方もいらっしゃるかもしれませんが、単に実行の流れを追うだけなら非常に簡単です。 ただ、そのためには多少準備が必要で、PostgreSQL をデバッグシンボル付でコンパイルしておかなければなりません。通常 PostgreSQL を構築する際に configure に --enable-debug オプションを追加してください。 また、できれば src/Makefile.global を編集し、 CFLAGS = -O2 -Wall -Wmissing-prototypes -Wpointer-arith

  • OpenID Connect 全フロー解説 - Qiita

    はじめに OpenID Connect は OAuth 2.0 を拡張する形で策定されました。 OAuth 2.0 はアクセストークン発行手順に関する仕様で、**RFC 6749(The OAuth 2.0 Authorization Framework)**で定義されています(参考:一番分かりやすい OAuth の説明)。 一方、OpenID Connect は ID トークン発行手順に関する仕様で、主要部分は OpenID Connect Core 1.0 で定義されています(参考:一番分かりやすい OpenID Connect の説明)。 RFC 6749 は**認可エンドポイント**という Web API を定義しています。 この API は必須のリクエストパラメーターとして response_type を要求します。 OpenID Connect は、この response_ty

    OpenID Connect 全フロー解説 - Qiita
  • 【CloudFront】S3で更新したファイルを自動ですぐに反映する

    AWS を利用して静的な Web コンテンツを配信する方法として CloudFront + S3 の構成をよくとります。 構成方法は開発ガイド「安全な静的ウェブサイトの使用開始」や 巷の記事 が参考になります。 CloudFront のポテンシャルを十分に引き出すために、S3オリジンのキャッシュを存分に利かせて「爆速だー!ヒャッハー!」しようとしたら・・・ S3 に置いたファイルを上書きしても直ぐに反映してくれない。 マジデスカ… トラップカードの存在に気づきます。 とりあえず反映する方法 手作業で済む範囲で、すぐにキャッシュを更新したい場合は大まかに2通り。 キャッシュを無効にする CloudFront のビヘイビア設定にあるキャッシュポリシーを無効(Managed-CachingDisabled)に変更する方法です。まごうことなき急しのぎな回避策です。 応答パフォーマンスは確実に落

    【CloudFront】S3で更新したファイルを自動ですぐに反映する
    shimooka
    shimooka 2025/07/17
  • あまり知られていないPostgreSQLの機能 | POSTD

    あなたが知らない既存機能があるかもしれません! マイクロソフト社は2006年、Microsoft Officeの新バージョンで追加してほしい機能について、顧客調査を実施しました。驚いたことに、ユーザが希望した機能の90%以上はすでに実装されており、その存在が知られていないだけであることが判明しました。機能の「見つけにくさ」の問題の解決策として同社が考案したのが、現在のMicrosoft Office製品でおなじみの「リボンUI」です。 この問題はOfficeに限ったものではありません。日々使用するツールの機能をすべて把握している人はほとんどいません。PostgreSQLのように大規模なツールであればなおさらです。数週間前にPostgreSQL 14がリリースされたばかりなので、この機会にPostgreSQLのあまり知られていない機能に注目してみたいと思います。 この記事では、Postgre

    あまり知られていないPostgreSQLの機能 | POSTD
  • AIエージェントを使って実際にアプリ開発→リリースした経験・知見を共有する - Qiita

    先日、Claude Code(コーディング用のAIエージェント)1を使って作ったiOSアプリ 『電光石火』 をリリースしました。 『電光石火』は、「九九」や英語の「代名詞」、「県庁所在地」など、反復練習ですばやく答えられるようになるべきものを、ゲーム形式で手軽に身につけられるiOSアプリです。「たしざん」「ひきざん」「L / Rの聞き分け」「炎色反応」「東西南北」など、定番のものから少し変わったものまで、様々なコンテンツを提供しています。 たとえば、小学1年生は毎日宿題でリングカード等を使って足し算の練習をしますが、『電光石火』を使えば、それをゲーム感覚で楽しく行うことができます。 AIエージェントを使ってコードを書いた話はたくさん耳にしますが、実際にプロダクトをリリースするところまで行った体験談は少ないと思います。 この記事では、AIエージェントを使って『電光石火』を開発・リリースしたこ

    AIエージェントを使って実際にアプリ開発→リリースした経験・知見を共有する - Qiita
  • stdoutとstderrをそれぞれ別々にteeする方法 - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

    stdoutとstderrをそれぞれ別々にteeする方法 - Qiita
    shimooka
    shimooka 2025/05/01
    “1> >(tee out.log >&1) 2> >(tee err.log >&2)”
  • PostgreSQL: invalid page header in block

  • PostgreSQLのSELECT句ターゲット数上限値「1664」を見る - エムスリーテックブログ

    記事はエムスリー Advent Calendar 2020 の9日目の記事です。 エムスリーエンジニアリンググループの木村です。 今回は今年遭遇したエラーの中で面白かったPostgreSQLのターゲット上限値エラーの話をします。 我々のチームで開発・運用しているアンケートシステムではデータベースにCloudSQL(PostgreSQL)を利用しています。 アンケートシステムでは、ユーザのアンケートの回答を集計するために様々なクエリを駆使します。 その時、発行しようとしたクエリは下記のような結果を得るものでした。 クエリ結果 具体的なクエリは以下のようなものになります(あくまでイメージ。実際はもう少し複雑です)。 SELECT user_id , question1_answer , question2_answer , question3_answer , (略) FROM user u

    PostgreSQLのSELECT句ターゲット数上限値「1664」を見る - エムスリーテックブログ
  • SSD HOWTO:SLCキャッシュを上手く使う(2/4) - Qiita

    この表に記載した項目のうち今回は「記録データ」に注目します。 「記録するデータ」での制御とは 記録するデータによる制御とは、ここでは「ホストから受領したライトコマンドの書き込みデータをSLCキャッシュに記録するかどうかの制御」を指すこととします。例えば「このライトコマンドはデータサイズが小さいからSLCキャッシュに書こう」のような制御です。 SSDが対応するインターフェース(SATAやNVMeなど)において、ホストから受領するライトコマンドに付随する代表的な情報は以下のものです。 ライトするデータのアドレス(LBA) ライトするデータのサイズ(セクタ数) 不揮発メディアにデータを書いた時点でコマンド完了とするか ライトするデータの属性 このうち、3つめの「不揮発メディアにデータを書いた時点でコマンド完了とするか」という情報のみ他のものとは種類が異なります。このためSSDの内部処理に与える影

    SSD HOWTO:SLCキャッシュを上手く使う(2/4) - Qiita
    shimooka
    shimooka 2025/04/01
  • SSD HOWTO:SLCキャッシュを上手く使う(1/4) - Qiita

    今回の記事では、上記の表に記載した項目のうち「容量」について、方式の内容とSLCキャッシュを上手く使う方法をまとめます。 SLCキャッシュの容量制御方式 SLCキャッシュの容量の制御方式には主に静的方式と動的方式があります。 静的方式は、例えばOver Provisioning (OP)から一定のサイズを常に(=静的に)SLCキャッシュに割り当てる方式です(図1)。OPはあくまで余剰領域ですので(別記事参照)、容量をあまり大きくできません。 図1:容量静的方式のSLCキャッシュ(動作イメージ) SLCキャッシュにデータを記録していき容量分たまると(図1 (1)から(3)まで)、データの追い出しを実行してSLCキャッシュの空きを作ります(図1 (4))。追い出されたデータは多値記録で記録されます。 この図1のSSDが搭載するNANDフラッシュメモリをTLC NANDだと仮定し、SLCキャッシ

    SSD HOWTO:SLCキャッシュを上手く使う(1/4) - Qiita
    shimooka
    shimooka 2025/04/01
  • SUSE Customer Portal

  • Citus live query inspection using citus_stat_activity

  • postgresqlでpg_stat_statementsを使ってSlow Queryを調べる - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

    postgresqlでpg_stat_statementsを使ってSlow Queryを調べる - Qiita
  • SCSI Sense Key/Code Qualifier 一覧 - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

    SCSI Sense Key/Code Qualifier 一覧 - Qiita
  • LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita

    大人気TBSドラマ、「逃げるは恥だが役に立つ」でも話題になったインフラエンジニアという言葉ですが、今ではインターネットインフラを知らないまま開発をするのも難しい状況になっています。クラウドが一般化されたからといって単にリソースの調達が簡単になっただけで、つまりハードウェアの知識が無くても何とかやっていけるようになっただけであり、インフラの知識が要らなくなったなどということは全くなく、むしろdevopsの掛け声とともに、ソフトウェア開発者にインフラを見なければならない新たな責務が課せられたという、なかなか痺れる状況なのだろうと思います。 そういった中で、先日のさくらインターネットのAdvent Calendar最終日に「いまさら聞けないLinuxとメモリの基礎&vmstatの詳しい使い方」という記事を書かせて頂きましたが、今回はLinuxサーバの「負荷」と、ロードアベレージに関して、掘り下げ

    LinuxのI/OやCPUの負荷とロードアベレージの関係を詳しく見てみる - Qiita
  • メールというインターネットの闇とIPレピュテーション(だけど重要)(後編) - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※この投稿について 前半でIPレピュテーションとは何か?という説明をしていますので、未読の方は一読することをお勧めします。 メールというインターネットの闇とIPレピュテーション(だけど重要)(前編) https://qiita.com/nfujita55a/items/5848fcfbbe6cbf7d98c3 この後半では、IPレピュテーションをよくしてメールを滞りなく送りたいときの光要素と闇要素を、光→闇の順に書いています。 メールを円滑に送るためIPレピュテーションを高めたい、何ができるの(光要素) まずは、IPレピュテーションを含

    メールというインターネットの闇とIPレピュテーション(だけど重要)(後編) - Qiita