オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、AWS 環境における攻撃者のオフェンシブな視点で Cloud Security の入門として紹介します。 1. 始めに 免責事項 想定読者 2. クラウドにおける脅威 クラウドの重大セキュリティ脅威 11の悪質な脅威 クラウドサービス利用に関連するリスク Top 10 AWS セキュリティ構成ミス Top 10 3. AWS 環境における攻撃者の観点 3.1 AWS 環境の外部からの観点 3.2 AWS 環境の内部からの観点 4. MITRE ATT&CK Framework for Cloud (IaaS) 4.1 初期アクセス (Initial Access) 4.2 実行 (Execution) 4.3 永続化 (Persistence) 4.4 権限昇格 (Privilege Escalation) 4.5 防御回避
ISUCON13 問題の解説と講評 : ISUCON公式Blog
2023.12.1 12:04 If-None-Matchについて追記 ---- こんいすー こんいすー ISUCON13 の作問チーム、さくらインターネット kazeburo です。 この記事ではISUCON13の問題となった「ISUPipe」について問題の解説と講評をします。 今年のISUCONではさくらインターネットが作問を行い、アドバイザーとしてfujiwaraさん、catatsuyさんにも参加いただきました。ありがとうございました。 「ISUPipe」とは今年も素晴らしい動画を作成いただきました。動画再生が止まり、サービスに悪い影響がでてくる部分、動画とわかっていても心拍数があがってしまいます。 動画の内容にもあるとおり、ライブ動画配信サイトが今回のテーマです。 ただし、動画やサムネイル配信は作問チームのサーバから行い、競技の対象となるのはライブ動画配信サイトのAPIが主となって
DynamoDB Shell とは DynamoDB Shell(ddbsh) とは、DynamoDB を初めて使うユーザにとって使い慣れた SQL のようなコマンドを実行することができる CLI です。 ddbsh のクエリ言語は SQL から派生したもので、DynamoDB 固有の拡張機能なんかを持っています。 やってみよう まずは、ddbsh の install から始めます。 brew からひけるようなので必要なものを install していきます。 ddbsh を使うと対象とする aws アカウント内にある DynamoDB へ接続することと、ローカル DynamoDB を使用したければそちらへの接続に切り替えることもできる。 特定の AWS 環境内の DynamoDB へ接続する AWS CLI の設定ファイル内に記載されているデフォルトのリージョン、AWS アクセスキー、AW
GraphQLサーバーは、本当にGoがTypeScriptより早いのか。Flutterからの呼び出しで検証する。
3秒まとめ GoのパフォーマンスはNestJS（TypeScript）の2倍以上!? GraphQLのエコシステムはGo, TSともに充実 GitHub Copilotで、GoのAcceptance Rateが40%を超える体験をした GraphQL全盛の時代に、どの言語を使って開発すべきか 2015年にFacebookにより公開されたGraphQL。日本でもYahooやメルカリなどバックエンドをマイクロサービス化している多くの企業で採用され、近年はフロントエンド開発者にとって魔法の弾丸のように扱われることも多くなりました。 メルカリShopがGraphQL Client Architecture Recommendation社外版を公開していることからもわかる通り、GraphQLの利用に関する知見はかなり蓄積されてきています。 上記Recommendationによれば、BackendはG
【Go/GCP】ライブゲーム「あてっこ！ぷにまるず」を支えるバックエンド技術 - Mirrativ Tech Blog
バックエンドエンジニアの makino です。本日は、先日リリースしたライブゲーム「あてっこ！ぷにまるず」のバックエンド技術について紹介します。 ライブゲーム「あてっこ！ぷにまるず」について ライブゲームとは、Mirrativアプリ上で遊べるゲームであり、配信中のゲームに視聴者が介入できることが特徴です。 「あてっこ！ぷにまるず」では、配信中に視聴者を招待して一緒にGvGバトルを楽しむことができます。 開発スタッフがプレイした動画をご紹介📺✨ バウンド数に注目👀⁉ こんなに連鎖できたら気持ちよさそう…🐰💕 動画を参考にレッツ❗チャレンジ💁 SNSスタッフは2回バウンドできました🙌 まだまだ道のりは険しい…🏔 pic.twitter.com/YdZMRKxbgv— 【公式】あてっこ！ぷにまるず (@punimals_jp) 2023年7月18日 Mirrativのライブゲームは
OpenAI「GPT Builder」で何が作れるのか？ 早くも発表当日・翌日に作られた「オリジナルGPT」5例を見てみた - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: OpenAI OpenAI の CEO Sam Altman 氏は6日、同社初の開発者会議「DevDay」で多くの新機能を発表した。 このツールは、「ChatGPT Plus」と「ChatGPT for Enterprise」の加入者向けに徐々にリリースされ、ユーザは、OpenAI の新モデル「GPT-4 Turbo」の上に、独自の GPTs、基本的には AI エージェントを作成することができる。これにより、技術に明るくないユーザや正式な開発者トレーニングを受けていないユーザであっても、数分で独自の AI エージェントやアプリケーションを構築できるようになる。 このようなサードパーティの GPT は、ユーザがアップロードした文書や資料を参照し、他のアプリにアクセスして指定したアクションを繰り返し実行することができる。例えば、カレンダー上のスケジュールのダブりを検
マーケティングを加速させろ！ZOZO Marketing Platform(ZMP)の紹介 - ZOZO TECH BLOG
こんにちは、MA部の齋藤（@kyoppii13）です。 ZOZOTOWNでは、プッシュ通知やLINE、メールでのキャンペーン配信を実施しています。キャンペーン配信の例としては、お気に入り商品の在庫数が少なくなったときにプッシュ通知を送るといったものです。LINEやメールといった配信チャネル以外にも、キャンペーンごとにセグメントや実施タイミングも様々で、システムも配信キャンペーンの種類によって複数存在している状況でした。そのため運用保守のコストが大きくなっていました。また、キャンペーンの内容を変更するために開発側での工数が発生している状況でした。 そこでキャンペーン配信を効率的に実施するため社内向けのマーケティングプラットフォーム「ZOZO Marketing Platform（ZMP）」を開発しました。 本記事では、マーケティングプラットフォームの開発にあたって考慮した点とアーキテクチャに
Rails+PostgreSQL+Apartmentでたった1行の変更がレスポンスタイムを3倍速にした話 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2023 11日目を担当する荒賀(@ken39arg)です。 在籍期間15年と弊社の中でかなり古参になってしまった私ですが、アドベントカレンダーを年に2本書くのは初めてです。1 今回の内容は、今年7月に無事に成功したお仕事の話で、完了したらブログに書くように言われていたものです。 が、どうしても筆が進まず、のらりくらりと逃げていたのですが、良い年越しをするためにいい加減書いておくか〜という内容です。 TL;DR Rails + PostgreSQL + Apartment という構成のサービスで下記の1行の設定変更コミットを取り込んだ結果・・・ $ git log -n1 -p 64b39f258e9adde2e55752e4f1d5b6be12bcb216 commit 64b39f258e9adde2e55752e4f
はじめに Smart Craft テックリードの星井です。 前回の記事で Smart Craft の技術スタックの全体像についてお伝えしましたが、今回はバックエンドについてお話します。 Ruby on Rails / GraphQL な構成になっているので同じような構成を検討している方の参考になれば幸いです。 バックエンドのフレームワーク選定 新しくアプリケーションの開発をやるぞとなったときに、バックエンドで何を使うかというのは毎回頭を悩ませる人が多いのではないでしょうか？ フロントエンドに関しては最近だととりあえず React を使っておけば文句を言う人はいないと言う認識ですが（偏見）、バックエンドはいろいろあって迷いますよね。 自分は Rails 信者でして個人的に何かを作る時には脳死で Rails を採用することが多いですが、Smart Craft でのプロダクト開発は当然そんな安易
Cloudflare Workers + Hono ワークショップ - ServerlessDays Tokyo 2023
Cloudflare Workers + Hono ワークショップ 資料はこちら => workshops.yusuke.run #serverlessdays Yusuke Wada 2023-09-24 ServerlessDays Tokyo 2023 workshops.yusuke.run アジェンダ ワークショップについて Workers イントロダクション Hono イントロダクション 基本編 プロキシ編 Web API編 フルスタック編 AI編 Honoをより深く知る その他 1. ワークショップについて 1.1 対象 対象者 Cloudflareでのアプリケーション作成に興味のある方 Honoを使ってみたい方 フロント、バックエンド問いません 前提条件 Wranglerが動く環境をつくっておく npx wrangler が動く JavaScriptに対する知識があるとよい
関数としてのテーブル - 写像と命題関数｜ミック
拙著の一つに『おうちで学べるデータベースのきほん』というデータベース初心者向けの入門書がある。2015年刊行なのでそれなりに年月が経っているのだが、ありがたいことに今でもコンスタントに読んでいただいている。 この本の中で「リレーショナルデータベースのテーブルは関数として捉えられる」という話をしているのだが、ある読者の方からそこがよく分からなかった、という質問をいただいた。ちょうどよい機会なので、少しこの点を補足説明しておきたいと思う。 テーブルが関数だと言うとき、二つの含意がある。一つは集合から集合への写像としての意味、もう一つが述語論理における命題関数としての意味である。一般的にテーブルが関数だという場合は、前者の意味で言われることが多い。こちらは関数従属性や正規形の概念にも繋がっていくから、関係モデルの理解という点でも広がりのあるオーソドクスな解釈だ。拙著でもこの意味で説明している。し
この記事は、『Software Design 2024年6月号』（2024年5月17日発売）の第1特集「SQLチューニングする前に知っておきたい 実行計画＆インデックスのしくみ」の連動企画です。ぜひ本誌特集1もお読みください。 適切なインデックスを設計する インデックスの調整によるクエリの高速化は、RDBMSを使用する際の数あるチューニングテクニックの中でも最もお手軽なものです。テーブルのカラムの定義を変えるわけではないので、クエリの結果に違いが生じず、アプリケーションを変更する必要性がないからです。適切なインデックスを付与するだけでチューニングが済むというのは極めて効率的です。それでは適切なインデックスとはどのようなものでしょうか。本記事では、まずインデックスを設計する際に重要なポイントを解説します。 インデックスとSQL構文 「どのカラムの組み合わせに対してインデックスを作成すべきか」
PharmaX株式会社・プロダクトマネージャーの稲垣氏は、1人目のプロダクトマネージャーとしてチームにジョインしてから取り組んだことについて話しました。 稲垣氏の自己紹介 稲垣慶典氏：では始めていきたいと思います。よろしくお願いします。今日は、1人目プロダクトマネージャーとしての経験を通じた「ああしたほうがよかったな」とか「これしないほうがよかったな」というような学びをシェアできればと思っています。 先ほども自己紹介しましたが、稲垣と言います。バックグラウンド的に、プロダクトマネージャーとしてはけっこうビジネス寄りなタイプかなと思っています。 経験はちょっと変わっていて、新卒でディー・エヌ・エーという会社に入り、最初はゲームのプロデューサーという、ゲーム作りをしながら事業のPLも見るみたいなところからキャリアを始めています。その後一転して、ヘルスケア・医療の領域でがん検査のサービスをするプ
クラウドロックインされないアーキテクチャ「Cloud Agnostic Architecture」のすすめ | フューチャー技術ブログ
この記事はQiitaのアドベントカレンダー記事のリバイバル公開です。 ※ 当時の記事から、一部表現を見直し加筆しています。 はじめに先日ガートナーのレポートで「多くの企業において、特定のクラウドベンダにシステムを集中させるリスクの重要度が上昇している」との発表がありました。 https://www.gartner.com/en/newsroom/press-releases/2023-10-30-gartner-says-cloud-concentration-now-a-significant-emerging-risk-for-many-organizations 日本においてクラウドの活用はますます進んでいる一方で、特定の Cloud Service Provider（CSP）にロックインされるリスクについては、常に議論の余地があると考えています。 本記事では、特定のクラウドに強く依
TL;DR TiDBにおけるパフォーマンス検証をどうやって行ったか パフォーマンス検証を行ったときにつまづいた問題とその対応策 TiDBの仕様やアーキテクチャなどの話はありません 前提 対象のDBはAmazon Auroraで稼働中 DBエンジンはMySQL TiDBに移行できないかPoCを実施 DB周りにいろんな課題があり、TiDBで解決できないか検証 TiDB Cloudで検証 本番運用を想定してTiDB Dedicatedを利用 先にお伝えしたいこと TiDB導入したいとか言う前に、今使っているRDBで発生しているスロークエリとかIndex設計を見直した方が良いです笑 理由はこの記事を見てもらえるとわかると思いますｗ パフォーマンス検証の進め方 1. パフォーマンス検証に利用するクエリを洗い出す 観点としては以下の2つ 実行される頻度が高いSQL 実行速度が遅いSQL（スロークエリ）
VSCodeベースのCursorっていうGPT連携組込みエディタがあって、GitHub Copilot Chatと比較してみた。 cursor.sh 関心 読みテスト 脆弱性探知 OSS解析 書きテスト Cursor Copilot Chat 関心 GPTでソースコードからpatchを生成し続けたらプログラミングを自動化できるのでは？？？？ - laiso ChatGPTのCode Interpreterのコードリーディング能力は結構優秀 - laiso で書いたようにコーディング(読み書き)を自動化したい。 Cursorをとくに薦めはしないけどLLM組込みエディタのUXの例としてわかりやすかったので紹介します。 読みテスト 脆弱性探知 例によって脆弱性診実習用アプリ（通称「やられサイト」）のSQLインジェクションを発見してもらうという会話をした。 ディレクトリを開いて「PHPファイルにS
こんにちは。メルコインのバックエンドエンジニアのiwataです。 この記事は、Merpay Advent Calendar 2023 の23日目の記事です。 私はいまメルコインのCoreチームに属しています。Coreチームでは主にお客さまからの暗号資産の売買注文を受け付ける部分のマイクロサービスを開発運用しています。 メルコインではCI環境としてGitHub Actions self-hosted runnerを使用しています。またCIだけでなく、さまざまな自動化のためのワークフローの構築もこの環境を用いて実行しています。この記事では私の所属しているCoreチームにおいてGitHub Actions上に構築しているオートメーションについて紹介したいと思います。 PR-Agent PR-AgentはOpenAI APIを使って、PRのコードレビューなどを自動化してくれるActionです。La
こんにちは。freee PSIRTでマネージャーをやっています、ただただし（tdtds）です。この記事はfreee Developers Advent Calendar 2023 24日目です。昨日は最近freeeにグループジョインしたBundleのkouheiさんによる「Bundleの3年間をライブラリで振り返る」でした。 さて、「freeeでは新卒研修でHardeningをやってるらしい」という話は界隈ではちょっとは知られているものの、その内幕が伺えるのは、まだPSIRTがCSIRTから独立する前の2018年の記事しかありませんでした。 developers.freee.co.jp あれから5年。最近のHardening研修はどうなっているのか、アップデートしようというのが今回の記事になります。 Hardening 2023！ 細かい話はあとまわしにして、さっそく今年行われたHarde
分散トレーシングを使ってパフォーマンス改善をやってみたら、レスポンスタイムを2割近く改善できたお話 - Tabelog Tech Blog
目次 目次 はじめに そもそもシステム運用改善チームとは何か？ なぜアプリAPIのパフォーマンス改善が必要になったのか？ どうやって改善箇所を見つけるのか？ 分散トレーシングを使って、店舗詳細APIを細かく分析する 計測結果の見方 計測結果から分かったこと 計測結果から見つけたポイントに改善を実施していく コースに紐づくクーポンの取得 口コミを取得する処理と公開画像数のカウント ユーザーごとの公開口コミ投稿数の合計数カウント 全体での改善効果はどうだったか？ パフォーマンス改善の影響 ユーザー体験が向上した 今後の食べログ成長に備えたシステム上の余裕ができた 食べログの分散トレーシングを使って改善を実施してみてよかったこと おわりに はじめに こんにちは。食べログ開発本部 ウェブ開発1部 システム運用改善チームの @4palace です。 今回は、私の所属するシステム運用改善チームが食べロ
LaTeX と Python で作る 1 ポイントたりとも表示崩れしない最強の帳票印刷ソリューション - Qiita
元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth
はじめに 私が所属しているライフイズテックのデータ基盤グループで、ここ2年ほどでdbtとterraformを活用してDataOpsを進め、データ基盤の整備の生産性が向上した話をまとめます。 導入前の状況と課題 弊社のデータ基盤ではデータ基盤が綺麗に整備されていることよりも、プロダクトや事業に貢献できているかを重要と考え、まずデータを使える状態にすることを目指したサービスの導入や基盤構築を行いました。 考え方としてはこちらの DWHにおけるデータモデリングで大事にしている考え方に書かれている内容に近い考え方になります。 そのため、データモデリングの前にRedashやCRM AnalyticsというBIツール向けにデータレイクからデータマートを先に構築していました。 terraformとdbt導入前は、図のような流れで SQLでSnowflake上にDBやスキーマなどを作成 ELTサービスとし
BigQuery 関連: Colaboratory 標準 SQL 語彙の構造 | BigQuery | Google Cloud リテラル等の仕様 その場でデータを作ってクエリする 動作確認に便利 code:struct.sql SELECT MIN(status) FROM UNNEST([ STRUCT('unexamined' AS status), STRUCT('unexamined' AS status), STRUCT('ng' AS status) ]) 型ほしい時は型を書く code:complex_struct.sql SELECT * FROM UNNEST( ARRAY<STRUCT<count INT64, time TIMESTAMP>>[ STRUCT(3, TIMESTAMP "2020-07-01 10:00:00"), STRUCT(5, TIM
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。2024年4月のトップ50です*1。 順位 タイトル 1位 国土交通省が新サイト「不動産情報ライブラリ」を無料公開、早くも神サイトと評判【やじうまWatch】 - INTERNET Watch 2位 「無料で他大学の講義が受けれちゃうという神サイト発見した」誰もが無料で世界中の大学の講座が受けられるサイト“JMOOC”が話題に 講座によってはオープンバッジを取得することも可能 - Togetter 3位 簡単でおいしい山本ゆりさんのレシピ、その中でも個人的に激推しを並べます。ガチ勢の皆さまも一押しを教えてください。 - Togetter 4位 さようなら、全てのエヴァーノート - 本しゃぶり 5位 「これ以上の名古屋飯ガイドはないのでは」名大消化器外科が学会のために作成した飲食店案内のクオリティが
はじめに 先日DB初心者（DWHですらない）から、2か月の勉強でSnowPro Coreを取得しました。 勉強にあたりやってよかったことなどをまとめておきます。資格取得記事は最近無限に生産されているので、あまり他では言及がなさそうなことを中心にしようと思います。 こんな方におすすめ SnowPro Coreに興味はあるが、実務経験がない データエンジニアリングを学んでみたいが、どこから手をつけるといいかわからない 簡単なバックグラウンドと経緯 Tableauによるクロス集計中心のデータ分析職（他業務も兼務）から、2023年2月にデータ分析基盤およびBIダッシュボード構築を行うデータアナリストに転職 前職では、ほぼ編集してはいけないテキストファイルのSQLを、あるフォルダに格納するとCSVでデータが抽出されるという謎環境だった エンジニアのいない組織だったので実務的には役立たなかったが、Da
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
はじめに JCEXで実践しているAPIテストについて 単体テスト 負荷テスト なぜAPIの単体テストを行っているのか API単体テストで使用するパッケージ 実例によるAPI単体テストの環境構築 前提 ステップ１: テストしたいAPIの定義 ステップ２: テストの作成 ステップ３: APIの実装 ステップ４: DBを使ったテスト ステップ５: ヘルパー関数化 ステップ６: テーブル駆動テストに変える ステップ７: フィクスチャを使ったテスト まとめ おわりに はじめに こんにちは、enechainのGXデスクでエンジニアをしている@ejiです。 GXデスクは、『日本気候取引所 - Japan Climate Exchange』 (以下 JCEX) のサービス開発を担当しており、 私は主にBFFとバックエンドのAPIをGoで開発しています。バックエンドのAPIは gRPC を使用しています。
Railsガイドにきちんと目を通して新しい知識を得る - Active Support コア拡張機能編 - - PLAY BALL
ドキュメントを読み込むのは大事、ということでRailsガイドを頭から読んでいく取り組みをしています。 各章ごとに、（Railsガイドにちゃんと書いてあるのに）知らなかった機能を雑にまとめていきます。 今回は、Active Support コア拡張の章です。 railsguides.jp deep_dup リンクはこちら dupでは、コピーした配列の中身がgsub!などで変化する場合、コピー元の配列の中身まで影響しますが、deep_dupでは影響を受けないようにできます。 このあたりは意図せぬバグを混入させてしまわないよう、きちんと理解しておく必要があるなと思いました。 try リンクはこちら &.とtryは似ていますが、存在しないメソッドを指定した際に、前者はNoMethodErrorを返し、後者はnilを返します。 &.とtry!は挙動自体は同じようです。 ただし、try!は&.と比べる
Google、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版に。ローカルで実行できるソフトウェア版も提供
Google Cloudは、PostgreSQL互換のAlloyDBにAI機能を組み込んだ「AlloyDB AI」正式版を提供開始した。データベースのデータをリアルタイムにAIに反映できる高速なベクトル検索などが可能だ。 Google Cloudは、PostgreSQL互換のデータベース「AlloyDB」にAI機能を組み込んだ新機能「AlloyDB AI」が正式版となったことを発表しました。 AlloyDBはGoogle Cloudのマネージドサービスとして提供されますが、同時に、AlloyDBをローカル環境で実行可能なソフトウェア版の「AlloyDB Omni」でもAlloyDB AIが正式版となりました。 AlloyDB Omniは開発環境などでの利用は無料です。本番環境の利用では有料のサブスクリプション料金が設定されており、Google Cloudによるサポートが提供されます。 企業
ISUCON13に参加した。 我々のアプローチ、当日の話なんかはチームメイトが書くだろうから自分はざっくり、ここまで1年間チームを組んでくれたチームメイトとの歩みについて書いて行こうと思う。 とはいえ、気になる人もいるかもしれないから置いておく。 github.com チームの始まり 2022/07/23 ISUCON12に出場した自分と @tetsuzawa はFailでscore無しとなり予選敗退した。 新卒1年目の@tetsuzawaが「来年も出ましょう。準備、できることは全部やるんで。」と言って来年も出るか。ってことが決まった。 二人で出たチームの課題は自律したガンガンコードを書けるGoのプロフェッショナルが足りないこと。 だからその日のうちに、ISUCON 12では出題側に回っていて、絶対来年のチームが決まっていない @mackee_w を誘った。 そして当日の反省会をしていた田
『情報セキュリティの敗北史』を読んだ - chroju.dev
https://www.hakuyo-sha.co.jp/science/security/ 面白かった。タイトル通り歴史をつづった本であり、純粋な技術書というよりは読み物としての性格が強い。具体的なセキュリティインシデントも当然登場するが、その技術背景が詳しく掘り下げられるわけではない。「SQLインジェクション」「カーネル」など、専門家にとっては基本的な用語にも注釈がついているので、むしろ専門外の方でも広く読めるようにした文芸書に近いのかもしれない。ちょっと違う気はするが、『失敗の本質』情報セキュリティ版、みたいな趣だろうか。 歴史の範囲はENIACの誕生から2020年前後までであり、およそ現代における電子計算機の発展の歴史を概観する形になる。複数ユーザが1つのコンピュータを共有するタイムシェアリングシステムの確立、数多のコンピュータがネットワークで接続されたインターネットの誕生、急速に
チームのデータ基盤技術の審美眼を育てるために取り組んでいること - ann-toque’s diary
前提と想定読者 本記事の私見以外の情報に関しては、一般に公開されている資料のリンク集のようになっています。 取り組んでいる内容は、私が現在勤務している会社に関連していますが、その詳細には触れません。 以下に類する方は参考になるかもしれません。 データエンジニアやBIエンジニアのように、データ基盤を構築しようとしている方 データアナリスト、データサイエンティスト、マーケッターなど、データ基盤を利用する方々で、なぜそのシステムが選ばれているのか考えられるようになりたい方 データエンジニアリングチームをマネジメントしており、チームメンバーのスキル向上のための教材を探している方 背景 WEB業界で新卒からデータエンジニアとしてキャリアをスタートし、現在はデータストラテジスト/BIエンジニアとして活動中のやすです。 現在、私は5-10名規模のチームをマネジメントしており、チームメンバーのほとんどは2
Why SQLite Uses Bytecode
1. Introduction Every SQL database engine works in roughly the same way: It first translates the input SQL text into a "prepared statement". Then it "executes" the prepared statement to generate a result. A prepared statement is an object that represents the steps needed to accomplish the input SQL. Or, to think of it in another way, the prepared statement is the SQL statement translated into a fo
はじめに この記事はBASEアドベントカレンダー2023の16日目の記事です。 こんにちは！ Cart DevチームでBackendエンジニアをしている @endu です。 気づけば入社してからそろそろ1年が経ちます。 この1年をふりかえると、最初のオンボーディング期間を経てはひたすらに、既存コードを読んでは仕様を把握してコードを書く1年だったかなと思います。 今回は既存コードを理解するにあたっての、ドメイン知識を素早くキャッチアップする事 に焦点をあてて、自分が心がけている事をご紹介できればと思います。 ドメイン知識とはなにか? ここで話す「ドメイン知識」についてですが、調べてみると以下のように定義されています。 ドメイン知識（英: Domain knowledge）または領域知識は、はっきり限定された、ある専門分野に特化した分野の知識であり、一般知識またはドメイン独立の知識と対比される
はじめに 初めまして。プラットフォーム開発部にてデータ基盤の整備をしているazukiと申します。 今回はdbt(Data build tool)を導入した経緯と非中央集権的なdbtの使い方についてご紹介したいと思います。 今回は導入に関してまとめていますので、dbtの運用面の詳細は別記事で解説予定です。 データモデリングツール導入の背景 ピクシブではプロダクトの多さを理由に非中央集権データ組織を採用しています。 ドメインチームがメインでデータの取り組みやデータモデリングを行い、データ駆動推進室やデータ基盤チームはそのサポートや整備を担当しています。 その背景に関しては、【PIXIV MEETUP 2023】の方でお話していますのでぜひご覧下さい。 speakerdeck.com 今までBigQueryのデータ加工SQLは自社で開発したツールで管理していました。 pythonから変数埋め込み
ベクトル検索（Vector Search）とは？ キーワード検索との違い：AI・機械学習の用語辞典 用語「ベクトル検索」について説明。テキストなどのデータを数値ベクトル（埋め込み）として表現し、それらのベクトル間の類似度を計算することで、関連する情報を見つけ出す検索方法を指す。Azure OpenAI Serviceの独自データ追加機能で利用可能な「キーワード検索」「ベクトル検索」「ハイブリッド検索」「セマンティック検索」という検索手法の違いについても言及する。 連載目次 用語解説 AI／機械学習／自然言語処理におけるベクトル検索（Vector Search：ベクター検索）とは、テキストや画像などのデータを数値ベクトルとして表現し、それらのベクトル間の類似度（主にコサイン類似度）を計算することで、関連する情報を見つけ出す検索方法のこと、またその方法による検索のことである。なお、数値ベクトル
この記事は何 2023年、世間はLLMで大騒ぎですが、データの業界ではセマンティックレイヤー・Headless BIへの注目も高まっています。 これは、まだ国内では黎明期ともいえるそんな技術が、今後どんな存在となりうるのかを、筆者の個人的な解釈と妄想をもとに述べる長文ポエムです。 セマンティックレイヤーとは まず最初にセマンティックレイヤーについて解説します。 セマンティックレイヤーとは セマンティックレイヤーとは、データベースとデータ利用者の間に入り、両者間のやりとりを円滑にする存在です。 データ統合プラットフォームを提供するAirbyte社は、セマンティックレイヤーをデータとビジネスユーザーの中間に位置する、複雑なデータを理解可能なビジネスの概念に変換・翻訳するレイヤーと説明しています。 A semantic layer is a translation layer that sits
【新卒研修】監修者@t_wadaと読む！プログラマが知るべき97のこと読書会 - CARTA TECH BLOG
技術広報しゅーぞーです。 今日は24卒エンジニア新卒研修で行われた『プログラマが知るべき97のこと』読書会の模様をレポートします！ O'REILLY 『プログラマが知るべき97のこと』 この研修の目的 新卒研修だからこそ先人たちの経験から学び方を学び、それをベースに半年後の目標を考えてもらうことです。研修の最後に個々人が立てた目標を書いてシェアしてもらいます。 24卒エンジニアが書いた半年後の目標 監訳者@t_wadaと共読 今回の読書会は 『プログラマが知るべき97のこと』の監修者である @t_wadaさんと共に進めます。 『プログラマが知るべき97のこと』監修者 @t_wada @t_wadaさんはエンジニアなら誰もが目にする 『プログラマが知るべき97のこと』 『SQLアンチパターン』 『テスト駆動開発』 の監修者でもあります。 @t_wadaさんが監訳・監修した本たち @t_wad
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023の18日目です。 もう何年も前のことなのでもうそろそろ時効だろうと思い、誰かの学びになればとここに供養します。 やらかしちゃった出来事 ある日の保守作業 保守管理しているWebシステムの調査のためにOracle Databaseが動いているWindows Serverにリモートデスクトップ接続していました。 調査の過程でデータベースインスタンスにアクセスして状態を確認する必要が生じました。 普段は自分のクライアントPCにインストールしたデータベースクライアントツールでつないで確認していたのですが、その時は横着してサーバーにインストールされていたSQL Developer（OracleのGUIデータベースクライアントアプリ）を起動してしまいました。 固まる画面 じんわり起動していくSQL Deve
【コラム】GA4標準レポート、探索レポート、Looker Studioの使い分け 株式会社JADE 郡山 亮 発信元：メールマガジン2023年9月27日号より こんにちは！ 株式会社JADEでコンサルタントとして活動している郡山と申します。 普段はお客様がGA4を活用するための様々なコンサルティング、サポートをしています。 また、自社で開催しているウェビナーや、Search Central Live TokyoなどでGA4を活用するためのナレッジを発信しています。 TwitterやGoogle アナリティクス コミュニティでも個人的に活動していますので、どこかでご縁があればよろしくお願いいたします。 今回は「用途や目的に応じて、GA4のデータを、どのようなレポート・機能で集計すると使いやすいのか」というお話をさせていただきます。 GA4でデータを集計する機能や手法は様々あります。 どのよう
自然言語による説明でSQL文からDBアプリの生成まで実現する「Oracle APEX AI Assistant」発表
オラクルは、自然言語による質問からSQLクエリを生成したり、自然言語で求める機能を説明することでアプリケーションの生成まで実現する「Oracle APEX AI Assistant」（以下、APEX AI Assitant）を発表しました。 APEX AI Assistantは同社のローコード開発ツールであるOracle APEXの機能として提供されます。Orale APEXはOracle DatabaseはOracle Autonomous Databaseなどを含む同社のOracle Databaseクラウドサービスにおいて無償で利用可能です。 このAPEX AI Assistantを含むOracle APEXの新バージョンは今日から利用可能。 自然言語からSQL文を生成 Oracle APEXでデータベースアプリケーションを開発する場合、まずデータモデルを設定し、デザイナーで画面を作
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDB Shell 使ってるか。これいいぞぉ - Qiita
なぜ我々はRailsを選択したのか？Smart Craftバックエンドのご紹介
［Software Design連動企画］ 実践クエリチューニング | gihyo.jp
プロダクトづくりの型がないチームに1人目PMとしてジョイン そこで取り組んだ「方針の言語化」「目線の共有」「役割の明確化」
TiDBにおけるパフォーマンス検証の進め方とつまづきポイント
Cursorはコードベースに質問できる - laiso
メルコインにおけるGitHub Actions活用術 | メルカリエンジニアリング
新人研修でHardening! 2023 - freee Developers Hub
Terraformとdbtを活用してデータ基盤整備の生産性が向上した話
BigQuery クエリ - pokutuna
月間はてなブックマーク数ランキング（2024年4月） - はてなブックマーク開発ブログ
【合格体験記】DB初心者が2か月でSnowPro Coreに合格した - Qiita
統計ダッシュボード機能を BigQuery と BI Engine で実装する
GoでgRPCのAPIテスト環境を構築する - enechain Tech Blog
失敗から学ぶISUCONの正しい歩き方 - 葬送のPostgreSQL - そーだいなるらくがき帳
ドメイン知識を素早くキャッチアップする時に心がけている事 - BASEプロダクトチームブログ
dbt導入におけるデータモデリング環境整備 - pixiv inside
ベクトル検索（Vector Search）とは？ キーワード検索との違い
セマンティックレイヤー / Headless BIとは
不用意にサーバーでアプリを起動してハングアップさせてしまった話 - Qiita
【コラム】GA4標準レポート、探索レポート、Looker Studioの使い分け - コラムバックナンバー - アナリティクス アソシエーション