はじめに 本記事ではAI知識ゼロから始めてAIエンジニアとして実務にチャレンジできるレベルを目指してロードマップ形式でコンテンツをまとめました。 生成AIの台頭、SakanaAIの大型資金調達やGoogleの研究者（ヒントン氏ら）のノーベル賞受賞も重なり、さらにAIへの注目が集まっている状態かと思います。 しかし初学者にとって、AIを学ぶハードルはまだまだ高いのが現状です。AIをツールとして活用するだけなら比較的障壁は高くないですが、理論的な部分まで含めると学ぶべき内容が広く、分野によっては難易度が高く、せっかく学び始めたのに挫折する人も多いです。 未経験だけどAIの知識を身につけたい 現在web開発の知識があり、AIも学びたい AIを学んでエンジニアインターンや実務で活躍したい といった方は是非読み進めていってください。 コンテンツは随時追記していきます。 構成 本記事は下記のような構成
週末にちょっとしたウェブサイトというかリンク集（？）を作った。 今回は生成AIツールをフル活用していつもより効率よく作業ができた。 生成AIツールについては日々、新しいものがヤバイすごいと宣伝されているけど、実際にどう使っているのかという情報が少ないと感じている。 なので具体的な使い方を書いてみることにした。 作ったもの 開発の概要 最終的なアーキテクチャ UI開発に生成AIツールを使う 初期デザインの参考元 デザインツールの選定と比較 Next.jsの利用 Cursorを活用した開発 データ整形にLLMを使う スクレイピング Amazonの商品データ取得 LLMの選定 動的なコードと静的なコードの使い分け TypeScriptを使わない範囲を定めた 静的サイト生成（SSG）の採用 柔軟なデータベース設計 まとめ 作ったもの 『最も重要な「最も重要なマンガ10選」10選』は「最も重要なマン
こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 私は「カイ二乗検定」に対して、当初は納得できない部分がありました。やりたいことに対して、必要以上に複雑な手法のように感じたからです。同じような疑問を持つ方も多いのではないでしょうか。この記事では、私が「カイ二乗検定」を理解し納得するまでの過程をお伝えします。 結論から言いますと、一度頻度論を離れてベイズ統計の視点で考えてみたところ、実は非常に単純なことを行っていると気づきました。その後、カイ二乗検定を再び考え直すと、すんなり理解できたというお話です。 カイ二乗検定の手順まず、サイコロを何度も投げ、出た目の回数（実測値）を記録します。偏りのないサイコロでは、全ての目が均等に出るはずです。この理論的な回数を理論値と呼びます。 次に、実測値と理論値の差を計算し、その差を二乗してから理論値で割ります。この計算結果を「ズレ」と呼びま
作って理解する RDBMSのしくみ
Kaigi on Rails 2024「作って理解する RDBMSのしくみ」の発表スライド。 #kaigionrails https://kaigionrails.org/2024/talks/ydah/
Java はスレッドごとにメソッドの呼び出しをスタックで管理している スタック = LIFOのデータ構造 例外を new すると、その時点のスタックの情報が例外に記録される スタックトレースは、このスタックの情報を出力したもの トレース = trace = 追跡 スタックを追跡するためのもの スタックトレースを読むと、その例外を投げたスレッドがどのようにプログラムを通り、どこで例外をスローしたかが分かる スタックトレースの読み方 初めて長大なスタックトレースを見るとビックリしてしまうかもしれないが、全部を読む必要は無い 「例外の発生箇所を特定する」という目的に対しては、一番重要なのはスタックトレースの先頭だけ スタックトレースの先頭行は、その例外が生成された場所 普通は throw new Exceptin() のように、生成と同時に例外をスローするので、例外が生成された場所＝例外がスロー
こんにちは、Platform Team の荒引 (@a_bicky) です。前回は続・何でも屋になっている SRE 的なチームから責務を分離するまでの道のり 〜新設チームでオンコール体制を構築するまで〜という話を書いたんですが、今回は Repro の運用に 7 年以上携わる中で私が遭遇して印象的だった Aurora MySQL 絡みのトラブルについて紹介します。 Aurora MySQL が詰まってデータ処理のスループットが下がるとか、API のレスポンスが遅くなるとか、ALTER TABLE する度にアプリケーションエラーが発生するとか、胃が痛くなる胸が熱くなる話が多いので、Aurora MySQL を利用していなくても楽しんでいただけるのではないかと思います。Aurora MySQL を利用している方であれば参考になる情報もあるでしょうし、通常の MySQL にも適用可能な話もあります
# 失敗から学ぶRDBの正しい歩き方 - https://amzn.to/4e0CqfH
この本では、初心者・入門者の方に向けて、RAGの知識や使い方を体系的にまとめました。少し難易度の高い内容になりますが、本書の中で事前に学んでおくべき項目を示しているため、ご安心ください。 【概要】 ・内容：RAGの概要【入門者向けの基礎知識】、RAGの処理フロー【In-Context Learning / Embedding / Vector Search】、RAGのビジネス活用ロードマップ【大企業向け】、RAGの実装アプローチ、RAGの大分類【Document RAG】、RAGの大分類【SQL RAG】、RAGの大分類【Graph RAG】、RAGの精度評価アプローチ、RAGの精度評価方法【LangChain Evaluation】、RAGの精度評価方法【Ragas】、RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】、RAGの精度改善のためのLLMOps概論、LL
都市伝説バスターズ「WebアプリのボトルネックはDBだから言語の性能は関係ない」 - Kaigi on Rails 2024
https://kaigionrails.org/2024/talks/osyoyu/
こんにちは。MySQLは秋の季語とする一派が世に存在していることを知り、私もMySQLに関わる記事を書いてみようと筆を取ることにしました。 さて、リレーショナルデータベースをバックエンドとするWebアプリケーション開発において、特定の条件に合致するレコードがN件だけ存在するかどうかを確認するロジックは頻出といえます。プログラマとして一度は書いたことがあるのではないでしょうか？ この記事ではそのような件数カウントを行うためのクエリが引き起こした性能劣化と、その改善アプローチについて紹介していきます。 なお、本記事の内容はMySQLを前提としており、アプリケーションコードの例はRuby on Railsを用いますが特別な前提知識は必要ありません。コードの雰囲気だけ感じ取っていただければと思います。 ありがちなコード if query.count == n の問題 冒頭で述べた通り、特定の条件に
企業が業務システムにMySQL、PostgreSQL、Oracle、SQL Server といったリレーショナルデータベースを使いはじめてから今に至るまで、データベースへのコネクティビティは重要な課題であり続けています。1992年にMicrosoft が発表したOpen Database Connectivity（ODBC）API は、この課題に対する画期的な解決策となりました。 ODBC は、アプリケーションと多様なデータベース間の接続を標準化する技術として、現在でも広く採用されています。本記事では、ODBC 技術の仕組みとODBC ドライバーの役割、その重要性について詳しく解説します。 ODBC の仕組み ODBCとは ODBC は、アプリケーションからデータベースへのアクセスを標準化するためのAPI です。ODBC 4.0 の仕様はこちらに定義されています。この技術により、アプリケー
2024.11.05「追記１：問題編」を追加しました！ 2024.11.06「追記２：回答編」を追加しました！ 2024.11.06 [補足]を追加しました！ 前提 LaravelはWordPressからステップアップしたい人に丁度フィットしたような作りになっており、オンプレ前提であり、MVC構成の簡単なSSR（サーバーサイドレンダリング）を推しています。 WordPressの次のステップと捉えると納得できますし、小さなアプリを簡単に作るには丁度良いと思います。 しかし、これで大きなサービスを作ろうとすると途端に崩壊します。 基本的にドキュメント通りに作成すると画面とインターフェースが密結合し、サービスとしてのインターフェースが固まらない状態になります。 結果的に私が関わったプロジェクトは全て密結合で触れない状態に陥っていました… たぶん日本中、いや世界中がこうなってると思います。 決して
５分で覚えるトランザクション分離レベル
これはなに ども、レバテック開発部のもりたです。 今回はトランザクション分離レベルについてまとめました。トランザクション分離レベルって基本情報技術者試験とかで学ぶものの、座学だけだとあんまりピンとこずに忘れちゃいますよね。もりたも長らく曖昧な状態で生きていたのですが、よい理解の仕方があったので今回はその解説をします。 トランザクション分離レベルを構成するふたつの変数 トランザクション分離レベルとは まず初めに、概要を掴むところからいきましょう。 トランザクション分離レベルとは、あるトランザクションのデータベースに加えた変更が、他のトランザクションにどの程度影響を与えるか？ というもの（分離性、独立性）を一定基準でレベルに分けてまとめたものです。 どの程度影響を受けるか？ については三つの影響が定義され、その影響度合いに応じて分離レベルが４つ存在します。これは大体こんな図で解説されます。 よ
8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは？機能や特徴・製品の概要まとめページはこちら https://findy-tools.io/products/bigquery/49 ▼Findy Too
2024.11.05「追記１：問題編」を追加しました！ 2024.11.06「追記２：回答編」を追加しました！ 2024.11.06 [補足]を追加しました！ 前提 LaravelはWordPressからステップアップしたい人に丁度フィットしたような作りになっており、オンプレ前提であり、MVC構成の簡単なSSR（サーバーサイドレンダリング）を推しています。 WordPressの次のステップと捉えると納得できますし、小さなアプリを簡単に作るには丁度良いと思います。 しかし、これで大きなサービスを作ろうとすると途端に崩壊します。 基本的にドキュメント通りに作成すると画面とインターフェースが密結合し、サービスとしてのインターフェースが固まらない状態になります。 結果的に私が関わったプロジェクトは全て密結合で触れない状態に陥っていました… たぶん日本中、いや世界中がこうなってると思います。 決して
エンジニアの評価シートは、業績やスキルを正確に測定し、エンジニアの成長を促すための重要な資料です。技術スキルだけでなく、プロジェクトへの貢献度や問題解決能力など、多角的な視点で評価することが求められます。 一方、評価基準が多岐にわたることから「エンジニア向けの評価シートの作成方法がわからない」「そもそも評価制度が確立しておらず、ゼロから制度を見直したい」と悩む方も多いのではないでしょうか。 本記事では、エンジニア向け評価シートの無料サンプルを配布します。加えて、評価制度の構築手順や評価シートの書き方も詳しく解説するので、ぜひ最後までお読みください。 エンジニアの評価シートを簡単に作れるツール「NotePM」 【基礎知識まとめ】エンジニアの評価制度とは？ エンジニアの評価制度とは、エンジニアの業績や能力を体系的に測定・評価するシステムのことです。この制度では、技術スキルやプロジェクトでの貢献
「”＞＜SCRIPT SRC=HTTPS：//MJT.XSS.HT＞ LTD」という名前の企業が強制的に社名を変更させられた事例
社名にHTMLスクリプトタグを採用したソフトウェア開発企業が、企業登記所から「データベースの脆弱(ぜいじゃく)性につながる」として社名変更を強制されたという事例が、ソーシャルニュースサイトのHacker Newsで話題となっています。 Company forced to change name that could be used to hack websites | UK news | The Guardian https://www.theguardian.com/uk-news/2020/nov/06/companies-house-forces-business-name-change-to-prevent-security-risk UK govt aims to kill off Bobby Tables in Companies House name rules https:
Webブラウザ上のWASM版PostgreSQLをサーバとし、PostgreSQLクライアントから接続可能になる「dabase.build:Live Share」、Supabaseが発表
Webブラウザ上のWASM版PostgreSQLをサーバとし、PostgreSQLクライアントから接続可能になる「dabase.build:Live Share」、Supabaseが発表 PostgreSQLをベースにしたBaaS（Backend as a Service）の「Supabase」を開発し提供しているSupabase社は、Webブラウザ上で実行中のWebAssembly版PostgreSQLをサーバとし、別のマシンからPostgreSQLのクライアントで接続できる新機能「dabase.build:Live Share」を発表しました。 Supabaseは今年（2024年）8月、Webブラウザ上でWebAssembly版PostgreSQLの「PGLite」を実行するサービス「database.build」（旧称：Postgres.new）の提供を開始しました。 これによりWe
まとめ 圧縮された複数の JSON Lines を読み込める S3 から直接読み込める 好きなタイミングで Parquet で出力 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck 圧縮済みのログを読み込む 解析対象のログファイルって spam-20240501.jsonl.gz や egg-20240601.jsonl.zst みたいに圧縮されていたりします。 特に日付単位で分かれてたりすることは多いです。そこから目的のログを探し出すのは、基本はスクリプトを書くことが多いと思います。 DuckDB を使えば色々解決します。
DuckDB-Wasm + 生成AI on Next.js で、どなたでも、いますぐ、地理空間情報の分析ができましてよ
本日のデモ 本日のソースコード タイトルには、文字数の限界で、DuckDB-Spatialという言葉を入れられなかったですわ。 もちろん、今回も、DuckDB-Wasmに加えて、DuckDB-Spatialも活用していますわよ。 はじめに わたくしは、学術的研究として、生成AIによるSQLクエリ生成、そして、生成AIによる地理空間情報の分析と可視化、といった事例が既に多数あることは知っていますわ。 しかしながら、いったい、どれだけの研究者が、そうした研究を、実際にどなたでもが触ることのできるWebアプリケーションやスマートフォンアプリケーションなどのソフトウェアプロダクトとしてデプロイして、本気で世界を変えたいという情熱を持っているのでしょうかしら？ わたくしは、どのようなアイデアも、ソフトウェアプロダクトとして、どなたでも試せるようにデプロイしてこそ、ようやく世界を変える第一歩目だと考え
'Programming Languages That Blew My Mind'というブログ記事で、8歳からプログラマーとして活動しているDavid Tellerさんが、人生で出会った革新的なプログラミング言語について紹介している。 BASIC A language designed to make programming simple. Mind blown: Programming my own games! Mind blown: Arrays (or DIM, as they were called)! Mind blown: GOTO! Mind blown: GOSUB! Original, line-based, Basic is dead, but its legacy lives on in VB.Net, VBA, but also in more subtle ma
本日のデモ： 本日のソースコード： おっと、待たせたねぇ！今日は「DuckDB-Wasm」と「DuckDB-Spatial」についてご案内いたしやすよ！ この記事を読めば、ブラウザだけで地理空間情報の分析をサクッとこなせすための環境構築や、便利な関数を使った地理空間情報分析の基本がバッチリわかるって寸法よ！これを知っときゃ、サーバーいらずで本格的な地理空間情報分析ができちまうし、つまずきやすいポイントもスッキリ解消！あんたもいますぐ地理空間情報分析の達人になれるこたぁ間違いなしだ！さぁ、江戸っ子の心意気で、いますぐその手で試してみな！ Vite.js + React でやんでぇ！まず、Vite.js + React + TypeScriptを開発環境の基板とするってのは、問答無用で決まりだ！ほかにゃ選択肢はねぇってわけよ。Viteの速さ、Reactの使いやすさと豊富なライブラリのエコシステ
WordPress.com公式ツールの「Studio」は、Dockerやウェブサーバーなどを導入する必要もなく、無料で誰でも簡単にWordPress環境をローカルに構築することが可能で、2024年10月29日(火)にはStudioにAI支援機能が統合されることも発表されています。そんなStudioを実際に使ってみました。 Studio by WordPress.com – WordPress.com Developer Resources https://developer.wordpress.com/studio/ Meet the Studio Assistant: Your Smart Companion for Building WordPress Sites Locally – WordPress.com News https://wordpress.com/blog/2024/
Webサイトのアーカイブ図書館を目指す米非営利団体Internet Archiveの「Wayback Machine」に10月10日前後に訪問したユーザーに、サイトがハッキングされたというポップアップメッセージが表示されていた。「Internet Archiveが不安定で、常に壊滅的なセキュリティ侵害を受けそうになっていると感じたことはないかな？ それが今起こった。HIBPで3100万人の皆さんにお会いしよう！」とあった。 HIBPとは、アカウント情報の流出を確認できる無料サービス「Have I Been Pwned」のことだ。HIBPで確認したところ、本稿筆者のメールアドレスも被害に遭っていた。 HIBPを運営するセキュリティ研究者のトロイ・ハント氏は米BleepingComputerに対し、攻撃者は9日前にInternet Archiveの認証データベース（6.4GのSQLファイル）を
氷河期時代の面接で自分が経験したのでエグかったのが、集団面接で「皆さんで議論してこの中から一人落としてください」ってヤツ→神様気取りか？
ミック @copinemickmack DBエンジニア改めアソシエイト・シリコンバレー出羽守。note.com/mickmack 著書：『SQL緊急救命室』『DB設計徹底指南書』『SQL徹底指南書』。訳書：J.セルコ『プログラマのためのSQL 第4版』。 mickindex.sakura.ne.jp ミック @copinemickmack 氷河期時代の面接で自分が経験したのでエグかったのが、集団面接だったんだけど、「皆さんで議論してこの中から一人落としてください」ってヤツ。それまで和気藹々してた学生たちの空気が凍りついた。こんな選考考える奴悪魔だろって思った。
Postgresqlのltreeを活用した階層構造の便利な利用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに ltreeとは ltree型 ltreeの操作 活用法 1. 承認フローの構築 事前準備 テーブル作成 データ追加 2. テーブルに細かくアクセス制御をかける 事前準備 ltreeの有効化 テーブル作成 ポリシー作成 行セキュリティポリシーの有効化 ポリシーの設定 データを追加 ユーザー作成 試す まとめ はじめに こんにちは！ エンジニア2年目のTKDSです！ 今回はltreeについて調べ、その活用法を考えてみました。 ltreeについて、ltreeの活用法の2段構成です。 ltreeとは 階層ツリー構造を模した構造を格納する機能を提供する拡張機能です。 詳しくはドキュメントをみてください。 ltree型 階層ツリー構造を表す型です。 例）`Company.Department.Team1 ドット区切りで大文字小文字は区別しないようです。 各データはラベルと呼びます（上記でのC
事業の成長にアラインするためにAWS DMSを活用してDB統合した話 - Techtouch Developers Blog
バックエンドエンジニア兼万年ダイエッターの taisa です。毎朝子どもの幼稚園バス送りのついでに短距離ダッシュして運動してます。はたから見ると変な人ですが、バスを追っかけるようにダッシュすると幼稚園バスの子どもたちは喜んでくれます。 テックタッチは以前、マイクロサービスの切り直し後に DB 統合を実施しました。本記事では、テックタッチがどういったプロセスで DB 統合を実施したかを紹介します。また、AWS DMS を利用する際に気をつけるポイントについても合わせて紹介します。 マイクロサービス切り直し記事のおさらい なぜ DB 統合したか Before After DB 統合の前提条件 やりたいこと 制約 DB の特徴 サービスの特性 AWS DMS（Database Migration Service）とは どのように DB 統合したか Phase1：DMS でレプリケーションを開始す
UNIQUE制約の理解が甘くて二重にインデックスを張りそうになった件 - Techouse Developers Blog
はじめに こんにちは、株式会社 Techouse のクラウドハウス採用でエンジニアインターンをしている ReLU と申します。 いきなりですが、以下のグラフをご覧ください。 これは PostgreSQL の実行計画を取得した結果です。 あえてグラフタイトルや横軸の説明は隠しているのですが、実行時間の差が非常に大きいことがわかると思います。 実行計画とは、データベースが SQL クエリを実行する際に、どのようにデータを操作するかを決定するための詳細な手順のことです。クエリを実行して期待される結果を得る方法にはいくつかの選択肢があり、その選択によって処理の効率が大きく異なります。PostgreSQL は、これらの選択肢の中から最も効率的だと判断した方法を実行計画として作成し、それに基づいてクエリを実行します。この選択は、これまでに収集された統計情報（テーブルのサイズやデータ分布）、インデックス
SQL+Markdownだけでデータ可視化できるOSS Evidenceを使ってPerfumeの楽曲分析をしてみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? BIをコード管理したくないですか？私はしたいです。 BI as Codeを謳うOSSがあるようなので、Get Startedしてみます。 環境構築 公式ドキュメントを見ると、VSCodeのExtensionを入れて開発することを推奨しているようです。 2.Open the Command Palette (Ctrl/Cmd + Shift + P) and enter Evidence: New Evidence Project 3.Click Start Evidence in the bottom status bar 拡張機能のイ
ローコード・ノーコードに潜むリスクを攻撃ツールで確かめてみた（インターンシップ体験記） - NTT Communications Engineers' Blog
こんにちは、NTTドコモグループの現場受け入れ型インターンシップ2024に参加させていただきました、佐藤と鈴木です。 本記事では、現場受け入れ型インターンシップ「D1.攻撃者視点に立ち攻撃技術を開発するセキュリティエンジニア」での取り組み内容について紹介します。NTTドコモグループのセキュリティ業務、とりわけRedTeam PJに興味のある方への参考になれば幸いです。 目次 目次 RedTeam PJの紹介 参加に至った経緯 インターンシップ概要 ローコード・ノーコードとは 検証業務 Power Pwnの概要 PowerDump reconコマンド dumpコマンド 条件や制約の調査 dumpコマンドの制約 検証まとめ 感想 おわりに RedTeam PJの紹介 私たちは、NTTコミュニケーションズ イノベーションセンター テクノロジー部門 RedTeam PJのポストに参加しました。Re
ISUCONの過去問でObservabilityを体験する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:masayoshi です。 今年もISUCON14の開催が決定しましたね！ isucon.net ISUCONとはLINEヤフー株式会社が運営窓口となって開催している、お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトルです ISUCONは、世の中に実際にありそうなWebサービスを題材に、明確なボトルネックがあるコードかつ全体のコード量もすぐ読める量なので、パフォーマンスチューニングの練習にはもってこいです。 適切なパフォーマンスチューニングをするためには、まず計測してシステム上のどこにボトルネックが存在してパフォーマンスが悪化しているのかを把握する必要があります。 このように、どこで、何が起こり、パフォーマンス上の問題やエラーがおこっているのかを把握できる能力を Observabili
ごきげんよう🙋♀️ツクリンクEMのあっきー（@kuronekopunk）です。 Kaigi on Rails 2024にSilver Sponsorとして協賛、参加してきました。 今回は、同僚のエンジニアめばしいさん（@aiuhehe）がオーガナイザーとして参加を含めツクリンクからは4名での参加となりました。 去年はチケットを買い忘れたメンバーが多発し2名の参加だったので成長を感じます（？） Day1 基調講演 Rails Way, or the highway Rails Wayに乗っていこう、そして外れないように拡張していこうというお話。 Rails Wayにも隙間がありそれをどう埋めていくのかというところで、フレームを歪ませてしまうと怪獣 on Railsになってしまうという話が面白かったです。 Rails8.0で強化された機能なども紹介していて、Solid infrastruc
データベーススペシャリスト試験を受けてきたよ
これはなに ども、レバテック開発部のもりたです。 今日、IPAのデータベーススペシャリスト試験を受けてきました。この一ヶ月、試験対策を頑張っており、Zennを書く時間もあんまりなかったので、解放感とともに受験ログみたいなのを書きたいと思います。 書くことと前提 書くのは以下のことです。 準備したこと スケジュール 利用した書籍・記事 当日 当日やったこと 試験の感想 試験後 なお前提として、もりたはITエンジニアとしては10年目、RDBを使い始めて3年くらいのWebエンジニアです。 当日までに準備したこと スケジュール 全体的な学習：2023年9月〜 まず自分はここがイレギュラーだと思うのですが、2023年の9月くらいからずっとデータベース周りの勉強をやっていました。こちらの記事に書いた書籍を中心に読んでおり、データベーススペシャリスト試験の対策という観点で役に立ったかなあと思うのは以下の
施策実行支援でデータアナリストが考えていること
はじめに データアナリストとして仕事を始めて3年が経ちました。この3年間で、施策の立案やテストの設計、効果測定といったデータを活用とした施策実行支援のプロセスを数多く経験させていただいた中で、自分がデータアナリストとして気をつけていることをまとめてみました。自分の考えていることをほぼ全て書き起こしたので、少し冗長かもしれません。 想定読者はデータアナリスト1年目と施策立案や企画を行うビジネスマンを想定しています。 また、これは筆者の働くWeb系企業の自社プロダクト改善における話になりますので、予めご了承ください。 まとめ 思いのほか長文になってしまったので、時間のない人向けに先にまとめを書いておきます。 データアナリストは施策設計から積極的に関与すべし。後から効果測定依頼だけもらっても手遅れになることが多い。 施策設計の際には、施策によるKPIリフトが大きくなるように、また効果測定が精度良
「図解即戦力 Google Cloudのしくみと技術がこれ1冊でしっかりわかる教科書［改訂2版］」をより効果的に読むポイント
「図解即戦力 Google Cloudのしくみと技術がこれ1冊でしっかりわかる教科書［改訂2版］」をより効果的に読むポイント 「図解即戦力 Google Cloud のしくみと技術がこれ 1 冊でしっかりわかる教科書」とは Google Cloud の基礎知識が学べる「図解即戦力 Google Cloud のしくみと技術がこれ 1 冊でしっかりわかる教科書」が、2024 年 9 月 (電子書籍版は 8 月) に出版されました。 こちらの書籍は Google Cloud のパートナーエンジニアと Google Cloud のパートナーである grasys さんの共著となっており、実際に Google Cloud を現場で使用しているプロフェッショナルの視点で初学者・中級者向けに書かれています。そのため、本書は これから業務で Google Cloud を使用する上で必要な知識 がまとめられた
現場から学ぶMLOps: MonotaROでの実践的アプローチ～オンライン推論編～ - MonotaRO Tech Blog
はじめに こんにちは。MonotaROで機械学習エンジニア兼、Tシャツのモデルを務めている新卒3年目の長澤です！ 最近は健康のためにスポーツをしているのですが、そのスポーツの疲れで日々が辛くなってきました。観戦と自分で身体を動かす方の割合(重み)をバンディットを使ってうまく最適化していきたいこの頃です。 今回は、自分がここ1,2年(2023~2024)で取り組んできたMonotaROにおけるMLOpsの取り組みについて、実例を交えながら紹介します。MLOpsの実例はあまり世の中に出回っていないので、一つの事例として読んでもらえれば嬉しいです。 はじめに この記事で紹介すること この記事で紹介しないこと MonotaROにおける機械学習エンジニア パーソナライズドランキングとは MLOpsに取り組むにあたっての背景と課題 MLOpsのプロジェクトスタート時 MLOpsとりあえず始めてみる期
Vueで Webコンポーネントを作って Reactで使う / 20241030-cloudsign-vuefes_after_night
ZOZOMETRYでのマルチテナントシステム設計のアプローチ 〜テナント間分離の変遷〜 - ZOZO TECH BLOG
目次 目次 はじめに 我々のチームについて ZOZOMETRYについて ZOZOMETRYでのBtoB開発で取り入れたこと プールモデルによるマルチテナント管理 Cognito+DBによるユーザー情報の管理 RLSによる行単位でのデータアクセス制御 RLSの利用を見送った理由 理由1 : コネクションプールの管理 理由2 : O/RマッパーでのRLSの利用 DDDにおけるテナントのアクセス制御 MySQLを採用した理由 AWS Auroraとの互換性 PostgreSQL独自の機能の不使用 チームの経験と学習コスト 計測プロダクトとの整合性 PostgreSQLを採用したいケース Gitの運用フロー まとめ 最後に はじめに こんにちは。計測プラットフォーム開発本部バックエンドブロックの髙橋です。 先日、ZOZOMETRYという新規サービスをローンチしました。 corp.zozo.com
toastyは先日tokioから発表されたORMです。 tokio.rs このORMは現状開発段階のもので、まだ実用に耐えうる段階にはないとGitHubには書かれています。というか、crates.ioにはダミー用関数が用意されているだけで、プロジェクトの依存に追加したとしてもまだ何もできません。現時点で対応しているのはsqliteとDynamoDBのようで、他のデータベースないしはCassandraなどには今後対応予定とのことです。async対応しています。また、SQLとNoSQL対応しているとなると、両者を抽象してくれるなにかかと思われるかもしれませんが、両者に対する操作を抽象してくれるわけではありません。 toastyの特徴 特徴としては、toastyというファイルにスキーマ定義を書き、toasty cliを実行すると、専用のRustコードが生成されるという点でしょうか。そして、生成さ
Amazon Aurora Limitless Databaseの3種類のテーブルの違い ~ Standard/Sharded/Reference ~ | DevelopersIO
Amazon Aurora Limitless Databaseの3種類のテーブルの違い ~ Standard/Sharded/Reference ~ AWSの提供する分散データベースAmazon Aurora Limitless Databaseには3種類のテーブルタイプが存在します。 Standard : 特定のシャードに保存されるデフォルトのテーブルタイプ Sharded : 複数のシャードに分散されるタイプ Reference : すべてのシャードにレプリケートされるタイプ 複数の Sharded テーブルを同じシャードキーで管理すると、 Collocatedタイプとなります。これらの違いを確認します。 サンプルスキーマ 検証のために、ECサイトを想定したAWSが提供する次のLimitless Database用のスキーマを活用します。 このサンプルでは、一度Standardテーブ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【教材まとめ】これ全部やったら流石に誰でもつよつよAIエンジニアになれる - Qiita
生成AI/LLMを使ったウェブサイト開発 - laiso
カイ二乗検定は何をやっているのか｜コグラフ株式会社 データアナリティクス事業部
先輩社員がどうやって不具合を解決しているのか - Qiita
Repro で遭遇した Aurora MySQL にまつわるトラブル 5 選 - Repro Tech Blog
顧客が本当に必要だったもの - パフォーマンス改善編 / Make what is needed
サクッと始めるRAG開発【LangChain / Python】
オイ、そこのSELECT COUNT。余計な数え上げに意味なんかねえ - inSmartBank
ODBCドライバーとは？ ODBCの仕組みからドライバーの使い方まで解説！
Laravelが如何にダメで時代遅れかを説明する - Qiita
39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools
Laravelが如何にダメで時代遅れかを説明する - Qiita
【無料】エンジニアの評価シートサンプルと書き方｜制度の作り方や基準を紹介
DuckDB で JSON Lines 形式のログを精査する
私の心を揺さぶったプログラミング言語 - ABAの日誌
DuckDB-Wasm + DuckDB-Spatial = Webブラウザ上で完結する地理空間情報分析
無料でローカルにWordPress環境を構築する「Studio」レビュー
「Wayback Machine」のInternet Archiveから3100万人のユーザーデータ漏えい
プログラミングの楽しさを思い出した Kaigi on Rails 2024
ActiveRecord SQLインジェクションクイズ (Rails 7.1.3.4)
tokioから発表された新しいORM「toasty」を触ってみる - Don't Repeat Yourself