はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに データベースに接続するとき、「ODBCドライバーをインストールしてください」と言われた経験はないでしょうか。言われるがままにインストールして、接続できたらそれで終わり。ODBCドライバーが裏側で何をしているのか、なぜそれが必要なのかを深く考える機会は意外と少ないものです。 この記事では、ODBCドライバーがどのような役割を担っていて、なぜこの仕組みが必要なのかを概念レベルで解説します。データエンジニアリングの文脈でODBCがどう活用されているかにも触れていきます。 対象読者: データベースを日常的に使っているが、ODBCの仕組

この段階的なアプローチにより、「まず安全に生データを保存」→「必要に応じて品質を上げて利用」という柔軟な運用ができます。 レイクハウスのメリット レイクハウスの主なメリットを整理します。 統一アーキテクチャ DWHとデータレイクを別々に運用する必要がなくなります。データのコピーや移動が減るため、整合性の確保もしやすくなりますね。 コスト効率 クラウドオブジェクトストレージを活用するため、DWH専用ストレージに比べて大幅にコストを抑えられます。コンピュートとストレージの分離により、必要なときだけ処理能力をスケールアウトできます。 ガバナンスとデータ品質 ACIDトランザクション、スキーマの強制、アクセス制御など、DWH並みのガバナンスをデータレイク上で実現できます。 BI と AI/ML の両立 構造化データ向けのBIクエリも、非構造化データを扱うMLワークロードも、同じ基盤上で実行できます

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに ― クラウドサービスが多すぎて混乱していた頃 データエンジニアとして働き始めた頃、一番困ったのが 「クラウドサービスが多すぎて、何がなんだかわからない」 ということでした。 EC2、Lambda、S3、EBS、EFS、RDS、Aurora、Redshift、Glue、Athena……。AWSだけでも200以上のサービスがあり、GCPやAzureまで含めるともはやカオスです。 ドキュメントを読んでも「なぜこのサービスが存在するのか」がピンとこない。似たようなサービスの違いが説明できない。そんな状態がしばらく続きました。 しかし、あるとき 「物理層」と「論理層」 という視点を手に入れてから、クラウドの全体像が一気にスッキリ整理できるようになりました。 この記事では、その考え方を私なりにまとめてみました。 私自身がデータエンジニアなので多少データよりの記事になっています。

はじめに 生成AIの普及により、OpenAI・Anthropic・Google などのAPIキーを扱う開発者が爆発的に増えました。それに伴い、APIキーの流出事故も急増しています。 セキュリティ企業 GitGuardian が公開した「State of Secrets Sprawl 2025」レポートによると、2024年にGitHub上の公開リポジトリで検出されたハードコードされた機密情報は約2,380万件にのぼり、前年比 25%増 という深刻な状況です。 さらに恐ろしいことに、2022年に漏洩した秘密情報の70%が、2025年現在も有効なまま放置されています。 本記事では、APIキーがなぜ流出するのかを最新データと実例を交えて整理し、今日からできる対策をまとめます。 対象読者 APIキーを扱うすべての開発者 バイブコーディング（AI駆動開発）を始めたばかりの方 チームのセキュリティ意識を

はじめに プログラミングの世界には、長年の経験から生まれた「原則」や「考え方」が数多く存在します。これらは先人たちが失敗と成功を繰り返す中で見出した、いわば 開発の知恵 です。 この記事では、プログラミングを学び始めた方や実務に入ったばかりの方を対象に、知っておくと確実に役立つ有名な原則を10個厳選して紹介します。 原則を知っておくメリットは大きく3つあります。 コードの質が上がる： 何が「良いコード」なのかの判断基準が持てる コードレビューで会話ができる： 「これはDRYに反していませんか？」のように共通言語で議論できる 設計の判断に迷わなくなる： 「どう書くべきか」に対する指針が持てる それでは、1つずつ見ていきましょう。 有名な書籍「リーダブルコード」を一部参考にしています。 より詳細を知りたい方はご一読をおすすめします。 1. DRY — Don't Repeat Yourself

はじめに データ基盤の選定で必ず名前が挙がる Databricks と Snowflake。機能比較の記事は多く存在しますが、「なぜその機能があるのか」「なぜそのアーキテクチャなのか」という 思想レベルの違い を理解している方は意外と少ないのではないでしょうか。 本記事では、両社の設計思想の違いにフォーカスし、それぞれが「データの世界をどう変えたいのか」を読み解いていきます。 1. 生まれの違い ― 出発点が決定づけた思想 両社の思想を理解するには、まず「誰が、どんな課題を解決するために作ったのか」を知ることが重要です。 Snowflake ― 「DWHの再発明」から始まった Snowflakeは2012年、元OracleのエンジニアであるBenoit Dageville氏とThierry Cruanes氏が創業しました。彼らは大企業のDWH統合案件を支援する中で、オンプレミスDWHの高額

はじめに：この記事で得られること Webスクレイピングに挑戦したことがあるエンジニアなら、一度は「IPブロック」「CAPTCHA」「JavaScript動的レンダリング」という壁にぶつかったことがあるのではないでしょうか。 本記事では、世界20,000社以上が利用するWebデータプラットフォーム Bright Data を使って、これらの課題をどう解決できるのかを 公式ドキュメントとリソースに基づいて 体系的にまとめます。 対象読者 Webスクレイピングに興味があるが、ブロック対策に苦労している方 BeautifulSoupやSeleniumでの自前実装に限界を感じている方 AI/MLのためのデータ収集パイプラインを効率化したい方 Webスクレイピングを行う際は、対象サイトの利用規約（Terms of Service）やrobots.txtを必ず事前に確認し、許可された範囲で実施してくださ

はじめに 転職や異動のたびに「立ち上がりが早いですね」と言われることが多いので、自分がやっていることを言語化してみました。 はじめに オンボーディングの速さは、エンジニアとしての評価に直結します。早く戦力になれれば、チームからの信頼も得やすく、その後の仕事がスムーズになります。 私が意識しているのは 「情報」「人」「組織」「自分」 の4つの軸です。順番に解説していきます。 1. 情報収集の仕組みを作る ドキュメントは全部AIに食わせる 自分が困ったときに聞ける仕組みを最初に作ります。私は専用のGitHubリポジトリを作成し、社内ドキュメントをまとめてClaude（またはCursor）から参照できるようにしています。

はじめに 「このSQL、何をやっているかわかりますか？」 レビュー依頼を出したとき、先輩エンジニアから返ってきたのはこの一言でした。自分では完璧だと思っていたコードが、他人から見れば解読困難な暗号のようなものだったのです。 その原因は WITH句 を知らなかったこと。たったこれだけの知識不足が、チーム全体に迷惑をかけました。 この記事では、WITH句を知らなかったことで起きた失敗と、基本知識を体系的に学ぶ重要性についてお話しします。 WITH句を知らなかった時の失敗談 複雑化するサブクエリ地獄 当時、私は社員データの集計機能を開発していました。要件はシンプルです： 「各部署の平均給与と、その部署に所属する社員一覧を表示する」 WITH句を知らなかった私は、サブクエリをネストさせたSQLを書きました： SELECT e.name, e.department, e.salary, dept_a

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに Reactでアプリケーションを開発していると、コンポーネントの整理方法に悩むことはありませんか。「どこに何を置くべきか」「どう分割すればいいのか」といった疑問は、プロジェクトが大きくなるほど重要になってきます。 この記事では、Reactのコンポーネント設計でよく使われる6つの代表的なパターンを紹介します。それぞれのパターンの概要、メリット、そして小〜中規模開発での実践的な使い方を解説していきますね。 この記事で学べること 各設計パターンの基本的な考え方 小〜中規模プロジェクトでの現実的な使い方 パターンを組み合わせた実践的な構

はじめに Reactでアプリケーションを開発する際、適切なコンポーネント設計は保守性と拡張性を大きく左右します。この記事では、小規模アプリケーション（コンポーネント数が10〜30程度、状態管理が比較的シンプルなアプリケーション）における効果的なコンポーネント設計パターンを紹介します。 また、アプリケーションが成長した際に検討すべき設計上の改善点についても触れていきます。 小規模アプリケーションにおける設計の基本原則 小規模アプリケーションでは、シンプルさを保ちながらも、将来の拡張に備えた設計が重要です。以下の3つの原則を押さえておきましょう。 単方向データフロー Reactの最も重要な設計思想の一つが単方向データフローです。データは常に親コンポーネントから子コンポーネントへpropsとして渡され、子コンポーネントから親への通知はコールバック関数を通じて行います。 // 親コンポーネント f

Reactの基本概念を理解しよう はじめに Reactは現在、世界で最も人気のあるフロントエンドライブラリの一つです。この記事では、Reactを初めて学ぶ方に向けて、Reactの基本的な概念をわかりやすく解説します。コンポーネント、JSX、アプリケーション構造など、Reactを理解する上で欠かせない要素を順番に見ていきましょう。 Reactとは 世界で最も人気のあるフロントエンドライブラリ Reactは、Meta社(旧Facebook)が開発したJavaScriptライブラリで、ユーザーインターフェース(UI)を構築するために使用されます。WebサイトやWebアプリケーションの画面を効率的に作成できることから、多くの企業や開発者に支持されています。 Reactの特徴は、コンポーネントを組み合わせてUIを構築する点にあります。HTML、CSS、JavaScriptを組み合わせて「コンポーネン

はじめに Webアプリケーションを開発する際、セキュリティ対策は避けて通れない重要なテーマです。攻撃者は常に脆弱性を探しており、一度セキュリティホールが悪用されると、個人情報の漏洩やシステムの改ざんなど、深刻な被害につながる可能性があります。 本記事では、Web開発者が最低限知っておくべき代表的な攻撃手法とその対策、さらに開発時のベストプラクティスについて解説します。基本的なセキュリティ知識を身につけることで、より安全なWebアプリケーションを構築できるようになりますね。 代表的な攻撃手法と対策 SQLインジェクション SQLインジェクションとは SQLインジェクションは、SQLのクエリに悪意のあるコードを挿入し、不正にデータベースを操作する攻撃手法です。攻撃者は入力フォームやURLパラメータなどを通じて、想定外のSQL文を実行させることができます。 攻撃の仕組みと具体例 例えば、ユーザー

1. はじめに Web開発の世界では、さまざまなフレームワークやライブラリが日々進化を続けています。2025年現在、フロントエンドとバックエンドそれぞれに多くの選択肢があり、プロジェクトに最適なものを選ぶことが成功の鍵となりますね。 本記事では、現在最も使われている主要なWebフレームワークについて、その特徴や違いを詳しく解説します。 1.1 本記事で取り上げるフレームワーク フロントエンド React Vue.js Next.js バックエンド Express.js (Node.js) Django (Python) FastAPI (Python) Ruby on Rails (Ruby) また、これらのフレームワークと密接な関係にあるTypeScriptについても解説します。 1.2 フレームワークとライブラリの違い フレームワークとライブラリは混同されがちですが、明確な違いがありま

はじめに 昨今のAIブームは凄まじいですよね。毎日のようにモデルの進化があり、カンファレンスでもAIの話ばかり。しかしいろんな事例を聞いているとそれって御社のパフォーマンスですよね？っていう話も多く、自分が手元で動かしている所感と大きく乖離がある部分も多いです。今回はその中の一つである単純作業のAIによる代替について考えてみます。 私が現場を見て考えるAIに代替にできない理由 100%は保証できない まずLLMのハルシネーションを100%無くす方法は2025/10/18時点で見つかっていません。現在のLLMの裏側にあるtransformerの仕組みを考えても確率的にありそうな言葉を並べているだけなので、今後transformerアーキテクチャの刷新がされない限り、これは変わらないと思います。 さてここで人間のやっている単純作業を置き換えることを考えると100%は保証できないものをどうやって