巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
PSequel, a PostgreSQL GUI Tool for macOS
PostgreSQL GUI tool for macOS PSequel provides a clean and simple interface for you to perform common PostgreSQL tasks quickly. FAQWhy yet another PostgreSQL GUI client? Why not just pgAdmin?Well, pgAdmin is great for its feature-richness. However, I found its UI is clumsy and complicated. I know there is a list of PostgreSQL GUI Tools. However, they are either web-based, Java-based* or don't supp
そろそろSQLインジェクションについてひとこと言っておくか。 - だらだらやるよ。
ちょっとSQL Injectionについて未だに情報が少ないのにいらついていたので。 というか対策ばっかりで何ができますよーってのはほとんどログインできますよーくらいじゃねえか。 具体的な攻撃方法もわからずにぼんやり対策してるだけの人多いような気がするのでちょっと攻撃方法書いとく。 SQLインジェクションってなに？ アプリのユーザ入力領域からSQL文を注入されてしまうこと。 サーバでこういうコード書いてると、user_nameに「' or '1'='1';#」とか書かれて素敵なことになる。(mysqlの場合) String sql = "SELECT * FROM users WHERE = name = '"+user_name+"' AND password='"+user_password+"'"; 簡単に言うと、開発者の意図しないSQLをユーザの入力によって行う攻撃手法ですね。 S
SQLEditor for Mac OS X
Apple Silicon Native Intel Mac x86-64 Native Beautiful user interface Dark Mode Support Design Report generator Javascript plugin system Faster and more efficient And no subscription! SQLEditor makes database design easier Add tables and columns, indexes and foreign keys with the click of a mouse. See everything that you've created displayed in front of you. You can zoom out to see an overview of
A Visual Explanation of SQL Joins
11 Oct 2007 A Visual Explanation of SQL Joins I thought Ligaya Turmelle's post on SQL joins was a great primer for novice developers. Since SQL joins appear to be set-based, the use of Venn diagrams to explain them seems, at first blush, to be a natural fit. However, like the commenters to her post, I found that the Venn diagrams didn't quite match the SQL join syntax reality in my testing. I love
Sequel Pro
Full MySQL Support Sequel Pro is a fast, easy-to-use Mac database management application for working with MySQL databases. Perfect Web Development Companion Whether you are a Mac Web Developer, Programmer or Software Developer your workflow will be streamlined with a native Mac OS X Application! Flexible Connectivity Sequel Pro gives you direct access to your MySQL Databases on local and remote se
HeidiSQL - MariaDB, MySQL, MSSQL, PostgreSQL and SQLite made easy
What's this? HeidiSQL is free software, and has the aim to be easy to learn. "Heidi" lets you see and edit data and structures from computers running one of the database systems MariaDB, MySQL, Microsoft SQL, PostgreSQL and SQLite. Invented in 2002 by Ansgar, HeidiSQL belongs to the most popular tools for MariaDB and MySQL worldwide. Download HeidiSQL, read further about features, take part in dis
CREATE TABLE構文
CREATE TABLE 構文で使用できる様々なオプションを説明します。 MySQL5.0.16対応 カラム定義 AUTO_INCREMENT CREATE TABLE new_table ( i integer AUTO_INCREMENT ); オートインクリメントカラムを定義します。 NULL / NOT NULL CREATE TABLE new_table ( i integer NOT NULL ); カラムのNULL可否を設定します。 デフォルトはNULL(NULL可)です。 DEFAULT CREATE TABLE new_table ( i integer NOT NULL DEFAULT 10 ); カラムのデフォルト値を定義します。 COMMENT CREATE TABLE new_table ( i integer COMMENT 'column_comment'
MySQL, SQLite, PostgreSQL web client - MyWebSQL
Simplified Database Web Administration. For MySQL, SQLite and PostgreSQL databases. Manage your databases over the web using a secure and intuitive interface with blazing fast performance MyWebSQL is the ultimate desktop replacement for managing your MySQL databases over the web. With interface that works just like your favourite desktop applications, you don't need to keep switching over webpages
今夜分かるSQLインジェクション対策 ― ＠IT
【関連記事】 本内容についてのアップデート記事を公開しています。あわせてご確認ください（編集部） Security&Trustウォッチ（60） 今夜こそわかる安全なSQLの呼び出し方 ～ 高木浩光氏に聞いてみた http://www.atmarkit.co.jp/fsecurity/column/ueno/60.html Webアプリケーションに対する攻撃手法の1つであるSQLインジェクションの存在は、かなり広く知られるようになった。しかし、その対策はまだ本当に理解されていないように思える。フォームから渡された値の特殊文字をエスケープしたり、PHPのmagic_quotes_gpcといった自動エスケープ機能をオンにするだけで対策したつもりになっていないだろうか。 基本はもちろん、セカンドオーダーSQLインジェクションやマルチバイト文字を利用したSQLインジェクションの攻撃パターンや、その対
[ThinkIT] 第5回：インジェクション攻撃 (1/4)
今回はWebアプリケーションの脆弱性における4番目のカテゴリー「インジェクション攻撃」について解説する。 ※注意： この記事にはWebアプリケーションの脆弱性を解説する必要上、攻撃手口に関する情報が含まれています。これらの手口を他者が運営するWebサイトに向けて仕掛けると、最悪の場合刑事罰および損害賠償請求の対象となります。脆弱性の調査・検証は、必ずご自身の管理下のコンピュータシステムおよびローカルエリアネットワークで行ってください。この記事を参考にした行為により問題が生じても、筆者およびThinkIT編集局は一切責任を負いません。 インジェクション（injection）とは、内部に何かを注入することを意味する言葉だ。インジェクション攻撃とは、プログラムがごく普通に受け取る入力データの中にセキュリティを侵害するようなコマンドを巧みに混入し、それをコンピュータ内部で機能させてしまう攻撃手口の
Yesod Web Framework for Haskell
Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. Why Yesod? Turn runtime bugs into compile-time errors Yesod believes in the philosophy of making the compiler your ally, not your enemy. We use the type system to e
SQL入門
あなたがSQLの初心者であれ、 SQLをちょっと復習したいデータ ウェアハウス業界の経験豊かな人であれ、いいところに来られました。この SQL教材のサイトは、よく使われる SQL コマンドが掲載してあります。このサイトは以下のように分かれます。 - SQL コマンド: SQL がどのように保存、読み込み、又はデータベース内のデータ処理に使われること。 - テーブル処理: データベース内のテーブル作成にSQL がどのように使われること。 - SQL プログラミング: 当該教材に提示される SQL プログラミングを示すページ。 各コマンドについては、あらかじめ、当該プログラミングを示し、説明します。それから、そのコマンドの使い方をよく理解させるように、例を一つ挙げます。このサイトにおけるすべての教材を読み終えたとき、 SQL プログラミングについて、大まかな理解ができるはずだと思います。 そし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to select distinct for one column and any in another column?
Osquery
GitHub - harelba/q: q - Run SQL directly on delimited files and multi-file sqlite databases