HTMLをDBみたいに使えるスゴイライブラリ『htmlSql』を CakePHPで使う - h2ospace - builder by ZDNet Japan
APIやRSSなどを提供しているサイトは、情報を簡単に扱うことができますが、例えば Yahoo!の検索結果とか、mixiのニュースとか、あるサイトの一部を取り出したいことってよくあります。（とはいえ、著作権違反には注意 そんな時、PHPのライブラリである「htmlSql」を利用すると便利。このライブラリに、ファイルでもURLでも文字列でも、HTMLで作られたものなら何でも与えると、解析して取り出しやすくしてくれます。しかも、その取り出し方はSQL！ 例えば、「id属性が’test’の p要素の内容を取り出したい」という場合には、次のようなSQLを使います。 SELECT text FROM p WHERE $id=="test" 超パワフル。ということで、これを CakePHPで利用するためのテクニック。 まずは、ダウンロードしたファイルの中から次のファイルを「app/vendors」フォ
MySQLハックの最前線が垣間見えた 「DeNA Technology Seminar #2」
ディー・エヌ・エーは29日、技術セミナー「DeNA Technology Seminar #2」を開催した。ソーシャルプラットフォームの裏側にフォーカスして3 月に開催されたセミナーに続き、2回目の開催となる。今回のテーマは「MySQL」。社外の講師も交え、モバゲータウンの膨大なトラフィックを支えるディー・エヌ・エーならではの実践的なチューニングネタ、ハックネタが紹介された。 ディー・エヌ・エーは29日、技術セミナー「DeNA Technology Seminar #2」を開催した。ソーシャルプラットフォームの裏側にフォーカスして3月に開催されたセミナーに続き、2回目の開催となる。今回のテーマは「MySQL」。社外の講師も交え、モバゲータウンの膨大なトラフィックを支えるディー・エヌ・エーならではの実践的なチューニングネタ、ハックネタが紹介された。 アプリに変更を加えずにDBの分散管理を実現
今夜こそわかる安全なSQLの呼び出し方 ～ 高木浩光氏に聞いてみた
「安全なSQLの呼び出し方」というSQLのセキュリティに焦点を当てたドキュメントが、2010年3月にIPA（独立行政法人情報処理推進機構）から公開された。 これは2006年1月から提供されている、Webサイト開発者や運営者向けのセキュアWebサイト構築のための資料「安全なウェブサイトの作り方」の別冊として書かれたものである。「安全なウェブサイトの作り方」が92ページなのに対して、SQLインジェクションについてだけで40ページもの分量がある。なぜこんなに分厚いのだろうか。 このドキュメント作成に協力したという、独立行政法人産業技術総合研究所 情報セキュリティ研究センターの高木浩光氏にお話を伺うことができた。高木氏は個人ブログ「高木浩光＠自宅の日記」で、セキュリティ関連の問題を追求する論客としても知られている。筆者も以前、この連載の「今夜わかるSQLインジェクション対策」の回（2006年11月
NoSQLとSQLについて - SQLer 生島勘富 のブログ
NoSQL（Not Only SQL）とは、SQLを使わないKVS（Key Value Store）などを指しますが、最近流行のキーワードです。今日はNoSQLについて。 SQLは英語であり仕様書である SQLは英語であり仕様書である。と書いてきました。 SQLは、プログラム（アルゴリズム）を組むことができない文系の事務員が、英語的記述で書けば結果が得られるというものです。SQL文中にアルゴリズムは存在しません。 例えば、次のようなテーブルをご用意ください。 TEST_TABLE ID NUMBER 主キー NAME VARCHAR(20) IDに1から1,000,000 NAME 名前のテストデータ この100万件のデータが入ったこのテーブルを １） SELECT * FROM TEST_TABLE WHERE ID = 1 ２） SELECT * FROM TEST_TABLE WHE
第1回 NoSQL、そしてCassandraとは | gihyo.jp
NoSQLミドルウェアの特徴をもう少し細かく挙げてみます。分量の都合もあり個別には触れませんが、それぞれのNoSQLミドルウェアで差別化部分に関してはかなり詳細に説明がされていますので、ぜひそちらを参照してみてください。 高速に動作する リレーションモデルではないデータモデル スケールアウト型アーキテクチャ コモディティサーバによって構築される スキーマフリー SPOF（単一故障点）を持たない 自動的に複数台へレプリケーションする イベンチュアルコンシステンシまたは一貫性の選択が可能 SQLのような強力なクエリ言語を持たず、シンプルな問い合わせしかできない Cassandraとは何か NoSQLミドルウェアの筆頭といえばGoogle BigTableやAmazon Dynamoですが、オープンソースの世界でもいろいろなものが出てきています。その中でも最近特に注目を集めているのが、Apach
まるで魔法のようなストレージエンジン？？VP for MySQLによる驚愕のテーブル操作テクニック。
先日、SPIDERストレージエンジンについて2度に渡り本ブログで紹介した（その１：Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン、その２：快適スケールアウト生活への第一歩。SPIDERストレージエンジンを使ってみよう！）が、SPIDERの作者である斯波氏は、実はもう一つ驚くべきストレージエンジンを開発している。その名も、VPストレージエンジンだ。ちょっと地味な名前だが、VPとは、Vertical Partitioning（垂直パーティショニング）の略で、複数のテーブルの上にVPストレージエンジンを被せて、垂直パーティショニング（カラムごとにデータを格納する領域を分ける）を実現するというものだ。他のテーブルの上に被せるアーキテクチャをとっているという点では、VPとSPIDERの発想は同じである。以下は、VPストレージエンジンの動作
Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
情報処理推進機構：情報セキュリティ：脆弱性対策 :「安全なSQLの呼び出し方」を公開
IPA（独立行政法人情報処理推進機構、理事長：西垣 浩司）は、ウェブサイトを狙ったSQL(*1)インジェクション攻撃(*2)が継続していることから、ウェブアプリケーション(*3)の安全な実装方法を解説した資料「安全なSQLの呼び出し方」を2010年3月18日（木）からIPAのウェブサイトで公開しました。 URL：http://www.ipa.go.jp/security/vuln/websecurity.html 近年、ウェブサイトを狙った攻撃が継続しています。攻撃の実例として、IPAが無償で公開している「SQLインジェクション検出ツールiLogScanner(*4)」で、「脆弱性対策情報データベースJVN iPedia(*5)」のアクセスログを解析した事例を図1に示します。 図1を見ると、2008年頃から急増しているSQLインジェクション攻撃が全体の45%、ウェブサーバのパスワードファイ
SQL (再帰 CTE) 基礎文法 (?) 最速マスター - ぐるぐる～
なんか流行ってるらしいので。 他の言語をある程度知っている人はこれを読めば SQL (再帰 CTE) の基礎をマスターして SQL (再帰 CTE) を書くことができるようになります。 ・・・嘘ですごめんなさい。 ぜんてい いつもの通り、SQL Server 2005/2008 でしか試してないよ！ 基礎 コメント コメントは 2 とおり -- 一行コメント /* 複数行 コメント */ 基本形 -- 1から10までの数字を表示するSQL WITH -- 入力は1から10まで Input(f, t) AS ( SELECT 1, 10 ) , Seq(n) AS ( -- 最初はInputのf SELECT f FROM Input UNION ALL -- それ以降は1ずつ数値をインクリメント SELECT n + 1 FROM Seq WHERE -- n + 1がInputのtより小
SQLiteで学ぶデータベース操作の基礎 - Perl入門ゼミ
Perl › データベース › here Perlを使ってデータベースは初級者が学ぶには今までは少し敷居の高いものでした。まずSQLの実行環境を構築する必要がありすぐに勉強したいという需要を満たすことはできていませんでした。 ですが現在はこの状況は変わりました。現在ではActivePerlをダウンロードするとDBD::SQLiteと呼ばれるSQLiteを利用するためのモジュールがパッケージングされています。 またデータベースに接続するためのユーザから見たインターフェイス部分にあたるDBIというモジュールもパッケージングされています。 ですのでActivePerlの最新版をダウンロードするだけで何の環境構築も行わないでデータベースを学習し始めることができます。 DBD::SQLiteとDBIがインストールされていることを確認する まずDBD::SQLiteとDBIがインストールされているかど
HSQLDB
latest official release 25 October 2024 Download latest version 2.7.4 Latest version 2.7.4 works with JDK 8 and above. The How To pages are regularly updated and include a list of useful links. commercial support: Commercial support for business users of HSQLDB is available from the HyperXtremeSQL web site. A higher-performance database engine based on HSQLDB, with several additional features such
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
SQLを使うなら理解しておきたいアルゴリズム？(というか、select文の書き方) - where・order by・join・group by - 何かしらの言語による記述を解析する日記
SQLのselect文の書き方の覚書です。 なお、本文中の動作確認は「mysql Ver 5.0.67」で行いました。 2009/10/05 13:30 追記 予想外に多くのアクセスとブクマをいただき、正直驚いております。 本文はsqlの内部処理には一切触れておりません。ごく普通のsqlの書き方にのみ触れています。 釣りのつもりはありませんが、釣られたと感じた方にはごめんなさい。 目次 説明に使用するデータ構造？(というかテーブル) 抽出(where句) ソート(order by句) ソートの例(昇順) ソートの例(降順) 結合(join句) 集計(group by句) 関連記事 説明に使用するデータ構造(というかテーブル) select文の使い方を説明するために、以下のようなテーブルを使います。 create table countries ( name nvarchar(30), cu
SQLiteのGUI管理ツール4種類+1 - takayukisの日記
いずれも未評価。blog等のうわさとソフトウェアのWebサイトの情報をもとに書いています。 SQLite Control Center - SQLiteCC 日本語版あり。 updateで強制終了してしまうらしい。→Develogger: SQLiteのデータを操作するツール 最終更新日は2006年6月3日。もはやメンテされていないと思われる(ロードマップから推測)。 SQLite Database Browser 完成度は実用レベルらしい。スクリーンショットを見る限りでは、UIがイマイチか。 最終更新日は2005年4月5日。メンテされていない？ TkSQLite - mynote Tcl/Tkによるツール。スタンドアロン版あり。 開発者が日本人。したがって日本語版あり。 最終更新日は2008年3月23日。 SQLiteStudio ユーザーインターフェースがMDI形式。1.0.0がリリー
SQL Server データベースの作り方
SQL Server データベースの作り方 ■以下のソフトがインストールされていることを確認する。なければインストールする。 ｽﾀｰﾄ -> すべてのプログラム -> Microsoft SQL Server 2005 を確認する。 1) SQL構成ﾏﾈｰｼﾞｬｰ（SQL Server Configuration Manager） 2) Microsoft SQL Server Management Studio Express ■SQL Serverの認証を許可する 1)SQL構成ﾏﾈｰｼﾞｬｰ（SQL Server Configuration Manager）を起動する。 2)SQL Server 2005 ﾈｯﾄﾜｰｸの構成 -> SQLEXPRESS のﾌﾟﾛﾄｺﾙ -> 名前付きﾊﾟｲﾌﾟ を「有効」にする ■データベースを作成する 1)Microsoft SQL Server
Excel を使って SQL をリファクタリング - ぐるぐる～
結果が変わっていないことを確認しながら SQL をリファクタリングするために、EXCEL - マクロ・シート間の照合 - Office系ソフト - 教えて！gooを参考にマクロを組んでみた。 Function HasDiff_Expect_Actual() As Boolean HasDiff_Expect_Actual = False ' 必要な情報の取得 Set EXPECT_SHEET = ActiveSheet.Previous Dim END_OF_ROW, END_OF_COL As Integer END_OF_ROW = EXPECT_SHEET.UsedRange.Rows.Count END_OF_COL = EXPECT_SHEET.UsedRange.Columns.Count ' アクティブ部分を比較 Dim col, row As Integer For col
MySQL とメモリに関するまとめ - LukeSilvia’s diary
前回のエントリーデータベースを用いたセッションデータ管理についてで、MySQL とメモリの関係について良く分からない部分があると書きました。 実はここに関する理解はかなり曖昧な部分があって、調査して追記します。とくにメモリ利用量について。mysqld のプロセスが利用できるメモリの上限が、32bit OS の場合は3G 程度ということは、innodb_buffer_pool_size もこの制限を受け、これについての警告が、先に紹介したリファレンスマニュアルのものという理解だけどいいのだろうかというのが1つ。 2 つ目は、この理解があっているとすると、4G 以上のクラスのメモリをつんだサーバをDB サーバとして利用する場合、64 bit OS でないとリソースの有効活用ができないか。それとも、先に書いたとおり、OS レベルのキャッシュとして利用できるから、結果としてデータファイルを読み込む
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
A5:SQL Mk-2 - フリーの汎用SQL開発ツール/ER図ツール
A5:SQL Mk-2は複雑化するデータベース開発を支援するために開発されたフリーのSQL開発ツールです。 高機能かつ軽量で、使い方が分かりやすいことを目標に開発されています。 SQLを実行したり、テーブルを編集するほかに、SQLの実行計画を取得したり、ER図を作成したりすることが出来ます。 特徴・機能 OCI接続・直接接続・ADOまたはODBCを介したDBへの接続 Oracle DatabaseはOCI経由の接続・直接接続が出来ます。 PostgreSQLとMySQLは直接接続が出来ます。 Microsoft SQL Serverは、OLE DBプロバイダを直接呼び出した接続ができます。 IBM DB2は、ODBCドライバを直接呼び出した接続ができます。 その他のデータベースは、ADOまたはODBCを利用して接続します。 Oracle, PostgreSQL, MySQLは、A5:SQL
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQL Server 2008 データベースの作成 | IISでWebアプリケーション