Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
iOSアプリのデータ操作はMagical Recordでマジ簡単！
iOSアプリのデータ操作はMagical Recordでマジ簡単！：生産性ガチアゲなオープンソースiOSライブラリ（3）（1/2 ページ） ゼロからiOS SDK開発を始める新規開発者でも超高速・高品質な開発を可能にするオープンソースのライブラリを目的別に紹介していく連載です。実際にライブラリを組み込みながら技術的な側面も併せて詳細に説明していきます。今回は、アップル製O/RマッピングのCoreDataを使いやすくするObjective-Cライブラリについて、概要や使い方を紹介します。 アプリの品質と生産性の向上もライブラリが助けてくれる アプリ開発を行ううえで絶対的に重要な要素の1つとして「品質」の問題があります。どんなに見た目が美しいアプリを作成しても、どんなに最新の技術を駆使しても品質が悪ければ良いアプリとはいえません。 品質といってもその定義は非常に広く、見る人によってその定義は異
超簡単にSqliteをつかう
iPhoneで超簡単にSqliteをつかってみた。 http://iphone-dev.g.hatena.ne.jp/ktakayama/20080922/1222096534 などを見るとすごく面倒そうなので、適当なObjective-cのライブラリをひろってきただけ、ともいう。 ステップ SqliteのDBを生成し、Xcodeに登録する SqliteのライブラリをXcodeに登録する SqliteのObj-cライブラリであるFMDBをDlしてきて、Xcodeに登録する 色々コーディング DBを作成し、ライブラリを追加するところまでは http://icodeblog.com/2008/08/19/iphone-programming-tutorial-creating-a-todo-list-using-sqlite-part-1/#create-db が（英語だけど）参考になります。
[objective-c] FMDatabaseの使い方メモ – taichino.com
ここ２、３週間久々にiphoneを弄っているのですが、GCが入ってない環境でのプログラミングはやらないと衰えるんですね。LLに慣れると辛いです。細かい事にまで気を使う必要があるので疲れますね。ブログ書きながらリハビリしようと思います。 さてiPhoneではバックエンドにSQLiteを使えるんですが、そのラッパーのFMDatabaseの使い方をまとめておきます。 インストールとプロジェクト設定はこちらのページを参考にさせて頂きました。ソースをコピーして、プロジェクトにライブラリを追加しましょう。 今回このインターフェースを使って行う処理は、概ね以下のSQLの通りです。テーブル作成後、CRUD操作を一通り行っています。 -- CREATE TABLES CREATE TABLE authors( id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT )
Remedie: Building a desktop app with HTTP::Engine, SQLite and jQuery
7. Acme-DateTime-Duration-Numeric Acme-Module-Authors Acme-Sneeze Acme-Sneeze-JP Apache-ACEProxy Apache- AntiSpam Apache-Clickable Apache-CustomKeywords Apache-DefaultCharset Apache-GuessCharset Apache-JavaScript- DocumentWrite Apache-No404Proxy Apache-Profiler Apache-Session-CacheAny Apache-Session-Generate-ModUniqueId Apache-Session-Generate-ModUsertrack Apache-Session-PHP Apache-Session-Serializ
Safari 3.1 に実装された「Client-side database storage (SQL API)」とは何か？ - IT戦記
はじめに Safari 3.1 には Client-side database storage （SQL API とも呼ばれています。）という新しい仕様が実装されました。 というわけで、この新しい API について色々調べたことを簡単にまとめておきます。 Client-side database storage が使えるブラウザ 2008 年 03 月 27 日現在では、 Safari 系のブラウザのみです。 Safari 3.1 WebKit Nightly Client-side database storage とは Selectors API とは HTML5 で定義された仕様です。詳細に関してはこちらをどうぞ。 簡単に説明すると JavaScript 内でリレーショナルデータベースを使えるということです。 もっと簡単にイメージするために、実際のコードを示すとこんな感じです。 va
【コラム】OS X ハッキング! (267) SQLite用にCSVファイルを料理する - 弁当もOK! | パソコン | マイコミジャーナル
XULRunnerをベースに開発された「Songbird」の最新リリース候補が出ています。安定性とかiPodのサポートとか、iTunesと比べると見劣りする部分も多いのですが、以前に比べてグッと品質が向上しています。このジュークボックスソフト、ウォークマンをサポートするようになれば、かなり人気が出ると思うのですが。OS Xな皆さんも、一度試す価値アリです。 さて、今回は「CSVファイル」について。OS Xとは特に関係のない、カンマ区切りでデータが並んだテキストファイルの一種だが、データそのものに属性を持たせる必要がないデータベースソフトには必要にして十分。特定のOS / アプリケーションに依存しないだけに、異種DB間でのデータのやり取りには最適なファイルフォーマットだったりする。それをOS X標準装備の「SQLite」で使おう、という主旨だ。 sqlite3コマンドの使い方 sqlite3
【コラム】OS X ハッキング! (236) SQLiteが広げるこれからのアプリケーション | パソコン | マイコミジャーナル
Appleの07年度第3四半期決算が発表されました。地域別のMacの出荷台数を見ると、欧米のほうが日本より伸び率が高いんですね。話はガラッと変わりますが、ウチの3歳の娘が、幼稚園で覚えてきたのか事あるごとに「欧米か!」を連発して困ります……。 さて、今回は「SQLite」について。Tiger/Spotlightの登場以降、急速に増えつつあるSQLite内蔵アプリケーションの一端を知ろう、という主旨だ。 SQLiteを使うというトレンド SQLiteは、スタンドアロンのデータベース管理ソフト(DBMS)。名前が示すとおり、PostgreSQLやMySQLなどと同じSQL構文を使うDBMSだが、サーバとしてシステムに常駐することはなく、ライブラリとして他のアプリケーションから呼び出される形での利用が一般的。大規模なDBの管理こそ不向きだが、SQLの命令やトランザクション処理を実行できる。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ccgus/fmdb: A Cocoa / Objective-C wrapper around SQLite