Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
iOSでSQLiteを使う - おかひろの雑記
iOSでSQLiteを使う場合はFMDBを使うと便利です。 FMDB GitHub - ccgus/fmdb: A Cocoa / Objective-C wrapper around SQLite 設定 SQLiteを使うためには、「Link Binary With Libraries」にlibsqlite3.0.dylibを追加する必要があります。 ダウンロードしたFMDBのzipを解凍し、srcの中にあるFMDB関連のh,mファイルをプロジェクトに追加します。 例では、Frameworksグループの中にfmdbグループを作成し、その中に追加しました。 ファイルを追加する時は、Xcodeで右クリックして「Add Files to "XXXXX"」から行ったほうが無難です。 Finderからドラッグ＆ドロップでファイルを追加して、ビルド時に次のようなエラーが発生した場合、「Build P
iPhoneアプリでFMDBを使ったときのメモ - あられねこのめも
FMDBを使うとSQLiteを簡単に扱うことができます。 iPhoneアプリでSQLiteを使用する必要があったので、この辺りを参考に導入しました。 SQLiteを利用する方法 iPhone Programming Tutorial – Creating a ToDo List Using SQLite Part 1 準備 FMDBをiPhoneアプリで使うには、以下の準備が必要です。 ・SQLiteをアプリから使えるようにする。 ・SQLiteのDBファイルをアプリのリソースに追加する。 ・FMDBライブラリを組み込む SQLiteをアプリから使えるように準備 Xcode Framework > 追加 > 既存のフレームワーク より、libsqlite3.0.dylibを追加する SQLiteのDBファイルをアプリのリソースに追加 SQLiteのツールなどでデータベースファイルを作成し、
iPhoneでSQLite3を使う2(DBファイルのオープンとトランザクションとは) - 黒色槍騎兵のiPhoneアプリ開発日記
前回、twitterDB.sqliteというDBファイルを作成するところまでやりました。今回は、プログラムからテーブルを使える状態にする準備部分の実装をやります。 まず、前回作った「twitterDB.sqlite」を、xcodeプロジェクトに追加してください。 それと、#import の追加。そして、Frameworkにlibsqlite3.dylibを追加します。下記は、xCode4での追加イメージです。Link binary with librariesの＋ボタンを押して、libsqlite3.dylibを選択します。 次に接続情報の取得です。プログラムからSQLを使って、テーブルに対するデータの追加や、中身を検索するためには、DBファイルを開くという操作が必要です。開くことでDBとの接続情報が取得でき、以降はこの接続情報をもとにsqlite3に操作の要求を投げることができるようにな
iOS で SQLite – FMDB の使い方 | アカベコマイリ
iOS で SQLite を簡単に扱うためのライブラリ、FMDB についてまとめる。 もくじ FMDB とは？ FMDB の仕様準備 データベース作成と open/close CREATE INSERT DELETE SELECT トランザクション 型 サンプル プログラム Lita FMDB とは？ FMDB は、SQLite を iOS の Objective-C で扱いやすくするための Wrapper ライブラリ。 GitHub で公開されている。 GitHub – Social Coding ccgus/fmdb インターフェースや使用感は、JDBC や ADO.NET に近い。よって、これらを利用したことがあれば、スムーズに理解できるだろう。 FMDB の仕様準備 まず、FMDB を利用したいプロジェクトで SQLite 用のライブラリを有効にする。手順は以下。 Xcode 左
SQLiteを利用する方法 - プログラミングノート
下記サイトを参考に自分でも試してみました。 超簡単にSqliteをつかう iPhone Programming Tutorial - Creating a ToDo List Using SQLite Part 1 利用手順 1. DBファイルとテーブルの作成 2. 必要なライブラリ(FMDB for iPhone, libsqlite3.0.dylib)を追加 3. FMDBのメソッドを利用してSQLiteを利用 DBファイルとテーブルの作成 まずはデータベースとテーブルを作成します。 $ sqlite3 sample.db sqlite> CREATE TABLE TEST( ...> id INTEGER PRIMARY KEY, ...> name VARCHAR(255) ...> ); という風にコマンドでやってもいいですが、ファイルだけ作ったら後はLitaというAIRのSQL
iPhoneアプリ：SQLiteを使ってみる | ノンプログラマが始めたiPhoneアプリ開発メモ
一定期間更新がないため広告を表示しています
超簡単にSqliteをつかう
iPhoneで超簡単にSqliteをつかってみた。 http://iphone-dev.g.hatena.ne.jp/ktakayama/20080922/1222096534 などを見るとすごく面倒そうなので、適当なObjective-cのライブラリをひろってきただけ、ともいう。 ステップ SqliteのDBを生成し、Xcodeに登録する SqliteのライブラリをXcodeに登録する SqliteのObj-cライブラリであるFMDBをDlしてきて、Xcodeに登録する 色々コーディング DBを作成し、ライブラリを追加するところまでは http://icodeblog.com/2008/08/19/iphone-programming-tutorial-creating-a-todo-list-using-sqlite-part-1/#create-db が（英語だけど）参考になります。
[objective-c] FMDatabaseの使い方メモ – taichino.com
ここ２、３週間久々にiphoneを弄っているのですが、GCが入ってない環境でのプログラミングはやらないと衰えるんですね。LLに慣れると辛いです。細かい事にまで気を使う必要があるので疲れますね。ブログ書きながらリハビリしようと思います。 さてiPhoneではバックエンドにSQLiteを使えるんですが、そのラッパーのFMDatabaseの使い方をまとめておきます。 インストールとプロジェクト設定はこちらのページを参考にさせて頂きました。ソースをコピーして、プロジェクトにライブラリを追加しましょう。 今回このインターフェースを使って行う処理は、概ね以下のSQLの通りです。テーブル作成後、CRUD操作を一通り行っています。 -- CREATE TABLES CREATE TABLE authors( id INTEGER PRIMARY KEY AUTOINCREMENT, name TEXT )
Uncaught exception thrown by finalizerの対処方法 | public static void main
問題 Androidのlogcatに「Uncaught exception thrown by finalizer (will be discarded)」が表示される。 INFO/dalvikvm(25511): Uncaught exception thrown by finalizer (will be discarded): INFO/dalvikvm(25511): Ljava/lang/IllegalStateException;: Finalizing cursor android.database.sqlite.SQLiteCursor@43782c18 on null that has not been deactivated or closed INFO/dalvikvm(25511): at android.database.sqlite.SQLiteCursor.
SQLiteのinsertが遅いですって - ちりもつ
こんにちは!こんにちは! って書くととんでもないtipsを披露しそうに見える。がそういうことではない。 初心者がデータベースに触ってみたお話。 SQLiteDatabase データベースってなんかよくわからないよね。で、Androidアプリを作りながらよくわからないなりに色んなところを参考にしてデータベース触ってるんですよ。 で、ちょっと初回起動で一気にデータを作るようなものを書いてたんですがどうも遅い。String4カラムぐらいが200件ちょっと。 insert以外もいろんな処理があるので適当なんだけどざっくり言って60s〜70sぐらいかかってました。いくらプログレスダイアログ表示させてるからと言ってこの間ユーザに待たせるなんてのはアレな話ですね。しかもこれはとりあえずのデータで、実際はもっと大量に処理しなきゃいけない。 なんか別の実装方法考えなきゃいけないかなーと思ってたらtwitte
Androidアプリ入門 No.75 SQLiteの使用 トランザクション - コンピュータクワガタ
SQLiteの使用 トランザクション SQLiteでもトランザクション処理が可能である。今までの例であると明示してトランザクションを示していなかったため、自動的にコミットされている格好となっていた。DbTest.javaを以下のように変更して、明示的にトランザクション処理をする。今回は明示的に例外を起こしてロールバックされることを確認する。 package sample.dt; import android.app.Activity; import android.database.Cursor; import android.database.SQLException; import android.database.sqlite.SQLiteDatabase; import android.database.sqlite.SQLiteStatement; import android.
throw Life - AndroidでSQLiteを利用した実用的な入力補完の実装
<?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:orientation="vertical" android:layout_width="fill_parent" android:layout_height="fill_parent"> <TextView android:layout_width="fill_parent" android:layout_height="wrap_content" android:text="[Tags DB]" /> <TextView android:id="@+id/saved_text" android:layout_width="fill_parent" a
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://net-newbie.com/sqlite/lang.html
Question about FMDB and JOIN clause