Pandas の練習がてら、勉強会のトレンドを探ってみた - 技術をかじる猫
この辺の続きです。 white-azalea.hatenablog.jp ４月の勉強会の開催状況と、事前申し込みの状況を眺めてみたが正解。 勉強会情報を拾ってくる 前回の流れですが、２サイト以上でやるので、少しだけ汎用化を考えてみた。 調べてみたら、ATND と COMPASS のAPI仕様がほぼ同一だった。 まずは共通の定義を用意して import requests import sys class ClassRoom: def __init__(self, title, limit, accepted, waiting): def or_zero(v): if isinstance(v, int): return v return 0 self.title = title self.limit = or_zero(limit) self.joins = or_zero(accepted
全文検索エンジンを作ろうと思って、まずはクローラーを作ってみた - 技術をかじる猫
何を使ったのかと言うと、crawler4j を使って、対象のサイトをかたっぱしから動き回る実装をしてみた。 github.com ただし、ディレイとか入れなくて DOS 攻撃になるんじゃねーかとか不安もあるので、応用するときは自己責任で。 ※ スレッド数指定でマジでサーバに負荷かけられてしまうのでマジ自己責任で 使い方は簡単で、libraryDependency に crawler4j を突っ込むところから始める。 libraryDependencies ++= Seq( "edu.uci.ics" % "crawler4j" % "4.1", // crawler "com.typesafe" % "config" % "1.3.0" ) そしたら、src/main/resources/application.conf ファイルを作成して、動作設定を記述する。 crawler { bas
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
