SQLiteデータベースとしてのWebクロールデータ「warcdb」のインストール
SQLiteデータベースとしてのWebクロールデータ「warcdb」のインストールについて解説しています。 「WarcDB（https://github.com/Florents-Tselai/warcdb）」は、Webクロールデータの共有とクエリを容易にするファイル形式です。なお、WARC（Web ARChive）ファイル形式は、複数のリソースレコード（データオブジェクト）を連結するための規則を提供しており、Commoncrawl、WebRecorder、Archive.org、世界中の図書館などの多くの組織は、このwarc形式を使用してWebデータをアーカイブ及び保存を行っている。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■warcdbをインストールするwarcdbをインストールを行いま
S3に保存されているSQLiteファイルをクエリするPythonコンテキストマネージャー「sqlite-s3-query」
S3に保存されているSQLiteファイルをクエリするPythonコンテキストマネージャー「sqlite-s3-query」のインストールについて解説しています。 「sqlite-s3-query（https://github.com/michalc/sqlite-s3-query）」は、Amazon S3上に保存されたSQLiteファイルに問い合わせるためのPythonコンテキストマネージャです。ファイル全体のダウンロードを避け、クエリごとに複数のHTTPレンジリクエストを使用するのが特徴。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■sqlite-s3-queryをインストールするsqlite-s3-queryをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
