SQLiteデータベースとしてのWebクロールデータ「warcdb」のインストール
SQLiteデータベースとしてのWebクロールデータ「warcdb」のインストールについて解説しています。 「WarcDB（https://github.com/Florents-Tselai/warcdb）」は、Webクロールデータの共有とクエリを容易にするファイル形式です。なお、WARC（Web ARChive）ファイル形式は、複数のリソースレコード（データオブジェクト）を連結するための規則を提供しており、Commoncrawl、WebRecorder、Archive.org、世界中の図書館などの多くの組織は、このwarc形式を使用してWebデータをアーカイブ及び保存を行っている。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■warcdbをインストールするwarcdbをインストールを行いま
S3に保存されているSQLiteファイルをクエリするPythonコンテキストマネージャー「sqlite-s3-query」
S3に保存されているSQLiteファイルをクエリするPythonコンテキストマネージャー「sqlite-s3-query」のインストールについて解説しています。 「sqlite-s3-query（https://github.com/michalc/sqlite-s3-query）」は、Amazon S3上に保存されたSQLiteファイルに問い合わせるためのPythonコンテキストマネージャです。ファイル全体のダウンロードを避け、クエリごとに複数のHTTPレンジリクエストを使用するのが特徴。 ■Python 今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認） ■sqlite-s3-queryをインストールするsqlite-s3-queryをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWi
XLSX形式のファイルをSQLiteに変換するオンラインツールを使用する
XLSX形式のファイルをSQLiteに変換するオンラインツールを使用してみます。 「Convert XLSX to SQLite online – RebaseData（https://www.rebasedata.com/convert-xlsx-to-sqlite-online）」というオンラインツールが公開されていたので、これを用いてXLSX形式のファイルをSQLiteに変換してみます。 ■XLSX形式のファイルを用意する今回は、XLSX形式のファイルをSQLiteに変換してみますが、その前にExcel（XLSX形式）ファイルを用意します。 用意するにあたり、Webブラウザを起動し、Googleドライブから「スプレッドシート」を新規で作成しました。それが上記の「test」というスプレッドシートです。このスプレッドシートを編集画面のメニューの「ファイル」から「ダウンロード」で「Micr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
