今回は郵便番号から住所を検索するツールを作ってみよう。そのために、郵便局のWebサイトで配布されているCSV形式のファイルを利用して独自のデータベースを作る。たくさんのフィールドを持つCSVファイルから必要な項目だけを抽出する方法や、データベースに保存する方法を紹介する。 郵便番号から住所を手軽に検索できるツールを作ろう Pythonで身近になったAIを実践する鍵はデータ処理にあり ちょっと前まで専門家の領域だと思われていた機械学習、深層学習などAIによる処理がPythonのおかげでとても身近になった。Pythonのscikit-learnやTensorFlowなどのライブラリを使えばデータの自動分類ツールや予測ツールを自作できる。 ただし、そのためにはそれらAIのライブラリに読み込ませるために、しっかり整ったデータを用意する必要がある。大抵の場合、現実に提供されるデータをそのままライブラ
日本語の全文検索ぜんぶんけんさく (full-text search, FTS) を、高速に実行する Python コード例です。 Python の標準モジュール sqlite3 を使用しました。 sqlite3 から、SQLiteエスキューライト の全文検索 (FTSエフティーエス) を使ってみました。 試したのは、FTS4エフティーエスフォー と FTS5エフティーエスファイブ の２種類です。 ところで、SQLite の読み方は色々ありました。YouTube では、エスキューライト、エスキューエライト、スィクライト、スィクエライト、などの発音を聞きました。 全文検索の使い方（FTS の使い方）ですが、テキストを N-Gram にして、FTS4 か FTS5 の仮想テーブルに INSERT するだけでした。 （2022年2月5日 追記）MeCab の使い方も書きました。 MeCab で
ソーシャルメディアやウェブアプリケーションでは、ユーザーがコンテンツに対して「いいね」や「いいね」ボタンを押す機能が一般的です。これはユーザーエンゲージメントを向上させ、コンテンツの評価や共有を促進するための重要な機能です。今回は、Pythonを使用してシンプルないいね機能を実装する方法について説明します。 いいね機能の基本的な仕組み いいね機能の基本的な仕組みは、ユーザーがコンテンツに対していいねを押すと、その情報がサーバーに送信され、データベースに反映されるというものです。具体的には、各コンテンツに一意なIDがあり、ユーザーがボタンを押すとそのIDとユーザーIDがデータベースに保存されます。 データベースの設計 まず、いいね情報を格納するためのデータベースを設計します。以下は、SQLiteを使用した簡単な例です。 import sqlite3 conn = sqlite3.connec
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
CREATE文とINSERT文のサンプル それでは接続からSQL実行までのサンプルです。以下のサンプルはカレントディレクトリ直下にexample.dbというdbファイルを作成し、CREATE文でテーブルを作成後、INSERT文でデータを挿入してみます。 import sqlite3 # 接続。なければDBを作成する。 conn = sqlite3.connect('example.db') # カーソルを取得 c = conn.cursor() # テーブルを作成 c.execute('CREATE TABLE articles (id int, title varchar(1024), body text, created datetime)') # Insert実行 c.execute("INSERT INTO articles VALUES (1,'今朝のおかず','魚を食べました'
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロからはじめるPython(68) 郵便番号CSVファイルをデータベースに保存して活用しよう
【Python】SQLite で日本語を全文検索するコード例【N-Gram, FTS4/FTS5】
Pythonでいいね機能を実装する方法 - Python転職初心者向けエンジニアリングブログ
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
SQLite3入門 | Python学習講座