【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
無料で商用にも使える日本の郵便番号APIをリリースしました
jp-postal-code-api https://github.com/ttskch/jp-postal-code-api 日本の郵便番号から住所のデータを取得できるWeb APIです。 GitHub Pagesを使用して静的なJSONファイルとして配信している ため、可用性が高いのが特徴です。また、オープンソースなのでクライアントワークでも安心してご使用いただけます。もしリポジトリの永続性や GitHub Pagesの利用制限 が心配な場合は、ご自由にフォークしてご利用ください。 日本郵便によって公開されているデータ を元に住所データのJSONファイルを生成して配信しています。JSONファイルには日本語表記・カナ表記・英語表記の住所データが含まれています。ただし、以下の注意事項があります。 大口事業所個別番号の住所データは以下のように出力されます（元データ の内容がそうであるため）
話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
GPTが人知れず既存の名刺管理アプリを抹殺していた話 - Qiita
抹殺は言い過ぎかもしれませんが簡易な名刺管理アプリであれば自作で十分という時代がきていたようです これで紙の名刺からはきっとバイバイできるでしょう！ この記事執筆以降claude3 opus, GPT-4oの発表があり、ますます途中でOCRを入れる意味が薄くなったものと思われます 私もGPT-4oを早速試してみたいと思います！ 名刺管理アプリ作ってほしいといわれた それは2/22のお話。 ことの発端は別の部署からかかってきた一本の電話でした。 新規事業の部署でいろいろな取引先様と付き合いがあるものの、紙の名刺が非常に多く管理に困っているとのことのことです。 私は小売業に勤務しているしがない一社員で、現在Eコマースの戦略立案に関する部署に所属しています。 電話先の方は、以前一緒の部署で勤務したことがある方です。現在新規事業のプロジェクト推進をしており、冒頭のような課題感を持っているため既存の
TypeScript のような構文で OpenAPI のスキーマを定義する TypeSpec
import "@typespec/http"; using TypeSpec.Http; model User { id: string; name: string; birthday?: utcDateTime; address: Address; } model Address { street: string; city: string; state: string; zip: string; } @route("/users") interface Users { list(@query limit: int32, @query skip: int32): User[]; create(@body user: User): User; get(@path id: string): User; } openapi: 3.0.0 info: title: (title) versio
GPTsでNotion APIを叩くようにしてみたらやばかった
OpenAI の DevDay で発表された、GPTs は、特定のタスクに特化したカスタムモデルを作成できる ChatGPT Plus で利用できる新しい機能です。作った GPTs は、自分だけで使うのはもちろん、友達にシェアしたり。ウェブ上で公開することもできます。 この GPTs の機能である Actions を使うと、OpenAPI Schema を元に、外部 API を ChatGPT エージェントが実行するようになります。 この機能を使って Notion などの様々なサービスと GPTs を繋げてみたので、そのデモと GPTs のつくりかたを解説します。 デモ Notion は、API と呼ばれる開発者が Notion のデータを操作し、外部アプリケーションやサービスと連携するための機能が公開されています。そこで、Notion API の OpenAPI スキーマを書いて検索、デ
GPT-3.5-Turbo / GPT-4-Turbo 1106のJSONモードの使い方｜shi3z
日本時間未明(午前三時)ものすごいスピードで語られたOpenAI初の開発者向けイベントDevDayで発表されたGPT-4-TurboとGPT-3.5-TurboによるJSONモード。 これはものすごく強力なんだけど、Python APIによる使い方がどこにも描いてないので試行錯誤の末見つけましたので共有いたします。 from openai import OpenAI import openai import os openai.api_key = "<APIキー>" client = OpenAI() def gpt(utterance): #response = openai.chat( response = client.chat.completions.create( #model="gpt-4-1106-preview", model="gpt-3.5-turbo-1106", r
OpenAI Function callingで複雑なタスクを簡単に実現 - Qiita
Function callingの登場 6/13ごろにOpenAI社から発表された新しいgpt-3.5-turboのインスタンスにFunction callingという機能が追加され話題を呼んでいます。このFunction calling、非常に強力な機能なのですが、仕組みがいまいちピンとこないといった方も多いのではないでしょうか。筆者もその一人で、ドキュメントを3回くらい読んでもしっくり来なかったのですが、実際にFunction callingを実装してみてなるほど、これは凄いな、となったので紹介します。 ここでは、具体的なソースコードを紹介しながら、実際に動作するサンプルを作っていきます。 TL;DR ソースコードだけ見られればいい！という方は以下へ https://github.com/canada/openai-function/blob/master/app.py ソースコードを
ChatGPTはどこまで雑な仕様でコードを書けるのかLINE Botを作らせてみた(GPT-4) - Qiita
最近すっかりChatGPT(GPT-4)にハマっています。 GPT-4にバージョンアップして、日本語でのやり取りがとても自然になったのにも正直驚いていますが、それとプログラマー的にはもっと衝撃なのが「かなり雑な仕様でもちゃんと動くコードを書いてくれる」こと。 ということで、今回はChatGPTがどこまで雑な仕様でコードを書けるのか試してみることにしました。 題材としては、この間作ったAIレシピbotのGAS版を作らせてみることにしました。 実験の手順としては、まずはカッチリ仕様を提示するバージョンで試してみて、徐々に提示する仕様を雑にしてみようかと思います。ChatGPTは文脈を記憶する特性があるので、毎回チャットをリセットして記憶を消去しています。使用したのはWeb版のChatGPT Pro(GPT-4)です。 結論を先に書くと、かなりヤバい結果です。めちゃくちゃ雑なほぼ丸投げの指示でも
ChatGPT APIを使ってキー・バリューなど扱いやすい出力を得る方法
プロンプトエンジニアリングの記事です。 ChatGPTなどGPT-3.5系である程度安定して、加工しやすい出力を得るためのノウハウができたので書きました。土日に別の実験をしていて副産物的に得られたものです。 サンプルコードはTypeScriptですが、プログラミング言語に依存した話ではありません。簡単な正規表現による文字列置換のサンプルです。 出力を得られると何が嬉しいのか？ 自然言語を自然言語で加工して、キーと値のペアを取得する、JSONを取得するなどすることができるようになるため、テキストを処理できる汎用ミドルウェアとしてLLMを使えるようになります。おそらくLLMを本格的にソフトウェアに組み込んでいく上で、基礎テクニックとなるでしょう。 異なる複数のプロンプトをつなぐときにも大切なテクニックです。 基本的な考え方 GPT-3.5系ではフォーマットを提示するとそのフォーマットに沿ったテ
OpenAI API の Whisper API の使い方｜npaka
「OpenAI」の 記事「Speech to text」が面白かったので、軽くまとめました。 1. Whisper API「OpenAI API」の「Whisper API」 (Speech to Text API) は、最先端のオープンソース「whisper-large-v2」をベースに、文字起こしと翻訳の2つのエンドポイントを提供します。 ・音声を文字起こし ・音声を英語に翻訳して文字起こし ファイルサイズは最大25MBで、以下のファイル形式をサポートしています。 mp3, mp4, mpeg, mpga, m4a, wav, webm 2. 使用料金使用料金は、以下で確認できます。 3. 音声を文字起こしGoogle Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install openai(2) 環境変数の準
ChatGPT APIを使ったLineBotの作り方を、人格の与え方まで完全解説【プログラミング不要】｜ChatGPT研究所
元々書いてあるコードを全て削除したのち、以下のコードを貼り付けます。 function doPost(e) { const props = PropertiesService.getScriptProperties() const event = JSON.parse(e.postData.contents).events[0] let userMessage = event.message.text if (userMessage === undefined) { // スタンプなどが送られてきた時 userMessage = 'やあ！' } const requestOptions = { "method": "post", "headers": { "Content-Type": "application/json", "Authorization": "Bearer "+ prop
GPT-3のAPIを使ってエヴァンゲリオンのMAGIシステムを実装してみた。（Pythonで解説）｜es
ChatGPTが話題沸騰ですね。今回はエヴァンゲリオンに登場するMAGIシステムをGPT-3のAPIで実装した有料記事を書いてみました。ぜひチェックしてみてください！(サンプルコードはPython) MAGIシステムを一言で言うと 性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステム エヴァのMAGIシステムをGPT3で作ってみた 深津氏の記事に触発され、GoogleColabで実装してみました。（面白い記事を書いてくれた深津氏に感謝です。）詳しくは↓ 以下が手順 OpenAIのアカウントにログイン。 2.API keysを発行しましょう。 ここからがコード。 3.openaiをインストール pip install openai4.まずはサンプルコードで疎通確認をしましょう。ちなみに、今回使用するコードは以下の繰り返しになります。 imp
ChatGPTをグーグルスプレッドシートに連携する方法【コピペでOK】
ステップ①：「ChatGPT for Google」をインストール まずは、Chromeの拡張機能である「ChatGPT for Google」をインストールしましょう。 すでに50万人以上のユーザーがインストールしています。 ステップ②：OpenAIのAPI Keyを取得 OpenAIに登録してAPI Keysページにアクセスします。 「Create new secret key」をクリックします。 生成されたAPI keyをコピーします。緑のボタンをクリックすると、簡単にコピーできます。（この後使います） ステップ③：Apps Scriptにコードをコピペ グーグルのスプレッドシートを開きます。 タブにある「拡張機能」から「Apps Script」をクリックします。 画面が表示されたら、以下のコードを貼り付けます。 「SECRET KEYを入力」の箇所には、先ほどOpenAIで取得した
【SwitchBot】雨が降りそうなときに廊下ライトの色を変えてお知らせする機能を作る
やったこと 「午後から雨予報なのに、天気予報を見逃していて、家を出る時に傘を持って行くのを忘れてしまった！」 そんな経験はありませんか？（私はよくあります。朝に晴れている時によくやります 😇）というわけで今回は、雨の予報を絶対に見逃さないように、午後の降水確率に応じて廊下のライトの色を変える機能を作ってみました。さすがにライトの色が違えば気づくはず！ スマートライトは SwichBot のライトを利用します。API経由で色を制御可能で、それでいて他社製のスマートライトより値段が安いのでオススメです。 完成イメージ 以下のイメージのように、降水確率が高くなるにつれてライトが青くなっていきます。これを毎朝7時に定期実行し、その時点での午後の降水確率を取得してライトを点灯させます。 スマートライトの点灯イメージ 実装の流れ 以下のような流れで実装します。スマートライトの初期登録は完了済みとしま
個人開発で「Excel専用のWebAPI」を作りました
どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
30分でGoogleスプレッドシートを使ってgeojsonを返すAPIを公開する - Qiita
サンプルデータの準備 データはおでかけマップさんのデータをお借りしました https://www.odekakemap.com/station/ A列を駅名,B列を緯度、C列を経度とします Google Action Script スプレッドシートのツール -> スクリプトエディタを選択します 以下のコードをコピペ function getData(sheetName) { var sheet = SpreadsheetApp.getActive().getSheetByName(sheetName); var rows = sheet.getDataRange().getValues(); return rows.map(function(row) { var obj = {}; obj.type = "Feature" obj.properties = {}; obj.properti
GoogleのAIとNTTのAIを融合したら最強の業務カイゼンツールが爆誕した - Qiita
作ったもの 紙の書類などスキャンして管理してると ↓こんな感じでファイル名がカオスになりがち… そこで、今回のツールを一発たたくとこうなります。 何となく中身が推測できるようになりました。 このツールは何？ 請求書・名刺・Webページなどのpdf・画像ファイルの中身を読み取り、重要(っぽい)ワードで自動リネームするツールです。 内部では以下を行ってます。 ファイルをGoogle Driveにアップロード (G Suiteが理想) OCRされたテキストを抽出 重要部分をNTTコミュニケーションズの固有表現抽出APIで抽出 (企業名とかの専門用語辞書使うと精度上がるっぽいけど無料版だと使えない…) 日付、会社名、人名を結合したファイル名を作りリネーム 動作確認環境 Mac 10.14.3 Python 3.7.2 動かし方手順 1.ファイルをGoogle Drive APIでアップロードできる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GoogleスプレッドシートにChatGPTの回答を表示させる関数の作り方 - あなたのスイッチを押すブログ
GoogleスプレッドシートのAPI化サービス -SSSAPI-
