ChatGPTで独自データを学習させて回答してもらう方法 - Qiita
ChatGPT,使っていますか？ ChatGPTは文章を要約したり、プログラム作ってくれたり、一緒にブレストしてくれたりして本当に便利なのですが、社内情報などの独自データに関する情報については回答してくれません。 プロンプトに情報を記述して、そこに書かれている情報から回答してもらう方法もありますが、最大トークン4000の壁がありますので、限界があるかと思います。 この課題についてなんとかならないかと考えて色々と調べて見たところ、解決する方法が見つかり、いろいろと検証をして見ましたのでその結果をシェアしたいと思います。 サンプルコード（GoogleColab） 百聞は一見にしかずということで、実際に試したサンプルは以下にありますので、まずは動かしてみることをお勧めします。 このコードを上から順番に動かすと、実際にインターネット上から取得したPDFファイルに関する内容をChatGPTが回答して
Macにseleniumをインストールして、pythonでお試し利用する - Qiita
目的 Macにseleniumをインストールして、pythonでお試し利用した際の備忘録です Selenium/Google Chrome/Google Chromeドライバをインストール Seleniumをインストール Google Chromeをインストール 以下を参考にGoogle Chromeをインストール https://www.google.com/chrome MacにGoogle Chromeをインストールする方法 Google Chromeドライバをインストール Google Chromeのバージョンを確認して、 Google Chromeと同じバージョンのドライバをインストールする Google Chromeのバージョンを確認 Google Chromeメニュー → Google Chromeについて （例） Google Chrome は最新版です バージョン: 81
PythonでExcel作業を自動化するOpenPyXLのはじめての使い方
こんにちは。はじめまして。かつひさ(@katsuhisa__)です。 異なるExcelファイル間で、地道なコピー＆ペーストを繰り返してデータを移動しなければならない時や、特定のセルを目視で見つけなければならない時ってありませんか？ 本連載では、PythonのOpenPyXLモジュールを使い、このような面倒で退屈なExcel作業をPythonで自動化する方法をお伝えします。 連載一記事目となる今回は、PythonでExcelファイルを操作するモジュールOpenPyXLのはじめての使い方（初心者向け）をご紹介します！ OpenPyXLとは？ OpenPyXLは、Excelの読み書きをPythonで行うためのモジュールです。 例えば、以下のような操作ができます。 �セルの値をPythonで読み書きする 複数のExcelファイル間でデータをコピーする グラフを追加する Excelの操作を自動化する
Python初学者のためのPandas100本ノック - Qiita
Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして
S3に置いたPDFをテキストに変換するLambda関数+LambdaレイヤーをCFnで構築する | DevelopersIO
S3 バケットに PDF を置いたらその内容のテキストを処理して結果をまた S3 に置く、という機能を実装する機会がありました。勉強もかねて調べながらやっていたところで、ある程度かたちになってきたので、コアとなるところをご紹介します。 はじめに 故あって S3 バケットに PDF を置いたらその内容のテキストを処理して結果をまた S3 に置く という機能を実装する機会がありました。勉強もかねて調べながらやっていたところで、ある程度かたちになってきたので、コアとなるところをブログにしておきたいと思います。 Goal 下記のような状態をゴールとします。 特定の S3 バケットに PDF を置いたら、テキストデータだけ抽出して別の S3 バケットに保存される環境を作る PDF -> テキストの変換は AWS Lambda を使う（言語は Python 3.6 ） AWS Lambda Layer
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
Pythonを用いたWebスクレイピングの開発ノウハウ〜スポーツデータの場合(野球風味) - Lean Baseball
クローラー／Webスクレイピング Advent Calendar 2016 - Qiitaのクローザーとしてマウンドに立ちます@shinyorke(しんよーく)ともうします. このエントリーではみんな大好きな野球(メジャーリーグ)を題材に, Webスクレイパーを開発するコツ スポーツデータ特有の困った話 メジャーリーグベースボールのスクレイパーをガチで開発した話 を,自分の実体験を元に紹介します. 年末年始?来年とかに, 「俺もスポーツデータで機械学習やるぞ！」 という方(と自分)の参考になればと幸いです.*1 というわけでプレイボール⚾ 対象読者&取りあつかわないこと 対象読者 スクレイピングおよびPythonのプログラミング初〜中級者 何かしらのテーマ,特にスポーツでWebスクレイピングをされたい方 データに強いPythonでスクレイピング&分析したい方 とにかくスポーツ,特に球技が大
【windows7】pythonでChromeのブラウザ操作を自動化 ～Selenium WebDriverを利用 - Qiita
環境 windows7 32bit python2.7.13 事前準備 python2.7インストール https://www.python.org/downloads/ で、「Download the latest version for Windows」の「Download Python 2.7.13」をクリック。 ダウンロードした「python-2.7.13.msi」をダブルクリックしてインストーラを実行。 デフォルトだと「C:\Python27」にインストールされるはず。 環境変数の設定 インストールしたpythonのpathの設定を行う。 Windowsスタートメニューから、 [コンピューター] -> [プロパティ] -> [システムの詳細設定] -> [環境変数] で、システム環境変数の「Path」の末尾に「;C:\Python27」を追加。 pythonのインストール確認 コ
pythonでslack APIを試してみる - kazu22002の技術覚書
slackを使っているが、もっと情報を集めるツールとしてみたい。 メールで送信をしようとしたが、知識不足でドメイン周りでエラーがひたすら出た。（gmailです） まぁ、内部環境だからまともなドメインなんて取得してないですし。。。 と、そこでslackに投稿して処理の完了メッセージをやりたいな。と。 Slack APIを使ってみる。 とりあえず投稿するところまで。 APIです。 API Methods | Slack slackを利用していれば、簡単にできると思います。 手順としては、 Tokenの取得 チャンネルIDの取得 ポスト送信プログラム テスト Tokenの取得 ログインをした状態で以下のページで、参照 Slack Web API | Slack 下のほうでAuthenticationからTeamの「Create token」ボタンからtoken作成 Tokenができたら、あとで使
Selenium Web DriverのPythonバインディングを使ってブラウザを操作する - Qiita
この記事は Selenium/Appium Advent Calendar 2014 の11日目の記事です。 昨日の記事は @totutiteta さんのRobot drives on the web: Robot Framework & Selenium2Library でした。 今日はSeleniumのPythonバインディングのライブラリ selenium を使ってFirefoxを操作する方法をまとめて見ました。 またseleniumを使って操作するためのライブラリを作ってみました。 SeleniumのPythonバインディングのライブラリ selenium でFirefoxを操作してみる この記事を書いた時点での selenium のversionは 2.44.0 が最新の用です。(おそらく2.35未満のversionでは以下のcodeは動作しないと思います) 起動 まずはブラウザ
Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版）
ソース 以下のようになると思います． スクレイピングしたいページのURLと出力ファイル名を指定すると，ページのタイトルなどがJSON形式で帰ってくる仕組みです． 関数scrapingが本体です． import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
[Python] 何度も調べてしまうリスト操作をまとめてみた - YoheiM .NET
こんにちは、@yoheiMuneです。 今日はPython2系におけるリストに関する操作をブログにまとめてみたいと思います。リストはよく使いますが、よくWebで調べている気がするので、まとめることで作業効率化できたらなーと思います。 https://flic.kr/p/9nG8RA 目次 リストを生成する # 空のリストを作る >>> list01 = list() >>> list01 = [] # 初期値を指定する >>> list01 = ["a", "b", "c"] # タプルからリストを作る >>> aTapple = (1, 2) >>> list01 = list(aTapple) [1, 2] # セットからリストを作る >>> aSet = set([1,2,3,4,5]) >>> list01 = list(aSet) [1, 2, 3, 4, 5] # 文字列から作
![[Python] 何度も調べてしまうリスト操作をまとめてみた - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/480d4a49b26fafbda440eaa0d79eb08d4ead8cee/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F374.jpg)
Pythonプログラミング
全面的改訂中(Jun 2020) 不勉強のせいで、このページには不確かまたは不適切な記載を多く含んでいます。 ご迷惑をおかけいたします。 プログラミングを理解するということは、まず自分で考えてみて、プログラミング例を見て「ナルホド！」と膝を打ち、さらに自分でより一般的に利用できるように改良するプロセスを繰り返すことである。
Pythonで学ぶ 基礎からのプログラミング入門(21) オブジェクト指向について学ぼう(3)
今回は、これまで細かく説明してこなかったselfについて扱います。self自体については割りきってしまえば非常に単純明快なので、細かい話に興味がない人は最初の節のみ読んでいただければ大丈夫です。2節目以降は、かなり前の関数やモジュールの回で説明した「名前空間」と「スコープ」に関わる話となります。 メソッドのselfについて まず前回までの復習をします。Pythonのクラスのメソッドやコンストラクタでは第一引数をselfとし、それらの定義されたメソッドを呼び出す際はselfに該当する引数を指定しないのでした。 たとえば、以下のクラスのコンストラクタ__init__とmethod1の利用方法を見ればわかりますね。宣言にはselfがありますが、呼び出しにはselfに相当するものがありません。 class MyClass: def __init__(self): print('constructe
Python文字列操作マスター - Qiita
Pythonにおける基本的な文字列操作をまとめました。経験豊富な人には物足りない内容かもしれませんが... (追記2018.12.23: print の文法をPython3対応にしました。Python2でコピペしたコードが動かない場合は from __future__ import print_function をコード辺の先頭に入れてください。) Pythonの文字列 = immutable(変更不能) Pythonの文字列はimmutableなので、部分的に書き換えたいというような場合でも、 新しい文字列オブジェクトとして組み立てることになります。 たとえば、文字列置換をおこなうreplaceというメソッドは置換したあとの内容をもつ別の文字列オブジェクトを返します。 連結 連結には+演算子を使います。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python入門 : 4日間コース社内トレーニング
[python, ruby] selenium-webdriverでWebページの内容を取ってくる - Qiita![[python, ruby] selenium-webdriverでWebページの内容を取ってくる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6fc08c20eb6f5f4254d33ee679c9300a52e95986/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJTJDJTIwcnVieSU1RCUyMHNlbGVuaXVtLXdlYmRyaXZlciVFMyU4MSVBN1dlYiVFMyU4MyU5QSVFMyU4MyVCQyVFMyU4MiVCOCVFMyU4MSVBRSVFNSU4NiU4NSVFNSVBRSVCOSVFMyU4MiU5MiVFNSU4RiU5NiVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSU4RiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9OGU0ZDQzNzRjODJhZmJhOTY5YTcyNzcwYzdkNmJlY2Y%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBuYWthbWFzYXRvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MWQ4ZmQ2N2VjMTllY2M5OGFkZmEwMTM2OTY3ZWQzZg%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OT44O844OT44OD44OI%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D33767b4c232245603f2a53b3217dc7d2)
Python × Herokuで作る 雑談slack bot
https://torina.top/detail/384/
