このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設
※本記事は2020年4月に公開した内容です。 株式会社ディー・エヌ・エーのシステム本部CTO室の露木誠です。PythonやDjangoについて執筆した『パーフェクトPython』や『Django×Python』などの著書が技術系出版社から数冊出版されています。DjangoのAUTHORSファイルにも実は名前が掲載されています。 本記事では、Pythonを始めたいと思っている方向けに、Pythonの魅力をお伝えできればと思います。知っておきたいPythonの言語仕様や特徴的な考え方をご紹介しますので、参考にしてください。 Python関連のエンジニア案件を見てみる 自己紹介とPython、Djangoに関わる活動について ディー・エヌ・エーのCTO室に所属、元々は異業種からIT業界に参入 現在は、株式会社ディー・エヌ・エーのシステム本部CTO室で、エンジニア組織の課題解決を主な活動として、日
TL:DR レポジトリ https://github.com/tanakh/easy-scraper ドキュメント 背景 このところ訳あってRustでHTMLからデータを抽出するコードを書いていたのですが、 既存のスクレイピングライブラリが（個人的には）どれもいまいち使いやすくないなあと思っていました。 HTMLから望みのデータを取り出すのはいろいろやり方があるかと思いますが、 ツリーを自力でトラバースするのはさすがにあまりにも面倒です。 近頃人気のライブラリを見てみますと、CSSセレクターで目的のノードを選択して、 その周辺のノードをたどるコードを書いて、 欲しい情報を取り出すという感じのものが多いようです。 RustにもHTMLのDOMツリーをCSSセレクターで検索して見つかったノードをイテレーターで返してくれたりする、 scraperというライブラリがあります。 例えば、<li>要素
オンラインドキュメントと日本語全文検索
自社では Sphinx というドキュメントツールを利用しているのですが、残念ながらこれに付属している検索機能の日本語検索はかなり厳しいです。また残念ながら Sphinx 開発側も検索周りを改善するという予定は直近ではないようです。 そして検索というのはとても難しい技術なため自分のような素人では導入して「普通に期待する動作」をさせるまでの距離はとても遠いです。 ただ、なんとかして日本語全文検索を実現したいという思いはここ10 年くらいずっと思っていました。これは自社の Sphinx テーマを作ってくれている社員ともよく話をしていたのですが、どうしてもリソースをつぎ込めずにいました。 まとめ日本語検索に対応している Meilisearch を採用したドキュメントスクレイパーの実行は GItHub Actions (Self-hosted Runner) を採用した自社 Sphinx テーマの検
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
Rustでサイトを再実装
このサイト r7kamura.com の実装言語をRubyからRustに変えてみた。 アプリケーションの概観 このサイトには、大別すると次の6種類のルーティングパターンがある。 GET / トップページ GET /articles/:article_id 記事ページ GET /feed.xml RSSフィード GET /links リンク集 GET /sitemap.txt サイトマップ (Google Search Console等が利用する) GET /* その他の静的ファイル (CSSや画像など) Rubyの実装では、適当なRackアプリケーション + rack-captureという構成で、Webアプリケーションとして実装しつつGitHub Pagesのために静的ファイルも吐き出せるという仕組みになっていた。 Rustの実装もほぼ同じで、適当なHTTPサーバー + 適当なHTTPクラ
DJシャドウ、新たな方向性を模索し続けるヒップホップ・イノベイターの軌跡と現在地 | Rolling Stone Japan(ローリングストーン ジャパン）
ベイエリア出身のベテランプロデューサー、DJシャドウ（DJ Shadow）が新たなアルバム『Action Adventure』をリリースした。近年はラン・ザ・ジュエルズやデ・ラ・ソウルなど客演を迎えて作品を作ってきたシャドウだが、今作はゲストを入れず自身のプロダクションのみで聴かせる作品だ。歌声をサンプリングした「You Played Me」を除く全曲がインストで、ヒップホップを軸にしつつエレクトロニカやジュークなどとも隣接するシャドウの越境的なセンスが光るものとなっている。 本人のInstagramによると、この方向性の変化は「パーソナルになり、再び自分自身のために音楽を作る必要があった」「作曲全体を『自分のもの』にしたかった」ことから生まれたという。先行シングル「Ozone Scraper」のリリース時に発表したステートメントでは、「これは私と音楽との関係について。コレクター、キュレー
LINEではさまざまなFintechサービスを展開しています。今回のイベントでは、LINEの注力事業のひとつであるFintechサービスのうち、「銀行事業」「LINE証券」「LINE Pay」のSREとフロントエンド側の開発に携わるエンジニアが登壇し、LINEが金融領域で目指す将来、それぞれの業務内容や働く体制・環境などを説明しました。 LINE FintechサービスのSRE 国兼周平氏（以下、国兼）： SREチームの国兼と申します。前職はSierにいまして、金融とか公共の大小さまざまな案件を中心にいろいろ経験しました。実は前職でも証券も銀行もやったことがあります。 2018年にLINEに入社しまして、当初はLINEマンガとか、どちらかというとエンターテインメント寄りのサービスをやってみたいなと思っていました。しかし、前職で金融分野の経験がそれなりにあったということもあり、入社承諾後に熱
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
X(旧Twitter)から画像や動画をまとめて一気にダウンロードできる「twmd(twitter-media-downloader)」を使ってみた
X(旧Twitter)上で投稿されている写真や動画などのメディアをまとめてダウンロードできるツールが「twmd(twitter-media-downloader)」です。XのAPIが有料化した際、この種のツールは使えなくなったものも多いのですが、twmdはアカウントの認証情報やAPIなしでも利用できます。 GitHub - mmpx12/twitter-media-downloader: twmd: CLI/GUI Apiless twitter downlaoder. Download medias from single tweet or a whole profile. https://github.com/mmpx12/twitter-media-downloader twmdは以下のページからダウンロードできます。 Releases · mmpx12/twitter-media-
うっかり「Javaは遅いので競技プログラミングには向いていない」みたいなことを言ってしまう人が稀にいますが、世界最強の一角であるところのPetrさんはJavaで問題を解きまくっているわけです。 _,,;' '" '' ゛''" ゛' ';;,, （rヽ,;''"""''゛゛゛'';, ﾉｒ） Javaが遅いって ,;'゛ i ＿ 、＿ iヽ゛';, お前それPetrの前でも同じ事言えんの？ ,;'" ''| ヽ・〉 〈・ノ |ﾞ゛ `';, ,;'' "| ▼ |ﾞ゛ `';, ,;'' ヽ＿人＿ / ,;'_ ／ｼ、 ヽ⌒⌒ / ﾘ ＼ | "ｒ,, ｀"'''ﾞ´ ,,ﾐ゛ | | ﾘ、 ,ﾘ | | i ゛ｒ、ﾉ,,ｒ" i _| | ｀ー――----┴ ⌒´ ） （ヽ ＿＿＿＿＿＿ ,, ＿´） （_⌒
goop - Google検索結果をスクレイピング
Googleの検索結果を取得して分析に使いたいと考える人は大勢います。しかし機械的に収集しようとすると、GoogleからCAPTCHA入力が求められます。そのため自動化しづらく、手作業で収集している人も多いでしょう。 しかし裏道がありそうです。Facebookを経由するとそのトラップに引っかからないようです。その実証として作られたのがgoopです。 goopの使い方 goopで検索を行います。その際、Facebookのクッキーを適用するのがコツです。 from goop import goop page_1 = goop.search('open source', '<facebook cookie>') print(page_1) ちゃんと検索結果が返ってきます。 {0: { 'url': 'https://opensource.org/osd-annotated', 'text': '
Simple Scraper https://simplescraper.io/ Simple Scraperの特徴 「Simple Scraper」は、Webサイトのコンポーネントをクリックするだけで、APIが作れるChrome拡張機能です。 Webサイトをスクレイプする 今回は、ITnewsのサイトでAPIを作っていきます。なお、サイトによってはスクレイプ自体が禁止行為に当たりますので、利用規約等を確認の上ご利用ください。 インストールしたChrome拡張から「Scrape this website」を選択。 上部にヘッダーが表示されたら「+」ボタンを押して 取得対象のプロパティを入力します。 データを取得するコンポーネントを選択していき チェックで完了です。後は、必要なプロパティに合わせて、この作業を繰り返していきます。 取得結果を確認する 取得するフィールドの選択が終わったら、「V
Data Contract について調べた
データエンジニアリングの領域で少し前から目にするようになった “data contract” という言葉。 なんとなく今の業務で困っている課題の解決になりそうな気がしつつもよくわかっていなかったので調べてみた。 data contract について語られているいくつかのブログ記事などを参考にしている。 Data Contract とは#データの schema というのはナマモノで、いろいろな理由で変更されることがある。 schema を変更する場合、その schema のデータ (table や log) が所属する単一のビジネス機能や application のドメインで行われることになる。 そのドメインの閉じた世界で考える分にはこれで問題ないのだが、DWH や data lake など組織レベルのデータ基盤でデータを流通していた場合はその先のことも考えないといけなくなる。 このようにチ
モチベーション ドキュメントツール Sphinx から出力した HTML オンラインドキュメントに日本語対応の全文検索機能を追加したい。 結果 オンラインドキュメントと日本語全文検索 前提 日本語全文検索に対応する OSS を利用する ドキュメントツールは Sphinx を利用する Sphinx の検索バーを置き換える サーバレスの検索は諦める サーバ運用を検討する 企業利用前提なので費用がかかっても良い 検索は難しいので検索部分は頑張らない 完璧は求めない reStructuredText を解析するのではなく HTML を解析して処理する Meilisearch を採用 いろいろ調べたりしていたが Meilisearch が良さそうと判断した。 Meilisearch 日本語検索に対応している Rust で書かれており性能がでそう Rust であれば問題が起きた際、会社でなんとかできる
GitHub - elvisyjlin/media-scraper: Scrapes all photos and videos in a web page / Instagram / Twitter / Tumblr / Reddit / pixiv / TikTok
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
ChatGPTを用いた業務自動化に挑戦
はじめに 弊社のサービス、マイベストでは様々な商品やサービスの情報を比較でき、ユーザーが自分にあったものを選択できる仕組みを構築しています。 そのサービスの元となるデータベースは、次のどちらかの方法で商品情報が追加されていきます。 自社で商品を購入し、検証・測定して情報を取得 メーカー公式サイト等からの商品情報のリサーチ 前者の自社で検証・測定するという方法は、マイベストならではのオペレーションで非常に面白いです。しかし、今回は後者のWebサイトからの商品情報のリサーチに着目し、ChatGPTを用いた業務改善に取り組んだというお話になります。 リサーチ業務改善のモチベーション 先述の通り、マイベストで扱っている商品情報の一部は、Web上からのリサーチによって取得しています。このリサーチ業務は、外注スタッフが担っており、情報の質を担保するため1商品に対して調査係1人・ファクトチェック係2人の
Reduce Unwanted Traffic on Your Website with New AWS WAF Bot Control | Amazon Web Services
AWS News Blog Reduce Unwanted Traffic on Your Website with New AWS WAF Bot Control According to research done by the AWS Shield Threat Research Team, up to 51% of traffic heading into typical web applications originates from scripts running on machines, also known as bots. A wide variety of bots – some wanted, some unwanted – are hitting your endpoints. Wanted bots are crawling your sites to index t
How to Bypass Cloudflare in 2023: The 8 Best Methods - ZenRows
About 1/5 of websites you need to scrape use Cloudflare, a hardcore anti-bot protection system that gets you blocked easily. So what can you do? 😥 We spent a million dollars figuring out how to bypass Cloudflare in 2023 so that you don't have to and wrote the most complete guide (you're reading it!). These are some of the techniques you'll get home today: Method 1: Get around Cloudflare CDN. Meth
Since I was unable to travel for a couple of years during the pandemic, I decided to take my new-found time and really lean into Rust. After writing over 100k lines of Rust code, I think I am starting to get a feel for the language and like every cranky engineer I have developed opinions and because this is the Internet I’m going to share them. The reason I learned Rust was to flesh out parts of t
Fargate for EKSでチュートリアル「Kubernetesダッシュボードのデプロイ」を試してみた | DevelopersIO
「Fargate for EKS」を使用して、AWSドキュメントに用意されているチュートリアル「Kubernetesダッシュボードのデプロイ」を試してみました。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 re:Invent 2019で発表された「Fargate for EKS」を使って、AWSドキュメントに用意されているチュートリアルを試してみました。 チュートリアル: Kubernetes ウェブ UI (ダッシュボード) のデプロイ - Amazon EKS ほぼほぼチュートリアルの手順通りに進めることができましたが、1点だけ注意すべき点がありました。 以下の流れの中でご説明します。 Kubernetesダッシュボードのデプロイ 準備 各種ツールを最新に更新しておきます。 今回使用したのは以下のバージョンです。 $ eksctl version 0.15.0 $
「Webスクレイピングは違法なの？」 「Webスクレイピングのメリットや活用事例が知りたい！」 このようにお悩みではありませんか？ データ活用の前提として、まず材料となるデータがなければなりません。 そのために例えば機械学習のために大量の画像データを収集する、Webサイトから情報を集め、CSVファイルにまとめるといった作業を行いたい場合があるでしょう。 その際、役に立つのがWebスクレイピングです。 本記事ではWebスクレイピングとは何なのか、実際の実行方法、法律・マナーに反しないために押さえるべき注意点など基本事項を初心者向けにわかりやすくご紹介します。 Webスクレイピングの意味とは“データを収集し使いやすく加工すること” Webスクレイピングとは“データを収集し使いやすく加工すること”です。 英単語のscraping（こすり、ひっかき）に由来し、特にWeb上から必要なデータを取得する
除雪する前の車のイラスト。 我が家は庭に駐車スペースを作っておらず、車はいつも家の横に路上駐車しています。 ちなみにニューヨークを含むアメリカ東海岸だと、駐車禁止スペースや消火栓付近、他の家や店の駐車ゲート出入り口、時間帯によって決められた表示などがなければ、ほぼどこに車を停めても大丈夫です。 家の向いにアパートがあり、アパートの1階が駐車スペースになっているにも関わらず、いつもそこの駐車場はガラ空きです。 なぜなら駐車場の使用料は家賃とは別料金になっており、住人が駐車料金を渋ってアパートの周りに無料で停めているからです。 そしてその周辺が埋まると我が家の家の前に停めたりするので、夜になると駐車スペースの取り合いになり、運が悪いと自分たちも家から少し離れたところに停めることになります。 さて、そんな感じでみんな屋外に駐車しているのですが、雪が降れば当然車にも雪が積もります。 幸い昨日の雪は
Blueskyのbotを作る際につまったのでまとめます。 Blueskyのリンクカードとは？ TwitterのTwitterカード的なOG Image、title、descriptionがまとめて表示されるカード型のリンクUIのことです。 Twitterの場合は、URLを本文に含めればよしなに展開してTwitterカードを作ってくれるのですが、BlueskyのAT Protocolの場合はそんな単純にはいきませんでした😅 リンクカード付きのpostを投稿する方法 BlueskyはAT Protocolの上で動いているので、リンクカードもAT Protocolの仕様に則って投稿する必要があります。 当初その仕様でどのようにリクエストするのかわからず詰まったのですが、自分がBlueskyのアプリ経由でリンクカードを投稿したpostのjsonを確認することで理解しました。 以下の形式でbsky
Announcing Dapr v1.0
By Dapr project maintainers | Wednesday, February 17, 2021 Today we are excited to announce the v1.0 release of the Distributed Application Runtime (Dapr), which has achieved the stability and enterprise readiness to be designated production ready. Dapr is an open source, portable, event-driven runtime that makes it easy for developers to build resilient, microservice, stateless and stateful appli
はじめに こんにちは。夏休みは新潟からフェリーで北海道に行く予定を立てている@yug1224です。 最近はTwitterの突発的な仕様変更により、Twitter以外の分散型SNSも注目されるようになってきましたね。自分もちょうどBlueskyの招待コードをいただいたので登録して遊んでいます。 今回はGitHubでStarを付けたらBlueskyに投稿するプログラムを作ってみたので紹介します！ Blueskyとは？🤔 まずそもそもBlueskyとは何か？ BlueskyとはTwitterの創業者であるジャック・ドーシー氏が支援する分散型SNSであり、現在はプライベートベータ中のサービスですね。 今のBlueskyはIT系の人が多く、2010年前後のTwitterのような雰囲気もあり、個人的には居心地の良さを感じていますｗ ざっくりと知るならギズモードの記事がわかりやすいかなと思います。 B
WEBサイトの更新をRSSで知りたいけど、そのサイトがRSSを配信していない… そんな時に便利なサイトがあるので、ご紹介します(｀･ω･´) まず、RSSとは何？ RSSは、ウェブサイトやブログなどのコンテンツを配信するための形式です。RSSを使用すると、サイトの更新情報をリアルタイムで取得し、ニュースリーダーやメールプログラムなどのアプリケーションに表示することができます。RSSを利用することで、ウェブサイトの更新情報を手動でチェックする手間を省くことができます。 RSSを作成するサービスとは？ RSSを作成するには、専用のソフトウェアやプログラムを使用することが一般的です。しかし、RSSを作成するためのサービスもあります。これらのサービスは、ウェブサイトのURLを入力するだけで、自動的にRSSを生成することができます。 おすすめのRSS（フィード）作成サービス あらゆるウェブページをR
元記事：https://www.octoparse.jp/blog/google-maps-crawlers インターネット時代において、地図のデジタルデータはますます重要になり、ビジネス価値を生み出し、意思決定を支援するのに役に立ちます。このようなデータは業界で広く使用されています。たとえば、飲食業者は、地図データと近くの競合他社を分析して、新しいお店を開く場所を決定することができます。 Googleマップでは、220 の国と地域を広くカバーする地図と数億のお店や場所に関する詳しい情報を見えるし、リアルタイムの GPS ナビ、渋滞状況、乗換案内のほか、地元のグルメやイベントに関する情報を、世界中どこでも利用できます。 Googleマップからデータをスクレイピングするには、さまざまな種類の方法があります。この記事では、その中から5つの方法をご紹介します。 1. Places API of
Git scraping: track changes over time by scraping to a Git repository
Git scraping: track changes over time by scraping to a Git repository 9th October 2020 Git scraping is the name I’ve given a scraping technique that I’ve been experimenting with for a few years now. It’s really effective, and more people should use it. Update 5th March 2021: I presented a version of this post as a five minute lightning talk at NICAR 2021, which includes a live coding demo of build
GARMINのBody Batteryを計測できる時計が身の回りで流行っていて、Slackに「いまbody battery70です」とか書いて元気さをアピールしたり、Body Batteryめっちゃ下がってるので難しいことをする気力はないという表明をしたりしていた。 わざわざ近況を手で書かなくても、Slackのstatusとして見えるようになってると便利そうと思ったので自動化するスクリプトを書いてみることにした。 既存手法と実装方針 GARMINはfitbitとちがって個人向けのAPIを用意してくれていない。同僚が申請してみたところビジネスプランを書けって弾かれたと話していた。そのため人々はさまざまな苦労の末にデータを取り出している。 Garmin connectのストレス測定結果をPixela + Serverlessで草化 - Qiita スクショをAWS S3にアップロードして画像解
手作業で大量のWebサイトをコピペする場合は、いくつかの方法がある。 Chrome拡張機能でスクレイピングツールを使う ChromeにJSを実行するConsole/ブックマークレットを使う スクレイピングWebサービスを使う（import.ioなど） スクレイピング用アプリケーションを使う（UiPathなど） スクレイピング代行会社を使う（Octoparseなど） 今回は上記の１と２をメモる。 Chrome拡張機能 スクレイピングツール 1. Web Scraper Web Scraper 大量のページをスクレイピングする場合におすすめ。 かなり使いやすく、設定も慣れるとかんたん。公式サイトに動画で解説してくれていたり、スクレイピングのトレーニング用Webサイトまで用意されている。 Webサイトの階層もくだっていける。たとえば、大カテゴリー > 中カテゴリー > 小カテゴリー と各カテゴリ
AnyPicker - Free Website Scraping Chrome Extension | Web Scraping Online
Scrape With Just A Few Clicks AnyPicker is a powerful yet easy to use web scraper for the chrome browser Add To Chrome For Free
Google PlayとApp Storeから1300万回以上ダウンロードされた計89個のアプリが広告詐欺に関係していることが発覚
セキュリティ研究者が、Google Playの80個のアプリケーションと、App Storeの9個のアプリケーションが広告詐欺に関係していることを明らかにしました。これらのアプリは合計1300万回インストールされており、ユーザーに不正に広告を表示していました。 Poseidon’s Offspring: Charybdis and Scylla https://www.humansecurity.com/learn/blog/poseidons-offspring-charybdis-and-scylla セキュリティ企業・HUMANの研究チームによると、広告詐欺に関与しているアプリはすべて同じ手法で不正に広告を表示していたとのこと。一方で、広告の表示方法は多岐にわたるそうです。表示方法の1つは、ユーザーが広告にアクセスした時の情報を取得してその情報を何度もサーバーに送信することで、実際の
miyagawa.co
Last month, Medium silently decided to kill the legacy custom domains for free tier users, and broke my blog (weblog.bulknews.net) without any notice. Since this happened during my trip to Europe, I decided to sign up for their paid plan just for one month as a temporary solution. Now that I’ve returned from my trip, I successfully imported all my articles from Medium to Jekyll using the excellent
Last year, Kristina Shen and I expressed our anticipation for a “Wave 2” of B2B AI applications focused on synthesizing information, which we referred to as “SynthAI.” If the first wave of generative AI applications was about creating new content — like emails, lists, or marketing copy — this second wave focuses on condensing information in a manner that saves users time. The crux of this is to ow
chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード１行も書かずに出来た😅｜hantani
chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード１行も書かずに出来た😅 ある所で、「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」は案件定義で３日かかりますよと書いてありました。 chatGPT-4使ったらどうなるんだろうと思ってやってみました。 結論をいうと「余裕で案件定義もプログラムもコードを一行も書かずに出来ました」 以下、「Q.」が質問（プロンプト）です。「A.」がchatGPT-4からの回答です。 プロンプタ(魔術師)とchatGPTとのリアルなやり取りです。長いですよ😅 Q.あなたはプログラマです。ウェブスクレイピング→情報をPDF保存の自動化ツール開発はどのような案件がひつようでしょうか？ A.ウェブスクレイピングと情報をPDF保存の自動化ツールを開発するには、以下の要件が必要です。 プロジェクトの
Vim Plugins That I Use
This is an alphabetical list of vim plugins that I use. Alternate In C or C++ projects, source and header files often come in pairs. For example, there's utils.c and utils.h and you often need to edit both files at the same time. With Alternate, you can type the :A command and it will quickly switch between .c and .h files. If you're in a .c file, it will switch to the .h file, and if you're in a
2021年 PHP 8 でスクレイピングするなら php-html-parser - 猫でもわかるWebプログラミングと副業
phpQuery vs php-html-parser この記事で扱う PHP のバージョン php-html-parser をインストール 実際に使ってみる まとめ phpQuery vs php-html-parser 以前、以下の記事を書きました。この記事では phpQuery というライブラリを使いましたが、phpQuery は3年以上更新が止まっており、最新の PHP に対応してないなど問題がありました。 www.utakata.work 別のライブラリを探していたら、 php-html-parser がかなり良かったので紹介します。 github.com この記事で扱う PHP のバージョン 今回、 PHP のバージョンは 8.0 を使っていますが、7.4 とか、7系でも問題なく動くと思います。 $ php -v PHP 8.0.0 (cli) (built: Nov 30 2
2022/11/7追記 2022年10月のGCP料金改定で、asia.gcr.ioのcontainer registryからのimage pullが課金されるようになりました（月額3000円ほど) artifact registryに移行して、東京リージョンにimageを配置することで転送料金は掛からなくなりました。 この記事はGoogle Cloud Platform Advent Calendar 2021の19日目の記事です。 この記事では、ラズパイk8sクラスタで運用してたアプリをGCPに移行した話を書きます。 なるべく利用料金を抑えるための構成を頑張ってみたので、そのポイントを書いていこうかと思います。 最終的には 4円/日 程度で運用できてます。 （もっと安くできるぞ！って部分あれば是非コメント等で教えていただけると嬉しいです） 記事としては 元々自宅のk8sで動かしていた時の
本記事は、実践的にCreate.xyzを用いてサイトを作成する方法を具体例とともに紹介していきます！ 最近追加されたCommand R+やDALLE-3などのAPI Integrationの内容の解説もしていきます。 デモでは自社HPを作り、問い合わせフォームの内容を専用データベースに保存する方法をご紹介します。 Create.xyzで出来ることCreateを使うと、自然言語でサイトの外見や機能を記述するだけで、AIがコーディングを自動で行ってくれます。 プロンプトテクニックとして、デザインやレイアウトを具体的に指定することも重要です。 基本的な作り方については、以下の記事で解説しているので、ぜひこちらもご覧ください！⬇️ と言っても、一から十まで仕様書を書くことは初心者の場合大変なので、今回の記事にはCreateで作成できるサイトの設計書を書いてくれるGPTsとそのプロンプトを記載してあ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能
Pythonを会得する考え方やポイント5選！ 『パーフェクトPython』著者が魅力を語る！ - FLEXY（フレキシー）
使いやすさを重視したHTMLスクレイピングライブラリを作った - 純粋関数型雑記帳
LINEが注力している「銀行事業」「LINE証券」「LINE Pay」のフロントエンドエンジニアと裏方・SREは何をしているのか
Javaが遅いって お前それPetrの前でも同じ事言えんの？ - 宇宙ツイッタラーXの憂鬱
WebサイトをクリックするだけでAPIが作れるChrome拡張機能「Simple Scraper」
Meilisearch を利用して Sphinx で日本語全文検索を実現する
Rust: A Critical Retrospective « bunnie's blog
Webサイトのスクレイピングは違法？メリットや注意点、具体的な活用方法まで徹底解説！
雪が降ったあとの車の除雪 - ykDonutsのイラスト倉庫 ～アメリカ東海岸から愛2019～
BlueskyのAT Protocolでリンクカード付きのpostを投稿する方法
GitHubでStarを付けたらBlueskyに投稿する - Qiita
【WEBサイトの更新を知る】RSSを作成するサービス | たも日記
Googleマップをスクレイピングする方法５選 - Qiita
GARMINのBody BatteryをSlack statusに設定する - hitode909の日記
Chrome拡張機能でスクレイピング（動作検証済み） – myMemoBlog by 256hax
Owning the Workflow in B2B AI Apps | Andreessen Horowitz
お家ラズパイk8sクラスタで動かしてたアプリをGCPに移行した話
【プロンプトあり】 Create.xyzで本格的なWebサイト制作をしてみよう｜ChatGPT研究所