System tests have failed
When we introduced a default setup for system tests in Rails 5.1 back in 2016, I had high hopes. In theory, system tests, which drive a headless browser through your actual interface, offer greater confidence that the entire machine is working as it ought. And because it runs in a black-box fashion, it should be more resilient to implementation changes. But I'm sad to report that I have not found
SRE伝道師としてMicroservices SRE チームが取り組んでいる事例 | メルカリエンジニアリング
※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercari" の一環で書かれています。 著者: Microservices SREチーム @k-oguma（ktykogm） 本記事の内容は、前日の記事である "Embedded SRE at Mercari "の具体的な事例等の紹介となります。私自身が実際にEmbedded SREsとしてプロダクトチームに参加し、その中で発見したプロダクトチームの課題とそれに対して行った取り組みをいくつか紹介したいと思います。最後に具体的な活動を通して見えてきたEmbedded SREsのメリットなどについてまとめます。 本記事内の用語 SRE Site Reliability Engineering の略 信頼性における方法論、概念、ベストプラク
SSRF （Server Side Request Forgery : サーバーサイド・リクエスト・フォージェリ）は、外部から到達できない領域にあるサーバーなどに対して、バグを悪用することでリクエストを送る攻撃手法・脆弱性です。 この一言だけではリスクの大きさや、この問題がなぜ発生するのかが想像しづらいと思います。そこで本記事では、SSRF が起きる原因を解説したあと、脆弱性の影響について攻撃シナリオをベースに説明していきます。 最後にそれらを踏まえた上で、どのようにして SSRF が発生しないコードを記載するか、またコードレビューの中で問題を見つけるのか等、対策についても触れていきます。 扱うリスクシナリオとしては「内部 API を悪用した侵入」および「クラウドベンダーが用意する管理用 API を悪用したクレデンシャルの奪取」となります。 SSRF の概要冒頭で SSRF とは「外部から
C# Advent Calendar 2021の参加記事となっています。去年は2個エントリーしたあげく、1個すっぽかした（！）という有様だったので、今年は反省してちゃんと書きます。 スクレイピングに関しては10年前にC#でスクレイピング:HTMLパース(Linq to Html)のためのSGMLReader利用法という記事でSGMLReaderを使ったやり方を紹介していたのですが、10年前ですよ、10年前！さすがにもう古臭くて、現在ではもっとずっと効率的に簡単にできるようになってます。 今回メインで使うのはAngleSharpというライブラリです。AngleSharp自体は2015年ぐらいからもう既に定番ライブラリとして、日本でも紹介記事が幾つかあります。が、いまいち踏み込んで書かれているものがない気がするので、今回はもう少しがっつりと紹介していきたいと思っています。それと直近Visual
Rustでブラウザを操作する「rust-headless-chrome」を試してみた | DevelopersIO
こんにちは。MAD事業部のきんじょーです。 最近Rustの入門書を読んだので、何かに使ってみようと模索していました。 その中で、Rustでヘッドレスブラウザを動かすライブラリを検証したのでこの記事にまとめます。 ヘッドレスブラウザとは ヘッドレスブラウザはGUIを持たないWebブラウザです。 一般的なブラウザと同じく、HTMLを解析しJavaScriptを実行できますが、GUIを持たないため、CLIやプログラム上から操作を行います。 主に以下のような用途で用いられます。 WebアプリケーションのE2Eテストの自動化 Webページのスクリーンショット取得 JavaScriptの自動テスト Webページで行うワークフロー処理の自動化 Webページのクローリング 古くはPhantomJSやCasperJSなどを用いていましたが、現在では主要なブラウザもネイティブでヘッドレスモードを搭載しています
ヘッドレスブラウザ＋Puppeteerが使える「Cloudflare Workers Browser Rendering API」がオープンベータに
ヘッドレスブラウザ＋Puppeteerが使える「Cloudflare Workers Browser Rendering API」がオープンベータに Cloudflareは、同社のサーバレス基盤であるCloudflare Workersを通じてヘッドレスブラウザとそれをコントロールするPupeteerを呼び出せる「Workers Browser Rendering API」（以下、Browser Rendering API）のオープンベータを発表しました。 これまではBrowser Rendering APIはクローズドベータとして一般ユーザーには開放されていませんでしたが、オープンベータ化によりウェイトリストに登録したユーザーから利用できるようになると説明されています。 The Workers Browser Rendering API allows developers to prog
Introducing OG Image Generation: Fast, dynamic social card images at the Edge – Vercel
We’re excited to announce Vercel OG Image Generation – a new library for generating dynamic social card images. This approach is 5x faster than existing solutions by using Vercel Edge Functions, WebAssembly, and a brand new core library for converting HTML/CSS into SVGs. Dynamic with limitsThe engagement rate of Tweets that embed a card is 40% higher. While creating and sharing static social image
自社Webサービス上にボタンを配置して、PDFをダウンロードできるようにしたいという要望がありました。しかも 表などのリッチな表現を活用したい 動的に表示する内容が変化し、内容に応じてページ送りをしたい これらは自社Webサービス上のページとしても表示している（しかも認証が必要なページ） という条件でした。react-pdf や html-pdf を使えばできなくはなさそうですが、できるだけスタイルを楽に・デバッグをかんたんに行ないたかったので、別の方法を考えました。 そう、みんな大好きヘッドレスブラウザを活用した方法です。この手の課題のときにはよく手段として上がりますよね。@media print などを使って印刷用に表示する内容の調整もできるし、サービス上のコンポーネントを使ってスタイルできるので非常にかんたんにPDFのコンテンツのスタイルが行なえます。 ただ、問題は認証です。Webサ
当ポストはGo Advent Calendar 2019の5日目の記事です。基本ポエムを書いていて技術記事を書く感覚が鈍っていますが頑張ります。 今回はGoでheadless browser（Chrome）を用いた、動的な画像生成を行うというテーマで書きたいと思います。 なぜ画像生成したいのか？人はなぜ画像を生成したくなるのでしょうか？僕は漫然と画像を生成するのは、時間に限りがある身としてはよくないな、と思います。ということで理由が必要なのですが、最たる例はOGP画像の生成とかじゃないでしょうか？ あるいは任意のLGTM画像を生成したくて、文字を画像にかぶせたり、インスタグラムVer1.1みたいなサービスをローンチしたい時に、フィルター加工を実装したかったりするかもしれません。 Goで画像生成するには？Goで画像生成する方法に関してはこの１、２年でpo3rinさんや僕がしばしば登壇して解説
The Workers Browser Rendering API allows developers to programmatically control and interact with a headless browser instance and create automation flows for their applications and products. Since the private beta announcement, based on the feedback we've been receiving and our own roadmap, the team has been working on the developer experience and improving the platform architecture for the best p
MemLab: An open source framework for finding JavaScript memory leaks
MemLab: An open source framework for finding JavaScript memory leaks We’ve open-sourced MemLab, a JavaScript memory testing framework that automates memory leak detection. Finding and addressing the root cause of memory leaks is important for delivering a quality user experience on web applications. MemLab has helped engineers and developers at Meta improve user experience and make significant imp
Running Serverless Puppeteer with Workers and Durable Objects
Running Serverless Puppeteer with Workers and Durable Objects2023-09-28 Last year, we announced the Browser Rendering API – letting users running Puppeteer, a browser automation library, directly in Workers. Puppeteer is one of the most popular libraries used to interact with a headless browser instance to accomplish tasks like taking screenshots, generating PDFs, crawling web pages, and testing w
CI providers like webapp.io, GitLab, TravisCI, and Shippable are all worsening or shutting down their free tiers due to cryptocurrency mining attacks. On September 1st, 2020, GitLab announced that their free CI offering was being restricted in response to "usage." Two months later, TravisCI announced that a similar restriction in response to "significant abuse." Concurrently with these pricing cha
Chrome Headless mode | Chromium | Chrome for Developers
In 2017, Chrome 59 introduced Headless mode, which let you run the browser in an unattended environment, without any visible UI. Essentially, you could run Chrome without chrome. Headless mode is a popular choice for browser automation, through projects like Puppeteer or ChromeDriver. Here's a minimal command-line example using Headless mode to create a PDF file of a given URL: chrome --headless -
GitHub - lahmatiy/react-render-tracker: React render tracker – a tool to discover performance issues related to unintentional re-renders and unmounts
React Render Tracker – a tool to discover performance issues related to unintended re-renders. React Render Tracker (RRT) presents component’s tree state over the time and an event log related to a selected component (fiber) or its subtree. It doesn't provide a complete state of the components, but the difference between their states. It's not a replacement for React Devtools, but a compliment to
Interaction to Next Paint (INP) Stay organized with collections Save and categorize content based on your preferences. Chrome usage data shows that 90% of a user's time on a page is spent after it loads, Thus, careful measurement of responsiveness throughout the page lifecycle is important. This is what the INP metric assesses. Good responsiveness means that a page responds quickly to interactions
GitHub - projectdiscovery/nuclei: Fast and customizable vulnerability scanner based on simple YAML based DSL.
Nuclei is a fast, template based vulnerability scanner focusing on extensive configurability, massive extensibility and ease of use. Usage: ./nuclei [flags] Flags: TARGET: -u, -target string[] target URLs/hosts to scan -l, -list string path to file containing a list of target URLs/hosts to scan (one per line) -eh, -exclude-hosts string[] hosts to exclude to scan from the input list (ip, cidr, host
TL;DR: For any developer looking to avoid security vulnerabilities, buttons that don’t work, slow site speeds, or manually writing release notes this is for you. As developers, we get a bad rap for not writing tests—or automations for that matter—as much as we should. It’s not that we don’t do it (well, maybe some of us don’t). But it’s a fact that writing more code can be a little more fun than s
こんにちは、デジタルペンテスト部のねいちゃーどです。 普段は チート対策ペネトレーションテストサービス の診断員として、主にゲームに関わるサービスの脆弱性診断を担当しています。 私たちのチームでは、お引き受けさせていただいた案件に対する成果物として「報告書」を作成・提出しています。 報告書には「発見した脆弱性についての詳細なレポート」などが記載されています。 端的に還元すれば「報告書を作成するのが本業」と言っても過言ではありません。 その報告書の作成には以前まで Microsoft Word (以下、Word) を用いていました。 しかし Word を用いた報告書作成には、以下の問題がありました。 共同編集機能を用いた際に、編集内容が競合することがある その結果、同ファイルをリネームして上げ直さないといけなくなったり、代表者がローカルに落として編集した事例が過去にあった 「【最新版】打ち合
注意事項 紹介するツールはあくまで機械的な要約なので、要約の正しさは保証できません。 また、翻訳ツールを使った際も適切な変換が行われていることが保証できないため、原文を参照されるのが好ましいです。 前置き 日本に住んでいても、情報を収集する際に英語の記事を読む機会は必然と増えていきます。 日本語であれば、斜め読みである程度概要を抑えることはできるのですが、英語となると単語や文法でつまずいてしまいます。 その結果、時間をかけて読んだ内容が本題とは程遠い前置きだったときには徒労感が拭えません。 そのため、 優先度を決めて、優先度の高い記事だけ目を通しておきたいです。 なので、いったん要約したものを翻訳すれば優先度にズレがないのでは、と思い試してみました。 今回、有名な sumy という Python 製のライブラリが CLI に対応していることを知ったので紹介します。 https://gith
![[小ネタ] 雑に英語の記事を読むための sumy | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f9c966b5d4ff5ba5d7cbb4acf9f59d2e159cc94/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2F1024px-Python_logo_and_wordmark.svg.png){kind=logo}
はじめに この記事は、Go言語でヘッドレスブラウザを実装したサーバ（サーバレスなので実際にはコンテナという表現が正しいかも知れません）を作り、Google Cloud Platform (GCP) の Cloud Run (Knative を使用) でセキュアに実行する内容となります。 ハンズオンではありませんが、少し手を加えれば動くものが作れるレベルの資料としています。 一応、なるべく幅広い読者層に分かりやすく伝えるため、人によって冗長的な説明に感じるところもあると思います。その場合は本題に入る「Go で ヘッドレスブラウザ を実装したサーバを用意するの」 の章から読み進めて下さい。 Goals Go で CSR (Client Side Rendering / クライアントサイドレンダリング) に対応する方法が知れる たとえば CSR 対応のテストやスクレイピングなどの環境を作る知識が
Rust on Nails | Cloak
Rust on Nails A full stack architecture for Rust web applications This article is now outdated and has been replaced This article was more popular than we expected and as we added more content grew beyond the size of a blog post. It is now available on it's own mini site at https://rust-on-nails.com The old article To build a web application you need to make architecture decisions across a range o
Available libs K6 は Javascript を用いて負荷試験のテストを実施するのですが、Golang の内部で CMAScript 2015+（ES6+）を実行しています。 K6 は NodeJS でも、ブラウザーでもありません。 NodeJS によって提供される API に依存するパッケージ、たとえば os と fs モジュールは K6 では機能しません。 その為、データ加工などのモジュールを提供しているのがこれらです。 https://k6.io/docs/javascript-api/jslib/utils/ ※ CMAScript 2015+（ES6+）に準拠しない記述を意識する必要はありません。 k6-jslib-aws が登場だが gcp 版はない https://github.com/grafana/k6-jslib-aws k6-jslib-aws では
Browser Rendering API GA, rolling out Cloudflare Snippets, SWR, and bringing Workers for Platforms to all users
Browser Rendering API GA, rolling out Cloudflare Snippets, SWR, and bringing Workers for Platforms to all users2024-04-05 This post is also available in 简体中文, 繁體中文, 日本語, 한국어, Deutsch, Français and Español. Browser Rendering API is now available to all paid Workers customers with improved session managementIn May 2023, we announced the open beta program for the Browser Rendering API. Browser Render
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました CLIでWebサイトのスクリーンショットを撮るソフトウェアは、大半がChromiumをヘッドレスで立ち上げています。そして非表示状態でレンダリングしたWebサイトの内容を画像として保存しています。 多くの場合、Node.jsで作られることが多かったのですが、go-stareはGo言語で作られているのが特徴です。 go-stareの使い方 go-stareで実行したところです。 $ go-stare -t "https://www.moongift.jp/" _ __ _ ___ ____ ___| |_ __ _ _ __ ___ / _' |/ _ \____/ __| __/ _' | '__/ _ \ | (_| | (_) | \__ \ || (_| | | | __/
A Guide to Web Scraping With JavaScript and Node.js | HackerNoon
Too Long; Didn't Read A Guide to Web Scraping With JavaScript and Node.js demonstrates how to use the Axios and Cheerio packages to extract data from a simple website. We’ll be using a headless browser, Puppeteer, to retrieve data from the web page that loads content via JavaScript. The data extraction technique is becoming increasingly beneficial in retrieving information from websites and applyi
Integration Testing を改善！Testing Trophy を整形してCI実行速度を5倍に - READYFOR Tech Blog
この記事は「READYFOR Advent Calendar 2021」4日目の記事です。 Calendar for READYFOR Advent Calendar 2021 | Advent Calendar 2021 - Qiita フロントエンドエンジニアの吉井（@Takepepe）です。業務委託で READYFOR さんのお手伝いさせていただくようになってから、早いもので1年半が過ぎました。この期間中、3つの Next.js Application 立ち上げ・リリースに携わらせていただきました。 Cypress x BDD 現在携わらせていただいているのが「フロントエンド基盤SQD」という、READYFORプロダクト全般のフロントエンド課題をシューティングするスクワッドです。このスクワッドでの活動において、私が9月〜11月に取り組んだ課題が「テスト方針の見直し」です。 3つの N
The Workers Browser Rendering API allows developers to programmatically control and interact with a headless browser instance and create automation flows for their applications and products. Once you configure the service, Workers Browser Rendering gives you access to a WebSocket endpoint that speaks the DevTools Protocol ↗. DevTools is what allows Cloudflare to instrument a Chromium instance runn
Blocked by Cloudflare
Blocked by Cloudflare Published: August 07, 2023 Tagged: drm privacy security software web-dev Well, it finally happened to me. I was blocked out of a website I need for work because of Cloudflare. And I have no idea if or when I’ll be let back in. Cloudflare’s secure connection loop The story begins with Cloudflare. Cloudflare is a company that provides content delivery networking, distributed de
At Hint, we use Docker extensively. It is our development environment for all of our projects. On a recent greenfield project, we wanted to use Rails System Tests to validate the system from end to end. In order to comfortably use System Tests inside of Docker we had to ask ourselves a few questions: How do we use RSpec for System Tests?How do we run the tests in headless mode in a modern browser?
Interoperability on the web means ensuring that web platform features work in a spec-compliant way across as many devices and browsers as possible. With Interop 2024 having just kicked off, this post explains what the Interop project is, recaps what's landed on MDN based on Interop 2023, and offers a glimpse into what's coming next to the web platform. The Interop project is a benchmark and test s
Unverified details These details have not been verified by PyPI Project links Homepage Meta License: MIT License Author: Jonas Depoix Tags youtube-api, subtitles, youtube, transcripts, transcript, subtitle, youtube-subtitles, youtube-transcripts, cli YouTube Transcript/Subtitle API (including automatically generated subtitles and subtitle translations) This is a python API which allows you to get
ヘッドレスchromeとは？CLIで実行する方法
ヘッドレスブラウザ(Headless Browser)とは？ ヘッドレスブラウザはGUI（グラフィカルユーザーインターフェイス）のないという点が特徴なブラウザーです。他には普通のウェブブラウザーと違いがないです。なので、タブやURLバー、インプットフィルド、ボタン、ブックマーク（お気に入り）などのインターフェース及び機能がありません。ヘッドレスブラウザはGUIがないため、ナビゲーションもできず、操作のため、コマンドラインインターフェースや自動スクリプトで操作する方法しかありません。 ヘッドレスブラウザを使う理由 ナビゲーションも簡単に使えないのになぜヘッドレスブラウザを使うのか、気になる方もいらしゃるでしょう。ヘッドレスブラウザの最大の利点はWebページのコンテンツをプログラム的にアクセスできるということです。 特に開発者やSEOマーケターの方々は以下の理由で利用する時が多いです。 「開発
TL/DR: The hot new JavaScript runtime by Ryan Dahl is sleek, powerful, easy to use and best of all, stable in production. The smaller ecosystem compared to Node.js limits your use cases, so it really depends on what you want to use it for. This is not all bad news though, a smaller ecosystem can also mean your project does not get bloated with dependencies. Unlike Node.js, Deno is actually TypeScr
We recently improved the performance of the Universe.com homepage by more than ten times. Let’s explore the techniques we used to achieve this result. Here is a translated Chinese version of the blog post on InfoQ. But first, let’s find out why website performance is important (there are links to the case studies at the end of the blog post): User experience: poor performance leads to unresponsive
Introduction Web scraping or crawling is the process of fetching data from a third-party website by downloading and parsing the HTML code to extract the data you want. "But why don't you use the API for this?" Well, not every website offers an API, and APIs don't always expose every piece of information you need. So, scraping is often the only solution to extract website data. There are many use c
Back in Dec 2022, when inflation was running high, I built a website for tracking price changes in the three largest supermarkets of my home country, Greece. In the process I ran into a few interesting hurdles that I had to clear before being able to "go live". There were also several lessons I learned and faulty assumptions that I made. In this post I will talk about scraping: What I use, where i
Articles on Best Practices at FastRuby.io | Rails Upgrade Service
We all know testing is important. We have our unit tests and integration tests to make sure everything is working as expected. At OmbuLabs opens a new window , we use Capybara opens a new window for our integration tests so that we can interact with the app as a real user would. This is the process we used to replace the capybara-webkit gem in a legacy project with a more modern approach that uses
PluginTests.com
FAQ What's a "smoke test"? It's a very basic test where we check that: The plugin can be successfully activated. It doesn't immediately show a bunch of errors. It doesn't break the site in an obvious way. Allegedly, the term "smoke testing" comes from the plumbing industry. When talking about electronics, it means "turn it on and see if it catches fire". See Wikipedia for more. Which plugins are t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blog｜URLの取り扱いには要注意！SSRFの攻撃と対策
neue cc - .NET 6とAngleSharpによるC#でのスクレイピング技法
ヘッドレスブラウザを活用して少しリッチなスタイルのPDFを生成する
Goでheadless browserを用いた動的画像生成｜Seiji Takahashi@ベースマキナ
Workers Browser Rendering API enters open beta
Crypto miners are killing free CI
Interaction to Next Paint (INP) | Articles | web.dev
5 automations every developer should be running
AsciiDoc で「イイ感じ」な文書を作る - ラック・セキュリティごった煮ブログ
[小ネタ] 雑に英語の記事を読むための sumy | DevelopersIO
GoでHeadless browserを使いClient Side Renderingを Cloud Run で動かす
負荷テストツール K6 について調べてみた | sreake.com | 株式会社スリーシェイク
go-stare - CUIでWebサイトのスクリーンショットを取得
Overview | Browser Rendering docs
Rails System Tests In Docker
Interop 2023: MDN updates | MDN Blog
youtube-transcript-api
Deno.js in production. Key takeaways.
Improving Browser Performance 10x
Web Scraping without getting blocked
Tracking supermarket prices with playwright