Smoozサービス終了に寄せて
202012_smooz.md Smoozサービス終了に寄せて 前置き この文章と、それに含まれる考察や各サービスへの脆弱性報告などはmala個人の活動であり、所属している企業とは関係ありません。 一方で私は、企業が閲覧履歴を収集して何をしたいのか、所属してる企業や他社事例について、ある程度詳しい当事者でもあります。 一般論として書けることは書けるが、(業務上知り得た知識で開示されてないものなど)個別具体的なことは書けないこともあり、また観測範囲に偏りがある可能性もあります。 Smoozに報告した脆弱性2件 最近、Smoozというスマホ向けのブラウザアプリに2件脆弱性の報告をした。 この記事を書いている時点で、Smoozの配布が停止されていて、修正バージョンの入手が出来ない。 2件目についてはまだ返事が来ていない。 脆弱性情報の開示にあたって特段の許可は得ていないが、開発元からも利用停止す
こんにちは。しおぱんです。ChatGPTのプラグインがあまりに多すぎて大変だったので、プラグイン機能一覧を作りました。 【お知らせ】 プラグインの増加速度が早すぎるため、記事作成が追いついておりません🙇 お急ぎの方はこの記事作成でも利用しております、こちらのプロンプトを使ってみてください🙌 【カテゴリ検索の方法】 ブラウザの検索バーに [カテゴリ名] を入力すると絞り込みできます🙆 Mac: Command + F / Windows: Ctrl + F 【カテゴリ一覧】 [エンタメ] [音楽・音声] [画像・動画] [学習] [学術] [語学] [プログラミング] [ビジネス] [マーケティング] [ファイナンス] [ニュース] [ツール] [リサーチ] [ウェブアクセス] [天気] [旅行] [レストラン] [ショッピング] [医療・健康] [不動産] [求人] [ユーティリティ
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
AIはどこまで無断で学習できるのか。～文化庁の生成AI論点整理(ガイドラインの素案)を読んで - フジイユウジ::ドットネット
今日、文化庁は生成AIと著作権保護についてのガイドラインとなる素案を提示しました。(2023/12/20時点。その後の状況については追記をお読みください。) 生成AIでなにが合法でどんなとき違法になるべきか、クリエイターや開発者、ビジネス系のひとなどが議論していますが、多くの生成AI周辺にいる人たち全員に関係あるガイドラインがいままさに検討されているわけです。 朝日新聞ではこう報じています。 文化庁は20日、文化審議会著作権分科会の法制度小委員会に、生成AI（人工知能）によるコンテンツの無断学習は、著作権法で著作権者の許諾が不要とされる「非享受目的」にあたらない場合があるとする「AIと著作権に関する考え方」の素案を示した。生成AIが記事や画像データなどを無断で利用する「ただ乗り」（フリーライド）に懸念の声が上がる中、現行法を厳格に解釈し、歯止めをかけたい考えだ。 朝日新聞デジタルより引用
こんにちは、長山一石 (ながやま・かずし) と申します。今年はじめに米国の Google LLC を退職し、最近は JADE という会社を立ち上げて活動しています。今回は、Google Discover について少しお話しようと思います。 0. Discover はいいぞ Google Discover というプロダクトを知っていますか。昨年ひっそりと旧名 Google Feeds から名前を変えてローンチした、個人に最適化したニュースを届けるサービスです。 Pixel ならばホーム画面から左にスワイプすれば、スムーズに記事のレコメンデーションが始まるような仕組みになっているし、他のスマートフォンでもChrome や Google アプリを利用していれば、いたるところにおすすめ記事の一覧が出るように改変が進んでいます。 ある日のわたしの Discover。プログラミングやガジェット関連の情
フロントエンド初心者が無事に Hugo のブログを Gatsby で一から作り直すことができた。その振り返り。 歴史 インターネットを小中学生(もはや 25 年以上前)に触り初めた頃に、HTML で文章の構造を作り CSS でデザインする、ということができるのを知って感動したけど、結局自分には何かが合わなくてそれを突き詰めることができなかった。というか、それを知ったが故にテーブルレイアウトとかがどうしても気に入らず、かといって CSS は float が難しすぎて、結局ウェブサイトを作る、という根本的な営みをずっと避けてきてしまった。 時は過ぎ、Wordpress の様なブログエンジンや Hugo の様な仕組みがあったおかげでブログを初めて続けることはできた。13 年前にレンタルサーバに Wordpress を置いて始めたこのブログも 9 年前には VPS での Wordpress 運用に
CTOのharukasanです。 pixivをはじめとするピクシブが運営している各サービスにおいて、ユーザーの投稿した作品を不当な目的を持って取得する行為から守ることは、プラットフォームとして重要な責務のひとつであるとピクシブは考えています。これまでもピクシブでは、作品が不当な目的で大量に取得されないよう機械的なクローリングを検知し、ブロックするために様々な手段を講じてきました。この記事では、現在行っている対策と、今後実施していくために現時点で取り組んでいる施策についてご説明します。 English version is available here これまでに実施している不当な目的での作品大量取得への対策について ピクシブでは不当な目的で作品を大量取得されることを防止するため、基本的な対策に加え、様々なソリューションを導入しています。ここでは特徴的な技術についていくつかの例を紹介します。
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
note、Internet Archiveで保存できなくなる、古いドメインはブロック | スラド セキュリティ
Internet Archiveからnote関連のキャッシュがまるごと消えてしまったそうだ（5ちゃんねるの書き込み）。新たな登録もできないという。noteの以前のドメインであるnote.muに関しても完全にブロックされているとのこと。 5ちゃんねるのInternet Archive総合スレの書き込みによると、8月上旬まではnote.comドメインのキャッシュが共有されていたという。8月に発生したnoteのIPアドレス流出事故の後に対処されたのではないかとしている。実際にnote.comのrobots.txtを見るとInternet Archiveとウェブ魚拓のクロールを拒否する記述がされている。 あるAnonymous Coward 曰く、
Guest post by Docker Community Member Justin Chadell. This post originally appeared here. As of a couple weeks ago, Docker’s BuildKit tool for building Dockerfiles now supports heredoc syntax! With these new improvements, we can do all sorts of things that were difficult before, like multiline RUNs without needing all those pesky backslashes at the end of each line, or the creation of small inline
この記事は、先日催された「ジャムジャム！！Jamstack_5」で登壇した際の内容を再度まとめたものとなります Next関連 next-seo Seoコンポーネントのようなものが踏襲されてる JSON-LDのサポートも入っていてサポート範囲が広い next-sitemap sitemap.xmlとrobots.txtを作成してくれる 分割もしてくれる configファイルの中で細かい設定ができる pathpida 再生したページのパスの定数ファイルを作ってくれる便利なやつ タイポが無くなって助かる typed-scss-modules CSS Modlesでスタイリングをする際に、.module.(sc|c)ssに対して型定義ファイルを作成してくれる。 宣言漏れや補完など、痒い所に手が届く headlessCMS関連 microcms-js-sdk 最近扱っている案件のheadlessCM
Docker版OWASP ZAPを使用してWebアプリの簡易的な脆弱性診断をしてみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 最近Webアプリケーション向けのセキュリティ診断ツールについて調べてみたところ、OWASP ZAPというオープンソースツールが定番としてよく使われているそうです。 https://owasp.org/www-project-zap 今回は、Docker版OWASP ZAPを使用してWebアプリのログインページの簡易的な脆弱性診断を行ってみました。 なぜDocker版を使ったのか OWASP ZAPにはWindows、Mac、Linuxで使えるインストーラー版およびパッケージ版と、Docker版があります。 https://www.zaproxy.org/download/ 当初はMac向けインストーラー版を使おうとしましたが、Macのセキュリティによりインストールできなかったため断念しました。 よってインストールを要しないDocker版を使うこととしま
コワクナイWebクローリング&スクレイピング - 初心者とPython使いのための作法とノウハウ - Lean Baseball
名著です,まじでオススメ 個人的にすごく気に入っているかつオススメな「Pythonクローリング&スクレイピング」の増補改訂版が出てました. Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る 早速読みましたが,初版からのアップデートに加え元々の構成の良さに感激しました.*1 本の内容そのものの解説は, 著者である加藤さんのエントリー @iktakahiroさんの感想エントリー をご覧いただくとして*2,このエントリーでは, Webクローリングとスクレイピングはコワクナイヨ！ っていう話をルール・ノウハウという「お作法」の面でポエムしたいと思います. TL;DR インターネットおよび, リアル（現実世界）に迷惑
gitの使い方しくじり先生~こんな使い方はするな~
はじめに はじめまして、yasuda_naoto と申します。 未経験から WEB エンジニアとして活躍するために RUNTEQ というプログラミングスクールで学習しています。 概要 RUNTEQ ではミニアプリ作成会というものがあり、2023 年の 8 月に青春をテーマにたくさんのアプリが投稿されました。 その際に、愚かな私は「面倒だからgit add .してそれらを一気に commit して push すればええやろ」という、プログラマにあってはならないめんどくさがり精神で作ったアプリをリモートリポジトリに push してしまったのです。 その際に起きた悲劇を再現します。 更に、同じ轍を踏まないように、それを防ぐ方法と、もしあなたが同じしくじりをしてしまったら、そこから立て直す方法をご紹介します。 要点 細かく add & commit しなかったばかりに push が途中で進まなくな
[レベル: 中級] この記事では、Wordpress 5.5 に標準実装されたサイトマップ生成機能を無効化する方法を紹介します。 WordPress のコア XML サイトマップ機能 リリースされたばかりの WordPress 5.5（この記事を公開している時点での最新バージョン）は、検索エンジン向けの XML サイトマップを作成する機能をコア機能として標準実装しました。 これまでサイトマップ生成にはプラグインを利用していました。 コア サイトマップは WordPress をインストールしたディレクトリの直下に作られます。 ファイル名は wp-sitemap.xml です。 example.com に WordPress をインストールしていたらサイトマップの場所は example.com/wp-sitemap.xml になります。 アクセスしたサイトマップはこんな感じです（正確には、サイ
JPCERT/CCでは、国内のWebサイトが改ざん被害を受け、不正なページが設置される事例を継続して観測しています。これらの事例では、不正に設置されたPHPスクリプト（以下、PHPマルウェア）により、ページにアクセスした訪問者が詐欺サイトや不審な商品販売サイトなどに誘導されることがわかっています。 今回は、複数の調査事例から得られた知見をもとに、国内のWebサイト改ざんで頻繁に見られているPHPマルウェアの詳細について紹介します。 被害事例 PHPマルウェアが設置されたWebサイトでは、アクセスした訪問者を詐欺サイトや不審な商品販売サイトなどに転送する不正なWebページが多数サーバー上に作成されます。図1は、ページにアクセスした際に表示されるラッキービジター詐欺サイトの例です。 図1：転送先の詐欺サイトの例 攻撃者は、コンテンツマネジメントシステム（以下、CMS）の脆弱性を悪用して、PHP
気がついたら数年ぶりのBlog投稿でした。お手柔らかにお願いします。 さて、今回取り上げるのは、ドメインやサブドメイン、保有ネットワークを調査する手法（相手方に影響を与えない縛りです）を思いつくままに紹介していきます。ドキュメントとして纏まっているものもあまり見かけなかったので、重い腰を上げて書いてみました。この他にもこんな方法がある！などフィードバックを頂ければとても喜びますので、是非よろしくお願いします。 目次 <後編> ・サブドメインを調査する方法 ・IPアドレスを起点にサブドメインを探す ・公開ポートへのアクセス（Webポート） ・＜通常コンテンツの返却＞ ・＜エラーページの返却＞ ・＜リダイレクト＞ ・公開ポートへのアクセス（Webポート以外） ・証明書の確認 ・＜Webサーバの場合＞ ・＜SSL/TLSで保護されたプロトコルの場合＞ ・＜プロトコル内で暗号化(STARTTLS)
Real World HTTP 第2版はなぜ1.5倍になったのか | フューチャー技術ブログ
Real World HTTP 第2版が2020/04/20出版されました。第2版が出版されるというのは、初版をみなさまが買ってくださったおかげです。どうもありがとうございます。紙媒体は先行入荷する書店さんではすでに入っているようです。オライリーのウェブサイトから電子版を購入することもできます。 4/17新刊『Real World HTTP 第2版 歴史とコードに学ぶインターネットとウェブ技術』オライリー（978-4-87311-903-8）渋川よしき 著◆「オライリー」棚にて展開中！Webテクノロジーの基礎となるHTTPの仕様を網羅的に学べる学習書が内容を充実させて改訂！ pic.twitter.com/k86zXGaHe9 — 書泉ブックタワーコンピュータ書 (@shosen_bt_pc) April 17, 2020 Real World HTTPの初版の執筆時にも、ネットで見かける
事業会社とOSS - Qiita
最近、社内でよく話をする内容についてまとめました。 企業がOSS化するといろいろメリットがあると思っていて、社内でもそこのコンセンサスはうちの技術横断部門のメンバー間では取れていたりするのですが、自社以外の人とかと話をする時もあるので、いろいろまとめておきます。 なお、この文章では本業をOSSにしつつビジネスを回そうみたいなElasticsearchとかMongoDBとかMySQLみたいな話題はとりあげず、本業が別にある会社がOSS化する、という部分に特化した話です。 9/13に追記 よく言われるメリットとデメリット メリットは、公開することで開発が自然と進み、コスト削減になる。一方でノウハウの流出などのデメリットがある、みたいなトレードオフ、という理解をしている人が多いようです。 コストは削減にならない OSS化したら多くの人に使ってもらいたいですよね？というのは考えるわけですが、その「
X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
robots.txtでは正規表現は使えない――改めて技術を正しく理解したいと心から思うミスがX（Twitter）のサイトに見付かった。今回のピックアップでは、この件に加えて、複数サイトを管理している人向けの便利なrobots.txt管理術をお届けする。 もちろん、ほかにもSEO情報をしっかりまとめている。ローカルSEOのテクニックと基本情報、デスクトップ用Googlebot終了、著者情報とSEO、生成AIなどなど、今回もあなたのSEO力アップに役立つ情報をお届けする。 X（Twitter）のrobots.txtがおかしい（このミスはちょっと恥ずかしいかも）複数サイト管理者に朗報： robots.txtはリダイレクトでまとめて管理できるローカルSEOで上位表示するためのTIPS×8ローカルSEOスターターガイド（基本版）2024年6月のグーグル検索オフィスアワー： コピーコンテンツが正規UR
"security.txt" についてまとめみた
CISSPの継続学習で知ったので忘却録としてまとめました。 security.txtとは security.txtとは、IETFが提唱している、ウェブサイトにセキュリティポリシーやサイトの脆弱性を発見したときの連絡先を記載するための標準で、robots.txt、ads.txt、humans.txtと同じようにテキスト形式で記載します。 投稿当時（2021/10/22）では、第12版のドラフトまで完成していますが、近くRFC化される見込みです。 (2023/11/1:更新) RFC 9116としてRFC化されました。 設定の効果 独自開発したWebサイトなどの脆弱性（XSSやSQLインジェクション等）の報告先を独自に設定することができます。したがって、いままでJPCERT/CCなどに報告する必要がある情報を作り手に直接連絡できるため、スピード感がある対応できると見込まれています。 ただし、表
【忙しい人のための】Next.js公式チュートリアルを完走してきたので記事１本で振り返る【ギュッと凝縮】 | DevelopersIO
本記事はNext.jsのチュートリアルが大きく変わったためリンク切れを起こしています。 技術メモのため記事としては残しますが、リンク切れにご留意ください。 また機会があれば新チュートリアルで記事を書こうと思いますm(_ _)m こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は以下のNext.jsのチュートリアルをほぼ一通り（SEOのところ以外）実施しましたので、ポイントを記事化しました。 https://nextjs.org/learn/foundations/about-nextjs" チュートリアル自体は、以下のような内容が分かるものとなっています。 CRA（create-react-app）のみ使用しているとイメージしづらい、素のHTML + JavaScriptとReactの関係のイメージが分かる Reactがフレームワークではな
私が29個ものブラウザ拡張機能を使っている深いわけ
私が29個ものブラウザ拡張機能を使っている深いわけ2021.05.07 22:3020,701 Shoshana Wodinsky - Gizmodo US ［原文］ （ おおぬま ） 使っている拡張機能で性格が分かる？ 突然ですが、隣の人のブラウザを見てみてください。もしエバーノートとトレロのファビコンだけが映っていれば、その人はタイプA（競争心が激しく外交的）の完璧主義者、もしくは過度に精神が落ち着いている人物です。 知り合いに倹約家はいますか？きっと、その人のブラウザはクーポンやプロモーションコード、キャッシュバック情報を知らせる拡張機能であふれているはず。 とここで、私自身が使用している拡張機能の紹介もしたいので、その前に先日のツイッターの話を。 実は先日、80個のタブが開いたスクリーンショットを面白半分でした際、うっかり拡張機能も表示してしまったんです。すると、タブの多さよりも、
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
先日、VMware上で動かしていたKali Linuxが突然エラーで起動できなくなりました。 コマンドラインだけならログインできるんですが、GUI操作ができず復旧が絶望的なので一からKali LinuxをInstallし直すことにしました。 その際、せっかくなので自分がVulnhubやHTBを攻略するうえで便利だと思って使っていて、かつKali Linuxにデフォルトで入っていないけど有用なツールをまとめたいと思います。 完全に個人の意見なので、参考までにどうぞ！ ちなみに、niktoやgobusterといったツールはめちゃくちゃ使いますがデフォルトでInstallされているため省略します。 Information Gatering AutoRecon onetwopunch Parsero smbver.sh FindSMB2UPTime.py impacket oracle(sqlpl
『Japanese Stable Diffusion XL』公開。日本語プロンプトで日本文化を反映した画像出力 | テクノエッジ TechnoEdge
Stability AIは11月17日、「Japanese Stable Diffusion XL」（JSDXL）を公開しました。 JSDXLは、テキストで記述されたプロンプトに応じて画像を出力するText-to-Imageモデルの最新版であるStable Diffusion XL（SDXL）を日本向けに特化させたAIモデル。 日本語を翻訳ではなく直接扱うことができるため、日本語特有の表現を認識し、日本の伝統的なものから現代的なものまで文化やアートを反映した高品質の画像を生成できるとしています。 ▲男子高校生のプロフィール写真（左: DALLE-3, 中央: 翻訳+SDXL, 右: JSDXL） ▲海岸沿いを走るライダー（左: DALLE-3, 中央: 翻訳+SDXL, 右: JSDXL） なお、JSDXLの学習データは、クリエイターから要求のあったオプトアウト、robots.txtや利用
2020年以降に必要なSEOの考え方をまとめたチェックリスト41項目 - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
無料で資料をダウンロード SEOサービスのご案内 専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。 無料ダウンロードする ＞＞ もはや常識となりつつありますが、SEOのプロジェクトを行う際の対象範囲は、年々（日増し？）に増えていきます。 各施策についての知識はありつつも、優先順位は適切なのか、抜け漏れはないのか、常に確認を行うことが大事です。そのような場合、対象範囲を網羅したチェックリストがあれば非常に便利です。 今回はSEMrushが作成した、41の項目をまとめたチェックリストを紹介いたします。SEMrushの機能紹介が多めですが、内容も有用なものとなっています。 Googleの検索結果の上位に表示され、オーガニックのトラフィックを増加させる手助けとなるSEOのチェックリストをお探しだろうか。 我々は2020年にSEO
【図解】グーグルのリンク評価20の原則【2019年版】（後編#11～#20） | Moz - SEOとインバウンドマーケティングの実践情報
リンクの原則#11 グーグルは、スパムリンクや低品質リンクの価値を引き下げているウェブ上には膨大な数のリンクがあるが、実際のところグーグルはその大多数を無視している可能性が高い。 グーグルの目的は、エディトリアルリンク（編集リンク）に重点を置くことだ。「エディトリアルリンク」とは、リンクを受ける側のサイトでは制御できず、他のユーザーが意図して配置する独自のリンクなどを指す言葉だ。 ペンギン4.0以降、グーグルはアルゴリズムによって「これらの基準を満たしていないと思われるリンクは単に無視するだけ」だとほのめかしている。たとえば、次のようなリンクがそうした扱いを受ける： ネガティブSEOとして張られたリンクリンクプログラムで生成されたリンクとはいえ、グーグルが本当に低品質のリンクをすべて無視しているかどうかについては、多くの議論がある。低品質のリンクが張られたサイトは実際に被害を受けかねないこ
ハッキングAPI
Web APIは近年急速に利用が拡大しています。APIの呼び出しが全Webトラフィックの80％以上を占めるほど、Webサービスに欠かせない技術となっている一方で、Web APIに対するサイバー攻撃も急増しており、そのセキュリティ対策はあらゆる組織で重要な課題となっています。 本書の目的は、Web APIの基本をしっかり押さえ、脆弱性が存在しないかどうかテストする方法を示すことです。攻撃者（APIハッカー）の視点から、あらゆるAPI機能と特徴を活用するための知識を学ぶことで、これから起こり得る情報漏えいの危機を防ぐことができます。まず、WebアプリケーションやWeb API脆弱性の種類などの基礎知識を学んだのち、実際に検証用ラボを構築しながら、脆弱性の調査方法、ツール、さまざまな攻撃手法などを、実践的に解説していきます。Webアプリケーションで最も一般的なAPI形式であるREST APIのセ
これはなにか cloudflare スタックを使ったマイクロフロントエンドの提案。 特に service-binding を活用することで異なるサービス(ここでは cloudflare worker)から配信されるフロントエンドを統一的にSSRしつつ、開発単位を分離している。 RTT最適化のために qwik で書かれているが、SSR を意識しなければ他のライブラリを採用しても良い。 $ tree . -I node_modules . ├── README.md ├── body │ ├── package.json │ ├── public │ │ └── favicon.ico │ ├── src │ │ ├── Body.css │ │ ├── entry.ssr.tsx │ │ └── root.tsx │ ├── tsconfig.json │ ├── vite.config.t
グーグルにアピールしても無駄なSEOテク5選＋SEOに効くコンテンツ作りの原則【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ
Googleのアップデートに耐えて検索上位をキープするコンテンツを作るために大切なこととは？ 「EC機能が最強」などの声に対して、グーグル検索の公式アカウントが「こういうのは意味ない」「やるならこう」という具体例や考え方を示した。 それ以外にも、「寄生サイト対策、マジでヤバいっぽい」「SEOは1年かかる」「site:検索の正しい使い方」や、細かいSEOテクニックに加えて、ローカルSEOの最新情報など、今回も役立つネタが盛りだくさんだ。あなたのSEO力アップに役立つ情報を、しっかり吸収してほしい。 グーグルにアピールしても無駄なSEOテク5選＋SEOに効くコンテンツ作りの原則グーグルの寄生サイト対策をみくびるべからず、必ず痛い目に遭うグーグルによる評価の回復には1年かかる!?コンテンツ公開前のテストや評価はどのようにやればいい？site:検索の仕組みをあなたは100%理解しているか？SEOに
Googleがrobots.txtを無視する robots.txtというファイルをブログに設置すると、特定のURLをGoogleがクロールしないように制御できます。 ttps://u-ff.com/korona-kannikensakitto-part1/?replytocom=64 ttps://u-ff.com/korona-kannikensakitto-part3/?replytocom=81 ttps://u-ff.com/crawl-budget/?replytocom=162 ttps://u-ff.com/crawl-budget/?replytocom=166 上記のようなURLへクロールしてほしくなかったので、robots.txtに Disallow: /*?replytocom=* という設定を追加しました。 詳しい設定手順は下記をご参照ください。
Webからのデータ収集の入門書としておすすめ「Pythonクローリング＆スクレイピング［増補改訂版］」 - Sansan Tech Blog
こんにちは。 DSOC R&D グループの高橋寛治です。 つい先日に同僚の加藤が執筆した書籍「Pythonクローリング＆スクレイピング［増補改訂版］―データ収集・解析のための実践開発ガイドー」の改訂版が発売されました。 gihyo.jp 私が業務でPythonを用いたクローリングおよびスクレイピングに取り組んでいることもあり、改訂版のレビューをさせていただきました。 実は、初版は読んで実践させていただいていたため、レビュー依頼を受けた際には感激しました（本当にお世話になっている本です）。 読んでいて私自身非常に勉強になった点が多く素直に良い本だと思ったため、本書籍の紹介をさせていただきます。 書籍の概要 Unix コマンドによるクローリングの基礎から始まり Python を用いた実践的なクローリング・スクレイピングなど様々なトピックに関して、豊富なサンプルコードとともに解説されています。
「セキュリティエンジニアのための English Reading」が公開されました - 午前７時のしなもんぶろぐ
お久しぶりです。しなもんです。 ここ数ヶ月作成していた「セキュリティエンジニアのための English Reading」が無事 IPA のサイトで公開されましたのでここで紹介させていただきます。 日本のセキュリティエンジニア全員に是非！是非！ご覧いただきたい内容に仕上がっていると自負しておりますので (誇張あり)、どうか冷やかしでも一度ご覧いただけると幸いです。 www.ipa.go.jp 中核人材育成プログラムとは プロジェクトの背景 「セキュリティエンジニアのための English Reading」紹介 Awareness ～英語情報の重要性を理解する～ Practice ～より「楽に」「上手く」読む～ Training ～リーディング力を鍛える～ セキュリティ英単語集 特長①: セキュリティニュースで「実際に使われている」単語を厳選 特長②: セキュリティならではの意味・使用例を掲載
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが判明しました。 Perplexity AI Is Lying about Their User Agent • Robb Knight https://rknight.me/blog/perplexity-ai-is-lying-about-its-user-agent/ GoogleやBingなどの検索エンジンやChatGPTをはじめとする生成AIは、ク
Slack's private GitHub code repositories stolen over holidays
HomeNewsSecuritySlack's private GitHub code repositories stolen over holidays Slack suffered a security incident over the holidays affecting some of its private GitHub code repositories. The immensely popular Salesforce-owned IM app is used by an estimated 18 million users at workplaces and digital communities around the world. Customer data is not affected BleepingComputer has come across a secur
SEOの課題を特定し解決する４つのフレームワーク - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ
無料で資料をダウンロード SEOサービスのご案内 専門のコンサルタントが貴社サイトのご要望・課題整理から施策の立案を行い、検索エンジンからの流入数向上を支援いたします。 無料ダウンロードする ＞＞ サイトへの自然検索流入が増減する理由は多々あるため、「何が課題なのか」を特定するのに苦労しているWeb担当者は多いでしょう。 言い換えると、「SEOには変数が多い」ともいえますが、その変数を一つ一つ紐解いていくのは骨が折れる作業です。 今回の記事は、SEOの課題を４つに分類し、分析から解決策までをまとめたフレームワークについての記事となります。 チェックすべきポイントがわかりやすく抑えられているため、多くの方に参考になる内容かと思います。 最近、サイトへの自然検索流入が減少、または上昇した際、あなたはどのように感じただろうか。 よくあるケースとしては、Googleのアルゴリズムが誤っているという
約 3 ヶ月毎日社内の Slack に SEO の情報を流して会社の SEO 知識レベル向上させてみた - ぐるなびをちょっと良くするエンジニアブログ
こんにちは、開発 Unit 10 の小林(@0rga)です。 普段は React や Node.js による開発を主としておりますが、以前 SEO 施策の開発実装に多く関わっていた時に SEO の楽しさに気が付き、そこから SEO の動向を追うのがひとつの趣味になっています。 TL;DR Slack で SEO の情報発信チャンネルを作ってみんなを呼び、毎日アウトプットしたよ 後にチャンネルでとったアンケートで、SEO への理解が深まったり、苦手意識が薄れたという声を貰えたよ チームや会社に SEO への理解が欲しい人にはオススメの方法だよ 社内の SEO 知識レベルの向上に貢献したいと、ふと思った WEB サービスと SEO は切っても切れない仲ですので、SEO 好きの開発者を増やすべく、チーム内でも SEO の勉強会を開催したり SEO の奥深さの布教をしていたのですが、その時によく聞
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT プラグイン機能一覧｜しおぱん
機械学習で競馬の回収率100%超えを達成した話 - Qiita
辻正浩 | Masahiro Tsuji on Twitter: "よくあるrobots.txtの誤りで、致命的なトラブルになる事もあるのにあまり知られていない仕様の紹介で連ツイート。 誤りは表に出ることが少ないので日本語で実例紹介を見たことが無いのですが、公共の面も持つサイトでの誤りを発見したので注意喚起意図で実例を紹介します。(続く"
「Google 砲」を生み出す「Discover」とは何か - Media × Tech
フロントエンド初心者がGatsbyでブログを作り直した話 - As a Futurist...
ピクシブにおける不当な目的での作品取得行為に対する対策技術について - pixiv inside
Introduction to heredocs in Dockerfiles | Docker
Next.jsで静的サイトを作成する際によく使っているライブラリまとめ
WordPress 5.5に実装されたネイティブ サイトマップ機能を無効化する方法
ラッキービジター詐欺で使用されるPHPマルウェア - JPCERT/CC Eyes
ドメインやサブドメインを調査する話（前編） | 技術者ブログ | 三井物産セキュアディレクション株式会社
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
Kali Linuxに(自分が)追加したいペネトレーションツール - 高林の雑記ブログ
cloudflare の better micro frontend を読む
Google Search Console、「robots.txt によりブロックされましたが、インデックスに登録しました」への対処方法