robots.txtによるクローリング禁止が急増 — AIがWeb全体をクローズドにしつつある
9月1日、海外のテックメディアIEEE Spectrumで「AIがウェブクローリングをめぐる戦いを巻き起こす(AI Has Created a Battle Over Web Crawling)」と題した記事が公開された。この記事では、ジェネレーティブAIの進化とそれに伴うウェブクローリングに関する論争について、AI研究者グループ「Data Provenance Initiative」のリードリサーチャーであるシェイン・ロングプレ（Shayne Longpre）氏へのインタビューを通じて詳しく解説されている。 ジェネレーティブAIとデータ収集の問題 ジェネレーティブAIは、膨大なデータセットを使用して訓練されることで、驚異的なパフォーマンスを発揮するが、そのデータセットの大部分は、私たちが日常的にインターネット上に公開している情報で構成されている。これには、ブログ投稿、ビデオコンテンツ、S
なぜクラウドサービスで Web コンソールを提供するのか
Web Developer Conference 2024 にて行ったセッションの資料です。
意思決定に基づくはずのオペレーションを追跡し、監査を効率化する話 - LayerX エンジニアブログ
LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ SIEMからデータ基盤へ - Amazon Security Lakeを試してる話 - LayerX エンジニアブログ 現在は、当社の方針に基づき採択したAWS Security Lakeを前提にしたセキュリティ監視基盤をもとに、 当社事業年度における２Qの目標ということで、実際のユースケースに取り組むこととしました。 シナリオ選び なにはともあれ、最終的には採用ヘッドカウントやスキルセットも含め体制化を念頭に入れて、継続的に取り組む必要があります。 その際に、当部の「セキュリティ基盤」にのみを意識をしてしまっては、一度承認された
リージョナル AWS STS エンドポイントの使用方法 | Amazon Web Services
Amazon Web Services ブログ リージョナル AWS STS エンドポイントの使用方法 本稿は、2024 年 2 月 26 日に AWS Security Blog で公開された “How to use Regional AWS STS endpoints” を翻訳したものです。 このブログ記事では、グローバル (レガシー) AWS Security Token Service (AWS STS) エンドポイントで、可用性が担保できない場合の回復力の向上に役立つ推奨事項を提供しています。グローバル (レガシー) AWS STS エンドポイント https://sts.amazonaws.com の可用性は高いですが、米国東部 (バージニア北部) という単一の AWS リージョンでホストされており、他のエンドポイントと同様に、他のリージョンのエンドポイントへの自動フェイルオー
Man pages maintenance suspended [LWN.net]
Alejandro Colomar, who has been maintaining the Linux man pages for the last four years, has announced that he will have to stop that work. I've been doing it in my free time, and no company has sponsored that work at all. At the moment, I cannot sustain this work economically any more, and will temporarily and indefinitely stop working on this project. If any company has interests in the future o
SSM セッションマネージャーに必要なVPCエンドポイントが2つになっていた | DevelopersIO
こんにちは、なおにしです。 VPCエンドポイントを整理していた際、Systems Manager Agent のアップデートに伴ってSystems Manager (SSM)で使用するエンドポイントの用途にも変更が入っていることが分かったのでご紹介します。 先に結論 SSM Agent のバージョンが「3.3.40.0」以降であればセッションマネージャーに限らずSSMの使用においてエンドポイント「ec2messages.region.amazonaws.com」は必要ありません VPCエンドポイント「com.amazonaws.region.ec2messages」を使用しないことでコスト削減にもつながります はじめに 以下の記事でも紹介されているとおり、プライベートサブネットのEC2インスタンスに対してNATゲートウェイを使用せずにセッションマネージャーで接続するためには以下のVPCエン
複雑化した日本のキャッシュレス決済を再びシンプルに――JCBと九大発のベンチャーが挑戦する「画期的購買体験」の提案
複雑化した日本のキャッシュレス決済を再びシンプルに――JCBと九大発のベンチャーが挑戦する「画期的購買体験」の提案（1/3 ページ） ジェーシービー（JCB）と九州大学と提携するimago（イマーゴ）のシンクタンク部門「iQ Lab」が、全く新しい買い物体験「近づいてチェック」を開発／提案している。最近のiPhoneやAndroidスマートフォンの一部モデルに搭載されている「UWB（超広帯域）無線」を用いて顧客を認識するのが特徴だ。技術的な詳細は、10月21日から大阪市で開催されるFiRa Consortium（フィラコンソーシアム）のイベントで発表されるという。 →JCBとイマーゴのニュースリリース レジに表示された名前で“確かに本人であること”を確認するだけで、決済が完了するばかりか、酒やたばこを買うのに必要な年齢確認、割り箸やレジ袋の要／不要のリクエストなども完了できる。言葉に出さず
「最低限のセルフケア」で生きている
https://anond.hatelabo.jp/20240904005812 肌の状態を健やかに保つのは「セルフケア」だ。肌が過度に乾燥すれば痒くなるし、脂過剰でニキビになると腫れて痛い。 髪をツヤツヤに保つのは「美容」だ。たとえ髪がボサボサでも、枝に引っ掛けたりしない限りは不快を覚えることはない。 自分の不快を取り除くか否かをラインに、最低限のケアをしながら生きている。 スペック強めの脂性肌。アラフォーだが皮脂腺が衰える気配がまったくなく、毎日午後には顔テカテカ。 皮膚はおそらく女性平均よりも厚く強い。ゆえに男性の肌ケアに多少通づる所もあるかもしれない。 これまでの人生で肌コンディションが最も酷かったのは思春期で、顔中を覆う巨大ニキビに3mm級の角栓が詰まっていた。最も良いのは今。できものの（ほぼ）無い肌をようやく手に入れることができた。 前提増田が清潔感の話題なところだが、モテとか
片方が認知症になってしまったら、その瞬間から「おひとりさま」→高齢になった時、子どもたちにアレコレ対応してもらわずに自分たちで備えておかないといけない話
なー⛩️ @ringomiharu 片方が認知症になってしまったら、その瞬間から「おひとりさま」 （太田垣章子さん『あなたが独りで倒れて困ること30』から） あー、そうだよなぁ。 高齢になった時、子どもたちにアレコレ対応してもらおうとは微塵も思わない。自分たちで備えておかないといけないな。
医療分野におけるLLMの現状と応用可能性について
論文読み会 SNLP2024 Instruction-tuned Language Models are Better Knowledge Learners. In: ACL 2024
個人開発でもADR （アーキテクチャデシジョンレコード）を書くことの利点 - laiso
起業なのか請負開発か趣味のプロジェクト（ペットプロジェクト）かによって状況は異なりますが「私のチームの開発者は私１人だけです」という個人開発においても、ADRは有効なツールとなりえます。 ADRとは何か？ ADR（アーキテクチャデシジョンレコード）は、ソフトウェアアーキテクチャにおける重要な設計判断とその根拠、影響、関係する検討事項などを記録した文書です。 一見、現代的な響きですが、その実態はシステム設計ドキュメントの一部です。 "ADR"で検索すると真っ先にヒットするアーキテクチャの入門書『Design It! ―プログラマーのためのアーキテクティング入門』では、ADRは「アーキテクチャ手法に対する開発者寄りのアプローチ」と説明されており、アーキテクトと開発者自身がアーキテクチャに関する意思決定を記録し、共有するための手法として位置づけられています。 アーキテクチャデシジョンレコード（A
納期なし、新人は10回学習、超エンジニアのマネージャー… Microsoftエンジニアが明かす日米ソフトウェア開発文化の違い
「Developer eXperience Day 2024」において、Microsoftの牛尾剛氏が、日米のソフトウェア開発文化の違いについて語りました。マネージャーの高い技術力、納期に対する柔軟な姿勢、新人エンジニアの徹底した学習態度など、日本のエンジニア環境にはない、アメリカのテック企業の「当たり前」について話しました。前回の記事はこちら。 マネージャーの高い技術力 牛尾剛氏：そういうふうな環境でマネージャーの技術力はどうやねんって話ですね。これもものすごく違っていて、僕の上のマネージャーはプラグナーっていうんですけど、この人はAzure FunctionsのJavaのランタイムを1から書いた人なんですよ。 その上のパートナーもAzure Automationの開発でどんな技術の話題でもめっちゃ深く理解して、すごいアイデアを出したりする人で、その上のフェローはアレですね。Azure
"SRE" doesn't seem to mean anything useful any more
This seems to be a thing now: someone finds out that you worked as an SRE ("site reliability engineer", something from the big G back in the day) somewhere, and now all you're good for is "devops" - that is, you're going to be the "ops bitch" for the "real" programmers. You are the consumer. They are the producer. They squeeze one out and you have to make it sing and dance. You keep things running
AWS Identity and Access Management がすべての商用リージョンで AWS PrivateLink のサポートを開始 - AWS
AWS Identity and Access Management がすべての商用リージョンで AWS PrivateLink のサポートを開始 AWS Identity and Access Management (IAM) が、すべての商用 AWS リージョンで AWS PrivateLink をサポートするようになりました。IAM を使用すると、IAM ロールやポリシーなどのリソースを作成して管理することで、誰または何が AWS のサービスやリソースにアクセスできるかを指定できます。仮想プライベートクラウド (VPC) と IAM の間にプライベート接続を確立して IAM リソースを管理できるようになりました。こうすると、パブリックインターネット接続が制限されるコンプライアンスや規制の要件を満たすのに役立ちます。 PrivateLink を IAM や、既に PrivateLink
10ギガ・ネットの不必要性(10G詐欺) | www.kosho.org
最近、一般家庭向け固定インターネットにおいて超高速を謳う10G(ギガ)プランが登場しています。しかし、一般的な動画視聴、ビデオ会議、SNS等だけを行う家庭については、10Gのメリットを感じることはほぼありません。一方、巨大ファイルの送受は早くなりますが、そのためには高速ストレージとケーブル接続が必須です。ゲームのQoEも上昇が期待できますが、その効果は限定的です。 一方、ISP等の通信事業者の幾つかは、誇大な宣伝を行っており注意が必要です。今回はこのあたりの10ギガ詐欺についてまとめます。 10Gを使い切れる設備 ネットワーク性能 現状、スマホ、ラップトップ、PC、テレビ、もしくは一般的なWiFi環境下では、10Gbpsを使い切ることはできません(一般に流通している機器の場合、最大1Gbpsの場合が多いです)。10Gbpsを使い切るには、基本的に10GbE対応のPCと有線のネットワーク機器
ハイパーモダンPython
ハイパーモダン（hypermodern）という言葉は20世紀初頭を代表するチェスプレーヤーたちが考案した、当時モダンであると考えられていたオープニング戦略を超える斬新な戦略に由来するものです。本書はPythonを使った開発におけるハイパーモダンな戦略を提示します。Poetry、Nox、pytest、Ruff、uv、Ryeといった新しいツールを活用して、ワークフローをさらに効率化し、堅牢かつ信頼性の高いプロジェクトにする手法を紹介します。ハイパーモダンな戦略を通じて、開発において本当に重要なことを学べる1冊です。 訳者まえがき はじめに Ⅰ部 インストールと環境 1章 Pythonのインストール 1.1 複数のPythonのバージョンをサポートする 1.2 Pythonインタプリタを探す 1.3 WindowsにPythonをインストールする 1.4 Windows用Python 1.5 m
新しい視覚データで明らかになった世界の空気質の傾向 | Ubergizmo JAPAN
リーズ大学、エディンバラ大学、ノースカロライナ州立大学、英国気象庁の科学者チームが「Air Quality Stripes」を通じて、世界の空気質の傾向を視覚的に示しました。これらの画像は、世界各地での空気質の改善と悪化における大きな格差を明らかにしています。 ヨーロッパでは、特にロンドンやベルリンのような西欧の都市で粒子状物質の大幅な減少が見られる一方で、アフリカや中央アジアの一部、例えばナイロビやデリーなどでは、懸念される増加が観察されています。この対比は、世界的に大気汚染と闘う上での進展と継続する課題の両方を浮き彫りにしています。 「Air Quality Stripes」は、微小粒子状物質（PM2.5）の濃度変化を色分けして表現しており、青は空気が清浄であることを、黒は極めて高い汚染レベルを示しています。このプロジェクトは、呼吸器系の問題、心臓病、さらにはさまざまな病気のリスクを増
誰が悪いのか？ ～ 中小企業向け無償脆弱性管理プラットフォーム「S4」がサプライチェーンリスクの実例にあえてなった理由 | ScanNetSecurity
「nOAuth（エヌオース）」と呼ばれる脆弱性が、よりによって脆弱性管理基盤「S4（エスフォー）」に存在し、かなり限定的な条件ではあったものの攻撃が成立することが 2024 年 5 月に開発者によって実証された。
Amazon 提供の連続した IPv4 ブロックが利用可能に - AWS
本日より、お客様は Amazon VPC IP Address Manager (IPAM) を使用して Amazon が提供する連続した IPv4 ブロックをプロビジョニングして、ネットワーク管理とセキュリティを簡素化できるようになりました。 お客様は、管理が面倒な個別の不連続なパブリック IPv4 アドレスを多数使用するのではなく、アクセスコントロールリスト、ルートテーブル、セキュリティグループ、ファイアウォールなどのネットワークおよびセキュリティ構成に Amazon が提供する連続した IPv4 ブロックを使用したいと考えています。IPAM 内では、お客様は Amazon が提供する連続した IPv4 ブロックを IPv4 パブリックスコープのリージョナルプールにプロビジョニングできます。これらのプールから Elastic IP アドレスを作成し、そのアドレスを EC2 インスタンス
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nuno-faria/tetris-sql: Using SQL's Turing Completeness to Build Tetris
Wi-Fiの「遅延」をどう計るか？ Microsoft「PsPing」による計測を試す【イニシャルB】
Terry Lambert's answer to What goes into making an OS to be Unix compliant certified? - Quora
