WebサイトをスクレイピングしてLLMで使いやすいデータにする「Firecrawl」をセルフホストしてみる
Firecrawl 以下で少し触れたFirecrawl。 https://www.firecrawl.dev/ Webサイトをクロールして、JSONやMarkdownなどLLMで使いやすいデータに変換するサービス。 オフィシャルではないけども以下で紹介されている。 https://www.youtube.com/watch?v=fDSM7chMo5E Jina.aiのReader APIと似たような感じかな？ https://zenn.dev/kun432/scraps/feec7e2370450c ソースはGitHubで公開（ライセンスはAGPL-3.0）されていて、docker composeでセルフホストできるらしい。 一応READMEには以下とある。 このリポジトリは開発初期段階にある。まだmonoリポジトリのカスタムモジュールをマージしているところだ。完全なセルフホストデプロイの
RAG の精度を向上させる Advanced RAG on AWS の道標 | Amazon Web Services
Amazon Web Services ブログ RAG の精度を向上させる Advanced RAG on AWS の道標 生成 AI の進化と共に、大規模言語モデル (LLM) を活用したアプリケーション開発が急速に広がっています。その中で、検索拡張生成 (Retrieval-Augmented Generation; RAG) は、LLM に対して最新の情報や特定のドメイン知識を組み込むための重要な技術として注目を集めています。 RAG は、その名の通り、外部知識ベースから関連情報を検索し、それを LLM の入力に組み込むことで、より正確で最新の情報に基づいた回答を生成する手法です。この手法には以下のような重要な利点があります。 最新情報の反映: LLM の学習データの制限を超えて、最新の情報を回答に反映させることができる。 ドメイン特化: 特定の分野や組織固有の情報を容易に組み込むこ
他社事例から考える、利用しやすいデザインシステムのためのガイドライン作り - enechain Tech Blog
はじめに enechainデザインシステムについて デジタル庁デザインシステム 特徴 Figmaファイル Webサイト GitHub Primer 特徴 Figmaファイル Webサイト Ameba Spindle 特徴 Figmaファイル Webサイト 各デザインシステムの構成まとめ enechainへの反映 Notionでのガイドライン まとめ はじめに こんにちは、デザイナーの渡邉と申します。私はenechainの業務委託メンバーとして、enechainの複数プロダクトを支えるデザインシステムの改善に携わっています。 この記事では、利用しやすいデザインシステムへと改善していく上でデザインチームが取り組んでいたことをまとめます。 enechainデザインシステムについて enechainでは10個以上のマルチプロダクトを開発・運用しており、デザイナーは各プロダクトでUIデザインを担当し
なぜクラウドサービスで Web コンソールを提供するのか
Web Developer Conference 2024 にて行ったセッションの資料です。
はじめに教わるデザインの基本。気をつけるべき28のポイント | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
突然ですが、下記のバナーにはデザインのルール上あまり適切でないことが含まれています。 ・ ・ ・ みなさんはわかりましたか？ 「なにがよくないのかわからない……」という方は、ぜひこの記事を最後までご覧ください！ 今回は新米デザイナーさんに向けて、先輩からはじめに教わるデザイナーが覚えておきたい基本やポイントをご紹介します。レビュワーの立場にあるデザイナーの方も、デザインのチェックリストとして使っていただけると幸いです！ （すぐに答えが知りたい方はこちらをクリックしてジャンプ！） 今回ご紹介するのは、デザイナーなら誰もが一度は目にするような基本中の基本です。ただし、これらは「絶対的なルール」というわけではありません。経験豊富なデザイナーさんであれば、状況に応じてあえてこれらの基本を外すこともあると思います。 でも、覚えておいていただきたいのは、ルールを知った上で破るのと、知らずに破るのでは大
Web アプリケーションにおける Amazon ECS / AWS Fargate アーキテクチャデザインパターン - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは。AWS Container Hero の新井です。 Amazon ECS の登場から間もなく 10 年が経ちますが、その間、ECS ⾃体の進化に加えて、さまざまな AWS マネージドサービスとの連携が可能になりました。 現在では、コンテナベースのワークロードを活⽤することで実現できないことを探す⽅が難しいほど、柔軟なアーキテクチャが構築できるようになっています。 しかし、⾃由度が⾼い分、要件に合ったアーキテクチャを模索する際には、迷うことも多いでしょう。 AWS上でシステムを適切に構築するためには、あらかじめサービス間のつなぎ⽅やパターン、その特徴を把握しておくことが重要です。 これにより、フィージビリティを迅速に確認でき、その後のトライアンドエラーのサイクルを加速させることができます。 今回は、最新の AWS サービスアップデートを踏まえつつ、Amazon ECS / AWS
WEBデザイン制作の作業に役立ちそうなAIツールを列挙してみた
WEBデザイン制作のなかでよく耳にするのが「作業時間」の問題。 制作会社に就職したら、仕事量が多くて残業が多くなりがち。 フリーランスや副業でデザインをしている方は、時間がかかるせいで時給換算したときに安くなりがち。 とのことです。 そこで今回は、全WEBデザイナーさんに見ていただきたい、あなたの作業効率をアップさせるのに役立ちそうなAIツールを18個まとめました。 今回ご紹介するのは 画像の編集・加工に役立つAIツール WEBサイトの制作に役立つAIツール プレゼンテーション資料作成に役立つAIツール リサーチに役立つAIツール タスク管理や生産性向上に役立つAIツール の5種類。 それぞれの特徴はこんな感じです。 ※表は右にスクロールできます→ ツール名 画像の編集 加工 WEBサイト 制作 プレゼンテーション 資料作成 リサーチ タスク管理 生産性向上 Canva ◎ – – – –
「生成AI検索」は著作権侵害なのか？ 日本新聞協会の“怒りの声明”にみる問題の本質
日本新聞協会は7月17日、Web検索と連動してAIがサマリーを返す検索エンジンのサービスについて、著作権侵害に該当する可能性が高いとする声明を発表した。 以前から同協会では、AIによる権利侵害に対して警戒感を強めている。機械学習に報道コンテンツが自由に使われてしまうのは問題ではないかとして、AIによる学習を著作権者が拒否できる、もしくは利用時に許諾を得る仕組みの整備が必要であると訴えてきた。 上記の意見書は、内閣府が行ったパブリックコメントへの意見だが、今回の声明は特にパブリックコメントとは関係なく、独自に出されたものであることから、より緊急性が高い案件という事なのだろう。 現在Web検索に連動した生成AIサービスは、Googleでは「Search Labs AI」として提供されている。一方Microsoft Bingでは、検索ウィンドウ内で単純に検索するか、「ディープ検索」を使うか、ある
コピペで時短、Tailwind CSSおすすめUIコンポーネント、UIキット集、便利ツール【まとめ】
開発者にとっていかに早くWeb制作を進められるかは、永遠のテーマと言えます。 この記事ではWebサイト制作を効率化、爆速にするTailwind CSSのUIコンポーネント集、便利ツールをまとめてご紹介します。 表現したいレイアウトをコピペのみで実現でき、これまでかかっていたサイト制作時間を劇的に削減します。 おしゃれなWebサイトを素早く開発できるUIコンポーネント素材、あなたはいくつ知っていますか。 Tailwind CSSの便利UIコンポーネントまとめTailwind UIMagic UIDyna UIAnimataPrelineMamba UIFlowbiteDaisy UISailboat UIMeraki UITail-KitReact AriaWicked BlocksTailwind Starter KitWindstaticMyna UITailwind StampHype
使うだけで時短になるWeb、デザイン制作の新ツール・フリー素材50選
「日頃の作業をどうにか楽にしたい、できることならだれかやってほしい」と思ってしまうほど自分にあまい筆者が、制作時間の短縮や効率化アップにつかえる新ツールやデザイン素材をまとめました。 すべて手作業だと時間のかかるCSSスタイリングや、スキルも必要な手描きイラストを用意したり、「このツール、早く知りたかった」と思った素材やツールが揃っています。 日頃のワークフローに活用して、デザイン制作の新ルールを一緒に見つけてみませんか。 コンテンツ目次Web便利ツールデザインツールFigma・アイコンツールユニーク・面白ツール Web便利ツール The good colors – Full spectrum – OKLCH 注目の色「OKLCH色空間」によるカラーパレット作成ができるツール。一般的なLCHとOKLCH色の比較の通り、より「いい感じの色合い」で、明度と彩度のトーンがあった美しい配色を生成し
Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始
Cloudflare、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供開始 Cloudflareは、すべての生成AIによるクローラーをワンクリックでブロックする機能を無料で提供すると発表しました。 生成AIは人間が作成したテキストや画像、動画などを大量に読み込んで学習を行う必要があります。生成AIを開発している組織は、より多くの学習データを取得しようとしており、そのためにインターネット上の多数のWebサイトをクロールするBotを稼働させているのです。 しかしWebサイトの運営元として自分たちのコンテンツがこうした生成AIの学習に使われることを望まないところもあるでしょう。 Cloudflareの新機能はこうしたWebサイトが簡単に生成AIのBotによるクローラーをブロックしてくれる機能を提供してくれます。 下記がCloudflareのダッシュボード画面で、すでに
Webサービス公開前のチェックリスト
個人的に「Webサービスの公開前チェックリスト」を作っていたのですが、けっこう育ってきたので公開します。このリストは、過去に自分がミスしたときや、情報収集する中で「明日は我が身…」と思ったときなどに個人的にメモしてきたものをまとめた内容になります。 セキュリティ 認証に関わるCookieの属性 HttpOnly属性が設定されていること XSSの緩和策 SameSite属性がLaxもしくはStrictになっていること 主にCSRF対策のため。Laxの場合、GETリクエストで更新処理を行っているエンドポイントがないか合わせて確認 Secure属性が設定されていること HTTPS通信でのみCookieが送られるように Domain属性が適切に設定されていること サブドメインにもCookieが送られる設定の場合、他のサブドメインのサイトに脆弱性があるとそこからインシデントに繋がるリスクを理解してお
AWS、生成AIの「Amazon Q」にこれから作るアプリを説明すると、適切なアーキテクチャのブループリントを提案してくれる新機能
AWS、生成AIの「Amazon Q」にこれから作るアプリを説明すると、適切なアーキテクチャのブループリントを提案してくれる新機能 Amazon Web Servicesは、統合開発環境のAmazon CodeCatalystに統合された生成AI「Amazon Q Developer」の新機能として、アプリケーションに最適なブループリントを提案してくれる機能が正式に追加されたと発表しました。 Amazon CodeCatalystは統合開発環境 Amazon CodeCatalystはAWS上でアプリケーションを開発するための統合開発環境です。 CodeCatalystには、「ブループリント」と呼ばれるプロジェクトのテンプレートが用意されています。このブループリントを利用することで、ソースコードのリポジトリ、サンプルソースコード、CI/CDワークフロー、ビルド、テスト、テストレポート、イシ
AIでラフを線画に整えるだけの無料webアプリ『sketch2lineart』公開｜とりにく
結論から言うと、こんなことができます。 カラーイラストを線画にすることも可能です。 先日、AI-AssistantV3なるお絵描き補助AIフリーソフトを公開したのですが、多くの方から『私のPCじゃ動かん！』というご意見をいただきました。 わかる～！ちょっとAIに興味あるだけの人が20万↑のPCに手を出せるわけないよね。それが本当に使えるモノかどうかもまだわからないのに。 私もできる範囲で動作サポートするものの（抜けていたらすみません！） 元々のPCのスペック問題自体はどうしようもないジレンマに葛藤していました。 ならばスマホからでも動くシンプルなwebアプリ作ったろうじゃん！！！ と思ったので作りました。 機能限定版AI-AssistantV3みたいな立ち位置だと思って下さい。まぁ微妙にアルゴリズム違うんで厳密には別物ですが。 【追記】勘違いする方もいるっぽいので明記しておきます！ こちら
2024年版「基本的なウェブアプリケーションを構築する」のチュートリアル手順まとめてみた[Amplify Gen2対応] | DevelopersIO
初めてAWSのサーバレスサービスを学習するときに利用できる「基本的なェブアプリケーションを構築する」の内容を2024年現在でも実行できる手順にしてみました こんにちは、臼田です。 みなさん、AWSのチュートリアル活用してますか？(挨拶 今回はAWSの初心者向けハンズオンコンテンツである基本的なウェブアプリケーションを構築するを2024年の現在版の手順としてまとめてみました。 このコンテンツはAWSのサーバレスなサービスを利用して、簡単にウェブアプリケーションを作成する体験ができるチュートリアルとなっており、登場するAWSの各サービスを理解するのにちょうどよい内容でした。しかし、リリースされてしばらく経っているのもあり、特に今回のAmplify Gen2リリースもあってだいぶ画面や操作方法などが変わってしまいました。 実現できる事自体は変わらないので、現時点でこのチュートリアルを初心者でも完
![2024年版「基本的なウェブアプリケーションを構築する」のチュートリアル手順まとめてみた[Amplify Gen2対応] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/89d69da1ff63f03a6134b1ba08325495afbaf56e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F06%2F000_basic_web_app.png)
サーバなんて触ったことないから分からない――クラウド世代のための「サーバ」超入門
クラウドでサービスを利用したり、システムやWebアプリケーションを構築することが当たり前になった昨今、以前はハードウェアを触ることで物理的に理解することができたサーバやストレージの基礎知識について、意識することが難しくなっています。一方で、IaaS（Infrastructure as a Service）やPaaS（Platform as a Service）などクラウドを使いこなす上では、サーバやストレージについて基本から分かっている必要があるにもかかわらず、あいまいなまま使っていて障害やセキュリティ事故につながっていることもあるのではないでしょうか。 本連載「AWSで学ぶクラウド時代のサーバ＆ストレージ基礎知識」では、これまで仮想マシンは使っていたけど物理的なサーバに触れてこなかったエンジニアやサーバ管理者、情シスなどを対象に、サーバとストレージの基礎知識を「Amazon Web Se
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker互換のセキュアなコンテナ実行環境「Podman」超入門
世界中のWindowsがぶっ壊れた問題、「ぬるぽ」が原因だったらしい→ネット始まって以来最大のcrowdstrike「ぬるぽ」Windows 「ガッ」
Web上のPython実行環境「Google Colab」の有料プランが組織単位で導入可能に／
20分で分かるIAM全機能 /20240621-aws-summit-iam
