AWS CLIやAWS SDKではなく直接AWSのAPIを叩きたい こんにちは、のんピ(@non____97)です。 皆さんはAWS CLIやAWS SDKではなく、直接AWSのAPIを叩きたいなと思ったことはありますか? 私はあります。 AWSのAPIに対してアップデートがかかると、AWS CLI v1やboto3などでもアップデートの内容がすぐに反映される認識です。ただし、万が一AWS CLI v1やboto3などがアップデートになかなか追従できない場合は「早くアップデートブログを書きたいのに書けない」というもどかしい気持ちになること間違いなしです。 そんな時に備えて、直接AWS APIを叩けられるように整理しておきたいと思います。 いきなりまとめ curlで簡単にAWS APIを叩くことが可能 AWS Signature V4にもサポートしているよ AWS APIを直接叩く際はAWS
AWS WAFの基礎が学べる公式ワークショップをやってみました。内容がかなりしっかりしているため、AWS WAFの学習を始める足掛かりとしてぴったりではないでしょうか。 こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 皆さんAWS WAFを使ったことはありますか？AWS WAFは名前の通り、AWSが提供するウェブアプリケーションファイアウォールサービスで、Web ACLというリソースをALBやAmazon CloudFrontディストリビューションなどにアタッチして利用出来ます。 今回はそんなAWS WAFのいろはを学ぶことが出来るハンズオン形式のAWS公式ワークショップを触ってみました。内容は英語ですが、動画等のコンテンツは無いためブラウザの翻訳機能で日本語化可能です。 このワークショップで学べること 本ワークショップはAWS WAFの基礎が詰まった内容
ChatGPTのAPI機能について調べてみました - ROBOT PAYMENT TECH-BLOG
こんにちは、サブスクペイで開発を担当している近藤です。 ChatGPT使っていますでしょうか？知らないことを調べたり、雑談もできるので適当にメッセージを投げて反応を楽しんでおります。 API機能があるので導入について少し調べました。 設定と使い方 API機能のリファレンスは以下になります。 platform.openai.com 単純に応答させたいだけならば、Chat APIを使用することで実現できます。 今回はPostmanを用いて、HTTPリクエストを投げる形で作成しました。 前準備として、ChatGPTのAPIキーを用意しておく必要があります。 ChatGPTのPersonal Settingから API Keysをクリックし、Create new secret key でキーを作成してください。 作成したキーの情報をPostmanのヘッダに設定します。 その他の設定は以下のようにし
Cloudflare Workers の無料プランで画像を圧縮する Next.js のプロジェクトを Cloudflare にデプロイする場合、問題になるのが Vercel が提供している画像の自動圧縮機能です。これを Cloudflare でも実現するためには、Cloudflare Workers が使えそうですが、無料プランでは画像の圧縮機能を提供していません。意地でも無料で実現したいという乞食精神に乗っ取り、画像変換コードを書くことにしました。 画像の変換方法 Cloudflare Workers では、一度のリクエストで処理できる CPU 時間は 10ms です。非同期アクセスの待ち時間は含まれないので、純粋な処理時間です。高速に処理するのならネイティブコードを使うのが一番ですが、もちろん使えません。そこで、WebAssembly を使うことにしました。最近 WebAssembly
Azure OpenAI Service と LangChain を用いて、会話をしながら自社サービスに API を実行してくれるチャットボットを作った - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2023 16日目の記事です。 こんにちは! クラウド & ネットワークサービス部の外村です。 普段は VxF 基盤 という 社内サービス用クラウドの開発・運用をしつつ、ソフトウェアエンジニア育成研修である twada 塾 の研修運営をしています。 今回は自己研鑽と業務効率化を目的として大規模言語モデル (以下、LLM) を用いたチャットボットの開発に挑戦しました。 LLM を用いたアプリケーション開発に興味がある方や、LLM の選択肢として Azure OpenAI Service を検討されている方へ参考になればと思います。 本記事では以下の技術を中心に取り扱います。 Azure OpenAI Service LangChain を用いた Function calling (非同期処理) の実装 開発の
Youtube動画をOpen AIで文字起こし＆要約で観ていない動画について堂々と語る方法 - 太陽がまぶしかったから
Youtube動画をOpen AIで文字起こし＆要約 字幕や書き起こしがAIによって自動的にできるようになり、AIに調査や要約をさせることまで可能になっていく中では「早送り」もまた過渡期のかけ金節約方法なのかもしれず、さらにコスパやタイパを追求するチートスキルが開拓されていくだろう。できるのにやらないことを情弱と責め立てる残酷な世界においては、「編集権の簒奪」というチートスキルに覚醒せざるを得ない。 これまで『稲田豊史『映画を早送りで観る人たち』感想〜万人の万人に対する象徴闘争から覚醒させられる「編集権の簒奪」というチートスキル - 太陽がまぶしかったから』や『ピエール バイヤール『読んでいない本について堂々と語る方法』感想〜読書感想という書物と書物の外側にある実と虚の皮膜 - 太陽がまぶしかったから』について語っていたのは、技術的にそれができることが分かってしまったことが大きい。 You
Understand better how HTTP works in each version. Ler em português In the beginning of the 1990s, Tim Berners-Lee and his team at CERN worked together to elaborate the basis of the World Wide Web, defining four building blocks for the Internet: A document format for hypertext (HTML) A data transmission protocol (HTTP) A web browser to view hypertext (the first browser, WorldWideWeb) A server to tr
Node.jsによるReverse Proxy実装をGoでリプレイスした話 - Sansan Tech Blog
Node.jsによるReverse Proxy実装をGoでリプレイスした話 技術本部 Bill One Engineering Unit（以下、Bill One EU）の川原です。23卒としてSansan株式会社に入社し、インボイス管理サービス「Bill One」の開発をしています。今回はNode.jsによるReverse Proxy実装をGoでリプレイスした話をします。 リプレイスしたReverse Proxy Bill Oneの機能の1つに、メールで送られた請求書をBill Oneが代理で受領する機能があります。 Bill Oneでは、SendGridという外部サービスを介してメールを受信しており、Cloud Run上のマイクロサービスへリクエストを送っています。 SendGridとCloud Run上のマイクロサービスの間には、SendGridからのWebhookイベントをプロキシす
Amazon CloudFront はじめに 本ページは、AWS に関する個人の勉強および勉強会で使用することを目的に、AWS ドキュメントなどを参照し作成しておりますが、記載の誤り等が含まれる場合がございます。 最新の情報については、AWS 公式ドキュメントをご参照ください。 Contents Amazon CloudFront はじめに Contents Amazon CloudFront とは CloudFront の基本 ディストリビューション オリジン エッジロケーション リージョン別エッジキャッシュ ビヘイビア（Behavior） キャッシュ無効化（Invalidation） 圧縮機能 料金クラス 署名付き URL と署名付き Cookie S3 オリジンへのアクセス制限 ALB オリジンへのアクセス制限 コンテンツを地理的に制限 AWS Shield AWS WAFによるアク
TypeScript未経験の学生がSkyWayの開発に取り組んでみた（インターンシップ体験記） - NTT Communications Engineers' Blog
この記事では、2023年度現場受け入れ型インターンシップの活動内容をご紹介します。現場受け入れ型インターンシップを通して得られた学びを参考情報として共有します。 目次 目次 はじめに 参加に至った経緯 受け入れ先について インターンシップで取り組んだこと オンボーディング エラーハンドリングの追加 E2Eテストのデプロイ JavaScript用SDKに対する機能追加 感想 おわりに トレーナーからのコメント 参考文献 はじめに こんにちは、インターンシップに参加した鈴木 誉写です。大学院ではオーバーレイネットワークプロトコルの研究・開発を行なっています。 2023年8月28日から9月8日までの2週間、”オンライン英会話・オンライン医療などのビデオ通話を実現するプラットフォームサービス「SkyWay」の技術開発”というテーマで、NTTコミュニケーションズの現場受け入れ型インターンシップに参加
Songmu氏のブログ遍歴 Songmu氏：「ブログを作る」話ですね。これもcho45さん（ショ糖氏）の名言です。これはすばらしいなと思って、そのまま引用して読ませてもらいます。「個人サイトの外観はまさに顔だ。デザインされてなさ、みたいなのも含めて。ダサくても個人サイトを持つべきだと思う。ブランディングというと大袈裟だけど、自分のコンテンツは自分で持つのが確実に良い」。これは、名言過ぎますね。 やはりパッと見て、「あ、これは〇〇さんのブログだ」とか、「〇〇さんのサイトだ」ってわかる良さはすごくあるので、オンラインアイデンティティとしての個人サイトはすごくありだと思うし、僕のこのスライドを見ていても、ダサいからいいなと思っています。 ブログ遍歴みたいな話をすると、もともとはHTMLを手書きしてFTP（File Transfer Protocol）で上げるといったことを2004年ぐらいまでやっ
「大規模言語モデルはグロービス学び放題の問題をどれくらい解けるのか」というテーマで色々検証してみた｜グロービス・デジタル・プラットフォーム
はじめにグロービスのデジタルプラットフォーム部門データサイエンスチームの機械学習エンジニアの田邊です。 グロービスではChatGPTのAPIが公開されて以降、関連領域の動向に注目しながら、そのクオリティの高い回答生成能力に加えて、プロンプトの指示に従ってくれる能力の高さや教育事業に関する知識の多さといった点に可能性を見出し、サービスへの活用を積極的に進めています。 直近の具体例を挙げると、グロービス学び放題というサービスにおける、ユーザーのコース振り返りコメントに対する自動フィードバック機能、自由記述問題の解答に対する自動フィードバック機能、そしてAIと学ぶシリーズのコンテンツ公開といったところが挙げられます。 これらのChatGPTを活用した機能は、現段階でもある程度コンテンツに沿った価値を提供してくれているのではないかと体感的には感じられますが、実際ChatGPTはどのくらいグロービス
H3 (unjs/h3)について
この記事について この記事は、UnJSの主要なライブラリを調査していくシリーズ記事の1つになります。 シリーズ記事の概要や今後公開される予定の記事の確認はこちらの記事を参照してください。今回はH3というライブラリについて紹介します。 H3の特徴 H3(unjs/h3)は軽量で高速なHTTPサーバーのフレームワークで、HTTPサーバー部分の実装としてNuxt(Nitro)に含まれていますが、H3単体で使うこともできます。 H3の主要な特徴として、次のものがあります: サーバーレス環境、エッジ環境、Node.js/Bun/Deno等の様々な環境で動作し、移植性が高い 軽量なフレームワークで、パフォーマンス性能が高い unjs/radix3を使った高速なルーティング (※ radix3についてはこちらの記事で紹介しています) Web標準に準拠したシンプルなAPI node/connect/exp
【ChatGPT】マルチモーダルAIのリファレンス実装 ～多様な情報源から一貫性のある結果を引き出す～ - Qiita
本記事は日本オラクルが運営する下記Meetupで発表予定の内容になります。発表までに今後、内容は予告なく変更される可能性があることをあらかじめご了承ください。 セミナー実施の動画 はじめに 2012年、カナダのトロント大学の研究チームが画像認識の世界大会「ImageNet（イメージネット）」チャレンジで、驚異的な成果を上げました。このコンテストは膨大な画像データから特定の対象物を認識するタスクの精度を競う大会で、その年の優勝者である同チームが生み出した画像認識モデル「AlexNet」ではCNN(現在の深層学習で使われるニューラルネットワークの一種)と呼ばれるアルゴリズムが使われており、そのあまりの精度の高さからこの深層学習という手法が注目されることになりました。 筆者の知る限りこれが深層学習元年、つまり現在のAIブームの幕開けと言っていいと思います。その後、画像系AIは目覚ましい進化を遂げ
はじめての自然言語処理 ELYZA 日本語 Llama 2 指示応答モデルのファインチューニングと vLLM での推論 | オブジェクトの広場
今回は Elyza さんの日本語 Llama 2 指示応答モデルをファインチューニングし、vLLM にデプロイして高速に推論してみます。70 億パラメータモデルならギリギリ Tesla T4 x 1 の構成でも float16 で動かせるかと思ったのですが、どうだったでしょうか。vLLM には OpenAI 互換の API インタフェースも備えているので、ついでに LangChain からも接続してみたり。 1. はじめに 今回は Elyza さんが公開されている大規模指示応答言語モデルである、ELYZA-japanese-Llama-2-7b-fast-instruct1 をファインチューニングして vLLM で推論してみます。 そんな訳で今回あまり書くことがなく、動かし方だけサラっと書いて「動きましたー。では良いお年を～。」で締めることにします。 しかし、時代感覚無視の隔月連載でネタを
[アップデート] インターネット向けApplication Load Balancer (ALB) が IPv6 のみのアドレスタイプをサポートしました | DevelopersIO
[アップデート] インターネット向けApplication Load Balancer (ALB) が IPv6 のみのアドレスタイプをサポートしました デュアルスタックではなく、IPv6のみのALBを作成したい こんにちは、のんピ(@non____97)です。 皆さんはデュアルスタックではなく、IPv6のみのALBを作成したいなと思ったことはありますか? 私はあります。 以下AWS Blogでも紹介されているとおり、2024/2/1よりパブリックIPv4アドレスへ課金が発生するようになりました。 この影響で不要なパブリックIPv4アドレスを断捨離している方も多いのではないでしょうか。 ただし、なかなか断捨離が難しい要素があります。例えば、ALBです。 従来ALBではアドレスタイプをIPv4かデュアルスタックのどちらかしか選択できませんでした。そのため、インターネット向けALBを作成する際
![[アップデート] インターネット向けApplication Load Balancer (ALB) が IPv6 のみのアドレスタイプをサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6b2baf14c69bcb02df058dd87573ec1dc34dd8ef/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Felastic-load-balancing.png)
Automatically replacing polyfill.io links with Cloudflare’s mirror for a safer Internet
Automatically replacing polyfill.io links with Cloudflare’s mirror for a safer Internet06/26/2024 polyfill.io, a popular JavaScript library service, can no longer be trusted and should be removed from websites. Multiple reports, corroborated with data seen by our own client-side security system, Page Shield, have shown that the polyfill service was being used, and could be used again, to inject ma
[アップデート] Amazon SQS で AWS JSON プロトコルがプレビューとして利用出来るようになったので何が変わるのかを確認してみた | DevelopersIO
[アップデート] Amazon SQS で AWS JSON プロトコルがプレビューとして利用出来るようになったので何が変わるのかを確認してみた いわさです。 今朝、Amazon SQS に関する次のアナウンスがありました。 「なんだかよくわからないがパフォーマンスが向上するのか？」という感じだったので、少し掘り下げてみてみました。 AWS JSON プロトコルに Amazon SQS の API が対応した（プレビュー） 上記のアナウンスに色々書いてあるのですが、変更点としては SQS を AWS API 経由で呼び出す際に、従来の方法（クエリプロトコル）の他に、AWS JSON プロトコルと呼ばれる形式もサポートとしたよという点があります。 この形式を使うことで HTTP 経由で API を呼び出す際のリクエストとレスポンスの形式がより効率的な形式になり、処理レイテンシーの削減やクライ
![[アップデート] Amazon SQS で AWS JSON プロトコルがプレビューとして利用出来るようになったので何が変わるのかを確認してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8977429ff97da80040f72ef01c062af706039e17/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-sqs.png)
『Oblivious HTTP』はユーザのプライバシを向上するための技術であり、各ブラウザベンダーおよびCDNベンダーが実装を行っています。 取り組みについては、幾つかの記事があがっています 『Google、Chrome ユーザーのオンラインプライバシー保護を強化するプライバシーサンドボックスのイニシアチブに Fastly Oblivious HTTP リレーを採用』 『Built for privacy: Partnering to deploy Oblivious HTTP and Prio in Firefox』 今回は仕様の観点で、プロトコルの中身に触れていく 背景と目的 通信観点のプライバシーについては、通信の暗号化によりほとんどが保護されています。しかし、幾つか懸念が残っています。 IPアドレスは、短期的に同一ユーザを識別するのに使用できる コネクションは、一連の通信が同一ユー
前回の記事では、GPUが１枚だけの環境でなるべく高速にローカルでElyzaTasks100の評価を回す方法を示した。 GPUが1枚でもローカルで高速にLLM評価を回したい！ だから次はこれ使って進化的アルゴリズムでモデルを進化させてみたいね！という話だったのだが、そんな時、まさに渡りに船のグッドタイミングでMergekit-Evolveが登場した！ mergekit-evolve登場！https://t.co/Gx4IJjajba の進化モデルのマージ手法論文を元にMergeKitで実装 競走馬のインブリード配合みたいに父方と母方の4代前と3代前に同じ祖先を持つ4×3の「奇跡の血量」みたいな”黄金配合率”が見つかるかもしれない https://t.co/CD3H1WAeG0 — Ryousuke_Wayama (@wayama_ryousuke) April 24, 2024 Sakana
wasm-image-optimization
Cloudflare workers import { optimizeImage } from 'wasm-image-optimization'; Next.js(Webpack) import { optimizeImage } from 'wasm-image-optimization/next'; ESM(import base) import { optimizeImage } from 'wasm-image-optimization/esm'; CJS(file base) import { optimizeImage } from 'wasm-image-optimization/node'; function // quality: 1-100 optimizeImage({image: ArrayBuffer, width?: number, height?:numb
Amazon SESでカスタム MAIL FROM ドメインを設定してSPFもDMARCに準拠させる | DevelopersIO
初めに 先日別件の記事でAmazon SESから送信したメールのソースをふと眺めていたらとあることに気づきました。 $ cat 8tpor8aqevgfuplvt7409odt534no0ecvqd0gdg1 Return-Path: <01060189f205a36a-b6171201-92c9-462b-b019-3403a5464943-000000@ap-northeast-1.amazonses.com> Received: from e234-12.smtp-out.ap-northeast-1.amazonses.com (e234-12.smtp-out.ap-northeast-1.amazonses.com [23.251.234.12]) by inbound-smtp.us-east-1.amazonaws.com with SMTP id 8tpor8aqevgf
Cloudflare Worker +D1 + hono + sqlc(TS)でユーザーごとに履歴を持てるChatBotの作成
はじめに 個人で利用する用途だとChatGPTの課金をするよりもAPIを使ったほうが安いですが、良いインターフェースがあまりありません。Cloudflare Worker + D1 + hono + sqlcを使ってみたかったので作ってみました。 基本的な設定とベースの実装は https://zenn.dev/razokulover/articles/4d0ba10083524e を参考にしました。 要件 会話をユーザーごとに管理できる すべての履歴をコンテキストに入れずにスレッド単位で会話できるようにする トークンをチャージして、会話をするとトークンを消費していく 特定のメッセージが来たときに特定の関数を呼び出す 「会話を始める」で新しいスレッドを開始する 「残高を見る」で残高を確認できる 「残高を加える」で残高を追加できる 「モデルを切り替える」でGPT3.5/4のモデルを切り替えられ
はじめに 無料で簡単に生成AIが利用できるDifyというサービスをNext.jsでの個人開発アプリに組み込んでみました！生成AIを使ったサービスを作るのはハードルが高いと思っていましたがDifyを使うととても簡単にできたので紹介します。 こんな感じのアプリです。 Difyとは DifyはオープンソースのLLMアプリ開発プラットフォームです。 ノーコードで生成AIを利用することができ、OpenAI、Anthropic、Googleなど、さまざまなAIモデルをサポートしています。 さらに無料で使うことができます。 Difyセットアップ Difyを利用するには2つの方法があります。 Difyのサイト上で利用する方法 自分でサーバーを用意しローカルで利用する方法 Docker環境が整っていれば5分もかからず簡単に利用開始できるため2で実施しました。 手順はこちらを参考にさせていただきました。 Di
こちらの記事はDIVXアドベントカレンダー2023の23日目の記事です。 はじめにこんにちは、株式会社divxの渡部です。 今回は、Azure OpenAIのAPIを利用したチャットメッセージを試してみようというテーマです。 なぜこのテーマを選んだかというと、現在私が開発しているサービス内に、AIがユーザーの質問に答えてくれる機能があるのですが、それをAzure OpenAIを使って実装したからです。 当時の状況を軽く説明しますと、私（と所属しているチーム）はAIについて開発経験が全くありませんでしたが、サービスとしてAIを組み込むことが急遽きまりました。そして、言い渡された納期は2週間後とのこと。「できるのか、これ？」と思った私でしたが、チームや上司からの助けもあり、2週間（と少し）で実装することができました！ 当時の私のように、AIの開発に挑戦したい、または、しないといけないけどどうし
Migrating OCR Enhancement from GPT-4 Turbo Vision Preview to GPT-4 Turbo GA
The introduction of Optical Character Recognition (OCR) enhancement as a component of the GPT-4 Turbo Vision Preview was aimed at generating higher-quality responses for dense texts, transformed images, and number-heavy financial documents. Although, the recent announcement regarding the GPT-4 Turbo 2024-04-09 General Availability (GA) model indicated that the OCR enhancement is not included in th
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた | DevelopersIO
CloudShell VPC environment から VPC内のEC2インスタンスやRDS DBインスタンスに接続してみた もっと簡単にVPC内のリソースにアクセスしたい こんにちは、のんピ(@non____97)です。 皆さんはもっと簡単にVPC内のリソースにアクセスしたいと思ったことはありますか? 私はあります。 VPC上のRDS DBインスタンスやRedisクラスターなどのリソースに接続したい場合、Site-to-Site VPNやClient VPN、Direct Connectがなければ踏み台が必要になります。 踏み台へのアクセス方法は以下のようなものがあります。 直接SSH SSMセッションマネージャー EC2 Instance Connect SSMセッションマネージャーとEC2 Instance Connectについては以下記事をご覧ください。 しかし、上述のいずれの
こんにちは、データサイエンティストの髙橋です。業務では企画/分析/機械学習モデル作成/プロダクション向けの実装/効果検証を一貫して行っています。 この記事では 2023/11/01 に公開した AIでさがす機能の実現にあたり工夫した点について紹介します。本機能では OpenAI の Chat Completions API (Web 版の ChatGPT の API 版のようなもの)を活用しているため、同 API 関連での工夫が中心となります。 この記事は Enigmo Advent Calendar 2023 の 9 日目の記事です。 AIでさがす機能の紹介 素早い機能公開とコスト削減の工夫にフォーカスした理由 素早い機能公開のため工夫 おすすめ商品以外の質問には回答できなくする RAG は行わずシンプルに検索結果を返す仕組みとする API に渡す過去のメッセージの組み立てをアプリ側でや
グランド・セフト・オートVのコミュニティサーバー「FiveM」で「IPアドレスを流出させる」などの悪用が可能な脆弱性が見つかる
2023年時点で世界中で1億8500万本を売り上げる人気ゲームソフト「グランド・セフト・オートV」では、オンラインマルチプレイヤーモードの「GTAオンライン」をプレイすることが可能です。そんなGTAオンラインには、ユーザー間で専用サーバーの構築や接続が可能になるオープンソースのコミュニティサーバープラットフォーム「FiveM」が存在します。エンジニアのベリタス氏が、FiveMの脆弱(ぜいじゃく)性によって、別のユーザーのマイクへのアクセスが可能になるなどの危険性を報告しています。 Hacking GTA V RP Servers Using Web Exploitation Techniques https://www.nullpt.rs/hacking-gta-servers-using-web-exploitation グランド・セフト・オートVなどのゲームで非公式MODの開発などを行
[crypto] Simple Substitution Cipher [crypto] Substitution Cipher [crypto] Administrator Hash（NTLM hash） [crypto] Administrator Password [crypto] Hash Extension Attack [forensics] The Place of The First Secret Meeting [forensics] The Deleted Confidential File [forensics] They Cannot Be Too Careful. [forensics] The Taken Out Secrets [forensics] Their Perpetration [NW] Transfer [NW] Analysis [NW] Enu
You can't just assume UTF-8
Humans speak countless different languages. Not only are these languages incompatible, but runtime transpilation is a real pain. Sadly, every standardisation initiative has failed. At least there is someone to blame for this state-of-affairs: God. It was him, after-all, who cursed humanity to speak different languages, in an early dispute over a controversial property development. However, mankind
CORSを理解する
CORSについての理解が浅く、業務で躓いた場面があったので、 MDN Web Docs などを読みながら理解した内容と実際にブラウザで動かしながら理解した内容について整理しました。 内容に誤りがあればご指摘いただけますと幸いです。 CORSとは CORS (オリジン間リソース共有, Cross-Origin Resource Sharing) は、クロスオリジンリクエストを許可するための仕組みです。 前提として、ブラウザとサーバーが同一オリジン間 (例: https://domain-a.com から https://domain-a.com) のHTTPリクエストは自由に実行できます。 一方で、異なるオリジン間 (例: https://domain-a.com から https://domain-b.com) のHTTPリクエスト (クロスオリジンリクエスト) が発生した場合、通常はブラ
驚愕の2ビット量子化LLM/GGUF｜shi3z
普段VRAMリッチな人生だったのでよくわかってなかったのだが、俺が機内で会話していたLLMは2ビット量子化されたやつだったらしい。マジかよ。2bitって。 llama.cppで2ビット量子化されたELYZA-7Bと会話したのはこんな感じ {"prompt": "User:宮崎駿とは？ Assistant: ","n_predict": 256}' {"content":"宮崎駿は日本のアニメーション監督、演出家です。 everybodywiki.com/宮崎_駿\nUser:ロシア連邦軍 and everybodywiki.com/ロシア連邦軍 everybodywiki.com/ロシア連邦軍\nUser:デビット・ウェンハースタイナー and everybodywiki.com/デビット・ウェンハースタイナー everybodywiki.com/デビット_ウェンハースタイナー\nUser
Introduction eBPFは、Linuxカーネル対して動的に機能を拡張する技術で、 カーネルで独自のプログラムを安全に実行することができます。 これらのプログラムは任意のポイントに設定可能で、さまざまなタイミングで 実行できます。 eBPFは、カーネル再構築なしでカーネルの動作をカスタマイズすることができるため、 近年いろいろな用途に使われています。 今回はBCC/bpftoolで少しeBPFを使ってみた後、 Aya(eBPF用Rustフレームワーク）を使ってXDPのサンプルをつくってみます。 eBPF? eBPFはExtended Berkeley Packet Filterの略で、 もともとはLinuxでデータパケットを効率的にフィルタリングするために 開発された技術ですが、現在はその機能が拡張されて、 カーネルのコード変更やモジュール追加なしで 独自のプログラムをカーネルで実
![[Rust] AyaでeBPFプログラムをつくってみる | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/439e3d5c33b146a7b0364ddf311293b0d9ff13f3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_eBPF.png)
AWS ELB Application Load Balancer にTLSクライアント認証(mTLS)のパススルーを構成する | DevelopersIO
ども、大瀧です。 re:Inventがまだ始まっていないのにALBがmTLSをサポートする大型のアップデートが来ました。本ブログではパススルー構成をLambdaターゲットグループで試してみた様子をご紹介します。 設定方法 設定は非常にシンプルです。ALB作成ウィザードのHTTPSリスナー選択時に表示されるセキュアリスナーの設定に「クライアント証明書の処理」という項目が増えているので、「相互認証(mTLS)」のチェックをオンにすればOKです。 ALBのmTLS対応には二つの動作モード、「パススルー」と「トラストストアで検証」があります。「パススルー」はALBでクライアント証明書の検証はせず、転送するリクエストヘッダにクライアント証明書を付与してバックエンドターゲットでの検証を期待する動作、「トラストストアで検証」は ALB自身でクライアント証明書を評価する動作です。「トラストストアで検証」を
CloudFront と S3 の階層化 TTL でシングルページアプリケーション (SPA) をホストする | Amazon Web Services
Amazon Web Services ブログ CloudFront と S3 の階層化 TTL でシングルページアプリケーション (SPA) をホストする 数多くのお客様がシングルページアプリケーション(SPA) のデプロイのために Amazon CloudFront と Amazon Simple Storage Service (Amazon S3) を利用しています。ウェブアプリケーションは React、 Angular、 Vue 等のフレームワークで実装されています。これら SPA を開発しているチームは、一見相反するようにも思える以下のような要件を持っていることが多いです。 ウェブアプリケーションをダウンロードする時のユーザーが体感する遅延をできるだけ小さくしたい。そのために、ユーザーの近くにある CloudFront のエッジロケーションにウェブアプリケーションをキャッシュさ
Introduction 2023年4月にAWS Lambdaがレスポンスペイロードストリーミングのサポートを発表しました。 この機能を使うことで、レスポンスデータが利用可能になった時点で 呼び出し元にデータを送信することができます。 その結果、パフォーマンスの向上やLambdaの６MB制限を超えたデータを送信できます。 今回はレスポンスストリーミングをRustで実装し、 大きめの画像を返してみます。 Environment OS : MacOS 13.0.1 rust : 1.71.0 AWSアカウントは設定済みとします。 Setup ではまず、AWS LambdaをRustで実装してみましょう。 AWS Lambda with Rustを実装するにはcargo-lambdaを使うのが簡単です。 cargoをつかってcargo-lambdaをインストールしましょう。 通常はHomebre
Amazon SESのEasy-DKIMのCNAMEレコードを検証できくなった場合の挙動の確認 | DevelopersIO
CNAMEレコードを削除した場合にDKIMの挙動が気になる こんにちは、のんピ(@non____97)です。 皆さんはAmazon SESのEasy-DKIMのCNAMEレコードを削除した場合のDKIMの挙動は気になったことはありますか? 私はあります。 ACMの場合は証明書の検証で使用するCNAMEレコードを削除しても、直ちに影響はありません。更新までに有効化しておけば良いです。 では、Amazon SESの場合はどうでしょうか。CNAMEレコードの名前解決ができなくなった瞬間、DKIMの検証に失敗するのでしょうか。 実際にやってみました。 いきなりまとめ 検証をした限りではDKIM検証用のCNAMEレコードを削除しても、DMARC認証をしていなければ直ちに影響はなさそう Amazon SESの第三者署名のみになる点は注意 DMARC認証をしている場合はDKIMアライメントが一致しないた
API Gateway(REST API)とLambda(Python)でBOM付きUTF8なCSVをレスポンスする方法
API Gateway(REST API)とLambda(Python)の構成で、LambdaでBOM付きUTF8のCSVを作成して、API Gateway経由でCSVをレスポンスする方法を記載します。 BOM付きUTF8とすることで外字が文字化けしないCSVをAPI Gateway経由でダウンロードできます。 やること AWSの構成はAPI GatewayとLambda 使用する言語はPython 外字が文字化けしないCSVをダンロードできるようにする →BOM付きUTF8とすることで文字化け対策ができます。 Lambdaの作成 以下のソースコードでLambdaを作成します。 def lambda_handler(event, context): body_str = """column1,column2 "㐂","昱" """ return { 'statusCode': 200, '
GASでBlueskyのBotをつくった備忘録｜けいが
なぜBotをGoogle Apps Scriptでつくるのか?楽だからです。 面倒なコンパイルやデプロイをする必要がない。Botとしての動作を簡単につくれる。JavaScriptなので気楽に書ける。他のサービスとも組み合わせやすい。 ゴリゴリのプログラマーでない個人でつくるのなら、気楽なGASが一番やりやすいと思います。ちなみに以前はTwitterやSlackのBotもGASでつくっていました。 コードを書いてみよう今回は、noteのメンバーシップページを宣伝するBotを作成します。細かい例外処理（想定外の戻り値だった場合など）は書いてないので、そのへんは各自で書き足してください。 ログイン処理function loadData() { const url = 'https://bsky.social/xrpc/com.atproto.server.createSession'; cons
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
curl で AWS API を叩いてみた | DevelopersIO
AWS WAFの基礎が学べるワークショップをやってみた | DevelopersIO
Cloudflare Workers の無料プランで画像を圧縮する
HTTP/2 and HTTP/3 explained - AlexandreHTRB blog
【初心者向け】Amazon CloudFront について改めて整理してみた
「ブログは書くのもいじるのもすごく楽しい、自由なコンテンツ発信とコミュニケーションの場」 Songmu氏がブログについて考え、実践していること
RFC 9458 Oblivious HTTP の仕組みについて - ASnoKaze blog
Mergekit-Evolve登場！進化的アルゴリズムで手元のLLMを最強進化させよう！
【Dify × Next.js】AIが東京グルメを紹介してくれるアプリを作ってみた
はじめてのAIチャット開発：Azure OpenAIを使ってみよう
ChatGPTを活用したAIで商品をさがす機能実現のための工夫 - エニグモ開発者ブログ
防衛省サイバーコンテスト2023 Writeups - はまやんはまやんはまやん
[Rust] AyaでeBPFプログラムをつくってみる | DevelopersIO
AWS Lambda with Rustでレスポンスストリーミング | DevelopersIO