タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
multipart/form-data形式のファイルが突然アップロードに失敗する問題を仮説を立てながら解決する話
こんにちは、株式会社カミナシのエンジニア @imu です。 はじめに 突然ですがファイルアップロードに失敗することってありますよね？ カミナシレポートのプロダクトはオフライン機能を実装しており、オフラインで記録したデータをアップロードしたときに失敗するケースが、特定の条件下で起きるようになりました。そのため一部のお客様のデータが端末に残り続け、なんとかしてほしいとサポート依頼が発生しておりました。 私自身、半年ぶりにカミナシレポートのプロダクトに戻ってきたばかりで、リハビリのissueとなりました(笑) 今回は問題を解決するまでの仮説や、調査から解決までお話したいと思います！ ※オフライン対応をなぜしているのかは以前書いたこちらを参照いただければと思います。 kaminashi-developer.hatenablog.jp 結論 何が問題だったか結論だけ知りたい方はこちらへ 開発環境 g
はじめに MIME-TYPEの中でも複雑かつ、あまり普段は意識しないのが、multipart/form-data。HTMLでformを作り、formタグの属性でenctype="multipart/form-data"を指定することで送ることができる。プリミティブなHTTPクライアントを使って、自前でmultipart/form-dataを投げようとして、いくつかハマったので、改めてRFCの仕様を読んだのでメモ。 サンプル リクエストヘッダ --hogehoge Content-Disposition: form-data; name="user_name" Content-Type: text/plain test --hogehoge Content-Disposition: form-data; name="email" sample@mail.com --hogehoge Cont
Photo by Dim Hou on UnsplashTeachme Biz にはCSVファイルをアップロードすることでアカウントの一括作成・一括更新ができる機能があります。先日、サービスをご利用中のお客様からのお問い合わせで「特定のCSVファイルのアップロードが 403 エラーになる」という事象が発覚しました。 アクセスログ等を調査した結果、この403エラーを返していたのはアプリケーションサーバーではなくその前段にある ALB (Application Load Balancer) であることが分かりました。ALBが、設定された WAF (Web Application Firewall) のルールに従いリクエストを終端していたのです。 ログを読んでみようAWS WAF の場合、ログの terminatingRuleId にリクエストを終端したルールが記録されます。問題のリクエストは
ファイルのアップロード時などにmultipart/form-data形式を使用することが多いと思います。 Go言語では標準ライブラリのmime/multipartパッケージを使ってパースができます。 しかし、実はmime/multipartパッケージには落とし穴があり、気を付けないと速度低下やメモリ使用量増加につながります。 この記事では、traPでのサービスでのファイルアップロード速度の改善のためにFormStreamというライブラリを作り、multipart/form-dataを高速かつ省メモリなパースを簡単に実現した話をします。 traP Collection traP CollectionはtraPでサークル内で開発されたゲームの販売・展示を行うゲームランチャーです。 知っている方はSteamをイメージするとわかりやすいのですが、部員が開発したゲームをアップロードするとランチャーを
Power Automate の HTTPアクションで multipart/form-data でデータを送る場合の備忘録 - MoreBeerMorePower
Cloudmersive の APIドキュメントを読んでいたら Power Automate のコネクターにはないAPIがあったので試してみようと思ったら、意外と面倒だったので備忘録。 Cloudmersiveの画像合成APIはファイルを2つformDataで送るが・・・ API Consoleでどんなデータを送ればいいのか見てみると、formDataで、2つの画像ファイルを送る必要があるということでした。いつも通りPostmanで試してみたところ、非常にすんなりいったんです。form-dataでKeyとValue (この場合はファイル) を選択できるので。 じゃあ、Power Automateで～と思ったのですが、ここでいきなり躓きました。 どうやってファイルをform-dataで送ればいいのか！ bodyをどう書くか まずは「作成 (Compose)」アクション2つでファイル2つを定義
RelayでGraphQL multipart request specificationに沿ったファイルアップロードを行う - 私が歌川です
はじめに 2021/7/17現在、GraphQL APIを通じてファイルをアップロードする方法は規定されていない。そのため、GraphQL APIでファイルアップロードを行いたい場合は何らかの工夫を行う必要がある。 GraphQL APIリクエストの変数中にファイルをエンコードして送信することで、ファイルをアップロードするという目的は達成できそうに見える。が、この方法では巨大なJSONをリクエストボディとして送信する必要があり、効率がよくない。また、各種APIサーバーがファイルアップロードのためにメモリを効率的に利用する実装*1を行っていても、その恩恵を受けづらい。 GraphQL multipart request specificationという仕様に則ると、リクエストの変数中にファイルをエンコードして送信する方法と比べて、効率的にファイルをアップロードすることができる。仕様の解説やA
Pythonの`requests`でファイル送信するときにヘッダーにmultipart/form-dataを直接指定してはいけない | DevelopersIO
Pythonの`requests`でファイル送信するときにヘッダーにmultipart/form-dataを直接指定してはいけない Pythonの`requests`を用いて、ファイル送信する際に`multipart/form-data`をヘッダーに直接指定すると失敗してしまいます。 知らずにはまったので、確認方法を含めて共有のために記載しておきます。 DA事業本部の横山です。 Pythonのrequestsを用いて、multipart/form-dataのデータを送信する際にヘッダーに指定すると失敗してしまいます。 知らずにはまったので、確認方法を含めて共有のために記載しておきます。 前提条件 本記事で利用している各ライブラリ等のバージョンは以下になります。 Python: 3.8.13 requests: 2.29.0 概要 requestsで、ファイル情報をPOSTする リクエストヘ
API の公式ドキュメントには Sample Request がありますよね。 よく使っている LINEWORKS API でも Sample Request を用意してくれているのですが、記述形式が HTTP Request なのです。 私は Javascript をメインにしているので、Javascript で書かれている Sample なら大助かりなのですが、たいていは違うので Javascript のサンプルコードがないか Qiita や WEB 上を探しています。 んで、そのときによく見かけるのが、タイトルに書いた Content-Type: multipart/form-data; boundary ちゃん。 この子のこと、実は私よくわかってないんですけど、検証ツールの Postman さんのおかげで理解できずとも API は利用できております。 でも、なんかこう、いつまでもよ
fetch で multipart/form-data を送る時は Content-Type を指定してはいけない
概要 タイトルのまんま。以上。 ちょっと説明 とは言え、それだけではあんまりなので軽く説明をば。 JavaScript に fetch と言うメソッドがあるのは皆さんご存知の通りだが（Web ブラウザ環境の場合だが）、コイツは任意のリクエストボディを送ることが出来る。 で、任意と言うからには multipart/form-data 形式のリクエストボディも送ることが出来るのだが、その場合には⇓のようにリクエストボディとして FormData のインスタンスを渡す必要がある。 # 例 1 : 正しいやり方 const body = new FormData() body.append('data1', 'value1') body.append('data2', 'value2') const response = fetch('/path', { method: 'POST', body,
multipart/form-dataで、日本語ファイル名が文字化けする(API Gateway, Lambda構成) - Qiita
multipart/form-dataで、日本語ファイル名が文字化けする(API Gateway, Lambda構成)content-type文字化けlambdaAPIGateway はじめに API Gateway, AWS Lambda構成で、multipart/form-dataを使ってファイル送信をした際に、日本語ファイルが文字化けする事象に遭遇しました。その対応方法についてまとめます。 対象となる読者 multipart/form-dataを使って日本語ファイルを送信したが、ファイルが文字化けして困っている方 Lambda実行環境 Node.js 18.x multipart/form-dataで送信したデータのバックエンド処置には nachomazzara/parse-multipart-dataを使用 結論 最初に結論だけ述べると、フロント側でファイル名をエンコードして、デー
Presigned URL を用いた S3 multipart upload を行う (by JavaScript + Python Chalice) - Qiita
Presigned URL を用いた S3 multipart upload を行う (by JavaScript + Python Chalice)PythonJavaScriptAWSS3chalice 問題 AWS S3 によって Presigned URL を発行すれば、サーバーに直接ファイルをアップロードせずとも、S3 に対して直接ファイルをアップロードできる。 しかし、1回のリクエストでアップロードできる最大ファイルサイズは 5GB であり、それ以上のファイルをアップロードするためにはマルチパートアップロードによって分割アップロードを行う必要がある。 ここでは、ブラウザ側に Credential を発行することなく、サーバー側で発行された Presigned URL を利用してファイルをマルチパートアップロードする方法についてを記す。 プロジェクト全体 プロジェクト全体で利用す
はじめにaxios で、添付ファイルありのリクエストを送信する方法を整理した。 【React】axiosを使用してmultipart/form-data形式の通信をする - モノクロタイム を参考にさせてもらった。 TL;DR FormData の append でデータを構築 Request Config の transformRequest でも対応できるかも？(未検証) FormData はブラウザのみなので、CLI ツールなどは別フォーマットを使う必要がありそう
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Multipart/form-dataの仕様メモ - Qiita
MultipartのboundaryがSQLインジェクションとして検知されることがある
multipart/form-dataの省メモリかつ高速なパーサー「FormStream」
【HTTP】multipart/form-data の boundary って何ぞや？ - Qiita
axios で添付ファイルありのリクエスト(multipart/form-data の POST)
zenn.dev/ec_k
sirotv.fc2.xxx
jp.reuters.com
sirotv.fc2.xxx
www.cnn.co.jp
fukagawa1953.hatenablog.com