署名付きURLを利用したファイルアップロードWeb API設計の勘所 | フューチャー技術ブログ
はじめに現代のWebアプリケーションにおいて、ユーザが写真や動画などのファイルをアップロードする機能は、しばしば求められます。 本記事では、ファイルアップロードを実現するための一手段として、「署名付きURL」を利用した方式を取り上げ、その設計について詳しく解説します。 今回は、Amazon Web Services（AWS）を利用する前提のもと、このアプローチを探求していきます。 前半部分は署名付きURLをそもそもよく知らない方向けの導入部となっていますので、要点だけ抑えたい方は設計上のポイントから読まれることをお勧めします。 ファイルアップロードの実現方式パターン署名付きURLの話をする前に、ファイルアップロード機能をWeb APIとして実現する方式について、いくつか代表的なものを紹介します。 Pattern 1. multipart/form-datamultipart/form-da
はじめに こんにちは、ken です。お仕事では Go をよく書きます。 最近、Go の公式パッケージであるgolang.org/x/toolsを眺めていたら、なにやら有用そうなパッケージを見つけたので今回はそれについて書こうと思います。 それはegというリファクタリングツールです。 eg とは eg は、例ベースで Go コードをリファクタリングするためのツールです。このツールを使用することで、特定のコードパターンを別のコードに置き換えることができ、効率的にリファクタリングが行えます。 先ほど貼った公式ドキュメントに詳しい説明があるかと思いきや The eg command performs example-based refactoring. For documentation, run the command, or see Help in golang.org/x/tools/ref
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る
続・tar(1) はなぜオプション引数にハイフンが不要なのか？―tarとkey argumentsの起源を更に辿る また、過去ではなく未来方向、つまり Bell Lab で Unix の successor として生まれた Plan 9 や Inferno における tar についてはこちらで lufia 氏がまとめておられたので参考にどうぞ。Plan 9とInfernoにおけるtar(1)の変化 Introduction 前回の記事では、tar(1)が Unix v1 (1971) のtap(1)まで遡ること、 また、その引数は key というサブコマンドの原始的な姿のようなものだったことを調査した。 さて、実は Unix v1 Programmer's Manual の栄えある最初のページを飾るコマンドは今でもスタティックリンクライブラリの作成などで使われる ar(1) であり、 こち
New to the world of web performance? Welcome! Here's everything you need to know to master website monitoring, analytics, and diagnostics. Learn how to deliver a fast, joyous experience to all your users. Business Success Making your pages faster isn't just for the web performance geeks in your organization. Site speed affects every business metric you care about – from bounce rate to conversions
SummaryMost visual programming environments fail to get any usage. Why? They try to replace code syntax and business logic but developers never try to visualize that. Instead, developers visualize state transitions, memory layouts, or network requests. In my opinion, those working on visual programming would be more likely to succeed if they started with aspects of software that developers already
Aurora 3.04.2 での DDL の予期しない挙動と Rails での対策 - freee Developers Hub
こんにちは、DBRE (Database Reliability Engineer) の shinta です。 今回は、Aurora 3.04.2 に存在する DDL の予期しない挙動について紹介したいと思います。 発見のきっかけ きっかけは、Aurora 3.04.1 に存在した以下の事象の検証でした。（CyberAgent 様の記事で事象の存在を知り、検証するに至りました。ありがとうございます！） ca-srg.dev これがどんな事象かというと、「ALGORITHM=INPLACE で特定の online DDL を実行している間、そのテーブルに reader からアクセスできなくなる」というものでした。 writer で DDL を実行している間、reader からそのテーブルにクエリを投げると以下のエラーが出ます。 Table 'db_name.tbl_name' doesn't
Please note that the benchmark section of this article was updated after the publication due to a mistake in the evaluation script. BM42 does not outperform BM25 implementation of other vendors. Please consider BM42 as an experimental approach, which requires further research and development before it can be used in production.For the last 40 years, BM25 has served as the standard for search engin
Last time, we saw how deleting stuff from a test case can be an easy and fun route to the root cause of a bug. It’s less easy and less fun when the test cases get big. The inner loop of test-case reduction can get old quickly: delete stuff, run the special command, check the output to decide whether to backtrack or proceed. It’s rote, mechanical, and annoyingly error prone. Let’s make the computer
Oliver Grubin Sr. Staff Software Engineer, Security Slack uses cookies to track session states for users on slack.com and the Slack Desktop app. The ever-present cookie banners have made cookies mainstream, but as a quick refresher, cookies are a little piece of client-side state associated with a website that is sent up to the web server on every request. Websites use this piece of information to
鉄道・道路・電力などあらゆる種類のネットワークについて最小のコストで最大のトランスポートフローを最高速で計算できるアルゴリズムが爆誕
スイス連邦工科大学チューリッヒ校のラスムス・キン氏率いる研究チームが鉄道、道路、電力など、あらゆる種類のネットワークにおいて最小のコストで最大の輸送フローを計算するほぼ完璧なアルゴリズムを作成しました。計算速度は、「数学的にこれ以上は不可能」という速さだとのことです。 Researchers at ETH Zurich develop the fastest possible flow algorithm | ETH Zurich https://ethz.ch/en/news-and-events/eth-news/news/2024/06/researchers-at-eth-zurich-develop-the-fastest-possible-flow-algorithm.html 輸送フローアルゴリズムとは、例を挙げると東京から大阪までできるだけ多くの商品を輸送できる最速かつ最安
The plan-execute pattern
The plan-execute pattern ✏ 2024-06-20 ✂ 2024-06-20 Background Plan Execution Build system example Instances and relatives Conclusion I feel uneasy about design patterns. On the one hand, my university class on design patterns revived my interest in programming. On the other hand, I find most patterns in the Gang of Four book to be irrelevant to my daily work; they solve problems that a choice of p
IntroductionOn June 27, 2024, a small number of users globally may have noticed that 1.1.1.1 was unreachable or degraded. The root cause was a mix of BGP (Border Gateway Protocol) hijacking and a route leak. Cloudflare was an early adopter of Resource Public Key Infrastructure (RPKI) for route origin validation (ROV). With RPKI, IP prefix owners can store and share ownership information securely,
A Git story: Not so fun this time | Brachiosoft Blog
Linus Torvalds once wrote in a book that he created Linux just for fun, but it ended up sparking a revolution. Git, his second major creation, also an accidental revolution. It’s now a standard tool for software engineers, but its origin story wasn’t so much fun this time, at least for Linus. Linus doesn’t scale 1998 was a big year for Linux. Major companies like Sun, IBM, and Oracle started getti
HANTS法とは？ HANTS（Harmonic ANalysis of Time Series）は、リモートセンシングデータの時系列解析に使用される手法の一つで、時系列データを周期的な成分（調和成分）に分解し、ノイズや異常値を除去しながらデータを再構築する手法です。今回はNDVIでよく利用されるZhou et al., 2015の方法をもとに、この方法の基本的な考え方と動作原理を以下に解説します。 HANTSの基本概念 1. 理論的背景 HANTS法は、フーリエ級数展開の考え方を基礎としています。フーリエ級数展開では、任意の周期関数を正弦波と余弦波の和で表現できるという原理を用います。HANTS法は、この原理を時系列データに適用し、データに含まれる様々な周期成分を抽出します。 2. 基本モデル HANTS法では、時系列データ $y(t_j)$を以下のようにモデル化します： $$ \til
Python is a wonderful programming language. I’ve used it to build webapps, deep learning models, games, and do numerical computation. However there is one aspect of Python that has been an inexcusable pain-in-the ass over many years. That would be the fragmented Python package and environment management ecosystem, succinctly represented by the following XKCD comic: You see, a lot of other programm
執筆に際して、フィードバックとレビューをしてくださった堤隆道さんに感謝します。 Special thanks to Takamichi Tsutsumi for feedback and review. 1. はじめに 「すべて偉大なものは単純である。」 『音と言葉』・フルトヴェングラー 日本語で書かれた技術系記事の課題 トピックに限らず、日本語で特定の技術に関して検索をかけると、検索結果が英語での検索に比べて圧倒的に少ないことに加えて、検索結果の99%は以下のいずれかに該当することがわかるでしょう。 幅広い読者層を意識するあまり、解説が表面的すぎる 解説自体は詳しいが、数学や技術に偏りすぎていて、読者層が限定される 海外の有名な記事の直訳 検索結果の絶対量については、テクノロジー分野が英語圏を中心として発展してきたことに起因するため、日本語化に至るまでに多少のタイムラグがあるのは仕方がな
I know people will ask, so here they are: SeniorMars’ Dotfiles. Moreover, I will be assuming you are using Neovim 0.10! Improving the (Neo)Vim Experience Although, I stated this was not for beginners, I still need to point out the fundamentals. Without these, I would not consider neovim to even approach the basics of a PDE. If you think this is too basic, then you can skip this section – I promise
TiDBのRequest Unitの裏側 ① | CyberAgent Developers Blog
グループIT推進本部のデータプロダクトユニット（DPU）でエンジニアをやっている＠azazです。DPUではTiDBチームに所属していまして、ここではTiDBの運用、移行のサポート、クエリー最適化のサポート活動などに力を入れています。 大規模データ基盤にまつわるデータベース・ETL・クエリーエンジン・ストリーム処理技術について興味がある方は是非Cyberagentの採用ホームページから大規模データ基盤エンジニア枠で応募してみてください！ 流れ 最近注目を集めているMysql互換のNewSQL データベースであるTiDBですが、内部のレートリミッターについて考えたことありますか？本記事ではTiDBで採用されているレートリミッターの仕組みについて3部構成で紹介したいと思います。 様々なレートリミッターアルゴリズムの紹介 分散システムにおけるレートリミッターの課題 TiDBのレートリミッターの仕組
GitHub - modelscope/DiffSynth-Studio: Enjoy the magic of Diffusion models!
June 21, 2024. 🔥🔥🔥 We propose ExVideo, a post-tuning technique aimed at enhancing the capability of video generation models. We have extended Stable Video Diffusion to achieve the generation of long videos up to 128 frames. Project Page Source code is released in this repo. See examples/ExVideo. Models are released on HuggingFace and ModelScope. Technical report is released on arXiv. You can tr
Unification in Elixir
Pattern matching is a pervasive and powerful tool in Elixir. This isn't too surprising if you know a little about the history of Elixir's parent language, Erlang. Erlang was originally inspired by and written in Prolog, a logic programming language where pattern matching has first-class support. In Elixir, you might see an expression like this: [x, [2, y]] = [1, [2, 3]]When this expression is eval
GitHub - mikaku/Fiwix: A UNIX-like kernel for the i386 architecture
Written in ANSI C language (Assembly used only in the needed parts). GRUB Multiboot Specification v1 compliant. Full 32bit protected mode non-preemptive kernel. For i386 processors and higher. Preemptive multitasking. POSIX-compliant (mostly). Process groups, sessions and job control. Interprocess communication with pipes, signals and UNIX domain sockets. UNIX System V IPC (semaphores, message que
Rails: 巨大テーブルへのインデックス追加でパフォーマンス低下を避ける方法（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: How to add index to a big table of your Rails app | Arkency Blog 原文公開日: 2024/06/13 原著者: Szymon Fiedler 日本語タイトルは内容に即したものにしました。 成功したアプリケーションでは、一部のテーブル（usersテーブルなど）がかなり肥大化することがあります。ご興味がおありでしたら、データベースのパフォーマンスを定期的にチェックしてみましょう。メトリクスで遅いクエリが見つかったら、インデックスを付け忘れている可能性が高いでしょう。 🔗 DBエンジンの現状をチェックしよう 現代のデータベースなら、ほとんどの場合非同期かつ非ブロッキング方式でインデックスを作成可能ですが、そのデータベースのルールにどんな例外があるかをもれなく理解しておく
Many programs that we write can be embedded in recurrent neural networks (RNNs). For such programs, a trained RNN can perform better than if we write the algorithm by hand, refining it via trial and error. I walk through an example in detail. Introduction Humans are bad at managing spaghetti code. Of course, we should try and avoid writing spaghetti code if we can. But there are problems that are
POSIX 2024 Changes
Green additions means the interface is implemented in Sortix. Red additions means the interface will not be implemented in Sortix. Orange additions means the interface is optional and will not be implemented in Sortix. Black additions means the interface still needs to be implemented in Sortix. Green removals means the interfaced was never implemented in Sortix. Orange removals means the interface
research!rsc: Hash-Based Bisect Debugging in Compilers and Runtimes
Setting the Stage Does this sound familar? You make a change to a library to optimize its performance or clean up technical debt or fix a bug, only to get a bug report: some very large, incomprehensibly opaque test is now failing. Or you add a new compiler optimization with a similar result. Now you have a major debugging job in an unfamiliar code base. What if I told you that a magic wand exists
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Go】公式ツール "eg" を使って効率的にGoのコードをリファクタリングする - Qiita
Web Performance Guide | SpeedCurve
We need visual programming. No, not like that.
BM42: New Baseline for Hybrid Search - Qdrant
Automated Test-Case Reduction
Catching Compromised Cookies - Slack Engineering
Cloudflare 1.1.1.1 incident on June 27, 2024
【Python】HANTSを用いた時系列補正【時系列データ】 - LabCode
Python has too many package managers
世界一わかりやすいゼロ知識証明 Vol.1: A Gentle Primer on Ethereum
An Experienced (Neo)Vimmer's Workflow
My Python code is a neural network | Gábor Nyéki