バウンスマネジメント用のメールアドレス帳をAWS移行しました - LIVESENSE ENGINEER BLOG
概要 背景 移行 移行前の構成 (MySQL, PHPバッチ) 移行後の構成 (DynamoDB, Kinesis) 移行の段取り 詳細 ストリーミング処理 APIサーバー APIクライアント 移行を終えて 最後に 概要 技術部インフラグループの春日です。 2024年上期現在、弊社ではオンプレデータセンターで稼動しているサーバーのクラウド移行を進めており、 2024年1Qの時点で大半はAWSへの移行が完了しています。 本記事では社内で古くから運用し続けているメール配信サーバーのバウンスマネジメントに使用するアドレス帳データをクラウド移行した件について振り返ります。 メール配信サーバー自体のクラウド移行に関しては本記事では触れません。 以降の章ではメール配信サーバーを自前で運用している背景やクラウド移行前後での構成比較、および移行後のシステム詳細について触れていきます。 なお記事内ではEメー
goqite is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler)
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get github.com/maragudk/goqite See goqite on Github Don't like queues? Get the Skip function to skip the queue for your messages! Example package main import ( "context" "database/sql" "fmt" "log" "time" _ "github.com/mattn/go-sqlite3" "github.com/maragudk/goqi
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. The gccrs project is an ambitious effort started in 2014 to implement a Rust compiler within The GNU Compiler Collection (GCC). Even though the task is far from comp
EngineeringWhy Rust is the most admired language among developersRust continues to top the charts as the most admired and desired language by developers, and in this post, we dive a little deeper into how (and why) Rust is stealing the hearts of developers around the world. For the eighth year in a row, Rust has topped the chart as “the most desired programming language” in Stack Overflow’s annual
Introducing Apple’s On-Device and Server Foundation Models
At the 2024 , we introduced Apple Intelligence, a personal intelligence system integrated deeply into iOS 18, iPadOS 18, and macOS Sequoia. Apple Intelligence is comprised of multiple highly-capable generative models that are specialized for our users’ everyday tasks, and can adapt on the fly for their current activity. The foundation models built into Apple Intelligence have been fine-tuned for u
Next.js 13.5
Back to BlogTuesday, September 19th 2023 Next.js 13.5Posted by Next.js 13.5 improves local dev performance and reliability with: 22% faster local server startup: Iterate faster with the App & Pages Router 29% faster HMR (Fast Refresh): For faster iterations when saving changes 40% less memory usage: Measured when running next start Optimized Package Imports: Faster updates when using popular icon
How does Sidekiq really work?
Sidekiq is one of the most ubiquitous1 Ruby background job processors out there. To anybody who has worked with Ruby on and off Rails, it needs no introduction. Sidekiq has a 10+ year track record of being an efficient, battle-tested and simple-to-use solution for offloading the execution of application logic into the background. It utilizes a threaded model for job processing, uses Redis as a bac
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
Cloudflare Fonts: enhancing website font privacy and speed
Cloudflare Fonts: enhancing website font privacy and speed09/25/2023 This post is also available in 简体中文, 繁體中文, 日本語 and 한국어. We are thrilled to introduce Cloudflare Fonts! In the coming weeks sites that use Google Fonts will be able to effortlessly load their fonts from the site’s own domain rather than from Google. All at a click of a button. This enhances both privacy and performance. It enhance
Kazumichi Komatsu
導入： 本テキストは2021年10月に京都市立芸術大学に提出された小松千倫の博士論文「表れる他者 − グラフィティおよびインターネットにおける諸操作の記述、あるいは遠さをつくるための研究」より第2章の一部を抜粋、修正しつつ掲載するものです。このテキストより前の部分（未掲載）では、InstagramやTinderを分析対象とし、それらのアプリケーションUI上に表示された単一のポストだけではなく、複数のポストのまとまりやそれらの順序に対して行われるユーザーの諸操作の傾向とその流通について記述していました。「編集操作」や「シークエンス」という語はそのような文脈で使用されています。以下第2章第８節から続く本文です。 8. TikTokとポップソングの信号化 私たちはTinderとInstagramの分析を通して複数のデータのシークエンスを対象にしたユーザーの編集操作の例を追ってきた。このようなシー
Hugging Face、Appleデバイス上で大規模言語モデルを実行するためのSwiftパッケージとDemoアプリを公開。
Hugging FaceがApple Siliconを搭載したMacなどAppleデバイス上で大規模言語モデルを実行するためのSwiftパッケージとDemoアプリを公開しています。詳細は以下から。 学習済みの機械学習モデルやデータセットなどを公開/共有するHugging FaceのMLエンジニアで、Mac用Stable Diffusionクライアント「Diffusers」などを開発しているPedro Cuencaさんは現地時間2023年08月08日、Apple Silicon MacなどAppleデバイス上で大規模言語モデル(LLM)を実行するためのSwiftパッケージとDemoアプリを公開しています。 📢 Announcing Swift Transformers 📢 A package to run language models in native apps, on-device
For this second post in Zed Decoded, our blog & video series in which we're taking a closer look at how Zed is built, I've talked to Zed's three co-founders — Nathan, Max, Antonio — about the data structure at the heart of Zed: the rope. Companion Video: Rope & SumTree This post comes with a 1hr companion video, in which Thorsten, Nathan, Antonio, and Max use Zed to look at how Zed uses the Rope a
Across these repos, the savings average around 75%, but memory reductions are non-linear: as projects get larger, so does the relative decrease in memory usage. We’ll explain this in more detail below. Gopls and the evolving Go ecosystem Gopls provides language-agnostic editors with IDE-like features such as auto-completion, formatting, cross-references, and refactoring. Since its beginnings in 20
レスポンスヘッダにプロファイラのURLを含めるとGraphQLのパフォーマンスチューニングに便利という話
こんにちは！株式会社アルダグラムのKANNAの開発お手伝いをさせて頂いているoubakiouです。 KANNAではサーバーサイドにRails+GraphQL Ruby、クライアントサイドでApollo Clientを利用していますが、どこの会社であれGraphQLであれRESTであれサービスが成長するとその裏側のパフォーマンスチューニングが必要になる場面が大なり小なり訪れると思います。KANNAもその例に漏れずユーザー数の増加や今までにない規模のお客様企業への導入に伴い、それまでは問題の無かったGraphQLクエリーのいくつかでレスポンス速度に問題が出始めていました。 本番環境においてはDatadogなどで監視環境を構築しスロークエリーやパフォーマンスの監視を行っていますが、開発環境においてはRails部分にrack-mini-profiler、graphql-ruby部分に独自Trace
Basecamp disclosed on HackerOne: AWS keys and user cookie leakage...
Basecamp supports uploading SVG pictures as avatars. Apparently, they are converted via an outdated librsvg version at Basecamp's servers. This version contains a vulnerability that allows leakage of the contents of an uninitialized memory block (that is, something is malloced, never initialized, and then used to build the preview image). Since it seems to be performed in the same unix process...
Oracle、macOS 14.4 Sonomaアップデート後にApple Silicon MacでJavaプロセスが予期せず終了してしまう不具合がるとしてアップデートを控えるよう通知。
OracleがmacOS 14.4 Sonomaアップデート後にApple Silicon MacでJavaプロセスが予期せず終了してしまう不具合がるとしてアップデートを控えるよう通知しています。詳細は以下から。 Appleは現地時間2024年03月07日、書き起こし機能を追加したポッドキャストアプリを同梱し、複数の脆弱性を修正した「macOS 14.4 Sonoma」をリリースしましいたが、米Oracleは03月15日、このmacOS 14.4ではApple Silicon MacでJavaプロセスが予期せず終了してしまう不具合を確認したと発表しています。 Java users on macOS 14 running on Apple silicon systems should consider delaying the update to macOS 14.4. For furthe
day.jsを使ってたけど、サイズも小さく軽量とのことで、 ちょっと試してみたときの備忘録(*´ω｀*) tempo.formkit.com FormKitのチームが開発したらしい formkit.com Tempoとは nativeのDateを操作するユーティリティなライブラリ。 day.jsとは違い、Date自体を直接操作する感じ。 import { format, parse } from "@formkit/tempo" // Dateのformat const readable = format(new Date(), "full") // Dateへのparse parse(readable, "full") タイムゾーンのサポートも手厚い。 import { tzDate, format, applyOffset, offset } from "@formkit/tempo"
React Server Components bring server-exclusive capabilities to React. I've been using this new paradigm within Next.js 13 and 14, and what follows is my honest assessment of it[1]. I debated not publishing this post because of the way the React community has historically handled criticism. It is only recently that I decided it is important to share my thoughts, especially after seeing that much of
ChatGPTはチャットを通じてユーザーが入力した情報を一時的に記憶しますが、ユーザーが「新しいチャット」を始めた場合、そのチャットでは以前のチャットの記憶は引き継がれずに新たなやりとりが始まります。2024年2月13日、ChatGPTの記憶機能が強化され、新しいチャットを始めた場合でも以前のチャットの記憶が引き継がれるようになりました。 Memory and new controls for ChatGPT https://openai.com/blog/memory-and-new-controls-for-chatgpt Memory FAQ | OpenAI Help Center https://help.openai.com/en/articles/8590148-memory-faq ChatGPTの記憶(メモリー)機能は設定でオン・オフを切り替えることが可能で、オンにした場
フォルス・メモリとは？記憶の再構築と実際の体験のズレについて #フォルスメモリ #記憶の再構築 - 発達障害だって、頑張るもん！
こんにちは。ココです。 注意欠陥多動性障害（ADHD）で自閉症スペクトラムな息子の行動と会話から何かのヒントを綴っていく当ブログへようこそ。 今日は「その時の景色や着ていた洋服、流れていた音楽などがハッキリと思い出せる」のに「実際は体験したことがない」「記憶とは違う事実だった」ということもある記憶の心理学「フォルス・メモリ」についてのお話です。 ● 記憶は時に「事実とは違う情報」に再構築されていきます。人間の記憶はそれほど確固たるものではなく、ゆらぎ、形を変えていきやすいものだということを頭の隅においておきましょう。 「毒親」を作り出す子供の記憶 記憶の心理学・記憶の移植実験 過去の記憶は「作られたもの」なのかもしれない 記憶の汚染 まとめ 「毒親」を作り出す子供の記憶 抑圧されていた負の記憶を思い出すことで、現在自分が抱えている問題を紐解くとされている各種のセラピー。 フロイトの精神分析
Effective TypeScript › The Saga of the Closure Compiler, and Why TypeScript Won
Here's something that makes me feel old: in just six months, Gmail will celebrate its 20th anniversary. If you weren't actively developing web sites at the time, it's hard to capture just how revolutionary it was. This was a time when JavaScript was held in almost universally low regard. The idea that you could build a sophisticated web app using it was mind-boggling. But it clearly worked and it
Having worked a bit in Zig, Rust, Go and now C, I think there are a few common topics worth having a fresh conversation on: automatic memory management, the standard library, and explicit allocation. Zig is not a mature language. But it has made enough useful choices for a number of companies to invest in it and run it in production. The useful choices make Zig worth talking about. Go and Rust are
【Mamba入門】Transformerを凌駕しうるアーキテクチャを解説（独自の学習・推論コード含む） - Qiita
はじめに 薄紅色の柔らかなそよ風が恋しい今日この頃皆様いかがお過ごしでしょうか？ はじめまして。 某総合電機メーカ・某設計部門（機械設計）に属する 六花 牡丹（りっか ぼたん）と申します。 とある事情でこちらのサイトに不定期で記事を載せることがございます。 本記事ではMambaに関するアルゴリズム・数学的な原理に加え、独自に開発した学習・推論コードを示すことで基礎から応用までをカバーしています。 拙筆ではございますが、皆様のお役に立つことを心から願っております。 未熟者故、記事中にて誤記・欠落などが見られることがございます。 もし発見しました場合には、コメント等にてご指摘いただきますようお願い申し上げます。 私は記事を一般に周知する手段を有していないため、もし記事が有用であると判断された場合には、X（旧Twitter）等で拡散していただけますと幸いです。 2024/02/13 追記： X（
近年は適度な昼寝がさまざまなメリットをもたらすことが明らかになっており、短時間の昼寝は「パワーナップ」とも呼ばれ注目を集めています。そこで、パワーナップがもたらすメリットと適切な昼寝の時間について、テキサスA＆M大学の臨床准教授であるスティーヴン・ベンダー氏が解説しています。 Short naps can improve memory, increase productivity, reduce stress and promote a healthier heart https://theconversation.com/short-naps-can-improve-memory-increase-productivity-reduce-stress-and-promote-a-healthier-heart-210449 ベンダー氏は、「日中の昼寝は古代から世界中で行われてきた習慣です
by 李 季霖 半導体製造企業のTSMCが、2024年4月24日に開催された同社のシンポジウム「North America Technology Symposium 2024」で、1.6nm世代の半導体製造プロセス「A16」の量産を2026年に開始する予定を明らかにしました。 TSMC Celebrates 30th North America Technology Symposium with Innovations Powering AI with Silicon Leadership https://pr.tsmc.com/japanese/news/3136 TSMC unveils 1.6nm process technology with backside power delivery, rivals Intel's competing design | Tom's Hardw
Biscuit Language
Biscuit Language The Biscuit Language (BL) is simple imperative programming language using LLVM backend implemented in C. Language syntax and all it's features are still in development and not ready for 'real' use yet. Biscuit is designed to be simple, fast and explicit. Simple small language. Manual memory management. ABI compatibility with C libraries. Game development oriented. Compilation to n
人知れず消えていったマイナーCPUを語ろう（第8回）：並列CGレンダリングの夢を抱かせたINMOS Transputer | テクノエッジ TechnoEdge
猫に傅くために原稿を書いて日銭を稼いでいる毎日。元は組み込み系のエンジニアだったのに、もうずいぶん遠い所まで来てしまった。 コンピュータの歴史を暗部も含めてていねいに掘り起こすことで定評のある大原雄介さんによる連載8回目。今回は1990年代に並列処理CGをやっていた人たちなら郷愁に浸れるかもしれないTransputer（トランスピュータ）とその開発言語であるOCCAMがテーマです。 Transputerというプロセッサは、割と古い（失礼）読者には刺さりやすいらしい。担当編集の松尾氏も名前を聞いただけで喜んでいたから、50代後半以降の方なら名前を聞いたことはあるかと思う。 実はもうバックナンバーが手元に無いので正確な号数などは確認できないのだが、CQ出版のインターフェース誌（昨今の白地のものではなく、黒地にオレンジ色の配色だったころの話だ）で、随分このTransputerを持ち上げていた時期
GitHub - ashvardanian/StringZilla: Up to 10x faster strings for C, C++, Python, Rust, and Swift, leveraging SWAR and SIMD on Arm Neon and x86 AVX2 & AVX-512-capable chips to accelerate search, sort, edit distances, alignment scores, etc 🦖
The world wastes a minimum of $100M annually due to inefficient string operations. A typical codebase processes strings character by character, resulting in too many branches and data-dependencies, neglecting 90% of modern CPU's potential. LibC is different. It attempts to leverage SIMD instructions to boost some operations, and is often used by higher-level languages, runtimes, and databases. But
Dockerfile ��'d1V `qed1V #!/usr/bin/env -S bash -c "docker run -p 8080:8080 -it --rm \$(docker build --progress plain -f \$0 . 2>&1 | tee /dev/stderr | grep -oP 'sha256:[0-9a-f]*')" # syntax = docker/dockerfile:1.4.0 FROM node:20 WORKDIR /root RUN npm install sqlite3 RUN <<EOF cat >/root/schema.sql CREATE TABLE IF NOT EXISTS clicks ( id INTEGER PRIMARY KEY AUTOINCREMENT, time INTEGER NOT NULL ); E
GitHub - lllyasviel/Fooocus: Focus on prompting and generating
Fooocus is an image generating software (based on Gradio). Fooocus is a rethinking of Stable Diffusion and Midjourney’s designs: Learned from Stable Diffusion, the software is offline, open source, and free. Learned from Midjourney, the manual tweaking is not needed, and users only need to focus on the prompts and images. Fooocus has included and automated lots of inner optimizations and quality i
Garnet–open-source faster cache-store speeds up applications, services
Researchers at Microsoft have been working for nearly a decade to address the increasing demand for data storage mechanisms to support the rapid advances in interactive web applications and services. Our new cache-store system called Garnet, which offers several advantages over legacy cache-stores, has been deployed in multiple use cases at Microsoft, such as those in the Windows & Web Experiences
Wasm core dumps and debugging Rust in Cloudflare Workers
Wasm core dumps and debugging Rust in Cloudflare Workers08/14/2023 A clear sign of maturing for any new programming language or environment is how easy and efficient debugging them is. Programming, like any other complex task, involves various challenges and potential pitfalls. Logic errors, off-by-ones, null pointer dereferences, and memory leaks are some examples of things that can make software
Exploring Seamless Rust Interop for Newer Languages, Part 1 Languages like C++, Typescript, Kotlin, and Swift had a brilliant approach: they were created to harness an existing ecosystem of libraries from another pre-existing language. But that's easier said than done! Especially for newer languages focusing on memory safety and speed. 0 Luckily, newer languages can tap into C's ecosystem by addin
Twelve years after Senior Inspector Jeon Gyeong's retirement, she is visited by a young police officer: a woman who pleads with her to reexamine Seowon's case. But with each uncovered memory, only one thing becomes clear: everyone in Seowon's vicinity was lying.
Ruby Parser開発日誌 (15) - Ruby の NODE を Union から卒業させた - かねこにっき
まもなくRuby 3.3.0がリリースされますね。 LramaによるBisonの置き換え、named referencesによるparse.yのリファクタリングなど、parser本体の大きな改善が入ったバージョンになります。 今回はRuby 3.3向けに行った改善のうち「Rubyの抽象構文木のデータ構造の改善」という内部的な改善を紹介します。 問題の背景 RubyのNodeはかつてGCで管理されていました。そのころの名残で全ての種類のNodeがたった一つのRNode構造体を共有しています。 他のNodeへのポインタやメソッド名を表すIDなどはu1, u2, u3というunionで管理しています。 typedef struct RNode { VALUE flags; union { struct RNode *node; ID id; VALUE value; rb_ast_id_tabl
Recently I landed experimental support for require()-ing synchronous ES modules in Node.js, a feature that has been long overdue. In the pull request, I commented with my understanding about why it did not happen sooner before this pull request in 2024. This post expands on that comment a bit more. The opinions in this post are my own and reflect my perception of the ESM development in Node.js as
Interest in Rust has surged in recent years, with tech leaders such as Microsoft, Google, and Amazon coming forward to share their experiences of leveraging Rust for critical systems. Much of the dialogue about Rust, however, is still driven by those who have not leveraged Rust in a significant production capacity or have only done so for non-critical systems. This results in a skewed understandin
Terraformで構築する機械学習ワークロード（Batch on Fargate編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回も「Terraformで構築する機械学習ワークロード」ということで、前回の記事ではLambdaを使いましたが、今回はその処理をBatch on Fargateに載せてみたいと思います。 前回記事は以下です。 構成イメージ 構成としては以下のようなものを作成していきます。 前回との違いとしては、まずLambdaの代わりにBatch on Fargateを使う点です。 Fargateのタスク(ジョブ)上のコンテナイメージで物体検出モデルの一つであるYOLOXを動かしていきます。 また、それ以外にもBatchを使用する場合は、S3イベントとBatchの間にEventBridgeが必要となります。 動作環境 Docker、Terraformはインストール済みとします。 Terraformを実行する際の
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Progress toward a GCC-based Rust compiler [LWN.net]
Why Rust is the most admired language among developers
Patterns for Building LLM-based Systems & Products
Zed Decoded: Rope & SumTree - Zed Blog
Scaling gopls for the growing Go ecosystem - The Go Programming Language
【福田昭のセミコン業界最前線】 3D XPointを超える大容量メモリ技術「セレクタオンリーメモリ」
新しい日付ライブラリのTempoをさわってみた - くらげになりたい。
React Server Components: the Good, the Bad, and the Ugly
ChatGPTの記憶能力が強化されて同じことの繰り返し入力が不要に
Zig, Rust, and other languages | notes.eatonphil.com
短時間の昼寝「パワーナップ」が記憶力や生産性の向上＆ストレス軽減などさまざまなメリットをもたらす
TSMCが1.6nm世代の半導体製造プロセス「A16」を2026年中に量産開始すると発表
#!/usr/bin/env docker run
【福田昭のセミコン業界最前線】 2010年代後半以降のDRAMトレンド、微細化と記憶密度に関する偽説のカラクリを暴く
Exploring Seamless Rust Interop for Newer Languages, Part 1
No Case Should Remain Unsolved on Steam
require(esm) in Node.js
Why Rust in Production? | Corrode Rust Consulting