Understanding Allocations in Go
Cleaning up heap allocations in GoThis is the 18th article of the Eureka Advent Calendar 2020. Yesterday we had a post from Jun Ernesto Okumura on diversity in Spotify’s recommender systems. IntroductionThanks to efficient in-built memory management in the Go runtime, we’re generally able to prioritise correctness and maintainability in our programs without much consideration for the details of ho
競技プログラミング、ソフトウェア・エンジニア、コミュニティ
なんか言及もされたのでアンサー的に書いてみたけど、アンサーには大してなってないな? ってやつです。一部で言及された、競技プログラミング (競プロ) 関係の話。 その前に、「プログラミングの競技」っていろいろあります。 短時間で問題に解答していく型 (ICPC / 情報オリンピック / AtCoder Regular / TopCoder とか)最適解が容易に求まらない問題のスコアを競う型 (SuperCon / AtCoder Heuristic / ISUCON / ゴルフ / ICFP Programming Contest の一部とか)対戦型 (ICFP Programming Contest の一部とか、最近のはあんまり知らないですが RoboCode / Imagine Cup とか)謎解き型 (ICFP Programming Contest で何回かありましたね。 UMIX
コンテナ技術を捨て、 WASIを試す
こんにちは、NTTの藤田です。 Dockerfileを書くのに疲れた？イメージサイズの縮小で1日が終わった？コンテナの起動が遅すぎる？コンテナ技術と悪戦苦闘する皆様のための新技術、アーキテクチャに依存しないポータブルなバイナリフォーマットと数十μsで起動するsandbox環境を実現する、WebAssembly System Interface（WASI）を試してみました。 WebAssembly System InterfaceとはWASIは、 WebAssembly（WASM）をウェブブラウザ以外の環境で実行するため、 ホストのファイルやネットワークなどの資源に安全にアクセスさせるための仕様です。 具体的には、POSIXに似たAPIが定義されており、WASMのバイナリが、OSが管理する資源にアクセスできるようになります。 WASMは、ネイティブコードなみの速度で動作する、ポータブルなバイ
Wasmer 1.0
Runtime and compiler performance is out of this world.New features include better error handling, a more powerful API, cross-compilation, headless Wasmer and so much more!It’s been two years since we published the first line of Wasmer code, the first server-side WebAssembly (Wasm) runtime able to run Nginx server-side. We believe that WebAssembly will be a crucial component for the future of softw
Rustの非同期ランタイムが多すぎる？io_uringなやつを使おう！
AWS、Google、Microsoftらが、Rust Foundationを設立し、今やRustでなければクラウドネイティブじゃない、と言っても過言ではありませんよね。クラウドネイティブと言えば、スケーラブルなシステム、Goはgoroutineを標準機能として提供しますが、Rustのasync/awaitは、標準機能に含まれていない外部ライブラリを必要とします。悪いことに、複数のライブラリ（非同期処理ランタイム）が乱立し、APIの互換性もありません。Rustはクラウドネイティブなのだろうか、という疑問を抱きながら、いくつかのランタイムの性能を、いつものgRPCベンチマークで比較してみました。 比較対象数多くのランタイムの中から、前回の記事で試した、Linuxの新しい非同期I/Oインターフェイスのio_uringを利用しているglommioと、普及している思われる、tokio、smol、a
Preemptive Interface Anti-Pattern in Go
In this post I will describe the Preemptive Interface pattern often used in code and why I think it is generally an incorrect pattern to follow in Go. What is a Preemptive InterfaceInterfaces are a way to describe behavior and exist in most typed languages. Preemptive interfaces are when a developer codes to an interface before an actual need arrises. An example may look like the following. type A
What “accept interfaces, return structs” means in Go
I’ve mentioned a general guideline of accept interfaces, return structs in a previous post and multiple times on code reviews to coworkers, but often get the question “Why”. Especially since this isn’t a hard rule. The crux of the idea, and understanding when to bend it, is in the balance of avoiding preemptive abstractions while maintaining flexibility. The abstract gopherPreemptive abstractions
Writing a JIT compiler in Golang
TL;DR A simple JIT compiler in golang. Scroll down to bottom for working code. A JIT compiler (Just-in-Time) is any program that runs machine code generated during runtime. The difference between JIT code and other code (eg. fmt.Println) is that the JIT code is generated at runtime. Programs written in Golang are statically typed, and compiled ahead of time. It might seem impossible to generate ar
🎉 Version 4.0 Now Default 🎉 – gulpjs – Medium
For the past year, version 4.0 has been published to npm and could be installed using npm install gulp@next. Today, it’s being promoted from “next” to “latest” which means it will be installed by default when you run npm install gulp. With this, all previous versions are soft deprecated and will become hard deprecated in the coming months. What’s new in 4.0?!The task system was rewritten from the
12 Factor CLI Apps – Jeff Dickey – Medium
CLIs are a fantastic way to build products. Unlike web applications, they take a small fraction of the time to build and are much more powerful. With the web, you can do whatever the developer programmed. With CLIs, you can easily mash-up multiple tools together yourself to perform advanced tasks. They require more technical expertise to use, but still work well for admin tasks, power-user tasks,
The Land Before Binary
In the early days of computing, 1 + 1 didn’t always equal 10 In the summer of 2016, USDS assigned me to the IRS to work on a project called Online Accounts. When on assignment I tend to wander, because helping out big complex software projects rarely involves simple straight forward advice or solutions. You have to figure that before you showed up the agency has probably been through many rounds o
Building Scalable Web Services in Golang
Let’s Go!Latest Update!This article has received a lot of love over the past many years, so I’ve decided to collect all my knowledge on the topic and distill it in a detailed, interactive, and immersive learning experience on Educative - 🔗 Building Scalable Services in Go This course will take you from beginner to pro, giving you all the knowledge and confidence you need to excel in your career.
SourceForge Hiding Fact that They Have Lost the Latest Revision of SVN
SourceForge Hiding Fact that They Have Lost the Latest Revision of SVN I still use Subversion regularly, and quite often I use it to handle big files. Even after two years since the malware chaos, I still thought there was a reason to use SourceForge.net, up until now. But now maybe it is time for SourceForge.net to meet its demise. In February, Sourceforge moved their data center, and during that
10 essential Vim plugins
Vim remains a powerful and ubiquitous application to tackle any number of text editing tasks conveniently from the terminal (some learning required). If you’re looking to add Vim to your toolkit this year, here is my list of absolutely essential plugins to begin supercharging your workflow. If you’ve never set up a Vim plugin before, see the Installing Vim plugins section later on for a runthrough
The Problem with gulp-util
Seeing this message?A little postmortemLast week we made gulp v4.0.0-alpha.3 available on GitHub and people are excited! We expected it to be breaking, but we didn’t realize the far reaching impact of the changes. This is due to 6,752 modules that depend on gulp-util; many of which utilize an extremely outdated version of Vinyl. Help us fix it using the steps below. Why deprecation now?We’ve been
Redis Cluster の運用とモニタリング/監視のコツ
この記事は、はてなエンジニア Advent Calendar 2017の 20 日目の記事です。19 日目の記事は yasuhiro_onishi さんのScratchを使った子どもへのプログラミング教育 — 大西ブログでした。 今年の 2 月にはてなに入社して、あと 1 ヶ月と少しで 1 年を迎えようとしています。はてなに入社してから Mackerel のインフラと時系列データベースの AWS 移行プロジェクトを任されたり、移行を終えた後も後片付けや移行後の運用を担当したりと、主に Mackerel にコミットしていた 1 年でした。自分が Mackerel にコミットしたところは Mackerel のイベントで登壇したいくつかの登壇資料にもあるとおり数多いのですが、この記事では、運用する中で試行錯誤を重ねて苦労した Mackerel を支える時系列データベースのコンポーネントとして利用
Goのパッケージ構成の失敗遍歴と現状確認
この記事は Gunosy Advent Calendar 2017の5日目の記事です。前回の記事はGunosyのパーソナライズを支える技術 -ワークフロー編-でした。 GoでAPIを書くときの問題僕の在籍するGunosyはGoを昔（？）から本番採用しておりまして、ノウハウも潤沢に溜まっている企業だと言えます。 しかし、contextの扱いやベストなパッケージ構成、テスト、net/httpでAPIを書くノウハウなどなど、迷うことは多々あります。 これは弊社特有の事情ではなく、Goのサーバーサイドエンジニア全員にとっての問題です。中でも、パッケージ構成をどうすればいいのか（相互参照せずに快適に開発を進められるパッケージ構成とは）を見つけるのは結構難しく、各々のチームにお任せ、という状況です。 今回は上記の問題のうち、パッケージ構成に踏みこんで見たいとおもいます。会社でもよくパッケージ構成をどう
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Querying Cloudfront web logs using AWS Athena and Serverless
High-performance rate limiting
A short tale of a read overflow