Node.js でメモリ肥大化の原因を特定してみた
はじめに ユビーでエンジニアをしているおおいしつかさです。 これは、Ubie Engineering Advent Calendar 2023の12月7日の記事になります。 何を書こうかなー、最近はユビーの根幹システムのリアーキテクチャをやっているのでその辺かなーと思ったのですが、まだ仕掛かり中だということと具体な業務に直結しそうな内容なので抽象化して書くのが面倒そうだなーと思ってたところに軽いトピックが飛び込んできたので、そのことを書くことにしました。 ChatGPTはみなさん使われていると思いますが、ぼくも別の業務でOpenAI関連の機能開発に携わっています(ユビーで働くといろんな業務に携われるのがいいところです) 。 その仕事の中で、Node.js環境でメモリ肥大化の事象に遭遇したので、それをどのように発見して改善したかについてお話します。 ぼくは今も昔もRubyが大好きですが、ふだ
Nodeのイベントループを理解するために遊んだ & Apolloのテストでawait wait(0)するとなぜデータがロードされるか - $shibayu36->blog;
Apolloを触っていて、テストをするために https://www.apollographql.com/docs/react/development-testing/testing/#testing-final-state を読んでいた。その文章の中で、 MockedProviderをrenderした時はloading状態になる データがロードされた最終状態にするにはwaaitみたいなnpm packageを使って、await wait(0)とかしてね It delays until the next "tick" of the event loop, and allows time for that Promise returned from MockedProvider to be fulfilled. と書かれていて、この文章の意味がわからなかったので、Nodeのイベントループを知
複数のモジュール形式(CommonJS, ES Modules, UMD)をサポートしたnpmパッケージの作り方 in TypeScript - dackdive's blog
はじめに npmパッケージを開発するとき、パッケージ利用者の実行環境に合わせて適切なモジュール形式のファイルをパッケージに含め、提供する必要があります。 具体的には、たとえば以下のようなバリエーションが考えられます。 Node.js環境であれば CommonJS 形式 (module.exports / require() ) ブラウザ環境で、webpackやRollupなどのモジュールバンドラーを前提とするならば CommonJS や ES Modules 形式 (export / import ) ブラウザ環境で、モジュールバンドラーなどは使わず<script>タグでファイルを読み込んで利用するならば UMD 形式 このとき、パッケージ提供側はどういったファイルをパッケージに含めるべきなのか、またそれを TypeScript でどのように実現できるのかがあまりよくわかっていなかったので
Node.jsでlog4jsを使ってログを出力する | DevelopersIO
こんにちはさかじです。今年もよろしくお願いします。 Node.js初心者の私は、ログを出力するのについつい`console.log()`を使いたくなってしまいます。きちんとログを出力するためにlog4jsを使ってみました。 こんにちはさかじです。今年もよろしくお願いします。 Node.js初心者の私は、ログを出力するのについついconsole.log()を使いたくなってしまいます。きちんとログを出力するためにlog4jsを使ってみました。 インストール $ npm install log4js コンソールにログ出力 hello.js 'use strict' const log4js = require('log4js') const logger = log4js.getLogger(); logger.level = 'debug'; logger.debug('Hello world
JSのデバッグにはconsole.log()ではなくNodeのデバッガーを使いなさい
JavaScriptのデバッグに苦労しているなら、Nodeのデバッガーを試してみてはどうでしょうか。Visual Studio Codeならさらに手軽です。 袋小路です！ 何時間も費やしていろいろ試してみたけれどもうまくいきません。コードをじっと吟味してもエラーになりそうなところはありません。2、3回ロジックを見直して、何度も実行しています。単体テストも助けにはならず、同じく失敗してしまいます。もはやどうしていいか分からず、虚空を見つめたくなります。ひとり闇の中にいるように感じて、だんだん腹が立ってきます。 こんなときの自然な反応は、コードの品質を落とし、邪魔なものを全部捨て去ることです。コードのあちこちにprintをちりばめて、なにかうまくいくことを祈るわけです。これでは暗闇で的を狙うようなもので、望み薄なことが分かるでしょう。 よくある話だと感じたのではないでしょうか。今までに数行以上
Node.js徹底攻略 ─ ヤフーのノウハウに学ぶ、パフォーマンス劣化やコールバック地獄との戦い方｜ハイクラス転職・求人情報サイト AMBI（アンビ）
Node.js徹底攻略 ─ ヤフーのノウハウに学ぶ、パフォーマンス劣化やコールバック地獄との戦い方 Node.jsをうまく活用できている企業は、どのような方法でベストプラクティスを習得してきたのでしょうか。ヤフー株式会社でNode.jsの社内普及に務めてきた言語サポートチームに、同社の実施を紹介してもらいました。 Node.jsは「イベントループモデルで、ノンブロッキングI/Oを使用している」「問題発生時にHTTP/TCPやPOSIX APIなど低レイヤーの知識を求められる」といった特徴を持つ言語です。開発者が習得すべき技術領域が広いため、Node.jsらしい書き方の学習難易度は高いと言えます。 それでは、Node.jsをうまく活用できている企業は、どのような方法でNode.jsのベストプラクティスを習得してきたのでしょうか。ヤフー株式会社でNode.jsの社内普及に務めてきた言語サポート
NodeJSでSTUN(RFC5389)(の一部)を実装した - console.lealog();
そもそも「STUNを実装する is 何」というところから整理しないとですが、しました。 ただしタイトルにもある通り、一部です。 GitHub - leader22/webrtc-stun: 100% TypeScript STUN implementation for WebRTC. JavaScriptの先行実装はいろいろ見つかるけど、TypeScriptの実装はたぶん初。 `webrtc-stun`というパッケージ名で、npmからもインストールできます。 そもそもSTUNとは Session Traversal Utilities for NAT の略 WebRTCでピア同士がつながるために、NATの向こう側にいる相手のIPやらが必要 それをどうにかして取ってくるための方法がまとまってる仕様 手続きとそれに使うツールの作り方が書いてある 簡単に言うと、固定長のヘッダ + 任意の数の属性
Node.jsでのイベントループの仕組みとタイマーについて - 技術探し
libuv/core.c at v1.x · libuv/libuv Cross-platform asynchronous I/O. Contribute to libuv/libuv development by creating an account on Git... タスク タスクは、同期タスクと非同期タスクの 2 種類存在します。 setTimeout(() => console.log(1)); setImmediate(() => console.log(2)); process.nextTick(() => console.log(3)); Promise.resolve().then(() => console.log(4)); (() => console.log(5))(); 同期タスク (() => console.log(5))(); 非同期タスク setTim
Node.jsのアプリケーションデバッグ・改善方法をおさらいする - hiroppy's site
ステップ実行 --debugと--debug-brkは Node8 の時点ですでに非推奨なので、使わないでください。 デバッグ方法 コンソール Chrome devtools または、VSCode のような IDE に任せる 今回は、エディタ依存の話は特にしないです。 共通的な手順 基本的には、debugger を止めたい場所に置いていくことになります。 例として、以下のコードで説明していきます。 "use strict"; const { readFile } = require("fs"); const { promisify } = require("util"); const readFileAsync = promisify(readFile); (async () => { const data = await readFileAsync("hello.txt", "utf8"
「 Javascript / Node.js で仕事自動化」記事まとめ - ほんじゃらねっと
Javascript と Node.js を使ってあれこれ自動化する記事が増えてきたので、 目次としてまとめておく。 blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net blog.honjala.net b
Node.jsのexpressをforeverでデーモン化する - masalibの日記
expressはエラーハンドリングされていないエラーがが起きてしまうとストップしてしまうのでサービスとしては使えません。 そこでforeverというモジュールを使ってデーモン化する事、エラー時に自動的に起動するようにします 実践Node.js プログラミング (Programmer's SELECTION) 作者: Mike Cantelon,Marc Harter,T.J. Holowaychuk,Nathan Rajlich,生越昌己,吉川邦夫出版社/メーカー: 翔泳社発売日: 2014/06/10メディア: 大型本この商品を含むブログ (1件) を見るの354ページ（12.2.2のNodeの実行を続ける）に記載されています 簡単な事しか載っていないのでネットで調べた内容を保管しています github.com インストールと確認 テストアプリの準備 foreverにテストアプリを登録す
GoogleクラウドのPaaS「App Engine」を使ってオートスケールするWebサーバーをNode.jsで書いてみた
Googleが提供している「Google App Engine」は、PaaS(Platform as a Service)に分類されるクラウドサービスで、サーバーなどのインフラ設定を何もしなくてもアクセス数に応じてスケールするアプリケーションを設置できるサービスです。このGoogle App Engineの標準環境が2018年6月にNode.jsに対応したとのことで、早速Node.jsを使ってWebサーバーを設置してみました。なお、今回はmacOSを使用していますが、Windowsでも同様の手順でサーバーを設置できます。 App Engine - Build Scalable Web & Mobile Backends in Any Language | App Engine | Google Cloud https://cloud.google.com/appengine/ まず
10倍速いNode.js並列プログラミング
Node.jsのプログラミングを並列化して10倍速く動かした話です。 Node学園 31時限目 のLT https://nodejs.connpass.com/event/90936/
Nodeベースの次世代CMS「KeystoneJS」はWordPressの代わりになるか？
CMSの定番といえばWordPressですが、開発者にとってより柔軟で使いやすいCMSを探しているなら、Node.jsベースのKeystoneJSがおすすめです。KeystoneJSの特徴と使い方、WordPressとの比較をまとめました。 KeystoneJSはコンテンツ管理システム（CMS）で、データーベースと連動するサーバーアプリケーションを構築するためのフレームワークです。Node.jsのExpressフレームワークをベースに作られ、データストレージにMongoDBを使用します。データ駆動型Webサイトを、PHPプラットホーム、またはWordPressのような大規模なシステムを使わずに作りたいWeb開発者向けの代替CMSです。 WordPressは専門知識を持たないユーザーでもセットアップできるように作られていますが、KeystoneJSは専門知識を持ったユーザーがWebサイトを開
Node.js clusterモジュールについて - kakts-log
シングルスレッドで動作するNode.jsにおいて、マルチコアCPUを持っているマシンの能力を最大限引き出すために、 複数のワーカープロセスを起動して処理を分散させたいといったニーズがあると思います。 そのときに重要なclusterモジュールについて、いつも業務で使っていますが、さらなる理解のため、整理してみます。 この記事は、Node.jsバージョンv6.x系を前提とした話となります。 clusterモジュール clusterモジュールについて、大まかな処理の流れは、ドキュメントやNode.jsユーザグループのブログ(Node.js v0.6時のもので古いです)が非常に参考になります。 blog.nodejs.jp clusterモジュールによるプロセス間通信には2つの方法があり、それぞれ紹介していきます。 マスタープロセスによるロードバランシング この方法では、マスタープロセスは指定した
【ターゲット別】入門から始める！Node.jsが学習できるサイト10選
【ターゲット別】入門から始める！Node.jsが学習できるサイト10選 入門から始めるのにおすすめなNode.jsの学習サイトをまとめて紹介しています。他の言語の経験がある人、Node.jsに全く触れたことがない人など様々いると思いますが、文字や動画、そしてコーディングしながら学習と好きな学習スタイルに合わせて習得しましょう。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社 調査期間：2021年8月12日～8月16日 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名 調査手法：インターネット調査 今回は、Node.js入門として、Node.jsを習得できる学習サ
今年のうちに対応したい、Node.jsのBufferに潜む危険性
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Node.js言語サポートチームの加藤佑典です。 普段はYahoo!ブックストアの開発/運用を主にしています。 先日、同じチームの柄澤がNode学園祭 2016の発表でも少し触れていますが、今期から社内でNode.jsの言語サポートチームが発足しました。 本日はそのチームメンバー+有志で行っているNode.js Core APIの勉強会で話題になった、Buffer APIの変更点について触れたいと思います。 本記事はNode.js v6.9.1 Documentationをベースに書いています。 1. はじめに 勉強会は、以下のようにAPIをカテゴリ分けし、基礎的なAPIであるカテゴリー1のものから順に進めています。
CUBE SUGAR CONTAINER
PyTorch に慣れるためにコードをたくさん読み書きしていきたい。 今回は MNIST データセットを使ってシンプルな AutoEncoder を書いてみる。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79 $ python -V Python 3.11.9 $ sysctl machdep.cpu.brand_string machdep.cpu.brand_string: Apple M2 Pro $ pip list | egrep "(torch|matplotlib)" matplotlib 3.9.0 torch 2.3.1 torchvision 0.18.1 もくじ もくじ 下準備 サンプルコード 下準備 下準備として必要なパッケージをインストールする。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Node.jsをv12からv16へアップデートした話
node.jsアプリをLinuxサーバーで公開してみよう
