TL;DR TypeORMで発生していたスロークエリを改善 スロークエリを改善したらECSの負荷も減少 はじめに スロークエリを改善したら、ECSコンテナ側の負荷も下がってなんでだろ？と思ったので記事にしようと思います。 環境 TypeORM v0.3.20 Node.js v18.x バックエンドインフラ ECS on Fargate => Amazon Aurora MySQL 負荷改善の前と後 まずはどのくらい改善したのかを示します。 この時ECSコンテナ8台動いてました。(4vCPU 8GBMem) 改善前 改善後 改善前と改善後は一日前の同じ時間帯のものです。 ちゃんと動いてるのか不安になるくらい下がってました笑 どのような対応をしたのか スロークエリの出ていたクエリでMySQLの実行計画を確認しました。 TypeALL,index, Using Filesort等はなかったので
【Playwright】ココがスゴいぜ！Playwright Component Test！ - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。フロントエンド開発課所属のkoki_matsuraです。 今回はPlaywrightのコンポーネントテストについて個人的な意見を書いています。 目次は以下の通りになっています。 はじめに 導入方法 Playwright Component Test Runner のスゴい点 コンポーネントが実際にレンダリングされる 画面のサイズを指定できる タイムゾーンや言語を指定できる コンポーネントの振る舞いを見るテストに対応できる まとめ 参考 はじめに PlaywrightはMicrosoftが開発・メンテナンスしているCypress、Puppeteerなどと同じE2E自動テストフレームワークとして有名です。 playwright.dev Chromium、Edge、Firefoxなどの複数のブラウザに対応しており、全てに単一のAPIで簡単にテストの実装が可能になっています。 目玉機能
Bun workspace で始めるモノレポ生活
Bun workspace で始めるモノレポ生活 2023.09.15 Bun では `package.json` の `workspaces` を使用することでモノレポの管理が可能です。この記事では Bun によるモノレポを試してみます。 Bun はパッケージマネージャーとしても利用できるので、npm の workspaces によるモノレポ管理も可能です。モノレポとは、複数のパッケージを 1 つのリポジトリで管理することです。モノレポを利用することで、同レポジトリ内のパッケージを互いに参照したり、node_modules をシェアしてディスク容量を節約するといったメリットがあります。 この記事では、Bun workspace を利用してモノレポを管理する方法を紹介します。 Bun workspace の使い方 workspace ではディレクトリのルートレベルに、各パッケージを管理する
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
カスタムChatBotを作る ChatGPT全盛の時代に、何番煎じだ？という感じですが、とりあえずやってみたので手順を残しておきます。プロンプトエンジニアリングの観点ですと、いわゆるIn-Context LearningのRetrieval-Augmented Generation（RAG）ってやつになると思います。プロンプトエンジニアリングに関しては以下記事参照ください。 具体的な手段・実装としては、基本的にnpaka大先生のやったことや書籍を大いに参考にさせていただいています。 OpenAI GPT-4/ChatGPT/LangChain 人工知能プログラミング実践入門 以前、はてなブログのデータだけでやってみてはいたのですが、イマイチ性能がよくなかったので、今回は色々と改善版という位置づけです。 大きく変えたところは以下2つです。 データを増やした（ブログデータ → ブログデータ +
トレンドの変化が激しいIT業界。近年ではChatGPTなどのAIも登場し、技術の進展も急速に進んでいます。そんな中、将来に備えてどのプログラミング言語を勉強しておくべきか悩んでいるエンジニアの方も多いでしょう。 本記事では、「レバテックフリーランス」に蓄積された案件データを元に、プログラミング言語別の月単価・案件数を集計し、想定年収を算出しました。 ランキング上位の言語を中心に、最新の市場動向や高単価の背景なども解説しています。これから習得して稼げる、狙い目の言語はあるのでしょうか？本調査結果を、今後の言語選びやスキルアップにお役立ていただければ幸いです。 過去のプログラミング言語別単価ランキングはこちら▼ 【2023年2月】プログラミング言語別単価ランキング！フリーランスエンジニアにおすすめの言語は？ レバテックフリーランスはITエンジニア専門の フリーランスエージェントです案件を探して
HRBrain Advent Calendar 2023 1日目の記事です。 はじめに こんにちは。@yug1224(Yuji Yamaguchi)です。 今年もAdvent Calendarが始まりましたね！そろそろ記事を書かなきゃと焦っている人も多いのではないでしょうかｗ 本記事では、私が文章作成時に気を付けているテクニカルライティングの観点と、そのために使っているtextlintのルールを紹介します。 テクニカルライティングとは テクニカルライティングとは、技術的な内容を正確かつ効率的に伝えるために誕生した文章作成技術です。 コンピューターやICT技術の発達により、今ではあらゆる職種の人に文章を書く機会があるため、テクニカルライティングの技術はビジネスパーソンにとって必須の技術となっています。 オススメ書籍 テクニカルライティングに関する書籍や記事はたくさんありますが、私は以下の書籍
Honoの今の状況 - ゆーすけべー日記
この記事は2023 JSConf JPで発表したHono v3 and v4を元に11月17日に書いたCloudflare社内のブログ記事「Current Status of Hono」を日本語に訳した記事です。 Honoの「Initial commit」からおおよそ2年が経ちました。このプロジェクトは2021年の12月15日に始まりました。 当初、私はCloudflare WorkersのみのためにHonoを作りました。itty-routerはよかったものの、私が欲しかった多くの機能が欠落していました。また、私は勉強のためにTrie木構造のルーターを作りたかったのです。それがHonoの生まれた理由です。 それから多くのことが起こりました。私がCloudflareにいるのもHonoのおかがです！HonoはCloudflare開発者コミュニティで認知されていきました。Honoの人気が出ること
Puppeteer、テスト自動化の次世代標準「WebDriver BiDi」に対応開始。Firefoxもサポートへ
Puppeteer、テスト自動化の次世代標準「WebDriver BiDi」に対応開始。Firefoxもサポートへ Node.jsでヘッドレスブラウザを用いたテスト自動化のためのフレームワーク「Puppeteer」が、ブラウザ自動化の次世代標準である「WebDriver BiDi」（「BiDi」は双方向を表すため、読みは「ウェブドライバー バィディ」とのこと）への対応を開始しました。 Puppeteerは、ChromiumベースのWebブラウザに対してChrome DevTools Protocolを用いて通信することで、Webブラウザの操作を自動化するとともに、コンソールに表示される情報やログなどの収集、画面キャプチャなどの取得によって、テストの自動化を効率化してくれる機能を備えています。 このPuppeteerが、現在策定中の次世代標準の「WebDriver BiDi」に対応を開始しま
家族がいると自宅の様子が気になる、けれども監視カメラを設置するのは家族のプライバシー的に行き過ぎた感あり、もう少し緩やかな監視ができないか？と考えた際、照度の変化に着目したソリューションを思いついた。 つまり、家族が帰宅して部屋の電気を付けた、外出のため消灯した、電気を消して寝静まったといった状態の遷移を「照度の変化」によって検知し、スマホに通知する、といった具合だ。 概要 Nature Remo 3は外出先からスマートフォンで家電を制御するためのスマートリモコン製品のひとつであるが、照度や温度センサーが取得した情報を Nature Remo Cloud API によりクラウドから取得できる、という大変素晴らしい特徴がある。 自宅に設置したNature Remoの照度を、AWSのLambda関数により一定時間毎に取得してDynamoDBに蓄積する。前回取得した照度と比べて急激な変化があった
こんにちは、Slack の公式 SDK 開発と日本の Developer Relations を担当している瀬良 (@seratch) と申します 👋 この記事では、本日発表された files.upload API の deprecation (非推奨) と移行方法について日本語で解説します。アナウンスメント（英語）は、以下のページでご確認いただけます。 files.upload API 廃止までの流れ files.upload API は、2025 年春に廃止されます。それまでのスケジュールは以下の通りです。 2024 年 5 月 8 日以降、新しく作成された Slack アプリは files.upload API にアクセスできなくなります。すでに存在している既存のアプリは廃止日（3. 参照）までは API を使用することができます。 2024 年 6 月〜 2025 年 2 月の間
はじめに 自分はフリーランスエンジニアとして約2年間macで開発をしていました。先日初めてwindowsへの移行を試し、結果問題ありませんでした。本記事では移行した理由、感想、windowsの開発環境などを紹介します。 筆者の状況としては以下になります。 2年間macを使用しておりwindowsは未使用 開発分野：webアプリのフロントエンド・バックエンド 主な使用言語：js・ts・go・php 移行した理由 使用していたm1 macの性能不足を感じた macの値段が高い pcでゲームもしたい ①使用していたm1 macの性能不足を感じた スペックは以下です CPU：m1 メモリ：16GB ストレージ：256GB 案件にてNext.jsとgoを使用しています。このプロジェクトでエディタが数秒間フリーズしたり、goのビルドで5分ほどかかっておりストレスでした、、、CPUがフル回転するのが頻繁
Docker 環境を作るなら Ubuntu のクロスプラットフォームな仮想化ツール Multipass を使おう
はじめに Web アプリケーションを開発する際、バックエンドの API サーバーやデータベースなどの複数のマシン環境を1台の PC で動かすことの可能なコンテナツールとして、Docker は広く利用されています。 この便利な Dockerですが、複数人で Web アプリケーションを開発しているチームで各メンバの開発用 PC の OS が異なる状態（例えば、A さんが Windows、B さんが macOS など）で、Docker をローカル環境に直接インストールしていた場合、下記のような不都合が発生します。 Docker のバージョンがメンバ間で統一されていない 😱 コンテナ外で使用必須のツールのインストール方法・バージョンがメンバ間で異なる 😱 コンテナ外で使用必須のシェルスクリプトは OS 毎で（または OS の差異を考慮して）作成する必要がある 😱 以上の問題は、Docker
This post is about why we need a coroutine package for Go, and what it would look like. But first, what are coroutines? Every programmer today is familiar with function calls (subroutines): F calls G, which stops F and runs G. G does its work, potentially calling and waiting for other functions, and eventually returns. When G returns, G is gone and F continues running. In this pattern, only one fu
Elasticsearchのパフォーマンス問題をプロファイラを使って解決する | メルカリエンジニアリング
search infra teamのmrkm4ntrです。我々のチームではElasticsearchをKubernetes上で多数運用しています。歴史的経緯によりElasticsearchのクラスタは全てElasticsearchクラスタ専用のnode pool上で動作していました。ElasticsearchのPodは使用するリソースが大きいため、このnode poolのbin packingが難しくコストを最適化できないという問題がありました。そこで全てのElasticsearchクラスタを専用のnode poolから他のワークロードと共存可能なnode poolへ移行しました。ほとんどのクラスタが問題なく移行できたのですが、唯一移行後にlatencyのスパイクが多発してしまうものがありました。 この記事では、その原因を調査する方法と発見した解消方法について説明します。 発生した現象 共
APIテスト アーキテクチャ
テックリードとして2つのプロジェクトのテスト自動化を推進しています（本業）。 この記事では、プロジェクトでの経験を踏まえ、APIテストの位置づけ、システム上のスコープ、2つの方式について説明します。 この記事の目的 これから新規/既存WebシステムのAPIテストを自動化する人に向けて、APIテストの位置づけ・システム上のスコープ・2つの方式を紹介し、よりよいアーキテクチャを選択してもらうこと 想定読者 この記事は、テストピラミッドの考え方を採用し、以下のような方針でテスト自動化を進めることが前提です。 ユニットテスト、UIテスト、APIテストのように、粒度・観点の違うテストをバランスよく用いて、品質を効率的に担保する ユニットテストなどのより小さい粒度のテストで品質の大部分をカバーし、APIテスト、E2Eテストなどのより大きい粒度のテストをできる限り削減する 上記の前提を読んでも理解できな
非インフラエンジニアがPrometheusとGrafanaで簡単サーバモニタリング - RAKUS Developers Blog | ラクス エンジニアブログ
概要 Prometheus未経験の非インフラエンジニアが、Grafanaでサーバモニタリングができるようになるまでの 軌跡を記録します。 とりあえず、モニタリングができることが目標なので運用面の考慮等はしていませんが、参考になれば幸 いです。 概要 きっかけ Prometheusとは Grafanaとは 今回構築する環境の構成 ①prometheus server ②exporter ③Grafana インストール 前提条件 ②exporterのインストール （１）ソースをダウンロード （２）ダウンロードしたソースを解凍する （３）node_exporterを起動する （４）node_exporterの起動確認 ①prometheus serverのインストール （１）ソースをダウンロード （２）ダウンロードしたソースを解凍する （３）Prometheusの設定ファイルを編集する （４）p
ジャンプTOON Flutter アプリの全体像 | CyberAgent Developers Blog
ジャンプTOON アプリチームの國師です。 5 月にサービスを開始した 「ジャンプTOON」 は、Flutter を採用し Android, iOS, iPadOS 向けのアプリを提供しています。 本記事では、ジャンプTOON モバイルアプリの開発で採用している技術スタックやプロジェクト構成、開発手法を紹介します。 目次 SDK・ツール管理 プロジェクト管理・タスクランナー CI・CD ディレクトリ構成 テーマ管理 ルーティング アセット管理 状態管理 サーバ通信 Lint テスト UI カタログ Web Preview PDR SDK・ツール管理 Flutter の SDK バージョン管理には、Flutter 以外の SDK やツールもまとめて管理できる asdf を採用しています。 Flutter の開発者界隈では FVM も人気ですが、次の点から、アプリチームに限らず開発チーム全体で
Node.js 21では --experimental-default-type=module フラグで、JavaScriptファイルのデフォルトの解釈をCJS(CommonJS)からESM(ECMAScript Modules)に変更できるようになっています。 Node.js 21 is now available! | Node.js これは、Node.jsにおいてJavaScriptファイル(.js)のデフォルトをESMに変更するための第一歩です。 今回のDeep Diveでは、Node.jsのESMデフォルト化に向けたIssueや実装について紹介します。 Node.jsのESMデフォルト化 Discussion: New “ESM by default” mode · Issue #49432 · nodejs/node このIssueは、Node.jsにおけるambiguous
「Developers Meetup 急成長ベンチャーが向き合う『開発生産性』」は、開発組織や事業フェーズの異なる株式会社Another works・株式会社SmartHR・株式会社スタメンの3社が、開発生産性について語り尽くすイベントです。ここで株式会社スタメンのかみお氏が登壇。フロントエンドのリプレイス前にあった課題と、「生産性が向上した」と感じさせてくれた5つのことについて紹介します。 かみお氏の自己紹介 かみお氏：「レガシーフロントエンドをリプレイスしたら開発生産性が向上しました」というタイトルでお話をします。よろしくお願いします。 まず自己紹介を簡単にさせてください。2021年1月にスタメンに入社して、主にフロントエンドを担当している「かみお」です。現在は、今回お話しするNext.jsへのリプレイスのプロジェクトに参加中です。今回初登壇なのでお手柔らかにお願いします。 今日は、リ
レッドブルを箱買いしてオフィスに置いてたら🇺🇸人同僚達から言われた一言で文化の違いを感じた→「エナジードリンクは辛い仕事に耐えるための手段じゃない」
あひるさん🇺🇸 @5ducks5 2002年に渡米。アメリカの日常生活を面白おかしく切り取って、毎日が楽しくなるような小ネタをつぶやいてます。固定の連ツイもぜひ。アイコンは本人ではありません。 amazon.co.jp/b?ie=UTF8&node… あひるさん🇺🇸 @5ducks5 以前レッドブルを箱買いしてオフィスの自分の部屋に置いてたら🇺🇸人同僚達から「お！なんか楽しいことやるの？」と言われた。そうか。🇺🇸人にとってのエナジードリンクは楽しく騒ぎ続けるためのエネルギー補給であって、辛い仕事に耐えるための手段じゃないんだ。私はリゲインのCMに洗脳されてたみたい。 2023-08-10 21:17:10
新しくCJSとESMの間での解決方法が変わる提案が出てきました。 まだマージされてませんが、すでに複数の承認があり、この方針から変わることはないように見えるので紹介したいと思います。 module: support require()ing synchronous ESM graphs by joyeecheung · Pull Request #51977 · nodejs/node Summary This patch adds require() support for synchronous ESM graphs under the flag --experimental-r... 新しい提案 この仕組みを利用する場合、--experimental-require-moduleフラグが必要となります。 以下は、わかりやすいようにpackage typeを指定せずにデフォルトはCJS
こんにちは、Web チームの井手です。今日は私たち Web チームが作っている SSR フレームワーク(以下 FW)にについて紹介します。 記事を書くモチベーション 私たちのメインプロダクトである日経電子版においては k2 という自作 SSR 基盤を 2020 年から運用しています。SSR FW といえば多くの方が Next.js を想起すると思いますが、私たちは自作しています。一方で最近は Next.js の進化が凄まじく、自作 SSR 勢としても意識せざるを得なくなっています。もしかしたら「あぁ Next.js で作っておけばよかった」と思う時が来るかもしれません。特に k2 を保守する際には Next.js では実現できない機能を実現するために様々な手法や工夫を編み出していましたが、Next.js の進化に伴ってその必要性はだんだん減ってきているのを実感しています。そのためいつか N
こんにちは、セキュリティチームでソフトウェアエンジニアをしてる@sota1235です。 明けましておめでとうございます！本年も10X Product Blogを何卒よろしくお願いします。 さて、今回はセキュリティチームで今年の6月ごろから取り組んできたGitHub Dependabot Alertの削減についてお話しします。 サマリーとしては以下です。 今年の6月頃から取り組みを開始 初期はセキュリティチームで毎日トリアージ、泥臭くAlertの対応を行う 主要なRepositoryのAlertは一通り解消、一部は担当チームへの移譲等を行い継続的に維持できる状態へ 結果として半年間で500件弱のAlertをcloseし、残ってるAlertも対応方針が全て確定した状態になりました。 この数が多いか少ないかはソースコードの規模感にも依存するので言及しませんが、この記事では小さいリソースで取り組み
生成AIグラビアをグラビアカメラマンが作るとどうなる？第17回：新技術をすぐ試せるComfyUIのインストール・使いかた (西川和久) | テクノエッジ TechnoEdge
ComfyUIが流行ってる？Stable Diffusionで生成AI画像を作る時、もっとも一般的なインターフェースはAUTOMATIC1111だろう。デファクトスタンダードと言ってもいいほどで、検索すると、インストール方法や使い方など、それこそ山盛り出てくる。 ところが最近、ComfyUIがちょっとした人気だ。以前軽くご紹介したが、カスタムNodeを組み合わせ自由にWorkflowを構築できる結構マニアックなアプリなのに何故？ ComfyUI。カスタムNodeを接続してWorkflowを作る…と結構マニアックなアプリ。これは筆者が日頃使っているWorkflowの1つこれには理由があり、12月頃から以降、Stable Video Diffusion、Kohya's HiresFix、SDXL Turbo、LCM、FaceID、PhotoMaker、InstantID、様々なControlN
Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた | DevelopersIO
なおこの「Credits」という単位は serverless.yml ファイルのregion,stage,serviceパラメータの組み合わせによって定義されるようです。 したがって、例えば開発者やチケット毎の検証環境をstageで分けている場合は、その分Creditsが嵩むという形になります。 また、serviceもどのように分割するかで総Credit数が変わってきますので、この辺は見積りのし辛さに繋がってくるのかなと思います。 例えばregionとして東京, シンガポールを用意し、stageとしてprod, stg, dev, user1, user2があり、serviceとしてxxx, yyyがある場合、単純に掛け算をすると2x5x2の20 Creditsとなります。 また、Serverless Dashboardの機能を使うと、トレース50,000あたりで1 Credit、メトリク
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スロークエリを改善したらECSの負荷が爆下がりした話(TypeORM)
自分のコンテンツを学習したカスタムChatBotを作る方法
【1位はGoの87万円】プログラミング言語別単価ランキング｜2023年7月最新版
ブログ校正の作法：textlintで強化するテクニカルライティング - Qiita
Nature Remo＋AWS＋LINE Notifyで緩やかな自宅監視（１）
2025 年 3 月での files.upload API 廃止と移行方法について
開発環境をmacからwindowsへ移行 - Qiita
research!rsc: Coroutines for Go
Deep Dive: Node.jsのESMデフォルト化への道
レガシーフロントエンドをNext.jsにリプレイス 「開発生産性の向上」を感じさせてくれた5つのこと
Node.jsに入る新しいCJSからESMへの読み込み方法の紹介 - hiroppy's site
日経電子版での自作 SSR フレームワーク基盤について — HACK The Nikkei
GitHub Dependabot Alertを愚直に潰し込んだ話 - 10X Product Blog