Linuxサーバーの最適化: vmstatとiostatを活用した性能分析と対処法 0.目的 インフラ開発者として、必須な性能分析を身につけることを目的としています。 カーネルパラメータをチューニングをする際に性能分析を前提とし、分析結果からチューニングしていきますが、具体的な指標というものが少ないので参考になれば幸いです。 基本的なvmstatの使い方については、ちょっとググればいくらでも出てくるので割愛します。 「Linuxカーネルパラメータのチューニング＆設計」でロードアベレージが高い状態にある場合、次のアクションとしてCPU使用率の確認が必要となりますので、vmstatの結果分析および対処法について深堀していきます。 よって、vmstatの結果分析と対処法を理解すると性能試験を実施した際のその対処法とカーネルパラメータによるチューニングする対象が理解できるかと思います。 1.パフォ

【Assured×カケハシ】DXを牽引する先進プロダクト開発に携わるエンジニア達が語るドメインモデリング https://techplay.jp/event/952464

2024年8月21日（水）から23日（金）にかけて開催されている、日本最大のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC2024（Computer Entertainment Developers Conference 2024）”。その初日に実施されたセッション、“『学園アイドルマスター』における適応的ゲームAIとグレーボックス最適化を用いたバランス調整支援システムの実現”の内容をお伝えする。

日経BOOKプラスに掲載されている記事、本、著者を任意のキーワードで検索することができます。 ※ISBNも検索にご利用いただけます。ISBNとは出版物固有の13桁の番号で、裏表紙に記載されています。本サイトでISBNを使って書籍を検索する際は、ハイフン（-）を省略し、13桁の数字のみを半角文字で入力してください。

こんにちは、今年40歳のプログラマ@zaruです。今更ながらですが英語学習を初めました。まぁ何事にも学ぶのに遅すぎることはないって言うくらいだし、40歳から始めても良いでしょう。 この記事では、英語学習を始めて2–3ヶ月経過し、今のところ継続ができているので学習記録の最初の1つとしてやっていることと感想を書き残しておきます。 基本、手で書いて、本で学ぶスタイル今の英語力はどれくらい？ぼくは中学・高校時代はまともに授業を聞かずずっと本を読むか、教室から抜け出して学校をウロウロして過ごしていることが多かったため成績がめっちゃ悪かったです。赤点マン。英語も当然できません。 4–5年くらい前に受けたTOEICでは450点くらい。先月、英検準2級の過去問を解いたら合格ラインを超えてた、くらいの感じです。 海外では全く英語が話せず雰囲気で過ごしていましたし、日本で海外からの観光客に道を英語で聞かれて身

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG（Retrieval Augmented Generation）を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム

はじめに CSVファイルをExcelで開こうとしたとき、電話番号や郵便番号の先頭のゼロ（0）が自動的に消えてしまったり、文字化けしてしまう...。そんな悩みをお持ちの方はいませんか？この記事では、データを正確に保持しながらCSVファイルを開く方法を簡潔にご紹介します。 1.CSVファイルとは そもそもCSVファイルって何？というところから説明します。 CSVはComma Separated Value（カンマで区切られた値）の略であり、CSVファイルはテキストデータの各項目を、カンマ（,）で区切って表現したファイルです。 言葉では理解しにくいので、画像で見てみましょう。 まず、こちらがExcelでCSVファイルを開いたときの画像です。 普段、Excelでデータを作成・編集しているときと同じように見えますよね？CSVといっても、特に変わったことはなさそうです。 では、Windowsの「メモ帳

はじめに ソフトウェア開発において、コードの可読性はプロジェクトの成功に直結する重要な要素です。読みやすいコードは、メンテナンスや拡張を容易にし、チーム全体の生産性を向上させます。 しかし、「読みやすいコード」 の定義は人によって異なります。個々のスタイルや好みによって解釈が分かれることもあるでしょう。それでも、できる限り多くの人にとって理解しやすいコードを書くことが、プロフェッショナルとしての責任です。このガイドでは、そんな読みやすさを意識した具体的なテクニックなどを紹介していきます。「もう知ってるよ！」と思った方も、今一度できているかを確認してみてください。 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 注意点 こ

導入 本記事では以下を記載します。 「VPCとAWSサービス間の接続」や「VPCと外部との接続(PrivateLink使用可能)」において、 VPCエンドポイントを使用するべきか、もしくはNAT Gatewayを使用するべきかを セキュリティ面と費用面から比較してみます。 セキュリティ面 VPCエンドポイント VPCエンドポイントを使用すると、VPCとAWSサービス間の通信をインターネットを経由せずに直接接続することができます。 最近はVPCエンドポイントを用いて接続できるSaaSも増えてきています。 外形監視のNew Relicも一部リージョンでPrivateLinkによるサービスが開始されました(※東京リージョンは対象外)。 https://docs.newrelic.com/jp/docs/data-apis/custom-data/aws-privatelink/ PrivateL

目次 はじめに Colocation を意識した設計方針 Parallel Routes と Intercepting Routes を用いた設計パターン サーバー側に処理を寄せたことによる恩恵と課題 Next.js が抱える課題 おわりに 参考文献 はじめに ジャンプTOON のWeb版（以降、ジャンプTOON Web）の開発を担当している浅原昌大（@assa1605）です。 5 月にサービスを開始した「ジャンプTOON」は、オリジナル縦読みマンガ作品や人気作品のタテカラー版を連載する、ジャンプグループ発の新サービスです。 ジャンプTOON のフロントエンドには、Next.js を採用し開発をしています。 本記事では、Next.js の最新機能や設計パターン、Next.js を採用した恩恵と現在の課題について紹介します。 Colocation を意識した設計方針 Parallel Rou

「設計書」というのは、作るものの構造を抽象的に表現したものと言うことができます。 ただ、ソフトウェアの抽象化の仕組みはプログラミングコード自体に備わっているので、ソフトウェア生成可能な抽象的表現というのはコード表現ができるはずですね。コードで表現しておくと、整合性のチェックとかも行いやすいです。 でも、コードではない「詳細設計書」というものが一部業界には必要とされているので、その「詳細設計書」というのは実際はなんなのか考えてみます。 ※ 最初はタイトルは「設計書」としてましたが、話を限定するため「詳細設計書」に変更しました。 追記：納品物に関する記述を追加しました。 表現を変えたコーディング ソフトウェア生成可能な抽象的表現というのはコード表現ができるわけですが、文字で表記する必要もなく、ダイアグラムで表現することもできますね。 代表的なのがER図やクラス図で、これは文字表現との相互変換が

はじめに この記事は (Webアプリケーション開発プロジェクトでディレクター担当の) 私が経験した反省点を振り返り、みなさんと共有するものです。 プロジェクト管理における一つの重要なテーマ、バッファの設定について考えるきっかけにしていただければと思います。 まず バッファとは 「バッファ」とは何かを簡単におさらいしましょう。 プロジェクトのスケジュール見積もりにおいて、 不測の事態に備えて設けられる安全余裕のことです。 タイトルの回収 さて、私がなぜ1タスクごとにバッファを設けたのか？ 答えはシンプルに「その方がスケジュールの確度が向上する」と思ったからです。 (その方がエンジニアにも易しいのかな？とも思ったり…) しかし、 その後の学びを通じて、「タスクバッファ」よりも「プロジェクトバッファ」の方が効果的だと考えるようになりました。 （もちろん、100%正解かどうかは賛否ありそうですが）

カケハシのプラットフォームチームでソフトウェアエンジニアをしているすてにゃん (id:stefafafan) です。今回はチームに配属されて数ヶ月の私が、いかにして社内ドキュメンテーションの階層構造を整理し、情報の検索性を向上させたかについてお話します。 はじめに この記事の想定読者 課題意識 メンバーへの共有と相談 社外事例の調査 esa の階層整理 第 1・第 2 階層の整理 ストック情報とフロー情報を意識した階層の整理 esa の機能をフル活用する 効果や今後について はじめに カケハシでは全社的にドキュメンテーションツールとして esa - 自律的なチームのための情報共有サービス を利用しています。それぞれのチームやプロダクトごとに階層を切ってドキュメントを書いています。 プラットフォームチームでは認証基盤などの社内プラットフォームシステムを開発しているため、自チームが運用する各種

はじめに 初めまして、株式会社Techouseエンジニアインターンの sakaidubz と申します。本日は私の携わっているプロダクトであるクラウドハウス労務で利用している RLS (Row Level Security) の技術について紹介します。 Techouse では、重要技術として RLS を多用しています。 通常 PostgreSQL の運用時には利用しないものであるため Techouse の開発メンバーとしてジョインしたみなさんが手慣れるまでに少し苦労をされているようです。 そこでこの場を借りて解説してみようと思い立ちました。 クラウドハウス労務について RLS について紹介する前に、私が開発しているクラウドハウス労務について紹介します。 クラウドハウス労務は人事労務における複雑な業務の電子化を推進するセミオーダー型・クラウド業務支援サービスです。各種手続きや年末調整といった法

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

AI・機械学習チームブログリレー 7日目担当の高田です。 AI・機械学習チームでは、開発するプロダクトの数が多く、スピード感を持って開発を進めることが求められます。 そのような環境の中では、高速にプロダクトを生むためのあるあるのアーキテクチャであったり、どのプロダクトでも使っているぞというライブラリが存在します。 それらのノウハウを活かして、日曜大工で作った趣味開発のプロダクトを紹介していきたいと思います。 AI・機械学習チームのあるある アーキテクチャ編 ライブラリ編 趣味プロダクトもスピードが大事 YouTubeライブ開始通知 ポイ活案件検知 ANAトクたびマイル通知 まとめ We're hiring! AI・機械学習チームのあるある アーキテクチャ編 例えばm3.com会員向けのコンテンツ配信設定など、ビジネスサイドでデータの入力を運用するプロダクトがあります。そういったプロダクトで

概要 4年ほどProductionで使っていたリッチテキストエディタ（Quill on Nuxt.js v2）をTiptap on Next.jsに移行しました。 既存のQuillエディタの使い勝手をTiptapで再現しつつ、改善できるところは改善しつつ、既存の4年分のリッチテキストデータが正しく編集できるようにしなければいけませんでした。 本記事では移行の具体的なプロセスを解説しようと思っていたのですが、リッチテキストエディタは前提知識があまりに多いため、前提となる知識や考え方を解説しているだけでそこそこのボリュームになりました。そこで、一旦考え方や前提知識をまとめた、という体で公開します。 本記事を読んでから各ライブラリのDocsを読んだりカスタマイズを始めたら、少しハードルが下がっていることかと思います。 対象読者の例 リッチテキストエディタに興味がある リッチテキストエディタの開発

Top > 学術＆研究 > 「RAG」と「ロングコンテキストLLM」の徹底比較：LLMの長文理解における新たなハイブリッドアプローチ　Google DeepMindとミシガン大学の研究

2024年度リクルート エンジニアコース新人研修の講義資料です

分かりやすいプログラムの構成はどうやったら設計できるのでしょうか? この本では、文脈と名前という二つの切り口でプログラムの構造とプログラマーの認識がどう結び付いてゆくのかを解き明かします。 本書は以下のような方々にお勧めです。 🤔大きくて複雑なプログラムを綺麗で分かりやすい設計にまとめることがうまくできなくて困っているプログラマー 😵他の人が書いたプログラムを読むときに、どこに何が書かれているのか手掛かりがつかめなくて迷ってしまう人 🧐DRY とか SOLID みたいなプログラム設計理論に関心があって、関連する事柄についての知識や考察を摂取したい設計オタク