はじめに 最近、ソフトウェアアーキテクチャを改めて勉強しようと2冊の本「ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ」と「アーキテクトの教科書 価値を生むソフトウェアのアーキテクチャ構築」を読んだので要点と感想を備忘としてまとめます。 ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ アーキテクトの教科書 価値を生むソフトウェアのアーキテクチャ構築 概要とポイント ソフトウェアアーキテクチャの基礎 ―エンジニアリングに基づく体系的アプローチ アーキテクチャには正解も間違いもない。ただトレードオフがあるだけだ。 この本はアーキテクチャを考えるための思考から、代表的なアーキテクチャスタイルの紹介やアーキテクトとしてのソフトスキル（対人スキルやチーム運営、キャリアパス等）まで網羅的にまとめられているものとなります。 アーキテクチャの技術

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

私は自動車業界に関わり、自動運転に関する研究に関わっており、その中で非常に興味深い Survey 論文を見かけました。 こちらは、「データ中心の自動運転技術」にフォーカスして、歴史的な流れから自動運転の手法について様々な角度からピックアップしている論文です。しかし、こちらの論文だけを読んでいると、派生する論文なども読む必要があり、前提知識が求められてしまったので、自動運転関連の近年の取り組みに関する論文について特に私が着目しているものを中心に要約していきます。翻訳や解釈の正確さを保証するものではありませんので、適宜原文と照らし合わせてご確認いただければと思います。 また、内容はさまざまな論文から引用しており、都度引用論文を明記しております。私個人の解釈については私の意見であることも文章中に明記しております。 Introduction 現在、自動運転アルゴリズムの性能には限界があり、限界を克

最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整

この記事は何？ kunishou が 2022 年 1 月 ～ 2023 年 3 月の期間に Kaggle の NLP コンペに参加していたときにまとめていた NLP トリックの雑なメモ書きです 。 最近、2023-24年のKaggleコンペから学ぶ、NLPコンペの精度の上げ方 という記事を拝見し、「そういえば、自分も NLP コンペのトリックをメモしてたな...」と思い出しました。 もともとは自分の振り返り目的でメモを取っており、たくさん蓄積してきたらそのうち何らかの形でアウトプットしようと考えていましたが、2023年後半に興味が LLM に移ってしまったため、 供養の意味も込め、上記記事に便乗してアップしてみます 。 メモリ最適化など今となっては当たり前となっている技術も多いですが、メモのどれかがコンペに取り組む上での何らかのヒントになれば幸いです。 （メモを取る中で頭の整理で作成した

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、LLMを使用したレコメンドエンジン作成のフレームワークについて、簡潔に解説していきます。 サマリー LLMを使用したレコメンドエンジン作成のフレームワーク(以降、「提案されたレコメンドエンジン」)は、Amazonの研究チームによって発表された論文で提唱されました。 このレコメンドエンジンの特徴は、ファインチューニングを利用していないLLMとユーザーの行動(商品のクリックなど)情報を元に、レコメンドの性能を継続的に改善できる点です。ユーザーの行動をもとに、LLMにより関連性の高い商品を推測させることでレコメンドの性能を上げています。 より詳細な解説は以下の記事、もしくは論文を参照してください。

中間管理職は限界なのか？本記事は、本日2024年7月1日21:00にNewsPickで放映される【2Sides:中間管理職は不要か？】という番組に関連した記事となります。 動画については、『罰ゲーム化する管理職』など、数々の名著を生み出していらっしゃる、パーソル総合研究所の小林祐児さんとMCの加藤浩次さんとのセッションであり、最終的には明るい内容でまとまっています。 本記事については、本動画で提唱している「マネジメント民主化モデル」について解説しつつ、坂井の会社でエンジニア採用を開始することに伴い、「なぜ坂井が本事業をやっているのか？」についても触れていきたいと考えています。(※採用情報は末尾となります) 形骸化する管理職研修昨今、小林祐児さんの『罰ゲーム化する管理職』に代表されるように、「管理職の過剰負荷問題」が騒がれるようになりました。 実際に、坂井も企業のマネジメント基盤の支援をする

はじめに エンジニアの皆さんの中には、一日のほとんどをターミナルに引きこもって暮らしている方も多いのではないでしょうか? 多くの作業においてターミナルを中心に行うようにすることで、日常作業のほとんどの操作をキーボードで完結することができ、また工夫次第でスクリプティングによって自動化できる範囲も広がるので慣れるととても快適です。 一方、どうしても文字ベースの入出力を中心に発展してきたターミナルは画像の扱いが弱点になります。それでも実は、一部のターミナルでは画像を表示できることはご存じでしょうか? 例えば、libsixel (homebrew) を使うと、img2sixel というコマンドを用いてターミナル中にインラインで画像表示を行うことができます。 img2sixel による画像表示の例 単発の画像表示だけだとなかなか使いどころが限られてしまいますが、工夫次第では画像版 ls ともいえる

はじめに Turing 生成AIチームの佐々木 (kento_sasaki1)です。生成AIチームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 先日、6月17日から6月21日にシアトルで開催されたコンピュータビジョン・機械学習系のトップカンファレンスCVPR 2024に参加し、Vision Language Model (VLM)のワークショップThe 3rd Workshop on Computer Vision in the Wildにて日本語VLM評価ベンチマークHeron-Benchの発表を行いました。 Heron-Benchについては、以前テックブログを公開していますのでぜひご覧ください。 CVPR 2024では、End-to-Endの自動運転やLLM (Large Language Model), VLM (Vision Language

マルチメディア，分散，協調とモバイル（DICOMO2024）シンポジウムでの招待講演の資料です。 https://dicomo.org/

この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く

はじめに 昨今、ChatGPTに代表されるように、LLM（大規模言語モデル）が大きな盛り上がりを見せています。 本記事では、LLMの学習や推論を高速化するためのライブラリであるDeepSpeedが、どのようにしてその高速化を達成しているのかを解説します。 DeepSpeedの理論部分、特に推論について日本語で解説している記事があまりなかったため、今回執筆することにしました。 この記事を読んで欲しい人 DeepSpeedでなぜ推論が速くなるのかを知りたい人 DeepSpeedを使って手元の推論時間を短縮したい人 DeepSpeedとは DeepSpeedは、Microsoftから発表されている学習や推論の高速化、圧縮などを扱うライブラリです。本記事では、特に推論の高速化について解説します。推論高速化のためのサービスとしては、他にもvLLMやTGI、Together Inference Eng

[CV勉強会＠関東 CVPR2024] Visual Layout Composer: Image-Vector Dual Diffusion Model for Design Layout Generation / kantocv 61th CVPR 2024

出世する、より上位の管理職に上がって行くというのは、マネジャーとしての力量や適正も必要だけれど、「どこまで奉仕できるか（どこで降りるか）」によるところが大きいのだろう。その奉仕水準でどこまで行くか／どの辺で止まるか均衡するのだと、会社で仕事をしながらつくづく感じるこのごろ。 ポジション上昇の基本路線 新人→中堅社員→係長→課長→部長→……とポジションが上がるに従って、受け取る仕事の粒度が大きくなってくる。 重要度や影響度から正確にリスクを抽出して優先順位を決められる。 大きな仕事を適切に分割して相互関係を理解できる。 期日から逆算して分割した仕事にマイルストーンを割り当てられる。 情報を整理して他者に状況を正確に説明できる。 自分にない力量を持つ他者・他部門に割り振れる。アウトソースできる。 といった管理能力がより高度に必要になってくる。 逆に言えば、こうした技術・能力が高い人をより高いポ

三連休中にこんなツールを作った。 普段はGoでCLIツールを書いているけど、このツールで初めてRustを本格的に使ったのでその際に得た知見を元にGoでCLIを作っている人向けにとりあえずRustでツールが作れる状態になれることを目指して、CLIツールを作るときによく使っている処理やRustならではの構文などを中心に書いてみた。 この記事を通して「なぁ～んだ。案外Rustでもサクッとツール作れそうじゃん」とか「Rustにも意外とツール向けのライブラリとかあるんだなぁ」とか思って貰えると嬉しい限り。

こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci

1. はじめに 本記事では、昨今話題になっている大規模言語モデルの基礎的な内容として、モデルの内部構造や学習の手続き、その応用について紹介します。 2. 大規模言語モデルとは 大規模言語モデル（LLM: Large Language Model）は、機械学習の枠組みで日本語や英語などの言語を数理的に取り扱う生成モデルの一種です。言語を統計的に取り扱う言語モデルの登場は1990年にまで遡り、その後2000年代のニューラル言語モデルや、2017年のTransformerに端を発する学習済言語モデルの登場など、数多くの発展を遂げてきました。この流れの中で、2022年にOpenAIから発表されたChatGPT（GPT-3.5）は、あたかも人間と会話しているかのような流暢な言語の生成ができることで話題になりました。その後、GPT-4（OpenAI）、PaLM2（Google）、LLaMA2（Meta

東京大学大学院の2024年度講義「知能情報論」で使用した資料です． Vision&Language関連の研究について，深層学習初期から大規模モデルにいたるまでを概観しています． なお，資料作成時期は2024年5月下旬であり，内容はその時点で発表されていた研究等に基づいています．