https://kichijojipm.connpass.com/event/316361/ 設計ナイト2024で使った資料です。
やらない事を決めるプロダクト設計
https://kichijojipm.connpass.com/event/316361/ 設計ナイト2024で使った資料です。
DatadogでAPI毎のSQL発行数を可視化してN+1を改善！ - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、スマートホーム化にハマっていていろいろと買い漁っています🛒 N+1問題を検知するのって結構大変ですよね？ 今回はDatadogを使ってN+1問題を可視化し、パフォーマンス改善につなげた話を紹介したいと思います。 ※ 2024/05/29に開催されたJapan Datadog User Group Meetup#4 でもLTしてきました🎤 speakerdeck.com N+1問題とは？ N+1問題は主にデータベースへのクエリーを扱う際に出くわすパフォーマンス上の問題です。1つのクエリーでN件のデータを取得した後にそれぞれのデータに対して追加でクエリーが発行されることでパフォーマンスを大幅に低下させます。（1 + N問題と呼んだ方がしっくりくる気がしますが...🤫） 背景 この取り組みを始めた経緯は、システムへのリクエスト
Home | Task
version: '3' tasks: hello: cmds: - echo 'Hello World from Task!' silent: true And call it by running task hello from your terminal. The above example is just the start, you can take a look at the usage guide to check the full schema documentation and Task features. Features Easy installation: just download a single binary, add to $PATH and you're done! Or you can also install using Homebrew, Snap
モノレポの開発環境でDocker ComposeをやめてTaskfileを導入した話
こんにちは、Sally社 CTO の @aitaro です。 マーダーミステリーアプリ「ウズ」とマダミス制作ツール「ウズスタジオ」、マダミス情報サイト「マダミス.jp」を開発しています。 はじめに この記事ではウズの開発当初から利用していた Docker Compose をやめることにした背景についてご紹介します。 Docker Compose は各マシンの開発環境での差異を吸収するというメリットがあり、多くの開発現場で導入されていますが、Docker Composeの抱えているデメリットを勘案して、最終的に一部を残して辞める決断をしました。 Docker Composeの特徴 Docker Composeは、複数のコンテナを定義し、管理するためのツールです。ウズの開発環境では、バックエンド、フロントエンド、データベースなどをそれぞれコンテナ化して、Composeで一括管理していました。こ
ゆめみ、新入社員のオンボーディング支援にRAGを活用した生成AIを導入
株式会社ゆめみ（本社：京都府京都市、代表取締役：片岡俊行、以下「ゆめみ」）は、新入社員の効率的なセルフオンボーディングを実現するため、RAG※1を活用した自社独自の生成AI環境を構築しました。これにより、新入社員は膨大な社内情報から必要な情報に迅速にアクセスでき、セルフオンボーディングをスムーズに進めることができます。 背景と課題 ゆめみはこれまでアジャイル組織・ティール組織を採用し、全員CEO、有給取り放題、給与自己決定などの数々のユニークな制度を導入してきました。これらの組織形態や制度は「一度作ったら終わり」ではなくアップデートされ続けています。こうした環境の中で、知識や経験の浅い新入社員でもいち早く組織に馴染めるようにセルフオンボーディングの仕組みを整備してきました。 例えば、オンボーディングに必要な社内情報は「ゆめみオープンハンドブック※2」をはじめ徹底的にドキュメント化されていま
A visual guide on troubleshooting Kubernetes deployments
A visual guide on troubleshooting Kubernetes deploymentsMay 2024 TL;DR: here's a diagram to help you debug your deployments in Kubernetes (and you can download it in the PDF version and PNG). This diagram is also translated into the following languages: 中文, Translated by Addo Zhang (PDF | PNG)Português — Translated by Marcelo Andrade (PDF | PNG)Español mexicano — Translated by Raymundo Escobar & J
サイバーエージェント、日本語に強い“視覚言語モデル”公開 パラメータ75億、商用利用もOK
サイバーエージェントは6月13日、75億パラメータの日本語大規模視覚言語モデル（Vision Language Model、VLM）を一般公開した。Hugging Faceで商用利用可能なAIモデルや、研究用途でのみ使えるデモを公開中だ。 VLMとは、画像とテキストを複合して扱えるマルチモーダルなAIモデル。画像とテキストを理解できることで「この写真に写っているものは何ですか？」のような質問にも対応できる。米OpenAIの「GPT-4o」などが代表的なモデルで、近年では画像を扱えるAIモデルの進化が急速に進んでいる。 一方で「VLMのほとんどは英語のデータを中心に学習しており、日本文化の理解や日本語での会話に強いVLMは少ない状況」とサイバーエージェントは説明する。このような背景から同社は日本語に強いVLMを公開。日本語大規模言語モデルで合成して作ったデータセットをメインに学習させたという
GitHub - spotify/voyager: 🛰️ An approximate nearest-neighbor search library for Python and Java with a focus on ease of use, simplicity, and deployability.
Voyager is a library for performing fast approximate nearest-neighbor searches on an in-memory collection of vectors. Voyager features bindings to both Python and Java, with feature parity and index compatibility between both languages. It uses the HNSW algorithm, based on the open-source hnswlib package, with numerous features added for convenience and speed. Voyager is used extensively in produc
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
Git Best Practices – How to Write Meaningful Commits, Effective Pull Requests, and Code Reviews
As developers we push regular code commits – and after a while, it's almost second nature to us. But does this mean we're doing things right? Familiarity often leads to sloppiness and overlooking the basics. In this article, we will explore How to write meaningful Git commit messagesHow to create efficient pull requests (PR)How to get really good at the code review process and some best practices
Applying GitOps principles to your operations
EnterpriseApplying GitOps principles to your operationsCould we use our Git repository as the source of truth for operational tasks, and somehow reconcile changes with our real-world view? DevOps practices have helped demonstrate the value in bringing teams together to accelerate value for end-users. This typically includes automating build and release processes and bringing quality checks directl
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
こんにちは。検索基盤部の橘です。ZOZOTOWNでは、商品検索エンジンとしてElasticsearchを利用し、大規模なデータに対して高速な全文検索を実現しています。 Elasticsearchに関する取り組みは以下の記事をご覧ください。 techblog.zozo.com 検索基盤部では、ZOZOTOWNの検索結果の品質向上を目指し、新しい検索手法の導入を検討しています。本記事ではベクトル検索と呼ばれる検索手法に関して得た知見を紹介します。 ※本記事はElasticsearchバージョン8.9に関する内容となっています。 目次 目次 ベクトル検索とは ベクトル検索に期待すること Elasticsearchを使用したベクトル検索の導入 導入の簡略化 デプロイ可能な埋め込みモデル ベクトル検索のクエリ ハイブリッド検索とは Elasticsearchを用いたハイブリッド検索 RRF(Reci
ChatGPT、Claude、Perplexityという3つの競合AIが同時にシステム障害を起こし利用不可に
OpenAIのチャットボットであるChatGPT、AnthropicのAIアシスタントであるClaude、Perplexity.aiのチャットボットであるPerplexityという3つの人気AIツールが、同時にシステム障害を起こし利用不可能となりました。 AI apocalypse? ChatGPT, Claude and Perplexity all went down at the same time | TechCrunch https://techcrunch.com/2024/06/04/ai-apocalypse-chatgpt-claude-and-perplexity-are-all-down-at-the-same-time/ アメリカ太平洋標準時の2024年6月4日、ChatGPTですべてのプランのユーザーに影響を与える大規模な障害が発生しました。OpenAIのサービス
RustでAPIサーバーを書くのが思ったより良い
最近いろんなところで採用事例が増えてきたRustですが、Webサービス開発でのAPIサーバーを書くのにRustは向いてないと言われたりします。Rustの第一のターゲットはシステムプログラミングでありGCがないためAPIサーバー開発でシビアなメモリ管理はしたくないというのは一理あるのですが、RustでAPIサーバーの開発を実際にやってみるとむしろ開発体験が結構いいなと感じます。パフォーマンスのために難しい所有権を無理にがんばるみたいなマイナスのイメージはほとんど当てはまらなかったです。 Rustの難しいライフタイム、所有権があまり出てこない Rustにおいて難しいとされるライフタイム、所有権といった概念があり私も書く前はかなり身構えていたのですが、これに苦しむことは思ったよりも少ないです。その要因はWebサーバーで扱う処理のほとんどがリクエスト・レスポンスモデルでデータの流れが一方向でシンプ
JMOOC - 無料で学べる日本最大のオンライン大学講座（MOOC）
まずはJMOOCにログイン JMOOCにログインするとお気に入りの講座をリストに登録して通知を受け取ったり、JMOOCのメールマガジンを受け取ることができます。 Google ID,Facebook ID共に所有していない場合、各プラットフォーム（gacco,Open Learning,Japan）にて個別に受講登録をして頂ければ受講できます。 ※すでに各プラットフォーム（gacco、OpenLearning,Japan）でアカウント登録している場合は、登録済みのものと同様のIDで登録いただくことで、将来的にシングルサインオンのシステム構築が完了した際に、共通IDによる受講情報の一元管理が可能になります。 現在FaceBookIDでのログインは、一時的ではございますが、ご利用になれません。
Doing RAG? Vector search is *not* enough
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
【完全版】なぜ組織は衰退していくのか？(7500文字)｜Momentor坂井風太
2023年12月は、『TBS NEWS DIG』や『PIVOT』なので動画が立て続けに出るのですが、動画だけでは話しきれなかった部分があるので、今年1年間で考えてきたテーマについて、本記事で書いていきます。 問いとしては、下記の5つを網羅したものとなります。 ① なぜ働かない社員が生まれるのか？(静かな退職/逃げ切り社員問題) ②「多様性」を推進しても、逆に亀裂が生じるのはなぜか？(フォールトライン問題) ③ メガベンチャーやブランド化した企業はなぜ衰退するのか？(◯◯Wayの絶対視) ④ 自社愛が強い人ほど、企業を滅ぼしてしまうのはなぜか？(盲目的自社愛) ⑤ メディアで持て囃されている企業から衰退していくのはなぜか？(メディアトラップ) そして、結論というか総括として、下記の画像に集約される現象が発生し、組織が硬直化していくという話をします。 8000文字くらいあるので、10分くらいは
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spotify、最近傍検索ライブラリVoyagerをオープンソース化
Overview
GitOps Effects On Developer Experience