この前はPhoenixを使ってRAGの実験管理をしてみました。 とはいうものの、Phoenixに事前定義された機能で評価をしただけなので、今回改めてRAGアプリケーションの精度評価について考えてみようと思います。 RAGの評価周りでよく知られたツールとしてRagasがありますが、今回はこちらを使いながら評価について勉強してみようと思います。 Ragas Ragasで用いる評価指標 基本的な評価指標 Faithfulness Answer relevancy Context recall, Context precision Context Relevancy Context entities recall やってみる 評価 今回使用したnotebook 参考文献 感想 Ragas この記事の本題であるRAGの評価について入っていきたいと思います。 github.com docs.ragas
更新日：2022年10月25日 公開日：2020年1月8日 ライター：奥野 佑樹 【PR】記事内に商品・サービスのプロモーションを含みます。 現在、世界で大きく成長しているeスポーツ市場。日本国内でも、2020年春に大阪市にてeスポーツ専用施設の開業が予定されるなど、ビジネスとしての隆盛を見せており、賞金、契約金で生計を立てるプロゲーマーも続々と誕生しています。 この成長産業のなかでひときわ輝く、国内トッププレイヤーのひとりといえば、カードゲーム『マジック：ザ・ギャザリング』※（以下、MtG）のプロプレイヤーとして活躍する、行弘 賢（ゆくひろ けん）選手です。 ※マジック：ザ・ギャザリング…米ウィザーズ・オブ・ザ・コースト社により、1993年に発売された、世界初のトレーディングカードゲーム。世界中で2千万人を超えるプレイヤーとファンが存在する（公式発表）。アマチュアとして遊べるほか、競技と
I recently got access to OpenAI's DALL-E 2 instance. It's a lot of fun, but beyond its obvious application as a cornucopia of funny cat avatars, I think it's now fit to use in certain kinds of creative work. There are already plenty of good articles out there on the model's strengths and weaknesses, so I won't go over that here other than to note that it's not a threat to high-end art. It's got an
この記事は、Qiita 自然言語処理アドベントカレンダーの2日目です。 1日目は jojonki さんによるゼロから作った形態素解析器Taiyakiで学ぶ形態素解析でした。 この記事では、End2Endな対話システムの評価指標、特に応答文生成の自動評価指標に注目して、どのような指標があるのか、どのような点が問題と考えられているのかに注目して、現在の動向やどのような課題があると考えられているかについて記載しています。 自然言語処理分野、特にその応用分野へのDeep Learningへの適用は、特にSeq2SeqとAttention機構によって進んできたと言っても過言ではありません、 対話システムでも、機械翻訳や文書要約といったその他の自然言語処理の応用分野と同じく、End2Endなモデルで対話システムを構築しようという試みが多く行われています。 Deep Learning応用の比較的初期の頃
GitHub - radames/Real-Time-Latent-Consistency-Model: Demo showcasing ~real-time Latent Consistency Model pipeline with Diffusers and a MJPEG stream server
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
Generate images in one second on your Mac using a latent consistency model
Generate images in one second on your Mac using a latent consistency model Posted October 25, 2023 by @fofr Latent consistency models (LCMs) are based on Stable Diffusion, but they can generate images much faster, needing only 4 to 8 steps for a good image (compared to 25 to 50 steps). By running an LCM on your M1 or M2 Mac you can generate 512x512 images at a rate of one per second. Simian Luo et
ARM7TDMIARM7 structure and components.Starting with the more familiar one, the ARM7TDMI is the same CPU found on the Game Boy Advance but now running at ~34 MHz (double its original speed). It still includes all its original features (especially Thumb). Now for the changes: Because Nintendo’s engineers placed the ARM7 next to most of the I/O ports, this CPU will be tasked with arbitrating and assi
Airbnb’s Trip to Linaria
CSS is a critical component of every web application, and many solutions have evolved for how styles are written by developers and delivered to visitors. In this post we’ll take you through Airbnb’s journey from Sass to CSS-in-JS and show you why we landed on Linaria, a zero-runtime CSS-in-JS library, and the impact it has had on the developer experience and performance of Airbnb’s web app. From S
A new JavaScript backend was merged into GHC on November 30th, 2022! This means that the next release of GHC will be able to emit code that runs in web browsers without requiring any extra tools, enabling Haskell for both front-end and back-end web applications. In this post, we, the GHC DevX team at IOG, describe the challenges we faced bringing GHCJS to GHC, how we overcame those challenges, and
South Korea’s ‘Sender Pays’ Policy Is a Threat to the Internet
The “sender pays” model is poised to create fragmentation of digital rules and standards, compromising the digital ecosystems that have been at the heart of the internet’s innovation and growth. Subscribe for ads-free reading When the presidents of South Korea and the United States met in May, they highlighted their shared belief in the benefits afforded by an open, global, interoperable, reliable
AWSのMulti-Attach EBS Volumesが「共有ストレージ」に使えるか検証してみた - Qiita
2/19: 検証の結果、詳しいことが分かり、進捗を受けて記事タイトルを改題しています。公式サイトの記事にあるIMPORTANT SAFETY TIPSがまさに記事中の事象を表していることが分かり、追記しました。 ※ 旧タイトル「AWSのMulti-Attach EBS VolumesをWindows Serverで使うと、EBSの容量が実質2倍になる？」 はじめに 2020/2/14のAWSアップデートで、プロビジョンドIOPS (io1) のEBSボリュームに限り、複数EC2から同時アタッチできるようになりました。 これだけを見ると、いかにも「共有ストレージ」 (後述の図のような構成) に使えそうだと思えてきます。 New – Multi-Attach for Provisioned IOPS (io1) Amazon EBS Volumes https://aws.amazon.com
How we built our multi-platform design system at Booking.com
Building a design system that works is a challenge at any scale. Building a design system for 150+ product teams, used by 200+ designers and 800+ developers, and serving 4 different platforms? That’s a challenge requiring lots of special considerations. When building a design system for such a large scale, many questions come to mind: How can we make it strong and scalable to multiple themes and b
How Figma's Databases Team Lived to Tell the Scale | Figma Blog
Vertical partitioning was a relatively easy and very impactful scaling lever that bought us significant runway quickly. It was also a stepping stone on the path to horizontal sharding. Figma’s database stack has grown almost 100x since 2020. This is a good problem to have because it means our business is expanding, but it also poses some tricky technical challenges. Over the past four years, we’ve
building-software.md
building-software.md Some thoughts on building software Lately I have been busy reading some new books on Domain Driven Design (DDD) and software architecture -- including a short yet eye-opening one in Python and a great one in F#. At the same time, it seems that more people in the Functional Programming world are looking at more formal approaches to modelling -- some examples here. This has brou
Techouse社内勉強会の内容を紹介します(1) データベース<ACID編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 講師は私ひとり、資料を準備するのも私ひとり、動画を収録して YouTube Live で社内向けに配信する作業も私ひとりでやってます。 参加は任意ですが、社内のメンバー (社員・インターン生・業務委託でご参画いただいている方) の多くの方が参加してくれています。先日の RubyKaigi 2024 に参加してくれたメンバーもほとんどがこの勉強会に参加し、基礎的な知識をもった上でセッションへ臨んでくれました。 開催履歴 これまでの開催履歴はこんな具合です。 見ていただくとわかる通り、ほんとうに基礎的な内容を1個ずつやっているということがわかるかと思います。
Visual Studio Code + Docker + Remote DevelopmentでTomcat上のWebアプリを超簡単にデバッグ | SIOS Tech. Lab
こんにちは、Visual Studio Codeを愛してやまないサイオステクノロジー技術部 武井(Twitter:@noriyukitakei)です。今回は、Tomcat上のWebアプリケーションをVisual Studio Codeを使ってデバッグしたいと思います。しかも従来の方法とは違い、ローカルPCの環境を全く汚さない方法でトライします。 Tomcat上で動くWebアプリのデバッグ Tomcat上で動作するWebアプリケーションのIDEといえばEclipseですよね。でもVisual Studio Codeでも、それ出来ます！！ まずは「従来のやり方」をご紹介します。その後で、ローカルPCの環境を汚さない「すごいやり方」をご紹介します。 従来のやり方 Visual Studio Codeには「Tomcat for Java」という便利なプラグインがあり、これを使うことで、Tomcat
It took a little longer than I expected, but we released HTML5 Boilerplate 8.0.0 yesterday. As I mentioned a few weeks ago, it’s the 10th anniversary release, and if I do say so myself, it’s a pretty good way to celebrate 10 years of the project. It was a lot of work getting this one out the door, but I’m really happy with how it turned out. I’ve been involved with HTML5-Boilerplate from before th
EKS vs GKE vs AKS - Evaluating Kubernetes in the Cloud | StackRox Community
Providing an update on the core Kubernetes services offered by the big three We are now six years past the initial release of Kubernetes, and it continues to be one of the fastest-growing open-source projects to date. The rapid development and adoption of Kubernetes have resulted in many different implementations of the application. The Cloud Native Computing Foundation (CNCF) currently lists over
research!rsc: Hardware Memory Models (Memory Models, Part 1)
Introduction: A Fairy Tale, Ending A long time ago, when everyone wrote single-threaded programs, one of the most effective ways to make a program run faster was to sit back and do nothing. Optimizations in the next generation of hardware and the next generation of compilers would make the program run exactly as before, just faster. During this fairy-tale period, there was an easy test for whether
Version 1.93 is now available! Read about the new features and fixes from August. July 2020 (version 1.48) Update 1.48.1: The update addresses these issues. Update 1.48.2: The update addresses these issues. Downloads: Windows: x64 Arm64 | Mac: Intel | Linux: deb rpm tarball snap Welcome to the July 2020 release of Visual Studio Code. There are a number of updates in this version that we hope you w
We introduce EDGE, a powerful method for editable dance generation that is capable of creating realistic, physically-plausible dances while remaining faithful to arbitrary input music. EDGE uses a transformer-based diffusion model paired with Jukebox, a strong music feature extractor, and confers powerful editing capabilities well-suited to dance, including joint-wise conditioning, motion in-betwe
Ubuntu Weekly Recipe 第749回LXDとUbuntuサーバーで、多数のストレージが必要なRAID環境を構築し性能を比較する 第748回の「LXDとUbuntuサーバーでRAIDとmdadmのテスト環境を構築する」では、LXDを使ってかんたんに単一のマシンにRAID 1環境を構築する方法を紹介しました。今回は前回紹介しきれなかった残りのRAIDレベルを構築し、それぞれの性能を比較してみましょう。 さまざまなRAIDレベルたち RAIDにはいくつかのレベルとそれを組み合わせたものが存在します[1]。そのうちUbuntuがインストーラーとしてサポートしているのは、RAID 0、1、5、6、10の5種類です。もちろんインストーラーはUbuntuのルートファイルシステムを構築するための仕組みなので、純粋なデータ領域をRAIDとして構築するのであれば、mdadmコマンドを用いてさら
序 この記事、ちょっと、というかかなり感覚が古くね？ qiita.com と思っていたら、炎上目的だったようで。 autotaker on Twitter: "「形式手法はなぜ流行っていないのか？」という記事を書いて炎上させたい" autotaker on Twitter: "形式手法をこき下ろすと見せかけて最終的に出身研究室のステマに成功した" 一連の言い訳も見苦しい。 autotaker (@autotaker1984) | Twitter 故意に不正確な情報をばら撒く形でしか自分の"小さな得意分野"をアピールできないとは、エンジニアとして不誠実極まりないし、ミジメだ。 本題 ということで。 形式手法は80年代から本格的に開発が始まっているが、最初に大規模に報道されたのは90年代のIntelの不動小数点ユニットのバグ対策に形式手法が導入された件だろう。 つまりチップレベルでの導入。それ
A Second Conversation with Werner Vogels – Communications of the ACM
CACM Web Account Membership in ACM includes a subscription to Communications of the ACM (CACM), the computing industry's most trusted source for staying connected to the world of advanced computing. Sign In Sign Up When I joined Amazon in 1998, the company had a single U.S.-based website selling only books and running a monolithic C application on five servers, a handful of Berkeley DBs for key/va
How to use container queries now Stay organized with collections Save and categorize content based on your preferences. Recently, Chris Coyier wrote a blog post posing the question: Now that container queries are supported in all browser engines, why aren't more developers using them? Chris's post lists a number of potential reasons (for example, lack of awareness, old habits die hard), but there'
【感想】『データ指向アプリケーションデザイン』：深遠なる分散データの新大陸への旅 - Rのつく財団入り口
読破した分厚いオライリー本の感想記事です。本書ではCPUの速度がボトルネックになるようなものは演算指向アプリケーションと区別し、データの量や複雑さ、変化の速度が主題となるシステムを「データ指向」と位置づけて、特定技術に幅を狭めずに包括的に解説した本となっています。 著者はイギリス、ケンブリッジ大学の分散システムの研究者 Martin Kleppmann氏。監訳者が斉藤太郎氏、訳者は玉川竜司氏。 タイトルの『データ指向アプリケーションデザイン』の原題は Designing Data-Intensive Applications。よく使われる「オブジェクト指向」の原語は Object-Oriented ですが、本書の「指向」は Intensive で若干ニュアンスが違います。たまに見るデータ駆動、データドリブンなどともちょっと違いますね。 Intensive単体の意味は強い、激しい、徹底的、集
Jun 6, 2023 by Patrick Angle, Jean-Yves Avenard, Marcos Caceres, Ada Rose Cannon, Eric Carlson, Garrett Davidson, Jon Davis, Karl Dubost, Brady Eidson, Matthew Finkel, Simon Fraser, Brent Fulgham, Rachel Ginsberg, David Johnson, Anne van Kesteren, Mark Lam, Sihui Liu, Justin Michaud, Jer Noble, Tim Nguyen, Ben Nham, Richard Robinson, Michael Saboff, Alexey Shvaika, Jen Simmons, Sam Sneddon, Brando
TMTOWTDIのつづき。Bicarbonate（けれど、一貫性を保つことは悪くないこともある） - Blog::kobaken
Perl のモットーは「何をするにもやり方は一つだけじゃない」（TMTOWTDI; There's more than one way to do it. 読みは Tim Toady）で、自分は魅力を感じる。それは、Perlのコミュニティから、Perlに限らずさまざまな技術を愛する懐の深さを感じるから。実際どうかはYAPC::Hiroshima 2024のタイムテーブルがわかりやすい例だと思う。 愛なんて言葉を使ったけれど、この記事を書くため、ラリー・ウォールのインタビューを読んだせいかもしれない。 「何をするにもやり方は一つだけじゃない」（TMTOWTDI; There's more than one way to do it.）の哲学は、宇宙の創造者の謙虚さを観察した直接の結果であり、荘厳ではなく軽妙に処理できるよう選択した結果だ。宇宙には、押し付けるべきスタイルのガイドラインなどない
MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model
TL;DR: We propose MagicAnimate, a diffusion-based human image animation framework that aims at enhancing temporal consistency, preserving reference image faithfully, and improving animation fidelity.
(略称多すぎですね。) 0. 忙しい方へ GANにConsistency Regularizationを適用することで性能を大きく改善したよ Improved-CRは「balanced-CR + latent-CR」だよ bCRはリアル画像とフェイク画像両方にCRしたものだよ zCRはノイズ空間のCRをしたものだよ CRもICRも超絶シンプルで強力だよ CRとICRはSNとの相性が良く、他の正則化手法を大きく上回ったよ ICRはCIFAR-10(FID:9.21)とImageNet(FID:5.38)でBigGANにおけるSoTAを達成したよ "Improved Consistency Regularization for GANs", Zhao, Z., Singh, S., Lee, H., Zhang, Z., Odena, A., Zhang, H., (2020)より作成 1.
【感想】『マイクロサービスパターン 実践的システムデザインのためのコード解説』：前編 - Rのつく財団入り口
「未来はすでにここにある。まだむらなく流通していないだけだ」←グッとくる 最初のエモワードがSF作家ウィリアム・ギブスンの引用でイイ！ サイバーパンク2077遊んでみた～い……じゃなかった、CloudFoundry.comのファウンダーでありMicroservices.ioの運営者、経験豊富なソフトウェアアーキテクトであるクリス・リチャードソンさんによる『Microservices Patterns』の翻訳本。 タイトルのようにアーキテクチャパターンやデザインパターンのようにマイクロサービスをパターンで体系化し、サンプルストーリーを元にした事例やコード例、OSS紹介を交えつつマイクロサービスを実践する設計方法を探求した本となっています。 Java文化圏で長く活動してきた方とのことでサンプルコードはほぼJava、Springフレームワーク、ご本人らによるマイクロサービス用のフレームワークEv
The Go Programming Language and Environment – Communications of the ACM
Go is a programming language created at Google in late 2007 and released as open source in November 2009. Since then, it has operated as a public project, with contributions from thousands of individuals and dozens of companies. Go has become a popular language for building cloud infrastructure: Docker, a Linux container manager, and Kubernetes, a container deployment system, are core cloud techno
name: Code Review permissions: contents: read pull-requests: write on: pull_request: pull_request_review_comment: types: [created] concurrency: group: ${{ github.repository }}-${{ github.event.number || github.head_ref || github.sha }}-${{ github.workflow }}-${{ github.event_name == 'pull_request_review_comment' && 'pr_comment' || 'pr' }} cancel-in-progress: ${{ github.event_name != 'pull_request_
🌱 This post is still growing and likely will change as the best practices evolve 🌳 GraphQL errors are something many of us struggle with. Good practices are emerging but the community has not yet settled on a convention. I hope this guide helps demystifiy the many ways you can structure errors in your GraphQL servers, and the tradeoffs each of them make. Stage 1: GraphQL Errors AKA Top-Level Err
A handy new Google Cloud, AWS, and Azure product map | Google Cloud Blog
A handy new Google Cloud, AWS, and Azure product map Any craftsman will tell you that choosing the right tool for the job is essential for getting it done right. Cloud technologies are no different. Many cloud professionals look for the best products across vendors, but they remember ‘best’ is always subjective. It depends on highly-individualized criteria like language support, compatibility with
ResearchOps 101
Summary: The practice of Research Operations (ResearchOps) focuses on processes and measures that support researchers in planning, conducting, and applying quality research at scale. ResearchOps is a specialized area of DesignOps focused specifically on components concerning user-research practices. ResearchOps (ReOps): The orchestration and optimization of people, processes, and craft in order to
By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a horizontally scalable workflow orchestrator designed to manage large-scale Data/ML workflows
24 Things Great Scrum Masters Don’t Do. » Growing Scrum Masters
Being a great scrum master is not just about what you do but also about what you don’t do. It’s all about sidestepping the pitfalls, avoiding the traps, and resisting the lure of those seemingly practical shortcuts that ultimately lead down the rocky road to chaos. In this spirit, we present to you your survival guide, a list of “24 Things Great Scrum Masters Don’t Do” This delightful catalogue of
Novel View Synthesis with Diffusion Models 3D generation from a single image We present 3DiM, a diffusion model for 3D novel view synthesis, which is able to translate a single input view into consistent and sharp completions across many views. The core component of 3DiM is a pose-conditional image-to-image diffusion model, which is trained to take a source view and its pose as inputs, and generat
Tips on Adding JSON Output to Your CLI App - Brazil's Blog
Brazil's Blog Musings on automation, scripting, programing, DevOps, and cybersecurity A couple of years ago I wrote a somewhat controversial article on the topic of Bringing the Unix Philosophy to the 21st Century by adding a JSON output option to CLI tools. This allows easier parsing in scripts by using JSON parsing tools like jq, jello, jp, etc. without arcane awk, sed, cut, tr, reverse, etc. in
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGの評価をRagasを使ってやってみる - Re:ゼロから始めるML生活
年収1,000万円超、行弘 賢に聞くeスポーツトッププロの半生とキャリア - 転職Do
Adventure game graphics with DALL-E 2 - Et tu, Cthulhu
End2Endな対話システムの評価指標 - 終末 A.I.
Nintendo DS Architecture | A Practical Analysis
JavaScript backend merged into GHC | IOG Engineering
HTML5 Boilerplate 8.0.0 Released
Visual Studio Code July 2020
EDGE: Editable Dance Generation from Music
第749回 LXDとUbuntuサーバーで、多数のストレージが必要なRAID環境を構築し性能を比較する | gihyo.jp
「形式手法はなぜ流行っていないのか」に対する異論 - interdb’s blog
How to use container queries now | Blog | web.dev
News from WWDC23: WebKit Features in Safari 17 beta
GANへの新しい正則化「ICR」が期待大な件&解説 - Qiita
CodeRabbit openai-pr-reviewer を調整する
A Guide to GraphQL Errors
Maestro: Netflix’s Workflow Orchestrator
Novel View Synthesis with Diffusion Models