ペアーズにおける評価ドリブンなリリースサイクル：Langfuseをフル活用したLLMOps基盤
TL;DRLLMアプリケーションの運用は従来のMLOpsの手法が通じず、かつ出力の評価が難しいことなどが起因して、非常に難しい上記の課題を解決するために、Langfuseを中枢に据えたLLMOps基盤を用いて、オンライン評価とオフライン評価でリリースを挟み込んだ評価ドリブンなリリースサイクルを回していくのがおすすめ上記を実践するためにまずはアプリケーションのログ・トレースを保存するところから始める次にプロンプトマネジメント導入と、評価データセット作りを数件からでよいので始めるそこからプロンプト実験と、LLM-as-a-JudgeなどのLLM Evaluatorの仕組みを、評価基準など不完全で良いので導入してみる（ドメインエキスパートやユーザーのアノテーションの仕組みを導入できるならそちらも並行して検討する）これらをまずは実践することで、評価ドリブンなリリースライフサイクルが、評価データセッ
ターミナルがダサいとモテない。Terminal Emulator紹介編
Photo by Tianyi Ma on Unsplash恵比寿でIT企業をやっているとモテると聞いて創業しましたが早いことありがたいことに10年目に突入した長谷川です。 まだモテる成果は出ていません、、、これからです！ 早速ですが、グチです！どういうことか最近技術的なことができていません！ 自分の周りでは、TensorFlowやらPython TyperやらFastAPIやらCUEやらQdrantでゴニョゴニョしたりやら、技術的なことがいっぱいなのに、、、 そもそも技術やるために起業したんじゃないのかと自問自答する毎日です🤔 つまりめちゃくちゃストレス溜まってます。 完全にグチですが、特にオフィスの移転がめっちゃ大変です。もうやりたくありません😅 そこで！ストレス解消のために何か始めようと思い、社内を見渡すとみんなTerminalがダサいことに気がつきました。 なのでちょっと自分の
The beginning of the end for Terraform?
Source:imgflip.comAs I write this on the 25th of April, I am still reeling from the announcement of IBM’s acquisition of Hashicorp. When I first heard the rumours yesterday, I was concerned about the future of possibly my favourite Infrastructure-as-code (IaC) tool. It has long been obvious that Hashicorp has been struggling to make money, making a $274 million loss in 2023. This undoubtedly led t
エウレカ開発組織全体でリライアビリティと向き合うために、SRE TeamのVision/Mission/ValuesをRebuildした話
はじめにこんにちは。Eureka SRE のnari/wapperです。 Mリーグ2021–2022 セミファイナルシリーズも佳境になってきましたね。私はU-NEXT Pirates推しなので石橋さんには今年も頑張っていただきたい思いでいっぱいです。皆さんの推しTeamはどこですか？(この記事をチームでレビューしてもらう際に、同僚の MoneyForestにレギュラーシーズンMVPの瑞原さんにまずはおめでとうと書きなさいと言われたのでここに追記します。おめでとうございます！) はい、麻雀に興味がない人には何の意味もない冒頭アイスブレークとなってしまいましたが、気を取り直して本題に移りたいと思います。 弊社エウレカSRE Teamは、2017年に発足して以来、国内最大級オンラインデーティングサービスであるPairsを中心に運営するすべてのプロダクトに関してのリライアビリティに責任をもってきま
GraphQL 2021
Today marks the first release of the GraphQL spec ratified by the GraphQL Foundation. This is the culmination of three years of work, both technical and procedural. This is a proud moment and one worth celebrating. What took so long?The last ratified spec release was over three years ago, in June 2018. What took so long for this release? Certainly a worldwide pandemic didnʼt help our collective fo
超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium
この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ
【いでよ障害対応太郎】我々はインシデントにどう向き合っているのか 〜社内向け障害対応リスト付き〜
「なんかアプリでインシデント起きてエンジニアがどこかで対応してるらしいよ」 「インシデント時のお知らせって誰がどうやって出すんだっけ？」 「インシデントの復旧作業って今どれくらい終わってる？」 「あのインシデントって振り返りしたっけ？」 「似たようなインシデント、前も対応したような、していないような」 このような会話に覚えはありませんか？ FiNC Technologies社 (以下FiNC) では今まで インシデント対応をしていても自チーム内で対処しようとしてしまい、他の人が気づけないインシデント対応の仕方にフォーマットがなく、迅速な対応やお客様への報告ができないインシデントの振り返りが実施されず、インシデント時の知見が共有されないという問題がありました。 それらの問題を 気が付きやすく、シェアしやすくする = 統一のチャンネルで情報を整理し、そこにシェアしやすい空気を作る何をすべきかわ
マルチAWSアカウント運用の始め方 2020
AWSを企業環境で利用する場合、AWSアカウントを複数使って運用していくことになります。ここではAWSアカウントを複数利用する場合における考え方をご紹介します。 なおこのストーリーは、JAWS-UG初心者支部 #22 Fin-JAWSコラボ&ミニハンズオンのセッションにて紹介したものをベースにしています。 マルチアカウント運用とはAWSアカウントのマルチアカウント運用とは、1つの組織(会社)でAWSアカウントを複数使うことをここでは指しています。よく耳にするアカウント運用では、部署単位、経費の精算単位、開発環境とサービス提供環境で、AWSアカウントを分ける、といったようなケースがあります。 このように、一定規模の組織でAWS環境を使っていく場合、AWSアカウントを複数作成して使い分けていくことになります。 その際、このAWSアカウントをどのように分割し、管理していくかの方針を決めていく必要
「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」を１年掛けて整理した
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
TechBlog運用の難しさとHERPでの考えについて（TechHub公開に寄せて）
HERPの技術発信の場として、HERP TechHubをリリースしました。会社のドメイン上ではなく、個人のブログのHubとしてのページを作成する形をとっています。 それに至った背景について書いてみたいと思います。 TechBlogのあり方を考えてみるTechBlogの目的と内包している問題について、エウレカでTechBlogの開設・運用をリードした経験から得られた課題も踏まえて考えてみる。 TechBlogの目的 従来のTechBlogの開設・運用の目的は以下の3つにまとめられると思う。 ブランディングを通じた採用力の向上エンジニアの個人ブランディングエンジニア全体・技術貢献ブランディングを通じた採用力の向上 エンジニア採用においては情報発信は欠かせない。もちろん一番大事なのは良いUXを提供できるプロダクトを作り、その品質を上げていくことだが、それだけでは社外の人間からして技術への考え方や
The iPad Pro as a focused, simple coding machine
So recently I wrote a post on why a developer might use an iPad Pro as an at home machine. Today, I’m going to elaborate on how I’m actually using it day to day. So there is not much you can do locallyRealistically, as a local dev environment there really is not much an iPad Pro can do. I’m used to proper Linux/Unix based machines, these sandboxed apps just didn’t cut it for me, there’s nothing cl
Medium: Read and write stories.
A place to read, write, and deepen your understanding
会社でOKRと1on1ミーティングを導入した結果、劇的な成長を遂げた話
（この記事は 2017/7/15 に加筆・修正が加えられています） 最近のHR系の記事で、1on1ミーティングや、OKRという単語をちらほら見かけるようになった。かつての就業先の会社では、いずれの取り組みも1年半ほど前から導入しているため、従業員目線での感想や効果をまとめてみた。 本題に入る前に、OKRや1on1ミーティングについて聞きなれない人のために、軽くそれぞれのフレームについてまとめておく。 OKR、1on1ミーティングとはOKR OKRは数々の急成長ベンチャーが採用する、メンバーの成果を無駄なく企業の成長に結びつけるための、目標達成のベスト・プラクティス。インテル出身のベンチャーキャピタリストが、創業期のGoogleに移植してから、今日までのGoogleの成長を支えてきた秀逸な目標達成のメソッド。 （OKR についてより詳細な内容知りたい方は、Google Ventures、Ri
ブロックチェーン・アプリ開発をなぜ学ぶべきか？
本記事は、Why you should learn to build Blockchain Apps(Georgios Konstantopoulos) の翻訳です。万一誤訳などありましたらPrivate Note機能でお知らせ下さい。 先週、私たちは CryptoZombies Lesson 4をリリースした。CryptoZombiesでは、Ethereumのプログラミング言語であるSolidityでゾンビ軍団を作る旅を続けている。Lesson 4までの時点で90,000人以上がクリプトゾンビを使い、イーサリアム上の分散型アプリケーション（DApps）開発に親しんでいる。 なぜこのスペースに関わるべきなのか？得るものはあるのか？それは本当に重要か？それについてこれまで議論していなかった。 一つ確かなことは、ブロックチェーン開発者（よくブロックチェーンエンジニアと呼ばれる）に対する需要が供
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
機械学習のためのGithub、CometMLを使ってみた - Liaro Engineering Blog - Medium
CometMLとは開発をする際にGithubを使うことが多いと思いますが、機械学習のような開発段階でも実験を重ねる場合にはGithubは相性が良くないなと感じていました。 その課題を解決するサービスがCometMLです。やはり同じ課題を感じている人は多く、記事をシェアするだけで結構いいねが付きましたw このサービスは、機械学習の実験を管理するための様々な便利機能を提供しています。今回は簡単に使ってみた機能などを紹介しようと思います。 何が嬉しいのか、なぜ必要なのか機械学習プロダクトの開発工程は、一般的なソフトウェアの開発工程と異なる点が多いです。特に、構築したモデルを訓練し、その性能評価を行う「実験(Experiments)」は機械学習プロダクトの開発工程において重要なものです。 「実験」ではモデルの構造やハイパーパラメータなど、様々な条件や設定のもとで何度も行われます。どんな設定で行った
Gyazo 開発環境の Docker 化 - r7kamura - Medium
The easy way to save screenshots, GIFs, and websites. Make everyone happy by sharing smarter, faster, and with your… 単純にスクリーンショットを保存するだけなら OS の機能だけでも十分ですが、GIF 動画を保存できたり、いつどこでどんなアプリケーションを利用しているときに撮影したのか、あるいは画面にどんな文字が写っているかといった情報を元に検索できたり、保存した画像をコレクションという単位でまとめて共有できたりと、Gyazo を使って保存しておくと意外と便利なことが多く、個人的にも重宝しているサービスの1つです。 我々が開発環境で Docker を使うメリットGyazo のサーバサイドの実装には、プログラミング言語の観点で見ると Ruby、Go、JavaScript などが
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Use SwiftData like a boss
Embracing the Future of Testing in Swift: TDD + SwiftUI + Swift Testing
Dynamic list, Custom Views, and NavigationStack in SwiftUI