資料公開:「Golangを使ったバックエンドの実装入門」で DevelopersIO 2024に登壇しました #devio2024 | DevelopersIO
ども、もこ(札幌オフィス)です。 本日開催のClassmethod Odyssey (DevelopersIO 2024) で登壇いたしましたので、資料とソースコードを公開します。 資料 ソースコード DEMOでお見せしたコードは下記にて公開しております。 https://github.com/mokocm/go-task-backend 所感 gRPC、なんとなく難易度が高そうなイメージがありますが、Protocol Bufferとの親和性も高く、非常に洗礼されたエコシステムとなっているため、是非これきっかけで興味を持っていただけると幸いです！
社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤（所謂プラットフォーム） 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート：テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供（特にLinterを最初期に） 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar
SummaryMost visual programming environments fail to get any usage. Why? They try to replace code syntax and business logic but developers never try to visualize that. Instead, developers visualize state transitions, memory layouts, or network requests. In my opinion, those working on visual programming would be more likely to succeed if they started with aspects of software that developers already
Introduction At the time of writing, HTTP/3 is supported by 30.4% of the top 10 million websites. This market penetration is astounding, but it seems like all of this progress has been possible almost exclusively by work on browsers, load balancers and CDN providers. What about the backend? How’s HTTP/3 doing there? The answer, sadly, is not as incredible. Because of this, I have been very interes
SREチームの前多です。以前、Google Cloudが提供するサービスメッシュのAnthos Service Meshの入門記事を書きました。 caddi.tech この記事のまとめで私は、Istio (Anthos Service MeshのベースのOSS) を詳しく知るには、envoyのことをもっと知る必要があると書きました。 そしてサービスメッシュで何かエラーが起きているとき、それはサービスメッシュ自体ではなく インフラやアプリケーションのバグや設定ミスがサービスメッシュによってあぶり出されるということも述べました。 先日、サービスメッシュ上でPod間のgRPC通信が特定条件で失敗し、サイドカーがない場合のみ通信が成功するという事象が起きていました。 gRPCのライブラリのアップデートやIssueの調査しましたが、原因がわからずサイドカーを外すしかないかと思っていました。 最終手段
こんにちは、syumaiです！ このたびベースマキナのエンジニアブログを始めることになりました！ 本記事では、エンジニアブログを始めることになった経緯や、これからどういった内容について書いていくのかなどについて簡単に紹介します！ ベースマキナとは 今回は、一本目の記事ということで、簡単にサービスの紹介もさせてください！ ベースマキナは、一言で言うと管理画面のSaaSです。特に社内向けの管理画面をメインの用途としたプロダクトです。 社内向けの管理画面は専任のチームが存在しないことも多く、 ライブラリの更新、新機能追加のメンテナンスが滞る 権限管理の実装を十分に行えない といった課題を抱えている場合があります。 ベースマキナでは、任意のデータベースやAPI (REST API / gRPCなど） への接続を行ったうえで、 処理実行用のフォームの生成 入力値へのバリデーション 権限管理、承認フロ
This blog post is adapted from a talk that Adam Hess and I gave at RubyKaigi 2024. Until recently, Ruby lacked a mechanism for detecting native-level memory leaks from within Ruby and native gems. This was because, when Ruby terminates, it does not free the objects that are still alive or the memory used by Ruby’s virtual machine. This is because the system will reclaim all the memory used anyway,
【セッションレポート】「Nintendo Switch™ 向けプッシュ通知システムのリプレイス事例」が面白い！
はじめに こんにちは、バックエンド/インフラ担当の森井です。 先日、NPNS（Nintendo Push Notification Serviceの略？）のリプレイス事例がAWS Summit Japan 2024で公開されました。 NPNSは、Nintendo Switchにおける通知を行うシステムで、iOSにおけるAPNs、AndroidにおけるFCMのようなサービスです。 2018年の資料では今後の展望としてNLBとFargateの導入が挙げられていたので、システムの一部をリプレイスする話かと思いましたが、なんとシステム全体をリプレイスしていました。 2018年の資料も面白かったのですが、今回のリプレイス事例はさらに興味深い内容です。内容を要約しても仕方がないので、個人的に面白いと思ったポイントを紹介します。 アーカイブ動画は現在AWSのサイトに掲載されています。ぜひご覧ください。
GitHub - maelstrom-software/maelstrom: Maelstrom is a fast Rust and Python test runner that runs every test in its own container. Tests are either run locally or distributed to a clustered job runner.
Maelstrom is a suite of tools for running tests in hermetic micro-containers locally on your machine or distributed across arbitrarily large clusters. Maelstrom currently has test runners for Rust and Python, with more on the way. You might use Maelstrom to run your tests because: It's easy. Maelstrom provides drop-in replacements for cargo test and pytest. In most cases, it just works with your e
If Deno is not yet installed, run one of the following commands to install or learn how to install it here. # Using Homebrew (macOS): brew install deno # Using Shell (macOS and Linux): curl -fsSL https://deno.land/install.sh | sh # Using PowerShell (Windows): iwr https://deno.land/install.ps1 -useb | iex What’s New in Deno 1.45 Workspace support Node.js compatibility improvements Frozen lockfile d
社内の基盤を活かして爆速開発を実現するために重視したマイクロサービステンプレートの5つの要点 - MonotaRO Tech Blog
はじめに 転職後の二つの喪失感への対応 所属チームの現状とMonotaROのアプリケーション/サービス共通基盤（所謂プラットフォーム） 所属チームの状況 社内プラットフォームの状況 マイクロサービス開発のためのテンプレートの導入 開発のロケットスタート：テンプレートの早期提供 テンプレート作成の5つの要点 1. ベンダー非依存なObservabilityの実装 2. CI/CDを早期に提供（特にLinterを最初期に） 3. APIプロトコルとして、JSON over HTTPとgRPCの双方をサポート 4. 最低限の薄いフレームワーク 5. セントラルProtobufリポジトリの提供 現在の取り組み (2023年10月以降)と今後の展開 さいごに はじめに はじめまして、MonotaROのCTO-Officeに所属する伊藤と申します。 github.com recruit.monotar
Instana 大規模言語モデル（LLM）モニタリング：セットアップガイドと実践的な使用例 - Qiita
はじめに 前回の記事では、Instana 大規模言語モデル（LLM）モニタリングの概要と主要なメリットについて説明しました。 今回は、具体的な設定方法と実践的な使用例に焦点を当て、より詳しく解説していきます。この記事を通じて、Instana LLMモニタリングを実際に導入し、効果的に活用するための手順を学んでいただけます。 モニタリングアーキテクチャの概要 Instana LLM モニタリングのアーキテクチャを以下の図で示します： このアーキテクチャは以下の主要コンポーネントで構成されています： LLMアプリケーション層: 監視対象のLLMアプリケーション モニタリングデータ収集層: OpenLLMetry (Traceloop SDK ): トレースの生成 OpenTelemetry Data Collector for LLM (ODCL): メトリクスの収集 データ処理・転送層: I
We're excited to announce the public beta of Bufstream, a drop-in replacement for Apache Kafka that's 10x less expensive to operate and brings Protobuf-first data governance to the rest of us. Key takeaways Bufstream is a Kafka-compatible queue that's 10x less expensive to operate than Apache Kafka. While Bufstream slashes costs for any Kafka workload, it excels when paired with Protobuf. By integ
2024/06/16に開催された JJUG CCC Spring 2024 に参加してきました。 JJUG CCCはもちろん、オフラインの勉強会に参加するのは本当に久しぶりのことです。コロナ禍以来、こういうのとはすっかり遠ざかっていました (あと一時期Javaから離れていたこともありましたが) 。懐かしい方々とも久しぶりに顔を合わせて話をすることができて良かったです。 ということで参加したセッションについて軽く感想でも。 参加したセッション 次世代RDB劔"Tsurugi"にアクセスするJavaライブラリー・ツール JJUGキーノート: Java First. Java Always. Adopting ZGC in HBase for LINE Messaging Spring Boot vs MicroProfile - クラウドネイティブにおけるフレームワークの比較と選択 新卒エンジ
2024-07-12: .NET and .NET Framework July 2024 updates, .NET 9 Preview 6, Dark Mode on NuGet.org - WeekRef.NET
2024-07-12: .NET and .NET Framework July 2024 updates, .NET 9 Preview 6, Dark Mode on NuGet.org トピックス .NET and .NET Framework July 2024 servicing releases updates - .NET Blog https://devblogs.microsoft.com/dotnet/dotnet-and-dotnet-framework-july-2024-servicing-updates/ .NET 6 と .NET 8、.NET Framework の2024年7月のアップデートがリリースされた。 このリリースではいくつかのセキュリティー問題の修正が含まれている。 CVE-2024-30105: System.Text.Json の JsonS
Rust の中で TypeScript を書くには
はじめに 先日ユニークビジョン株式会社の UV Study というイベントで Rust に関する LT 登壇を行いました。 この記事はそれを zenn 用にまとめ直したものです。 当日の発表は 10 分と短かったため、当日の発表で話せなかったところも補足しています。 作ったもの FFI は面倒 あるプログラミング言語で書かれたプログラムの中から、別のプログラミング言語で書かれた処理を呼び出したいことがあります。 それぞれプログラミング言語は文法やライブラリだけでなく、内部でどのようにリソースを管理しているかの仕組みも異なるため、そのままでは相互に関数を呼び出せません。（例えば呼び出し先のプログラムでなにかデータを生成してそれを呼び出し元に返そうとしても、その生成されたデータは誰がどうやって面倒を見るべきかという問題が生じます。） このようなことを可能にするための仕組みを FFI （Fore
REST APIとは何か？初心者向けにわかりやすく１分で解説
REST API（れすとえーぴーあい）はWebAPIの１つの形態です。WebAPIというのは、インターネットを通じてアクセス可能なAPI全般を指す用語ですが、その中でも特にREST（Representational State Transfer）というアーキテクチャスタイルに従ったAPIをREST APIと呼びます。 WebAPI ├── RestAPI ←今回解説する対象 ├── SOAP ├── GraphQL └── gRPC 参考 WebAPIとは？（APIとは？） 結論を超ザックリいえば、REST APIは「リソース」に対して「HTTPプロトコル」を使って「操作」する方法で、各リクエストが独立して処理されるAPIと言えます。 このページではそもそもWebAPIって何？というところをおさらいしつつ、REST APIの概念を１からわかりやすくご説明します。 前提：APIとは何か？ A
今回は、私がここ1ヶ月で4回LTなどの登壇をして得た気づきや失敗、LTに向けてやっていることをまとめてみました。 「LTってすごい人が出るんでしょ。自分なんか...」と思っている方の背中を少しでも押せるような内容となっています。 初心者でも出れるLTはたくさんあります。「いつかはやってみたい」と思っている方、ぜひこの内容を参考にしていただければ嬉しいです。 1. はじめに：なぜ登壇しようと思ったのか きっかけは組織内で「積極的にLTとか参加していこう！」という流れから自分もやってみようと思いました。 また、自分のキャリアのことも考えた時に外部発信は大事だとも感じており、挑戦しました。 最初は緊張もありましたが、「えいや！」で一歩を踏み出しました。結果として、この決断が自己成長の大きな契機となりました。 2. 各回の概要 6/6: 【LT大会#7】LLMの活用・機械学習・データ分析関係のいろ
Java と gRPC 界隈のこれまでの現状 Java, Kotlin ユーザーの皆様、gRPC は使っているでしょうか？ JVM 言語の上で gRPC を使う際、grpc-java が提供されていますが、これは Java 上で netty を使って単体で動くもので、Spring Boot との親和性が皆無でした。 Google 社内では Spring Boot を使っていないであろうから良いのでしょうが、我々一般の Java 開発者にとっては不自由なものです。 これまでは、有志からいくつかの Spring Boot の上で grpc-java を動かすライブラリが提供されていましたが、どれも個人が開発しているもの (LogNet/grpc-spring-boot-starter など) で、プロジェクトが放置気味だったり品質が微妙だったり、良い選択肢があまりありませんでした。 grpc-
TypeSpec が OpenAPI や JSON Schema を書くのに良かったので紹介する 冗長になりがちで書くのが大変な OpenAPI や JSON Schema を型付きで体験よく記述できる TypeSpec を紹介します。 きっかけ SwitchBot の API を利用したくて OpenAPI のスキーマが提供されていないか調べていたんですが、SwitchBot の API ドキュメント は Markdown で記述されており、残念ながら OpenAPI から クライアントのコード生成等はできませんでした。 そこで、ドキュメントから OpenAPI のスキーマに起こしていこうかなと思ったんですが、OpenAPI Schema を一から書くのは割と大変なので、TypeSpec を使ってみたらかなり使い勝手が良かったので紹介します。 TypeSpec とは TypeSpec は
祝シリーズA調達！Resilireのテックスタック全貌を説明するよ | Resilire Tech Blog サプライチェーンリスク管理クラウドサービスResilire の@teruhikyです。 つい先日、シリーズAの調達を無事に公開でき、これからさらにプロダクト開発を加速させていきます！ そんな弊社Resilireですが、一度現状のテックスタックを見ながらざっくりとどんな開発環境・体験でプロダクト開発しているのかを紹介させていただきます。 まずは全体像から！ 早速、弊社のテックスタックの全体像を以下に紹介します！ 組織のコミュニケーション・自動化で使っているツールから、プロダクト設計、プロダクトソフトウェア領域、インフラ、運用保守と全体感がわかるようにツールを並べています。 各領域の詳細ではもっとあったりもしますが、まずはどういう構成なのか全体像が見えるようにまとめました。 それでは、
はじめに こんにちは、逆井（さかさい）です。 先日登壇した OpenTelemetry Observability運用の実例 Lunch LT のフォローアップブログです！ スライドは以下です。togetter もまとめていただいています。 途中 Grafana ダッシュボード上で Metrics と Trace を接続する機能を用いて、「異常なメトリクス値からトレースにジャンプしてボトルネックを素早く特定する」というデモをサラッとしたのですが、本ブログではどう設定・構築できるのかをサクッと紹介します。 トレースとメトリクスを紐づけるためのトレースエグザンプラーや、エグザンプラーを使うための OpenTelemetry の設定などについて触れませんので、上記のスライドや ymotongpoo さんのブログ記事が参考になりますので適宜見てください。 構成 デモでは下図のような構成で、特筆すべ
【TypeScript】trpcでChatGPTのようなstreaming responsesをReactで表示してみる
目的 OpenAI社のChatGPTやAnthropic社のClaudeのような生成AIによるチャットサービスでは、生成AIモデルが出力したデータをストリーミングで少しずつ受け取って徐々にテキストが表示されるようなUIを採用しています。 一般的なリクエスト/レスポンス形式だとAIによる処理が全て完了するまで待つ必要があり、クライアント側では（処理内容によっては）何十秒もローディングが表示されるだけになってしまうため、ストリーミングで少しずつデータを受け取って表示することはUXとして良いですね。 今後、AIを使ったサービスが増えていくにつれ、こうしたユースケースは増えていくかもしれません。 開発観点でいうと、こうした実装はサーバーサイド側については公式のexampleなどに記載がありますが、クライアント側でstreamingのデータを受け取って表示する実装例は調べてもあまり出てきませんでした
目的 以前まで、protocのみ利用してprotoファイルからGoへの変換を行なっていた。しかし,パスが間違ったり、記述方法(変数名など）がわかなかったり、複数のprotoファイルを一度にgoに変換することが大変だった(makefileなどに記述する必要があった). そのためprotoファイルを管理するパッケージとしてBufを利用することにした. Bufとは 一言で言うと protoファイルを管理するCLI(高性能なProtocbufコンパイラ) 文法のエラー検出 lint機能(チームでルールを統一することができる) 設定可能なテンプレートに基づいてprotocプラグインを呼び出すコードジェネレーター github 実装 packageのインストール
Googleが提供しているmicroservices-demoの一部をRust実装に置き換えてAmazon EKSにデプロイしてみた - 電通総研 テックブログ
こんにちは。金融ソリューション事業部の多田です。 本記事は 電通国際情報サービス Advent Calendar 2023 22日目の記事となります。 前日の記事は星野将吾さんの「若手こそ受けておきたい！IPA システムアーキテクト試験」でした。 はじめに microservices-demoについて productcatalogserviceをRustで実装する productcatalogserviceの内容を確認 準備 tonicについて Rustによる実装 gRPCサーバーの動作確認 EKSへのデプロイ 準備 コンテナイメージの準備 & ECRへの登録 AWS CloudShellの準備 AWS上にEKSクラスター/ノードグループを作成する microservices-demoのデプロイ 後始末 まとめ はじめに みなさん、microservices-demoをご存知でしょうか。
NOT A HOTEL Androidの技術構成
NOT A HOTELは、自宅にも別荘にもホテルにもなる「あたらしい暮らし」をつくろうとしています。 NOT A HOTELのアプリでは、利用予約からチェックイン・チェックアウト、ドアの解錠、スマートホームの操作、困った際のチャットサポートまで、一連のプロセスがアプリ内で完結するようになっています。この記事では、NOT A HOTELのAndroidアプリの技術構成について紹介します。 開発体制 NOT A HOTELは元々iOSアプリが先行しており、AndroidユーザーはWebアプリを利用していました。Androidアプリの開発が始まったのは2023年6月頃で、現在は2名のAndroidエンジニアが開発を行っています。 少人数かつ新規アプリ開発のため、最新の技術を駆使して高速に開発し、新規機能を追加しながら、既存のiOSアプリの機能に追いつくことが求められています。しかし、最初に作った
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Grafana Beylaの出来るコト出来ないコト
この記事は、2024/6/28に登壇したJagu'e'r Jagu'e'r O11y-SRE × CloudNative コラボ Meetupのリマスターになります。 分散トレーシングの悩み 突然ですが皆さん、分散トレーシングを実装する際、一度はこんなことを考えた経験はありませんか？ 特にクラウドインフラ出身の私は、意気揚々と分散トレーシングを実装しようとした時に、アプリケーションコードが書けずに全く歯が立たなかった苦い経験があります。。。 でも、、 ということで、本記事ではBeylaとは何者なのか、従来の分散トレーシングとは何が違うのかを解説していきます！💪 分散トレーシングとは？ 分散トレーシング 分散トレーシングとは、各アプリケーションの一連の処理の流れを可視化出来るようにしたものを指します。 トレーシング情報は、従来のモニタリングでは判別出来なかったアプリケーションのパフォーマン
背景 インストールする CAを作る trust-managerで配布する useDefaultCAs: true 実際にTLSを有効化して通信する TLSを有効化したAPIサーバをデプロイする サーバと通信する CAの更新 CAの保管場所 クラスタ外との通信の暗号化 まとめ 背景 近年、自社データセンター内の通信であっても盗聴を防げるように通信を暗号化することが求められており、うちの家のKubernetesクラスタでもなんとなく通信を暗号化しようかなという気持ちになった。一方、サービスメッシュによるmTLSのような比較的重厚な仕組みを導入するのはあまり前向きになれず、単にクラスタ内で使える証明書をcert-managerから発行して各サービスが扱うことで達成できないか考えた。 cert-managerでself-signedな証明書を作っても、その証明書のsecretにあるca.crtなど
【Python】Instagramのいいね、コメントなどを自動化する「instapy」のインストールについて解説しています。 「instapy（https://github.com/InstaPy/InstaPy）」は、Instagram インタラクションを自動化するツール、ライブラリです。インタラクションとは相互作用、やり取りという意味です。 ■Python 今回のPythonのバージョンは、「3.9.9」を使用しています。（Windows11）（pythonランチャーでの確認） ■InstaPyをインストールする InstaPyをインストールを行いますが、今回はpipを経由してインストールを行うので、まずWindowsのコマンドプロンプトを起動します。 pip install instapy 起動後、上記のコマンドを入力し、Enterキーを押します。 なお、今回は、pythonランチャ
Open Policy Agent(OPA)入門: ポリシーのロードと判定リクエストのやり方 | フューチャー技術ブログ
はじめにこんにちは、関です。 業務でOpen Policy Agent(OPA)に触れる機会があり、公式ドキュメントや関連記事を呼んだのですが、ユースケースやPolicyの記述方法についての説明に比べて、実際にどうやって判定をリクエストするのかやポリシーの管理方法について情報が少なかったため、こちらにまとめます。 OPAとは？Open Policy Agent（OPA, オーパと発音）は汎用PolicyEngineで、統一された方法でポリシーによる判定をすることが可能になります。 OPAが担うのは、あくまでポリシーによる意思決定部分で、その決定を適用するのは、OPAに意思決定を依頼する別のソフトウェアなどが行う必要があります。 そもそもPolicyとは？ポリシーとは組織の長期的な成功に重要なソフトウェアの振る舞いを支配する一連のルールのことです。 このルールには法的な要請や、技術的な要請、
Goで開発して3年のプラクティスまとめ(4/4): HTTP Server/logger編 yet another入門記事です。 part1 プロジェクトを始めるまで編 part2 cliアプリをつくれるところまで編 part3 concurrent GO編 part4 HTTP Server/logger編: これ part5以降・・・未定(unlikely) ご質問やご指摘がございましたらこの記事のコメントでお願いします。 (ほかの媒体やリンク先に書かれた場合、筆者は気付きません) Overview Goはhttp serverを実装できる強力なライブラリであるnet/httpを備えています。 httpで通信を行うソフトウェアを作る機会は多いというか、ほとんどのアプリが何かしらの通信を行うと思います。 net/httpのClient / Serverの書き方を紹介します client
はじめに 今までいくつか OpenTelemetry の記事を書いてきました(Go で書いたサンプルや OpenTelemetry Go SDK そのものを調べた記事や AWS Lambda からトレースを送る記事など)。公開しているコードは完成形のもので最初から動くコードを書けたわけではありません。今回 opentelemetry-rust を使ってトレースを可視化しようとすると案の定詰まったので、今回はトレースを可視化できない時どのような原因が考えられるかをいくつかあげていこうと思います。 インフラの設定に原因がある場合 Collector にトレースをバックエンドに送信する権限がない 例えば AWS X-Ray にトレースを送信する場合は OpenTelemetry Collector に X-Ray への書き込み権限が必要です。Amazon ECS on AWS Fargate で
参照した後述の文字コード対応テーブル JIS0201.TXTでは '~' (0x7E)を U+203E に定義していた。これをシンプルに U+7E にしたら解決。 全角チルダは、JIS0208.TXTでは全角’～’（0x2141)を波ダッシュのU+301C に定義していたが、これを上記サイトの通り全角チルダ U+FF5E にしたら無事に解決した。念のため、U+301Cのときも同じフォント形状に対応させた。 その他、機種依存文字や特殊な記号文字について上手く表示されないものが幾つか見つかったので個別に対応してなんとか解決（完全ではないけどまあ実用上はOKかな）。本当に文字コードで苦戦しました。 以下、特殊な文字の変換例です。各文字の上段がMS Gothicで、下段がKST32Bです。 最後まで悩んだのが赤丸で囲んだ '∥' のフォント。KST32Bを全部描画してみたけど、この形状は無い模様。
※この投稿は米国時間 2021 年 9 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 御社のアプリケーションがマイクロサービス アーキテクチャにデプロイされていれば、アーキテクチャに付随するネットワーキングの課題についてよく理解されていると思われます。Traffic Director は、グローバル サービス メッシュでマイクロサービスを実行する際に有用です。このメッシュによってマイクロサービスのネットワーキングが処理されるため、ビジネス ロジックとアプリケーション コードに注力することができ、基盤となるネットワークの複雑性を認識する必要がありません。アプリケーション ロジックをネットワーキング ロジックから分離することで、開発速度を向上させ、サービスの可用性を高め、組織に最新の DevOps プラクティスを導入できます。 Kubernetes 上での一般
BigQueryを利用するアプリケーションの開発時に、データベースの操作をどのようにテストするかが課題となります。その際の主な選択肢は下記となります。 BigQueryのモックを作成してローカルでテストする テスト用のBigQuery環境を用意してGCP上でテストする bigquery-emulatorを利用してローカルでテストする 1. BigQueryのモックを作成してローカルでテストする 概要 BigQueryの操作をモック化し、テスト時に実際のBigQueryに接続せずにテストを行う方法です。 メリット テストの実行が高速 外部サービスに依存しないため、安定したテスト環境を構築可能 ネットワーク接続不要 デメリット 実際のBigQueryの動作と異なる場合があるため、信頼性が低い 複雑なクエリや大規模データセットのテストが難しい 2. テスト用のBigQuery環境を用意してGCP
今回は Prefix Tuning の検証 のご紹介です。扱うモデルサイズがだんだんと大きくなるばかりの昨今。ファインチューニングは LoRA 的なコトでどうにかするとしても、それなりのサイズ感のモデルから派生したファインチューニング済みモデルを複数デプロイしようとすると、GPU メモリが足りません。そこを Prefix Tuning でどうにかしたいというお話です。 1. はじめに 前回 RLHF で散々苦労して、その後すぐに LIMA1 の論文を読んで魂抜けそうになりました。。。 最近、身の回りでは GPT-4 やら Function calling やら LangChain やら Llama2 やらの話題が多くてですね、 「学習済みモデルを拾ってきて手元のデータで学習！」とかしていると周囲とのズレを感じずにはいられません2 。。。 とはいえ、流行りものは沢山の人が記事を書くので、今回
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
We need visual programming. No, not like that.
gRPC Over HTTP/3
Istioのenvoyサイドカーをデバッグする - CADDi Tech Blog
ベースマキナのエンジニアブログを始めます - ベースマキナ エンジニアブログ
Finding Memory Leaks in the Ruby Ecosystem
Deno 1.45: Workspace and Monorepo Support
Bufstream: Kafka at 10x lower cost
JJUG CCC 2024 Springに参加してきました - AOEの日記
1ヶ月に4回登壇して学んだ。LTテーマの決め方や登壇するメリット。
grpc-ecosystem/grpc-spring を使ってみる - Qiita
TypeSpec が OpenAPI や JSON Schema を書くのに良かったので紹介する
祝シリーズA調達！Resilireのテックスタック全貌を説明するよ | Resilire Tech Blog
テレメトリーを関連付けて Grafana で Metrics から Trace にジャンプする
Bufを利用して、Grpcサーバ(Go)を爆速で作成する！
開発事例 : I/O クロスワード
trust-managerを利用してk8sクラスタ内のオレオレ証明書をちゃんと検証する - ぽよメモ
【Python】Instagramのいいね、コメントなどを自動化する「instapy」のインストール
Goで開発して3年のプラクティスまとめ(4/4): HTTP Server/logger編
OpenTelemetry でトレースを可視化できない時のトラブルシュート
KST32B.svgフォントセット一応完成、公開
Traffic Director についての説明 | Google Cloud 公式ブログ
BigQueryを利用したアプリケーションのローカルテスト
はじめての自然言語処理 Prefix Tuning の検証 | オブジェクトの広場