LLMのハルシネーション制御や強化学習自動化等に関する技術調査 【技術動向調査】 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、性能改善をテーマとした論文を新たに4つ紹介します。 目次 今回のテーマ 論文1: Chain-of-Verification Reduces Hallucination in Large Language Models 選定理由 論文概要 手法の具体的な流れ 結果 課題 関連論文 論文2: RAIN: Your Language Models Can Align Themselves without Finetuning 選定理由 論文概要 手法概要 結果 利点 課題
データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer
【コスト最適化】BigQuery Editions などの解説と見積もり方法
2023 年度の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、おさらいも交えながら説明をさせていただきたいと思います。また、弊社内で実際に利用している BigQuery のデータセットに対し、この変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing (ストレージ料金)と呼ばれるス
BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
BigQuery スロット需給バランスの改善 〜クエリのパフォーマンス改善の事例から〜｜Mercari Analytics Blog
メルカリ Analytics Infra チームの na0 です。この記事では、メルカリにおける BigQuery クエリの改善によるスロット需給バランスの改善について紹介します。 2023-03-30 には、新料金体系 BigQuery Editions も発表されています。こちらには、読み取りデータ量課金（オンデマンド モデル）の値上げも含まれており、スロット量課金（BigQuery Editions）との損益分岐点の変化から、クエリのパフォーマンスについて意識する組織は増えていくことでしょう。 今回紹介するクエリの改善は、データ利用者が意識することで、メリットとなる施策です。この記事をきっかけに、BigQuery 利用者がパフォーマンスを意識してクエリを書くことや、必要に応じて詳しい人に相談できるようになることを期待しています。 「クエリが遅い！」問題メルカリ社内の BigQuery
ソシャゲの維持費が内訳まで丸見え 「偽りのアリス」に赤裸々すぎる「何かのカウンター」実装
アニメ・ゲーム事業者のビジュアルアーツ（大阪市）は7月31日、スマートフォンゲーム「偽りのアリス」に「何かのカウンター」を追加した。月間のサーバ維持費と、消費されたゲーム内通貨を数えるもので、通貨消費量が維持費を下回るとサービス終了に向かう。同社は「ソーシャルゲーム運営費用の参考になさってください」と説明している。 カウンターの詳細によると、偽りのアリスの8月の維持費は「クラウドサーバ費」が114万81円、「サーバ保守費」が42万4286円、「チャットシステム費」が9万1429円、「カスタマーサポート費」が30万536円で、合計195万6331円。 8月1日時点でゲーム内通貨消費量は87万2843で、進捗率はおよそ44.6％。通貨はゲーム内の「カンパショップ」で提供。「カンパいただけますと運営が泣いて喜びます」としている。 サーバ維持費は毎月変動する可能性がある。また「状況の変化やOSの更
BigQueryのクエリの可読性と保守性を高めたい - Qiita
この記事は MIXI DEVELOPERS Advent Calendar 2022 - Qiita の8日目です。 エンジニアからPOにジョブチェンジしてちょうど1年になりました。開発からもすっかり手離れし、もはやコードらしきものを書くのはBigQueryぐらいです。 解析をするときはなぜか時間に追われていることが多いためついつい雑な書き方になりがち。後から何がしたかったのか思い出せないクエリになっていることもしばしば……。 エンジニアらしく可読性と保守性の高いクエリにしていきたい！という気持ちをこめて、よく使う変換式や関数をまとめてみました。 初歩的なところも多く記載していますが、改めてなにか一つ学びがあれば嬉しいです。 はじめに 記事の対象者 基本的なSQLは理解している人 毎回検索してコピペでなんとかしてしまいしがちな人 GoogleAnalytics4（以下GA4）＋BigQue
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
