takaya030のブックマーク - はてなブックマーク

GitHub Copilot はどのようにして空気を読むか？ - ABEJA Tech Blog
"Everything is true," he said. "Everything anybody has ever thought." この記事は ABEJAアドベントカレンダー2023 の 17 日目の記事です。こんにちは。システム開発部の石川 (@ishikawa) です。昨年のいまごろは Objective-C ばかり書いていましたが、今年は念願の Swift で QR コードリーダーを書き直したり、React Native の C++ コードをデバッガで追いかけて不思議なバグの修正をした年でした。 react-native で 196,607 回 fetch() すると通信できなくなるバグを直した https://t.co/lvNC3PL85b— takanori_is (@takanori_is) 2023年9月21日普段の業務では TypeScript と Go、Pyt
takaya030 2023/12/18
github

copilot
リンク
外部データをRetrievalしてLLM活用する上での課題と対策案 - ABEJA Tech Blog
はじめに ABEJAでデータサイエンティストをしている服部です。今回はLLMで外部データを使うケースについてのお話をしたいと思います。はじめに LLMと外部データの利用 RetrievalとLLM 0. (事前準備)参照したいテキストデータをDBに格納 1. ユーザの入力文とのテキスト類似度を計算して、関連テキストを抽出する(Retrieval) 2. 関連テキストをLLMのプロンプトに入れ込み、ユーザの入力文に回答する。 Retrieval時の課題 LangChainでの用意 Case1: それぞれの文章がRetrievalしにくい形で保存されている対策案: ページ構造を意識した形で各文章を格納する他の対策案聞き方を明確にする類似度を測るクエリ文章を置き換える不要そうな文章をデータから削除するデータ自体をLLMで整形し直す Case2: 未知の単語を含む仮説: ニャオハ
takaya030 2023/07/03
llm

機械学習

langchain
リンク
慣れてきたらチャレンジしてみよう！BigQueryのパフォーマンス最適化 - ABEJA Tech Blog
自己紹介 I/Oや通信的観点分割されたクエリを取り除く過剰なワイルドカードテーブルを避けるテーブルを日付別にシャーディングすることを避ける & テーブルの過度な分割を回避する JOIN を使用する前にデータを削減するコンピューティング的観点結合パターンを最適化する結合で INT64 データ型を使用して費用を削減し、比較パフォーマンスを向上させる同じ共通テーブル式（CTE）を複数回評価するのを避けるクエリのアンチパターン自己結合データスキュー公式にはない項目ですが個人的に気になったので単一行を更新または挿入する DML ステートメント非正規化の検討ネストされて繰り返されているフィールドを使用する採用情報自己紹介こんにちは、真壁（@Takayoshi_ma）です。先日読んだGoogle Cloudの公式ドキュメントが個人的に勉強になったので内容についてまとめ
takaya030 2023/05/16
bigquery
リンク
1