michael-unltdのブックマーク / 2022年10月12日

michael-unltd id:michael-unltd

2022年10月12日のブックマーク (2件)

[アップデート] BigQuery で search index (Preview) が利用可能になりテキストや半構造データを効率的に検索可能に | DevelopersIO
この様にテーブルが作成されます。インデックスの作成 search index を作成します。以下のようにCREATE SEARCH INDEX文を入力してRunをクリックします。 CREATE SEARCH INDEX desc_index ON search_index.release_notes(description); INFORMATION_SCHEMA で search index を確認します。 SELECT table_name, index_name, ddl, coverage_percentage FROM search_index.INFORMATION_SCHEMA.SEARCH_INDEXES WHERE index_status = 'ACTIVE'; インデックスを確認するとcoverage_percentageが 0 となっています。これはインデックスを
michael-unltd 2022/10/12
bigquery
リンク
BigQueryテーブルでデータが重複している場合の対応
BigQueryにはデータが一意であることを制約する概念がない（ユニーク制約がない）ので、例えばcloudSQLからBQにデータ転送をした場合に、cloudSQL側でユニーク制約がある場合はBQ側でユニークになっているかどうかは別途確認を挟むのがよくある話かと思います。運用上何らかの原因でユニークでなくなり、つまりデータが重複してしまった場合の対応について記載します。 1. 重複のチェック今回はbigquery-public-dataを利用しており、実際の重複は無いですが自身のテーブルに置き換えて確認します重複があるunique_keyを出すクエリ SELECT unique_key, COUNT(1) FROM `bigquery-public-data.chicago_taxi_trips.taxi_trips` GROUP BY 1 HAVING COUNT(1) > 1 SE
michael-unltd 2022/10/12
bigquery
リンク
- 2022年10月13日
- 2022年10月12日
- 2022年10月10日