タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Next.jsのISRを使ってスプレッドシートをデータソースにして業務フローを変えた話 - パンダのプログラミングブログ
Next.jsのISRを使って業務フローを変えた話 この記事は Next.js アドベントカレンダー 2020 の最終日の記事です。 本記事では、Next.js の ISR の機能を使って業務フローを変えた話を紹介します。Incremental Static Regeneration（以下、ISR） とは、Next.jsアプリケーションをビルドしてデプロイした後も、特定のページのみ定期的に再ビルドする機能です。 ISRでのリクエスト先は Google Apps Script（以下、GAS）にしました。GAS でスプレッドシートのデータを返却する API を作成したので、コードも併せて紹介します。 作ったものは書籍の一覧更新を自動化するもの 開発しているサービス「弁護士ドットコムライブラリー」を紹介します 私は仕事で 弁護士ドットコムライブラリーというサイトを開発しています。このサイトは弁護
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
さらに追記: 2022-06-10 https://github.com/basemachina/bridge に関しては archive された状態で再公開されたそうです。沢山の質問を Twitter の DM にていただいていますが、前職の経験は個人的に凄くためになったので働けてよかったと思っております。また今後の会社の方向性に関して私は一切把握しておりません。宜しくお願い致します。 追記: 2022-06-10 筆者はベースマキナを退職しました。それまで公開されていた https://github.com/basemachina/bridge や公式ドキュメントに記載されていた本記事へのリンクも削除され、こちらに記載する内容は異なる部分があると考えられるため、非公式のものとさせていただきます。 先日、機密性の高い自社データを取り扱う社内システムを立ち上げるローコードサービス『Base
マイクロソフト、「Copilot Connectors」発表。CSVファイルからOracle、Salesforceなどさまざまなサービスやデータソースと接続しAIが理解
マイクロソフト、「Copilot Connectors」発表。CSVファイルからOracle、Salesforceなどさまざまなサービスやデータソースと接続しAIが理解 マイクロソフトは日本時間5月22日から開催中のイベント「Microsoft Build 2024」で、Microsoft Copilotをさまざまな外部のサービスやデータソースと接続することで、Copilotがそれらのデータを読み取り理解できる新機能「Copilot Connectors」を発表しました。 Copilotが外部サービスの情報や状況を読み取って理解する Microsoft CopilotはもともとOutlookやExcel、Teamsといった同社が提供するMicrosoft 365製品のデータを読み取って理解し、それを基に生成AIが文章やプレゼンテーションの作成などを提供するサービスとして登場しました。 Co
CData Sync の無償版ライセンスで、Salesforce やkintone を含む全データソースの利用が可能に！ - CData Software Blog
こんにちは、テクニカルサポートエンジニアの宮本(@miyamon44)です。 CData Sync 無料版 の Starter ライセンスではこれまで対象となるコネクタがかなり限定されていましたが、なんと全データソースをご利用いただけるようになりました！ 全データソースなので、もちろん Salesforce や kintone、BigQuery など、Standardライセンスや Proffesional ライセンスでしか使用できなかったコネクタも使えるようになります。 とは言え Starter ライセンスでのご利用制限などもありますので、そういったところを本記事ではご紹介していきます。 ちなみに今回ご紹介する CData Sync は下記リンクからダウンロードできます。 www.cdata.com ライセンス料は？ 対象コネクタは？ レプリケーション件数の制限は？ 差分更新はできる？ S
Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 | Amazon Web Services
Amazon Web Services ブログ Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベース
CData Software Japanは、PythonアプリケーションからSalesforce、Marketo、Dynamics 365、kintone、BigQueryなどへのデータ連携を可能にする「CData Python Connectors」を、4月16日にベータリリースした。 「CData Python Connectors」は、PythonからSaaS、クラウドDB、NoSQLなどへのデータ連携を効率化し、Python Databaseインターフェース（DB-API）の提供によって、Pythonの主要ツールであるJupyter Notebook、SQLAlchemy、pandas、Dash、Apache Airflow petlなどから使用できる。 汎用性の高いデータ接続の抽象化レイヤーとして機能することで、Pythonエコシステムへのシームレスな統合、Pythonからのデー
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能
Excel 365からノーコードでSalesforceやkintone、Snowflakeなど150以上のデータソースに双方向接続可能、CData Connect Cloudが新機能 CData Software Japanは、同社が提供するクラウドサービスCData Connect Cloudの新機能として、Webブラウザで利用するExcel 365からノーコードでSalesforceやkintone、Snowflake、Amazon Redshift、MySQL、PostgreSQL、SAP HANAなど150以上のデータソースに双方向で接続可能にした「CData Connect Cloud for Excel 365」を発表しました。 単にExcel 365の機能を用いてさまざまなサービスからデータを取得して分析や加工ができるだけでなく、Excel 365で書き換えたり追加したりした
画像の評価、複数のデータソースで記事分析…Googleデータポータルを便利に使う7の方法 - Media × Tech
こんにちは、スマートニュースの有野寛一です。 普段、アプリ「SmartNews」で日々媒体社が配信する記事が、ユーザーにどのように読まれているのかを分析する業務に携わっています。 分析結果は依頼者に、「どのように読まれた」かの抽象的なコメントだけを共有する場合もあれば、細かい数値を集計してExcelやスプレッドシートなどで再加工できるデータで渡す場合もあります。 しかし、PDFやドキュメントとして送付するとデータ量が多くなってしまったり、データを触りながら考察を深めたいニーズがあったりする際には、Googleのデータポータルで渡すことが増えてきました。 marketingplatform.google.com データポータル（旧データスタジオ）とは、Googleが提供するクラウドベースのデータ分析ツール。Google Analyticsやスプレッドシート、Google広告のデータを簡単に結
質のいいデータソースはデータ分析とデータ活用に大きく役割を果たしています。ビッグデータの収集は大変な仕事だと思っている方は多いかもしれませんが、実はそうでもありません。本記事では政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア、不動産・観光、文化・教育など、カテゴリ別に誰でも利用できる70選の面白いオープンデータソースの一覧を整理いたしました。ぜひデータ分析にお役に立てると思います。 一、政府機関の公開データ 1.日本総務省統計局 日本総務省統計局、統計研究研修所の共同運営によるサイトです。国勢の基本に関する統計の企画・作成・提供、国及び地方公共団体の統計職員に専門的な研修を行っています。 2.DATA.GO.JP これは日本各府省の保有データをオープンデータとして利用できる場をつくり、データの提供側・利用側双方にオープンデータのイメージを分かりやすく示すことを
BigQueryやRedshiftへ、ノーコードで多様なデータソースから定期データ転送、分析可能に。自動で差分更新にも対応［PR］
BigQueryやRedshiftへ、ノーコードで多様なデータソースから定期データ転送、分析可能に。自動で差分更新にも対応［PR］ Google CloudのBigQueryやAmazon Redshiftといったクラウド型データウェアハウスの登場により、大量のデータを分析しビジネスに活用することが以前より手軽で低コストに実現できるようになりました。 クラウド型データウェアハウスの利点は、小さな初期投資で最初から大規模な処理能力を利用でき、事実上ほぼ無制限にデータを蓄積可能で、機械学習なども含めたさまざまな分析ツールが活用できること、などが挙げられます。 小さな初期投資で最初から大規模な処理能力が使える こうしたクラウド型データウェアハウスを活用するには、まず大量のデータを転送し、集約する必要があります。従来のオンプレミスにおけるデータウェアハウスでは、データ転送の前にまずデータの加工や分
Amazon Q Businessで色々なデータソースを扱ってみた - Taste of Tech Topics
はじめに 昨日の記事に続き、新人エンジニアの木介が、Amazon Q Businness の紹介をしたいと思います。 この記事では、Amazon Q Businnessで、さまざまなデータソースを用いたRAGアプリケーションの作成方法と、guardrailsの機能を利用した回答を適切に制限する方法について紹介をしていきます。 acro-engineer.hatenablog.com はじめに Amazon Q Businessの概要 さまざまなデータソースで作成してみる 1. S3内のデータのQA 2. Webサイトの要約 guardrailsによる回答の制限 まとめ Amazon Q Businessの概要 Amazon Q BusinessとはRAGアプリケーションを各項目を設定するだけで簡単に作成できるサービスであり、その特徴については以下にまとめます。 1. 回答に利用された情報源
データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ
はじめに こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI、CRMと連携し、データの管理と可視化を効率化しています。 弊社では主にBIツールとしてLooker Studioを使用しています。また、Google SheetsはConnected Sheetsの機能を使い、BigQuery上に構築されたデータ基盤のデータを用いて簡易的にデータ分析や可視化を行うツールとして利用しています。しかし、これらのツールはOpenMetadataのビルトイン機能ではサポートされていませんでした。そのため、データ変更時の影響範囲の把握や
デジタル技術の進化により、ビジネスは大きく変わりつつあります。IoTにより取得できる多種多様なデータと、既存の業務データとを組み合わせて、新たな価値へとつなげるなど、システムは様々なデータ（システム）と連携できることが求められています。PostgreSQLには、Foreign Data Wrapper（日本語では「外部データラッパー」と呼ばれ、以降「FDW」と略します）という機能があり、RDBやNoSQLなど様々な外部データにアクセスできます。ここでは、FDWの概要と仕組み、利用時のポイントについて説明します。なお、この記事は、PostgreSQL 11.1で検証しています。 1. FDWとは FDWとは、SELECT文やUPDATE文などのSQL文を使用して、外部にあるデータにアクセスできるようにするための、PostgreSQLの拡張機能です。 FDWは、PostgreSQLが公開してい
こんにちは。インフラエンジニアの永井(shnagai)です。 RDS(MySQL)にあるデータを検索エンジン(今回でいうとOpenSearch)に同期したいというプロジェクトがあり、AWS Database Migration Service(以下、DMS)について調べる機会があったので、これまでAWS SAの方に聞いたりwebで調べたことについてざっとまとめてみました。 この記事はコネヒト Advent Calendar 2021の7日目の記事です。 やりたいことのざっくり要件 最初に今回調査をするトリガとなったプロジェクトの要件を簡単に紹介します。 端的に言うと、RDSにある特定のテーブルをAmazon OpenSearch Service（以下、OpenSearch）に同期したいというもので RDSにある特定のテーブルのデータをOpenSearchに同期 将来的にはニアリアルタイム(
Googleが生成AIを使用してさまざまなデータソースを横断的に検索できるVertex AI Searchの医療関係者向けの新機能を発表
2023年10月8日から11日にかけてラスベガスで開催されているヘルスケア業界向けのイベント「HLTH '23」において、Googleが医療関係者向けにVertex AI Searchの新機能を発表しました。 Google Cloud talks generative AI at HLTH ‘23 | Google Cloud Blog https://cloud.google.com/blog/topics/healthcare-life-sciences/google-cloud-talks-generative-ai-at-hlth-23/ Google Cloud Adds New Features to Vertex AI Search for Healthcare and Life Science Companies - Oct 9, 2023 https://www.goog
Google スプレッドシートやCSVをデータソースにする Google スプレッドシートやCSVをデータソースにするには、Google Cloud Platformの設定→Google スプレッドシートやCSV側の設定→Redash側の設定、と三段階で設定していきます。 Google Cloud Platformの設定 Google スプレッドシートに連携するためにはGoogle Cloud Platform にアクセスする必要があります。 以下のURLからGoogle Cloud Platform のAPIとサービスにアクセスしてください。（Googleアカウントが必要です） https://console.cloud.google.com/apis/credentials プロジェクトを作成をクリックします。次の画面がでたらそのまま「作成」を押してください。 「＋認証情報を作成」をク
Looker Studio（旧：データポータル）は、多機能でありながら無料で利用可能なダッシュボードツールです。 しかし、組織内で複数人がこのツールを使用する場合、従業員の退職や部署の異動に伴う権限の譲渡が正しく行われなかった場合、ダッシュボードが使用できなくなることがよくあります。 この問題を回避するためには、運用を開始する際に、各種権限の内容について、違いを正しく理解し、必要に応じて権限を譲渡する運用を定めておくことが非常に重要です。 本記事では、Looker Studioの管理において重要な要素である「ユーザータイプ」、「データソース」、「データの認証情報」のそれぞれの違いについて解説します。 ユーザータイプについてデータソースについてデータの認証情報についておわりに ユーザータイプについて ユーザータイプは、レポートへ招待したユーザー（メールアドレス）に対して付与できる権限を指しま
QuickSightのデータソースにプライベートサブネットのAuroraを設定する | DevelopersIO
QuickSightのデータソースとして、プライベートサブネットにいるAuroraクラスターを定義する機会があったのでレポートします。 構成 プライベートサブネットにいるAuroraクラスターに、非VPCリソースであるQuickSightがどのようにアクセスするのでしょうか？ QuickSight用のENIを作成します。これによりQuickSightはVPCネットワーク内にアクセスができるようになるので、Auroraクラスターにもアクセスできるようになります。 通信要件 QuickSight - Auroraクラスター間の通信を可能にする必要があります。ポイントとなるリソースは2つ、両方ともセキュリティグループです。先程の図にセキュリティグループを書き足すと以下のようになります。わかりにくくて申し訳ありませんが、ENI、Auroraクラスター両方にセキュリティグループがアタッチされるので、
きじとら猫がとても好きな人 on Twitter: "JAXAのALOS衛星のDSMデータと国土地理院の基盤地図情報を組み合わせれば，日本全国のそれっぽい3D都市モデルがどこでも無料で作れてしまう事に気が付いてしまった．．． データソースも書きやすくて，論文とかにも使いやすそうでな… https://t.co/iLWDToUXXH"
JAXAのALOS衛星のDSMデータと国土地理院の基盤地図情報を組み合わせれば，日本全国のそれっぽい3D都市モデルがどこでも無料で作れてしまう事に気が付いてしまった．．． データソースも書きやすくて，論文とかにも使いやすそうでな… https://t.co/iLWDToUXXH
あらゆるストレージとデータソースをコンテナ化して統合する「Rook」の魅力：Kubernetesストレージの基礎【後編】 Rookは、各種ストレージハードウェアやクラウドストレージ、SQLおよびNoSQLデータベースをまとめてソフトウェア定義ストレージ化する。Kubernetesユーザー注目のソリューションの魅力と課題を紹介する。 コンテナがIT業界を席巻している。その魅力は抽象化にある。つまり、コンテナを使えば実行基盤からアプリケーションを切り離すことができる。 当然、ソフトウェアにはハードウェアが必要だ。だがKubernetesなどのコンテナオーケストレーションツールを介してコンテナを使えば、オンプレミスでもクラウドでもアプリケーションを実行できる動的な環境を構築できる。コンテナとコンテナオーケストレーションツールには、自動化を活用して素早くアプリケーションを作成、管理、拡張、停止する
以前このブログで紹介したMaven + Eclipseでマルチモジュールプロジェクトを作成するのなかでサンプルコードで示したものの特にマルチデータソースのやり方についての解説です。 この記事に書いてある通り、PostgreSQLとMongoDBを組み合わせる場合を例として書いてあります。 完成版のソースコードはこちらです。 ミドルウェア バージョン Spring Boot 2 Java 1.8 Apache Maven 3 細かいバージョンはGitHubを参照してください。 Spring-Data-JPAとSpring-Data-MongoDBを利用した場合のやり方を解説します。 構成の概要 プロジェクト/モジュール/パッケージは次のようになっています。 ２モジュールありmulti-module-batchはサンプルを動かす利用側コード multi-module-commonはデータアクセ
本記事は 【Advent Calendar 2023】 22日目の記事②です。 🎄 21日目 ▶▶ 22日目記事① ▶▶ 本記事 ▶▶ 23日目 🎅 坂本です。 昨年に続いてAdvent Calendarに執筆させていただきました。 ※本記事は下記の2023-10-31に投稿した記事の続編になるため、ご覧になっていない方はまずこちらを参照していただけると幸いです。 Looker Studioのデータソースで BigQueryのカスタムクエリを使用する場合の注意点 - NRIネットコムBlog Looker StudioにBigQueryのカスタムクエリを使用した場合の問題点 テーブルの作成 レポートの初期設定 データソースの設定 [期間設定]コントロール、グラフの追加 クエリ実行内容の確認 まとめ Looker StudioにBigQueryのカスタムクエリを使用した場合の問題点 前回
大量のパーティションを持つデータソースにはAWS Glue Data Catalogパーティション・インデックスを有効にしてクエリを最適化しよう | DevelopersIO
AWS上のデータ基盤では、Athena,EMR, Redshift Spectrumからのデータアクセスに、AWS Glue Data Catalogのメタデータ管理し、 データ基盤では、データI/Oを軽減するために、パーティション分割がよく用いられます。 例えば、メタデータ管理サービスの AWS Glue Data Catalog がパーティション管理できるように、S3バケット上にデータを s3://BUCKET/PREFIX/year=2022/month=03/day=25/test.gz というようなパスで保存します。 パーティション化によって、スキャン量の軽減には成功するものの、経年とともにパーティション数があまりにも増えると、クエリ時間が大幅に伸びるという課題に遭遇するケースもありました。 パーティション一覧の取得と利用するパーティションの絞り込みに多くの時間を費やすためです。
データポータル（旧データスタジオ）のレポートにおいて、複数のデータソースにあるデータをグラフなどで使いたいときは、「混合データ」の機能を利用します。「日付」や「店舗名」など、共通するキーとなる項目を使ったデータソースの統合が可能です。 本コンテンツでは、無料で使えるBIツール「Googleデータポータル」（旧：Googleデータスタジオ）の使い方を連載形式で解説していきます。隔週ペースで更新予定。 連載の記事一覧 複数のデータを掛け合わせた視覚化を実現 連載も第11回となりました。前々回は「データソースの中に追加する計算フィールド」、前回は「グラフに直接追加する計算フィールド（埋め込み計算式）」と、計算で求める指標についての解説が続きました。 今回のテーマは「混合データ」です。複数のデータソースの統合方法と言い換えてもいいでしょう。 これまでは「1つのデータソース」内の項目を使って、グラフ
tblsがデータソースとしてCloud Spannerに対応した - Copy/Cut/Paste/Hatena
tbls now supports Cloud Spanner !!! https://t.co/TeTg4ulPb6— k1LoW (@k1LoW) 2019年8月12日 約1,000円の資金を投じて作りました。 1000円超えてた。。。 pic.twitter.com/b60FVMw5V6— k1LoW (@k1LoW) 2019年8月13日 Cloud Spannerのスキーマをtblsで出力するとどのようになるのか 例えば、 https://github.com/k1LoW/tbls/blob/master/testdata/spanner.sql のSQLで作成したデータベーススキーマから以下のようなドキュメントが生成されます。 https://github.com/k1LoW/tbls/tree/master/sample/spanner 使い方 tblsの他のRDBMSと使い
Microsoft Teams で使えるPower Apps 用のデータソース「Dataverse for Teams」がアップデート - 吉田の備忘録
Microsoft Teams で使えるPower Apps 用のデータソース「Dataverse for Teams」がアップデート Dataverse for Teams の提供を2020年から始め、利用者の皆さんからのフィードバックは明確でした。より多くの場所で、より多くのところで利用したいという点と、もし必要であればDataverse へアップグレードできるようにしたいを要望を頂きました。 本日（2021年3月11日）より、以下のアップデートの提供を開始しました。 より多くの環境が利用可能に Dataverse for Teams の提供を始めたころは、500環境を上限としていました。開始後、利用者の方々が活用し始めて、より多くの環境（めちゃくちゃ多くの環境）を要望されることがわかりました。そして、これを業務で活用するには数千の環境が必要という場合もあることがわかりました。 そこで
富士通株式会社 ソフトウェアプロダクト事業本部 データマネジメント事業部 デジタル技術の進化により、ビジネスは大きく変わりつつあります。IoTにより取得できる多種多様なデータと、既存の業務データとを組み合わせて、新たな価値へとつなげるなど、システムは様々なデータ（システム）と連携できることが求められています。PostgreSQLには、Foreign Data Wrapper（日本語では「外部データラッパ」と呼ばれ、以降「FDW」と略します）という機能があり、RDBやNoSQLなど様々な外部データにアクセスできます。ここでは、FDWの概要と仕組み、利用時のポイントについて説明します。なお、この記事は、PostgreSQL 11.1を前提として作成しています。 1. FDWとは FDWとは、SELECT文やUPDATE文などのSQL文を使用して、外部にあるデータにアクセスできるようにするための
元記事：https://www.octoparse.jp/blog/70-amazing-free-data-sources-you-should-know/ ほとんどの人は、ビッグデータの収集は大変な仕事だと考えていますが、そうでもないと思います。実際にはオープンデータソースがたくさんあり、誰でも利用できます。ここでは、政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア、不動産・観光、文化・教育などに関するオープンデータソースを70選まとめました。 #一、政府機関 1.日本総務省統計局: 日本総務省統計局、統計研究研修所の共同運営によるサイトです。国勢の基本に関する統計の企画・作成・提供、国及び地方公共団体の統計職員に専門的な研修を行っています。 2.DATA.GO.JP: これは日本各府省の保有データをオープンデータとして利用できる場をつくり、データの提供側・
[アップデート]Amazon Redshiftで様々なデータソースからデータをロード出来るInformatica Data Loaderが統合され使用出来るようになりました#reinvent | DevelopersIO
お疲れさまです。とーちです。 AWS re:Invent 2022 が始まり数多くのアップデートが発表されています。 本日はその中の Amazon Redshift(以後 Redshift)のアップデートの一つをお伝えします。 Redshift に Informatica Data Loader for Amazon Redshift が統合されて、Redshift のコンソールから使えるようになったというアップデートになります。 とりあえずまとめ Google Cloud Storage や Salesforce など様々なデータソースから Redshift にデータをインポートできる Informatica Data Loader for Amazon Redshift は無料で使えて、Redshift のコンソール画面から直接アクセスできる ただしデータソースやインポート先の Red
![[アップデート]Amazon Redshiftで様々なデータソースからデータをロード出来るInformatica Data Loaderが統合され使用出来るようになりました#reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a80ccfd3c405c137d762fe1db76c9e087e38d35/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022_new-service.png)
[アップデート] Amazon QuickSight の S3 データソース作成時にカスタムロールを指定して、権限をオーバーライド出来るようになりました | DevelopersIO
[アップデート] Amazon QuickSight の S3 データソース作成時にカスタムロールを指定して、権限をオーバーライド出来るようになりました いわさです。 Amazon QuickSight ではサービスロール経由で AWS の各サービスをデータソースとして構成します。 以下の記事ではデフォルトのサービスロールに毎回新しいバケットを追加するのが面倒だったのでカスタムロールで処理する方法を紹介しました。 本日 QuickSight のアップデートでデータソース作成時にカスタムロールを指定することが出来るようになっていました。 ユースケースとしては、管理者がアカウント全体のサービスロールで全ての S3 バケットへのアクセスをオフする運用だった場合でも、データソース作成時に S3 バケットへアクセス出来るカスタムロールを指定することで S3 へのアクセスを許可出来るというものです。
![[アップデート] Amazon QuickSight の S3 データソース作成時にカスタムロールを指定して、権限をオーバーライド出来るようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f354b3d296e37eadd7f180e382cd4f1a65badb0a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-quicksight.png)
QuickSight のデータソース接続構成に AWS Secrets Manager が使えるようなりました | DevelopersIO
いわさです。 API だけ更新されていてまだアップデート履歴が出ていないのですが、どうやら QuickSight でデータストアを構成する際に Secrets Manager を使えるようになったようです。 本日はこれまでどういう状況だったのかを確認と、新しい機能を試した結果を共有したいと思います。 今回の機能は QuickSight でもセキュリティのベストプラクティスを適用しやすくなるアップデートなので、運用環境でご利用されている方は是非ご検討ください。 いままで 前提の知識として、QuickSight で「ダッシュボード」を作成するためには「分析」を作成する必要があります。 また、「分析」を作成するためには「データセット」を作成する必要があります。 そして「データセット」を作成する際には「データストア」を構成します。 S3 などをデータストアに指定する場合は QuickSight が
はじめに この記事では、GraphQL のデータソースに microCMS を利用する方法を書いてみます。GraphQL は BFF として利用するケースも多いですが、GraphQL としては、データがどこから来たのかは重要ではありません。データベースや RESTful API、マイクロサービスから取得するといった選択肢があります。今回は microCMS をデータ取得元にすることを想定し、その構成や構築手順を書いていきます。（以下の図の REST API の部分が mciroCMS になるイメージです。） GraphQL is data source agnostic 出典: https://www.apollographql.com/blog/graphql/basics/what-is-graphql-introduction/ なぜ microCMS を使いたいのか microCM
複数のデータソースからイイ感じデータを集めてひとつのデータセットに収める、Power BI レポートを展開していくうえでとても便利な機能である。データソースごとの プライバシー レベル (分離レベル) を適切に設定してあげるとよいのだけど、目的としてはデータロードのパフォーマンス向上とちょっとした DLP。 大事なこと 異なるデータソースのクエリをマージするときなど、プライバシー レベル についてよく知っておいた方がよい。 Understand Power BI Desktop privacy levels - Power BI | Microsoft Docs Power BI Desktop のプライバシー レベルを理解する - Power BI | Microsoft Docs The Ignore the Privacy levels and potentially improve
Amazon Web Services ブログ Amazon QuickSight のデータソース間で結合する Amazon QuickSight は、クロスデータソース結合のリリースを発表しました。これにより、複数のデータソースに接続し、Amazon QuickSight でこれらのソースのデータを直接結合して、ダッシュボードの作成に使用するデータセットを作成できます。たとえば、顧客 ID を含む Amazon Redshift のトランザクションデータを、顧客プロファイルデータを含む Salesforce テーブルと結合して、注文と顧客の詳細を含むインタラクティブなダッシュボードを作成できます。Amazon QuickSight の外部の単一のソースにデータを最初にプルすることなく、セグメント、地理、人口統計などのさまざまな顧客ディメンションデータによってトランザクションデータをス
データ連携ソリューションを提供するCData社とパートナー契約を締結〜データ統合基盤サービスにて利用可能なデータソースを150種以上に拡大〜 | クラスメソッド株式会社
クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。
Power Apps には Common Data Service (CDS) という優れたデータストアがありますが、SharePoint Online のリストをデータソースとして利用している方も多くいるのではないかと思います。僕自身もよく SharePoint Online のリストをデータソースとして利用しています。 そんな SharePoint Online のリストをデータソースとした Power Apps アプリを作ろうと思ったときに、新規データ入力フォームなどの既定値を指定したいと思っても「個人」列や「選択肢」列など、列の種類によっては既定値を指定する設定が分かりづらいものもあります。 そこで、調べて試してみた結果をまとめておきたいと思います。 既定値の設定はカード コントロールで行う Power Apps のフォーム コントロールをよく見ると、項目名のラベルや入力コントロー
パワークエリを使い始めてまもなくすると、 データソースの変更（フォルダの保存場所、保存名）に変更があった場合は、 いちいちデータソースの変更をしなければならないという特徴に気がつくはずです。 おそらく、パワークエリはこれらに変更がない環境での活用を想定していて、 データ活用の原則からいってもこれは正しいのですが、 私の環境のようにしょっちゅうデータソースが変わってしまって、 いちいちこの変更を行わなくてはならなくて困っている方もいると思います。 今回はそんな方のために、 セル上の値をパラメータにして、クエリの数式に埋め込む方法を書きます。 こうしておけば、データソースのアドレスや名前に変更が生じた時、 セル上のアドレスを修正するだけでデータソースの変更が完了するようになります。 本記事では、その設定方法を紹介します。
![[Excel]パワークエリのデータソース変更をセル上の値の変更で済ませる方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/3093caf9dd5e9ed26239722234862b3b5ef6851d/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Foggylife.com%2Fwp-content%2Fuploads%2F2018%2F10%2Fpexels-photo-1080849.jpeg%3Ffit%3D640%252C446%26ssl%3D1)
Looker Studioレポート複製時のデータソースエラー対応の方法 ｜greenpiece | Webマーケ | ウェブ解析士
（2024年4月現在）Looker Studioのレポートをコピー（複製）する時に、「データソースを作成」が反応しないというエラーが起きているようです 少し手間がかかりますが、別の方法でデータソースを接続してレポートをコピーする方法をご紹介します。 Looker Studioはこらをクリック Looker Studioのレポートのコピー時のエラーについてLooker Studioのレポートをコピーする時、データ元になる新しいデータソースを接続するため、下の絵のように「データソースを作成」をするステップがあります。 ここのステップで、「データソースを作成」をクリックしても、その先に進まないというエラーが発生しているようです。 ※2024年4月現在 Looker Studioレポートの複製時データソース連携画そこで、別の方法を以下よりご説明いたします。 本ページは、Google Analyti
BigQueryのテーブル作成実践(外部データソース参照: Google Cloud Storage) | DevelopersIO
Google BigQueryでは、テーブル作成を行う術が複数提供されています。当エントリではその中から「外部データソース参照」による作成方法について、Google Cloud Storageに格納したCSVデータを用いた実践を交えて見ていきたいと思います。 Cloud Storage からの CSV データの読み込み | BigQuery | Google Cloud 目次 コンソール経由で実践 CLIで実践(bq load) クライアントライブラリ(Python)で実践 まとめ コンソール経由で実践 今回の手順では、予めGCS(Google Cloud Storage)の所定のバケットにデータをアップロードしておきます。フォルダ毎取り込む形を想定していましたので、以下の形で複数ファイル用意しました。 テーブル作成メニューにて、「Google Cloud Storage」を選択。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
【非公式】ベースマキナはどうやってデータソースとの接続の安全性を担保しているのか ~ bridge
Pythonと150種以上のデータソース連携を可能にする「CData Python Connectors」登場
【2024最新】データ分析に必要なオープンデータソース一覧70選！ | Octoparse
外部データとの連携 ～FDWで様々なデータソースとつなぐ～｜PostgreSQLインサイド
異なるデータソース間の同期がしたくてAWS DMSについて調べたのでまとめてみた - コネヒト開発者ブログ
【データ分析】データ分析基盤にデータソースを接続する【Redash】 - LabCode
【Looker Studio】ユーザータイプ、データソース、認証の各違いを理解しよう！ | アユダンテ株式会社
あらゆるストレージとデータソースをコンテナ化して統合する「Rook」の魅力
Spring Bootでマルチデータソースのやり方 - Gobble up pudding
Looker StudioのデータソースにBigQueryのテーブルを使用する - NRIネットコムBlog
【Googleデータポータル】「混合データ」の作成方法。複数のデータソースを共通するキーで統合する
外部データとの連携 ～FDWで様々なデータソースとつなぐ～ | Let's POSTGRES
2021年に知っておくべきオープンデータソース70選 - Qiita
GraphQL のデータソースに microCMS を 使う
データ ソース設定の プライバシー レベル ってどんな影響があるんだ？って話 - Qiita
Amazon QuickSight のデータソース間で結合する | Amazon Web Services
Power Apps で SharePoint リストをデータソースとした場合の列の種類別の既定値の指定方法
[Excel]パワークエリのデータソース変更をセル上の値の変更で済ませる方法
yama5600.tokyo
www.nhk.jp
febri.jp
www.editus.jp
togetter.com
anond.hatelabo.jp