「創薬を再考する」をミッションとしたAI創薬企業の株式会社Elix（代表取締役： 結城 伸哉 （ゆうき しんや）/ 本社：東京都千代田区、以下「Elix」）は、京都大学大学院 医学研究科 小島 諒介講師、奥野 恭史教授との継続的な議論を元に、連合学習（Federated learning）機能を有したAI創薬向け機械学習ライブラリkMoLを2021年10月20日オープンソースとしてリリース致しました。 kMoLは、創薬・ライフサイエンス分野における分子を対象とした機械学習モデル構築のためのライブラリです。本ライブラリは、京都大学大学院 医学研究科 小島 諒介講師、奥野 恭史教授らがオープンソースとして開発してきた創薬・ライフサイエンス向けAIライブラリkGCNで得られた知見をもとに改良を加えたものであり、化合物データの分子構造やパスウェイなどライフサイエンスで広く有用とされるグラフ構造を扱
Query any data source with Amazon Athena’s new federated query | Amazon Web Services
AWS Big Data Blog Query any data source with Amazon Athena’s new federated query April 2024: This post was reviewed for accuracy. Organizations today use data stores that are the best fit for the applications they build. For example, for an organization building a social network, a graph database such as Amazon Neptune is likely the best fit when compared to a relational database. Similarly, for w
【アップデート】Amazon Redshift の新機能「Federated Query」でRDSとAuroraのPostgreSQLに直接クエリを実行できるようになりました #reinvent | DevelopersIO
こんにちは！DA事業本部の石川です！ re:Invent2019の12/3のキーノートでAmazon Redshiftが新たにAmazon Redshift 「Federated Query」をサポートしました。今回はキーノートの内容を中心にご紹介します。 New for Amazon Redshift – Data Lake Export and Federated Query Federated Queryとは？ RDSとAurora PostgreSQLのテーブルにRedshiftから直接アクセスできるようになりました。所謂、RedshiftからPostgreSQLに対してデータベースリンクする機能です。 この構文を使用して、RDSまたはAurora PostgreSQLデータベースからRedshiftクラスターに外部スキーマを追加できます。リンクはスキーマ毎に設定します。 CREA
【Python】PyTorch で作る Vertical Federated Learning - ENGINEERING BLOG ドコモ開発者ブログ
NTTドコモ R&D Advent Calendar 2022 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社，DOCOMO Innovations, Inc. (DII) でシニアデータサイエンティストとして機械学習の研究開発に従事しています。 現在，DII は Amazon Web Services, Inc. とパートナーシップを組み，Federated Learning (連合学習, FL) の開発に取り組んでいます。 AWS Partner Network (APN) Blog の記事もご覧ください。 本記事は，FL の中でも，特に Vertical Federated Learning (VFL) を PyTorch を用いて作り上げていくチュートリアルです。 なお，本記事末尾に職場の紹介を載せていますので「シリコンバレーとか DII ってど
New for Amazon Redshift – Data Lake Export and Federated Query | Amazon Web Services
AWS News Blog New for Amazon Redshift – Data Lake Export and Federated Query A data warehouse is a database optimized to analyze relational data coming from transactional systems and line of business applications. Amazon Redshift is a fast, fully managed data warehouse that makes it simple and cost-effective to analyze data using standard SQL and existing Business Intelligence (BI) tools. To get i
[新機能] Amazon Redshift Federated QueryがGAになったので試してみました | DevelopersIO
昨年のre:Invent2019で発表されたAmazon RedshiftのFederated QueryがGA（Generally Available：正式リリース）になりました！クラスタバージョン1.0.14677から利用可能なので早速試してみました。 Amazon Redshift Federated Querying is Now Available! 1⃣What's New - https://t.co/dbZjTSTX2z 2⃣Use Cases - https://t.co/y8NS5JaMhC 3⃣Getting Started Using CloudFormation - https://t.co/Pz9wmqK29d pic.twitter.com/ghi8O9m6JS — Jeff Barr ☁️ (@ ? ) (@jeffbarr) April 16, 2020
![[新機能] Amazon Redshift Federated QueryがGAになったので試してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena Federated Query経由でAmazon DynamoDBのデータをAmazon QuickSightで可視化するハンズオンの公開 Amazon AthenaはS3上に置かれたファイルにクエリ（SQL）を実行できるサーバレスのサービスです。先日GAしたFederated Query機能を利用すると、クエリの範囲をS3に加えて多数のデータソース（例えば他のRDBやAmazon DynamoDB等）に広げ、複数のデータソースにまたがってSQL処理することが可能になります。（Federated Queryの機能説明はこちらにあります） 先日(4/17)、「AWSの基礎を学ぼう」というオンライン勉強会に講師として呼んでいただく機会があったので、このFederated Queryを使ったハンズオンキットを作成しました
GitHub - ardatan/graphql-mesh: 🕸️ GraphQL Mesh - The Graph of Everything - Federated architecture for any API service
https://www.graphql-mesh.com GraphQL Mesh allows you to use GraphQL query language to access data in remote APIs that don't run GraphQL (and also ones that do run GraphQL). It can be used as a gateway to other services or run as a local GraphQL schema that aggregates data from remote APIs. The goal of GraphQL Mesh is to let developers easily access services that are written in other APIs specs (su
Today, Amazon Athena announced federated query pass-through, a new feature that allows entire queries to be executed directly on the underlying data source. Federated query pass-through allows you to take advantage of the unique functions, query language, and performance capabilities of different data sources, and can result in faster query execution and less data processed by Athena. With Athena,
Redshift Federated Query for RDS/Aurora MySQL をつかったType-2 Slowly Changing Dimensionの実装 - KAYAC engineers' blog
こんにちは。技術部の自称データエンジニアの池田です。 Redshift Federated Query for RDS/Aurora MySQL(Federated Query for MySQL)がめでたくGAになりました。 Federated Query for MySQLを使うと、RedshiftからAurora MySQLにクエリを発行し、その結果をRedshift上で利用することができます。 今回は、この機能を使ったType-2 Slowly Changing Dimension(SCD2) の実装の話をします。 aws.amazon.com TL;DR Change Data Capture（CDC）を実装・運用するほどじゃないけど、State Sourcingなテーブルの変更履歴を追跡したいときには、SCD2を使うと嬉しいです。 Federated Query for MyS
はじめに連合学習（Federated learning）とは、従来の機械学習が持つ弱点を克服した新たな機械学習の手法であり、近年大きな注目を集めています。 なお、連合学習と秘密計算の違いに関しては、以...
Chrome 108 ベータ版 : CSS の新しいビューポートの単位、Federated Credential Management API、可変 COLRv1 フォントなど
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Flower A Friendly Federated Learning FrameworkA unified approach to federated learning, analytics, and evaluation. Federate any workload, any ML framework, and any programming language.
AWS マネジメントコンソールを SAML フェデレーションによる SSO で利用している場合、その権限で AWS CLI を利用するのは簡単ではない。 そもそも Role が一時的に割り当てられているだけであって IAM User を作成しているわけではないので Credentials を作成することができない。AWS CLI を利用するためには AssumeRoleWithSAML という API を使って一時的な Credentials を都度要求しなければならない。 詳しいことは以下に書いた。 SAML 認証による一時的な認証情報で boto3 を利用する - Qiita 上記は Python でやる場合の話だったが、今回は同じことを Bash でやれるようにスクリプトを書いたのでそれについてメモしておく。 #!/bin/bash -eu if !(type "aws" > /de
【速報】Amazon Redshift Federated QueryでRDS MySQLとAurora MySQLに直接クエリを実行できるようになりました(Preview) #reinvent | DevelopersIO
昨年のre:Invent2019で発表されたAmazon RedshiftのFederated Queryが、RDS MySQL と Aurora MySQLをサポートしました。(Preview) これで、Amazon RedshiftとAthenaからRDSやAuroraのPostgreSQLとMySQLに直接クエリが実行できるようになりました。 Amazon Redshift Federated Queryとは RDS MySQL と Aurora MySQLのテーブルにRedshiftから直接アクセスできるようになりました。いわゆる、RedshiftからMySQLに対してデータベースリンクする機能です。 RDS PostgreSQL と Aurora PostgreSQLは既に利用可能です。Federated Queryの仕組みについては、以下のブログをご覧ください。 Federat
Send feedback Stay organized with collections Save and categorize content based on your preferences. Cloud SQL federated queries As a data analyst, you can query data in Cloud SQL from BigQuery using federated queries. BigQuery Cloud SQL federation enables BigQuery to query data residing in Cloud SQL in real time, without copying or moving data. Query federation supports both MySQL (2nd generation
Federated multi-account access for AWS CodeCommit | Amazon Web Services
AWS DevOps Blog Federated multi-account access for AWS CodeCommit As a developer working in a large enterprise or for a group that supports multiple products, you may often find yourself accessing Git repositories from different organizations. Currently, to securely access multiple Git repositories in other popular tools, you need SSH keys, GPG keys, a Git credential helper, and a significant amou
Introducing Bramble: A Federated GraphQL Gateway Implemented In Go
Introducing Bramble: A Federated GraphQL Gateway Implemented In Go Today, the Movio engineering team is excited to release Bramble, a federated GraphQL gateway implemented in Go. This new open source project is available for download on GitHub and is released under the MIT license. As a GraphQL API gateway, Bramble supports the following features: GraphQL federation Bramble allows you to federate
Amazon Redshift now includes Amazon RDS for MySQL and Amazon Aurora MySQL databases as new data sources for federated querying (Preview)
We announced general availability of Amazon Redshift federated query with support for Amazon RDS PostgreSQL and Amazon Aurora PostgreSQL earlier this year. With this feature, many customers have been able to combine live data from operational databases with the data in Amazon Redshift data warehouse and the data in Amazon S3 data lake environment in order to get unified analytics view across all t
Announcing Amazon Redshift federated querying to Amazon Aurora MySQL and Amazon RDS for MySQL | Amazon Web Services
AWS Big Data Blog Announcing Amazon Redshift federated querying to Amazon Aurora MySQL and Amazon RDS for MySQL Since we launched Amazon Redshift as a cloud data warehouse service more than seven years ago, tens of thousands of customers have built analytics workloads using it. We’re always listening to your feedback and, in April 2020, we announced general availability for federated querying to A
HOME MSIISMについてABOUT US MSIISM とは NTTデータ数理システムとは 技術TECHNOLOGY ベイジアンネットワーク 機械学習・統計解析 数理計画・最適化 ディープラーニング シミュレーション 自然言語処理 画像認識 EDA（半導体） 量子計算 分野・業界FIELD 流通・マーケティング 運輸・物流 製造 研究開発 医療・医薬・ヘルスケア 金融 教育・アカデミック 公共・インフラ 経営・人事・労務 製品活用事例CASE S4 Simulation System Nuorium Optimizer BayoLinkS Text Mining Studio Alkano セミナー&イベントSEMINAR&EVENT お役立ち情報USEFUL 無料E-Book セミナー動画視聴 1から学ぶ基礎知識 お問い合わせ この記事では、Google が2017年に提唱して以来
[Update] Amazon Athena engine version 2がリリース、Federated queriesやGeospatial functions等の新機能、パフォーマンスが改善されました | DevelopersIO
本日、Amazon AthenaのクエリエンジンがVersion 2がリリースされました。Version 2の変更のポイントは、Presto0.172からPresto0.217にアップデート、Federated queriesをはじめとする新機能、パフォーマンスの改善です。あまりにも大きなアップデートで放心状態です。 今日時点（2020/11/14）では、米国東部（バージニア州北部）、米国東部（オハイオ州）、および米国西部（オレゴン）のみのサポートになります。 代表的な改善と新機能 Federated Queryは、リレーショナル、非リレーショナル、オブジェクト、およびカスタムのデータソースに格納されているデータに対してSQLクエリを実行できるようになる機能です。これまでVersion 1のクエリエンジンでパブリックベータとして公開されていたFederated queriesは、Versi
![[Update] Amazon Athena engine version 2がリリース、Federated queriesやGeospatial functions等の新機能、パフォーマンスが改善されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/403c56e9014c7d88e1caa76de4dee5c9b8dece00/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-athena.png)
GitHub - samuelgoto/WebID: A privacy preserving federated identity Web API
Over the last decade, identity federation has unquestionably played a central role in raising the bar for authentication on the web, in terms of ease-of-use (e.g. passwordless single sign-on), security (e.g. improved resistance to phishing and credential stuffing attacks) and trustworthiness compared to its preceding pattern: per-site usernames and passwords. The standards that define how identity
デバイス数の変化によって連合学習(federated learning)の性能がどのように変化するか検証する｜株式会社Rosso公式note
はじめにこんにちは。株式会社Rosso、AI部です。 近年、個人情報を保護しつつ機械学習を行う連合学習(federated learning)という新しい手法が登場しています。 ただし、連合学習を行う際は、従来の機械学習モデルと比べ、性能が悪化しないかどうかに留意する必要があります。 この観点を踏まえ、本記事では、連合学習を行う際に使用するデバイス数に着目。連合学習を行う際のデバイス数が変化した場合、性能が従来の機械学習モデルと比較してどのように変化するか、簡単な検証を行います。 連合学習の概要機械学習でデータを使用する際には、個人の顔が映し出された画像や、性別、年収、住所などで構成されているテーブルデータなど、個人情報が入ったデータを取り扱うケースがあります。 そのようなデータを扱う場合、個人が特定されないようにデータを加工したり、個人情報の委託先に監督を行うなど、プライバシー保護に配慮
Regonn @関西Kaggler交流会 2023/03/24
コラム - グーグルのクラウドを支えるテクノロジー | 第67回 Federated Learning：モバイルデバイスを用いた分散学習技術（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第67回 Federated Learning：モバイルデバイスを用いた分散学習技術（パート1） (中井悦司) 2019年10月 はじめに 今回からは、2019年に公開された論文「Applied Federated Learning: Improving Google Keyboard Query Suggestions」を元にして、モバイルデバイスを用いた分散学習技術である「Federated Learning」の適用事例を紹介します。モバイルデバイス上で生成されるデータをサーバーに送信せず、ユーザー情報を適切に保護した状態で、デバイス上で学習処理を行う技術になります。 Federated Learningの適用事例 冒頭の論文では、Fede
Best practices for Amazon Redshift Federated Query | Amazon Web Services
AWS Big Data Blog Best practices for Amazon Redshift Federated Query Amazon Redshift Federated Query enables you to use the analytic power of Amazon Redshift to directly query data stored in Amazon Aurora PostgreSQL and Amazon RDS for PostgreSQL databases. For more information about setting up an environment where you can try out Federated Query, see Accelerate Amazon Redshift Federated Query adop
How Netflix Content Engineering makes a federated graph searchable
By Alex Hutter, Falguni Jhaveri and Senthil Sayeebaba Over the past few years Content Engineering at Netflix has been transitioning many of its services to use a federated GraphQL platform. GraphQL federation enables domain teams to independently build and operate their own Domain Graph Services (DGS) and, at the same time, connect their domain with other domains in a unified GraphQL schema expose
Azure ADをAWS Cognito Federated IdPに追加して、Amplify+Vueアプリでログインする（模索中） - Qiita
Azure ADをAWS Cognito Federated IdPに追加して、Amplify+Vueアプリでログインする（模索中）Vue.jscognitoAzureADamplify はじめに Amplify + Vueで作ったアプリをAzure ADでログインする方法を模索した記録です。 初回認証後、CognitoのUserPoolに自動でプロビジョニングしてくれるみたいです。やったー。 しかしながら、フロントエンドの実装については未だに模索中です。。。 Amplify Libraryを使ってちゃんと実装したいのですが、今のところ見つけられてません。 #ご存じの方がいらっしゃれば、アドバイスいただけますと幸いです(；´Д｀) 登場人物と認証方式 Azure ADとCognito間がSAML、Cognitoとアプリ間がOAuthという間柄になります。 実際の手順 1. Amplifyで
BigQuery Cloud SQL federated queryでRDSのデータにクエリを実行してみる - Qiita
BigQueryからCloudSQLに直接クエリが実行できるようになったということですが、サービスの基盤はAWSを利用しているためDBはもちろんRDS。。。 そこでどうにかしてRDSに溜まっているデータに対してBigQueryから直接クエリを実行したいと思いやってみました。 正確には、RDSをCloudSQLでレプリケーションしてCloud SQL federated queryでBigQueryからクエリを実行してみました。 構成 既にソースDBに対して3台のリードレプリカが作成されている状態だったので、こんな感じの構成にしていきたいと思います。 CloudSQLレプリケーション設定 外部サーバーからCloudSQLレプリカに複製する場合いくつか要件があるのでそれを満たしているか確認します。 GTID が有効にされていて、GTID 整合性が強制されること。 問題はここでした。 AWSのド
Accelerating Amazon Redshift federated query to Amazon Aurora MySQL with AWS CloudFormation | Amazon Web Services
AWS Big Data Blog Accelerating Amazon Redshift federated query to Amazon Aurora MySQL with AWS CloudFormation Amazon Redshift federated query allows you to combine data from one or more Amazon Relational Database Service (Amazon RDS) for MySQL and Amazon Aurora MySQL databases with data already in Amazon Redshift. You can also combine such data with data in an Amazon Simple Storage Service (Amazon
Federated queries for open source files now available | Google Cloud Blog
Keep Parquet and ORC from the data graveyard with new BigQuery features Parquet and ORC are popular columnar open source formats for large-scale data analytics. As you make your move to the cloud, you may want to use the power of BigQuery to analyze data stored in these formats. Choosing between keeping these files in Cloud Storage vs. loading your data into BigQuery can be a difficult decision, l
はじめに こんにちは、この記事はUnipos Advent Calender 2021の16記事目です UniposではデータをDataStoreとSpannerにもち、それらのデータを集計するためにBigQueryにデータを転送しています この記事ではSpannerからBigQueryへのデータ転送について紹介します 公式ドキュメント に詳しいことは書いてありますが、このブログでは具体的な操作、具体的な値について書いていきます 事前準備 BigQuery Connection APIを有効にする Spanner情報の追加 BigQueryのエクスプローラの「3点リード」→「データを追加ボタン」→「外部データソース」の順にクリック 情報を入力する 接続タイプ : Cloud Spanner 接続ID : 英数字、ダッシュ、アンダースコアで構成される文字列 データのロケーション : BQのロ
Amazon AthenaからFederated QueryでDynamoDBに接続してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 Amazon AthenaではFederated Queryを用いることにより、Amazon S3以外のデータソースに接続してデータを抽出することが可能となります。 Using Amazon Athena Federated Query - Amazon Athena Federated Queryには既定で下記のようなデータソースへの接続の作成が用意されています。また独自のコネクタをLambda関数を作成して使用することも可能です。 Amazon CloudWatch Logs Amazon CloudWatch Metrics Amazon DocumentDB Amazon DynamoDB Amazon Redshift Apache HBase MySQL PostgreSQL Redis そこで今回は、Amazon AthenaからFede
Federated query support for Amazon Aurora PostgreSQL and Amazon RDS for PostgreSQL – Part 1 | Amazon Web Services
AWS Database Blog Federated query support for Amazon Aurora PostgreSQL and Amazon RDS for PostgreSQL – Part 1 PostgreSQL is one of the most widely used database engines and is supported by a very large and active community. It’s a viable open-source option to use compared to many commercial databases, which require heavy license costs. Amazon Relational Database Service (Amazon RDS) for PostgreSQL
Amazon AthenaからRDS for PostgreSQLとAmazon S3に対する横串クエリ(Federated Query)を実行してみた | DevelopersIO
接続文字列は以下のような形となります。 一般的なJDBC接続文字列ですが最近だとライブラリ等にラップされているせいで見ることも少ないので意外と忘れがちな部分ではあります。 postgres://jdbc:postgresql://{{RDSのエンドポイント}}:5432/{{接続先DB名}}?secret=${Secretsの名前} 認証情報はSecrets Manager側に以下の形式で保存されていれば利用する際に良い感じに展開してくれます。 { "username": "{{接続ユーザ名}}", "password": "{{接続ユーザーパスワード}}"} パラメータの情報に関する情報は作成上の説明文の記載に加え情報は以下にも記載がありますのでこちらをご参照ください。 ここまでで正常に設定できていればデータコネクタの部分で以下ように接続先のスキーマ情報が確認できます。 ここまでで各種設
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
連合学習（Federated learning）機能を有したAI創薬向け機械学習ライブラリkMoLをリリース
Amazon Athena announces federated query pass-through
【用語解説】連合学習(Federated Learning)とは
Flower: A Friendly Federated Learning Framework
SAML Federated User で AWS CLI を使用するための便利スクリプト - Qiita
Cloud SQL federated queries | BigQuery | Google Cloud
連合学習とは？Federated Learningの基礎知識をわかりやすく解説｜NTTデータ数理システム
Federated Learning 連合学習
federated queryを使ったSpannerからBigQueryへのデータ転送 - Qiita