Spring JPAで複数データベース(PostgreSQL)に接続する方法
今回は2つのデータベースともPostgreSQL9.6を使用しています。 複数データベースに接続する 1つ目のDB接続情報をprimary、もう一つのDB接続情報をsecondaryとします。 application.ymlには以下のように記述します。 spring: jpa: database: POSTGRESQL datasource: primary: driver-class-name: org.postgresql.Driver url: jdbc:postgresql://localhost:5432/mydb1 #mydb1というデータベース username: postgres password: xxxxxxxx secondary: driver-class-name: org.postgresql.Driver url: jdbc:postgresql://loca
[Java][Spring Boot] 複数のデータベースに接続する。 | DevelopersIO
はじめに 異なるデータベース間でレコードを移行したい場合、アプリ内でそれぞれのデータベースに接続する訳ですが、Springではどうやって実現するのかを調べたので備忘録として記しておきます。 環境 Mac OSX 10.10.5 Yosemite Java 1.8.0_91 Spring Boot 1.3.7 PostgreSQL 9.5.1 Eclipse Mars 2 目標 ローカルのPostgreSQLの対象テーブルから全レコードを取得し、ローカルのMySQLに挿入する。 テーブル用意 移行元：PostgreSQL CREATE TABLE fruit ( id INTEGER PRIMARY KEY, name VARCHAR(15), price INTEGER); INSERT INTO fruit VALUES ('1','apple',300), ('2','orange',
![[Java][Spring Boot] 複数のデータベースに接続する。 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f462eca999e0629c1eda58d64867dd4092abac90/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fspring.png)
ImpalaとHiveの戦略について
投稿日: 2014/01/07新年明けましておめでとうございます。皆様のおかげで今年も無事に新しい年を迎えることができました。 さて、新年最初の記事は、昨年暮れに CSO (Chief Strategy Officer) である Mike Olson (@mikeolson) が公開したブログポスト、Impala v Hive を紹介したいと思います。2014 年も Cloudera をよろしくお願い致します。 3日間でImpalaマスターに！ 弊社は一年以上前に Cloudera Impala を公開しました。このローンチは弊社にとって好ましいものであり、弊社のプラットフォームはいくつかの点で良好なものとなりました。つまりそれは弊社のお客様にとって重要なことでした。また、弊社は従来は勝つことができなかったビジネスで勝利をおさめることができるようになりました。以前の製品はインタラクティブな
Apache Hive と Apache HBase
Apache Hive と Apache HBase はビッグデータ向けの素晴らしいツールです。その機能には重複する部分もありますが、両者には、特定のタスクにより適した独自の特質があります。主な違いは以下の通りです： Apache Hive は Hadoop の上に構築されたデータウェアハウスシステムであり、Apache HBase は HDFS （Hadoop 分散ファイルシステム）または Alluxio の上に構築された NoSQL キー/バリューである。 Hive は Spark/Hadoop データに SQL 機能を提供し、HBase は Hadoop データをリアルタイムで保存および処理する。 HBase はリアルタイムのクエリやビッグデータに使われるが、Hive はリアルタイムのクエリには向いていない。 Hive はデータの分析クエリに最適で、HBase は主に非構造化 Had
Hadoop / Spark Conference Japan 2019（3月14日、東京）講演・LTのプログラムと講演資料 | 日本Hadoopユーザー会
日本Hadoopユーザー会主催イベント『Hadoop / Spark Conference Japan 2019 』 を3月14日に東京・品川区内で開催しました。 盛況のうちに終了しました。多くの皆様にご来場頂き、ありがとうございました。 イベントWebサイト： https://hcj2019.eventbrite.com/ ▲懇親会での集合写真 イベントの様子は下記でも取りあげていただいています Hadoopは終わらない ―3年ぶり開催「Hadoop / Spark Conference Japan 2019」で日本人開発者が語ったこと (gihyo.jp) 今回は、Apache Hadoopの主要開発者であるArpit Agarwal氏(Cloudera)とApache Sparkの主要開発者である Xiao Li 氏（Databricks）をお招きして、それぞれHadoopの新機能の
Deep Dive into Spark SQL with Advanced Performance Tuning
1. Deep Dive Into Takuya UESHIN Hadoop / Spark Conference 2019, Mar 2019 1 SQL with Advanced Performance Tuning 2. 2 About Me - Software Engineer @databricks - Apache Spark Committer - Twitter: @ueshin - GitHub: github.com/ueshin 3. DATABRICKS WORKSPACE Databricks Delta ML Frameworks DATABRICKS CLOUD SERVICE DATABRICKS RUNTIME Reliable & Scalable Simple & Integrated Databricks Unified Analytics Pl
Apache Hadoopの現在と未来
2019年3月14日に開催された Hadoop / Spark Conference Japan 2019 で発表した資料です。
Cloud-Nativeなデータ分析基盤におけるPrestoの活用 / Cloud-Native Data Infrastructure with Presto
Hadoop / Spark Conference Japan 2019で話した資料です。 http://hadoop.apache.jp/hcj2019-program/
金融機関でのHive/Presto事例紹介
2. 2 Amazon EMR - 1クリックでHadoop/Spark • 分散処理基盤 – クラスタを簡単に構築 して破棄 • 分散処理アプリ – 使いたいアプリを選ぶ だけ • Hadoop 2.7.1 • Hive 1.0.0 • Pig 0.14.0 • Mahout 0.11.0 • Oozie 4.2.0 • Spark 1.6.0 • Presto 0.130 • Zeppelin 0.5.5 • Hue 3.7.1 3. © 2015, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Rahul Pathak, AWS Scott Donaldson, FINRA Clayton Kovar, FINRA October 2015 Amazon EMR Deep Dive & Best P
Hive on Spark を活用した高速データ分析 - Hadoop / Spark Conference Japan 2016
現在、DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集し、データドリブンマーケティングやマーケティングオートメーションに活用しています。しかし、データの規模が増大し、その用途が多様化するにともなって、データ処理のレイテンシが課題となってきました。本発表では、既存のデータ処理に用いられていたHiveの処理をHive on Sparkに置き換えることで、1日あたりのバッチ処理の時間を3分の1まで削減することができた事例を紹介し、Hive on Sparkの導入方法やメリットを具体的に解説します。 Hadoop / Spark Conference Japan 2016 http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-2
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への�Hadoop + Hive導入と その取り組みについて-
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への�Hadoop + Hive導入と その取り組みについて-
Introduction to Apache Hivemall v0.5.2 and v0.6
This document discusses Apache Hivemall, an open-source machine learning library for SQL-on-Hadoop. It can be used with Apache Hive, Spark SQL, Spark DataFrame API, and Pig Latin to add machine learning capabilities to SQL queries. The presentation describes Hivemall's capabilities, how it works with different SQL query engines, and new features in versions 0.5.2 and 0.6 like field-aware factoriza
HIGIS 3/ﾌﾟﾚｾﾞﾝﾃｰｼｮﾝ資料/J_GrayA.ppt
© Hitachi, Ltd. 2017. All rights reserved. 株式会社 日立製作所 ＯＳＳソリューションセンタ 2017/09/09 木下 翔伍 ＳＱＬ ｏｎ Ｈａｄｏｏｐのホントのところ Impala vs Ｈｉｖｅ ｏｎ Ｔｅｚ vs Ｄｒｉｌｌ 1 © Hitachi, Ltd. 2017. All rights reserved. 講演者 木下 翔伍 ／ Ｋｉｎｏｓｈｉｔａ Ｓｈｏｇｏ 検証結果の一部が書籍に Ａｐａｃｈｅ Ｓｐａｒｋ ビッグデータ性能検証 (ISBN 9784295001126) エンタープライズ向けビッグデータ関連ソリューション検討・開発 Ｈａｄｏｏｐエコシステム(Ｓｐａｒｋ, Ｈｉｖｅ 等)の技術検証含む 例えば、 スマートメーター(デジタル電力計)1,000万台のデータを扱うユースケースで Ｓｐａｒｋの性能検証 今日はＳＱＬ ｏｎ Ｈ
Spring BootでJPAを使用した複数データベース接続 - Qiita
Spring Bootを使用しているとデータベースへの接続も簡単にできますよね！ ただ簡単にできるからこそ、ちょっと変わったことをやろうとすると意外と苦労することがありますね。 今回はSpring BootでJPAを使用して複数データベースに接続する方法について書きます。 概要 Spring Initializrでモジュールの導入 Entitiyの定義 Repositoryの定義 Configurationの定義 Flywayの追加設定（補足編） 1. Spring Initializrでモジュールの導入 まずはSpring Initializrを使用してモジュールを作成します。 最近はIDEでプロジェクトを新規作成するときにSpring Initializrを選択できるようになっています。（私が使用しているIntelliJは対応済み） 導入したモジュールは以下。 データベースは環境に合わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spring JPA – Multiple Databases | Baeldung
Clouderaとは: Data Platform for Hadoop| NEC
Books about Hive - Apache Hive - Apache Software Foundation
GitHub - Prokopp/the-free-hive-book: A free electronic book about Apache Hive. The book is geared towards SQL-knowledgeable business users with some advanced tips for devops.
Hiveを高速化するLLAP
ビッグデータ可視化の性能を徹底検証 〜SparkSQL、Hive on Tez、Hive LLAPを用いた既存RDBデータ 処理の特徴〜