30分でわかるデータ指向アプリケーションデザイン - Data Engineering Study #18
600ページを超える書籍である「データ指向アプリケーションデザイン」の要点を最近の話題を交えながら解説します。 Data Engineering Study #18 の発表資料です プレゼンテーション https://www.youtube.com/watch?v=ZiKWXc0fSCw イベントURL https://forkwell.connpass.com/event/269125/ データ指向アプリケーションデザイン https://www.oreilly.co.jp/books/9784873118703/
24時間365日動き続けるデータシステムの設計手法 : 「データ指向アプリケーションデザイン」実践編
「データ指向アプリケーションデザイン」をベースに、24時間365日動き続けるデータシステムを実装する際に必要となる技術や考え方を紹介します。 この資料は、2023年大阪大学大学院 情報科学科 マルテメディア工学特別講義で使われた資料を一般用に修正して公開しています。 参考： 「30分でわかるデータベースデザイン」https://speakerdeck.com/xerial/30fen-dewakarudetazhi-xiang-apurikesiyondezain-data-engineering-study-number-18
分散データシステム入門の決定版『データ指向アプリケーションデザイン』をたった30分で学んでみた #DataEngineeringStudy | DevelopersIO
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter：@taroleo / Github：@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
airframe-launcherとsbt-packでScalaでCLIツールを作る - たけぞう瀕死ブログ
私は普段主にScalaを使っているので、ちょっと手の込んだ処理が必要だったりJava/Scalaライブラリを使ったツールが必要な場合にScalaで書けると便利だなと思うことがあります。 AirframeはScala用のDIコンテナを中心とした様々な機能を提供するライブラリ群ですが、そのうちの1つとしてairframe-launcherというCLIツール作成用のモジュールがあり、コマンドラインオプションを簡単に扱うことができます。また、sbt-packというsbtプラグインを使うと作成したアプリケーションを実行可能なコマンドとしてパッケージング、インストールできます。これらを組み合わせてScalaでCLIツールを作る方法を紹介したいと思います。 wvlet.org github.com まずはbuild.sbtに以下の記述を追加し、airframe-launcherを依存関係に追加します。
サイトマップ
金子研究室ホームページサイトマップ． 金子研究室ホームページでは，約2000ページを公開している．ページは，データベース関連技術，データの扱い，インストール，設定，利用，プログラミング，サポートページ，連絡先，業績に分けて構成している．サイトマップでは，ホームページ内の全てのページについてのサイトマップを示している． 【サイト構成】 人工知能 ３次元，地図 プログラミング 情報工学全般 インストール データ処理 支援 連絡先，業績など 金子邦彦研究室 ▶ サイトマップ ▶ サイト内検索 ▶ アクセスログ（直近28日分）, Google Search Console ▶ まとめページ（目次ページ） ▶ 人工知能応用，データ応用，３次元のまとめ ▶ Windows のまとめ ▶ Ubuntu の使い方 ▶ Python のまとめ（Google Colaboratory を含む） ▶ C/C++
Scala 3のCapture Checkingでローンを確実に返済！ - xuwei-k's blog
わざと怪しいタイトルにしてみましたが、こんにちは。 雑にググった限り、これを書いてる2024年5月現在、日本語でのScala 3のCapture Checkingの解説記事を見たことがない気がするので、 自分も1%くらいしか理解してない気がしますが、書いてみることにしました。 公式のサンプルを別の視点というか書き方で説明しなおしたり、もう少し色々なパターン試した程度の情報でしかないので、おそらく公式のドキュメントをしっかり読んだ人にとっては、特に新しい情報はありません。 さて、公式には以下のようなサンプルが載っています。 docs.scala-lang.org def usingLogFile[T](op: FileOutputStream => T): T = val logFile = FileOutputStream("log") val result = op(logFile) l
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Data Engineering Study #18「データ指向アプリケーションデザイン」 (2023/02/15 14:00〜)
過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。 開催内容 概要 本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。 複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア／研究者に講演いただきます。 質疑応答の時間には、ゆずたそ氏（@yuzutas0）にもご参加いただきます。 プログラム第18回「データ指向アプリケーションデザイン」 こんなエンジニアにおすすめ データ指向アプリケーションデザインを読んでいる・読もうと思っている方 ソフトウェアエンジニア・ア
⏳プログラム 0:00〜 待ち時間 9:03〜 オープニング 15:14〜 基調講演「30分でわかるデータ指向アプリケーションデザイン」Principal Software Engineer , Treasure Data 斉藤 太郎 氏 55:56〜 休憩 / スポンサーLT Forkwell 1:03:44〜 質疑応答（基調講演） 1:23:02〜 スポンサーLT「troccoフリープランはじめてみた」primeNumber 小林 寛和 氏 1:27:56〜 トークセッション パネリスト: 田籠 聡 氏 / 斉藤 太郎 氏 モデレーター: primeNumber 小林 寛和 氏 1:32:12〜 1. 本書籍を更に深く学ぶ方法 1:51:20〜 2. 本書籍からの技術進歩に関するアップデートについて 2:08:27〜 3. 本書籍の技術の応用について 2:21:00〜 4.
jOOQをGradleで設定する
JavaのORMであるjOOQをGradleで設定する方法の説明。参考に上げてあるQiitaの記事もあるし元のマニュアルも丁寧ではあるがMavenベースで書かれている。Gradleもマニュアルにはあるがプラグインのことなどはあまり詳細が書いてない。 チュートリアルのサンプル 付属のマニュアルのチュートリアルで書かれているサンプルを元に作成する。なおデータベースはチュートリアルにあるMySQLではなくSQLiteを使った。 Step 1 準備 必要なライブラリを設定する。 apply plugin: 'java' // jooqのGradleプラグインと apply plugin: 'nu.studer.jooq' repositories { mavenCentral() } buildscript { repositories { jcenter() mavenCentral() } d
[Java] SQLiteをJavaから使う方法
SQLiteは組み込み型のRDBMSです。 組み込み型のせいか、マルチスレッド／プロセスからアクセスするとエラーが発生することがあります。 以下、https://bitbucket.org/xerial/sqlite-jdbc で公開されているSQLiteのJDBCドライバを使って説明します。 エラーが発生する例 import java.sql.*; import java.util.*; public class Sample1 { public static void main(String[] args) throws Exception { Class.forName("org.sqlite.JDBC"); Connection connection = null; // init table try { connection = DriverManager.getConnecti
リモート・ノードでNodetoolまたはJMXを接続できない
DSEの起動とインストールDataStax Enterpriseの起動またはインストールの際に発生する問題のトラブルシューティング。 Linux関連の問題Linux関連の問題の修正。 NUMAシステムにおけるLinuxカーネル独特のパフォーマンスの問題zone_reclaim_modeによる問題。 Linux futex_wait()カーネルのバグにより、ノードが応答していないように見えるノードがランダムにフリーズし、応答しなくなります（理由は不明）。 高速書き込み中に読み取り速度が低下するLinuxプラットフォームで、SSTableが多いと読み取り速度が低下する可能性があります。 ある程度の時間が経過すると、ノードがフリーズしたように見える一部のJVMは、Linuxオペレーティング・システムによってスワップアウトされます。 OOMエラーが発生してノードが停止するLinuxプラットフォーム
2020-10-19 / scala 本稿は ScalaMatsuri Day 2 アンカンファレンスで OSS ハッカソンを仮想化したことのレポートだ。誰かがアンカンファレンスのトピックとして提案したらしく、僕は朝会でファシリテーターとして申し出ただけなので事前準備は特に無し。元々は 4時間 (JST 正午 - 4pm、EDT 11pm - 3am) で枠をもらったが、うまく回ったのでコーヒーブレイクの後も数時間続いた。 アンカンファレンスをやるときにいつも強調してるのは「二本足の法則」で: いつでも自分にとってその場からの「学び」や自分から場への「貢献」が無いなと感じた場合: 自分の二本足を使って別の場へ移動すること オンラインのアンカンファレンスで、複数のセッションが行われているので別のトークを見るために抜けたり途中から参加することは自由であることを事前に伝えた。 使ったもの Zoo
SQLite - PukiWiki
SQLite † 手軽に利用できる関係データベースシステムの一つです。 データベースの内容を一つのファイルとして扱うため、組み込み用途に優れています。 特に、管理者権限を持たないレンタルサーバ等の環境では、 MySQLやPostgreSQL等を自分でインストールして利用することができないため、 SQLite(のような組み込み型のデータベース)の利用が選択肢となるでしょう。 一方で、高速な処理、柔軟な処理が要求される場面では、 SQLiteの機能では不十分だと感じる場面もあるかもしれません。 また、データ型の扱いに特有の癖があります。 ↑ コンソールからの利用 † SQLite公式ページ ( http://www.sqlite.org/ ) の「Download」から、環境に合わせて「command-line shell」を含むファイルを取得し、解凍して利用します。(解凍するだけで利用できま
『30分でわかるデータ指向アプリケーションデザイン - Data Engineering Study #18』へのコメント
ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有
新しくなったMaven CentralにScalaプロジェクトをパブリッシュできたのでその手順をまとめた。 背景 パブリッシュとは おおまかな流れ 事前に準備するもの Maven Centralのページからnamespaceを取っておく テスト用リポジトリを作る sbt-sonatypeの最新版を手でビルドする sbt再設定 クレデンシャル準備 署名用GPG鍵準備 プロジェクトのビルド Further Reading 背景 2024年より、Maven Centralはパブリッシュ用のAPIを変更した上、新サイトからしかアカウントを作成できなくなった。Mavenなどはこれに適合しているが、Scala + sbtのデファクトパブリッシングプラグインであるsbt-sonatypeは何の告知も受けられなかったのか突然新システムでは利用不能な状態になってしまった（以前に旧システムに登録した人はそのま
いろんなリンク
updated at September 1, 2014 学術系検索サイト ResearchIndex: citeseer Google Scholar CoRR - Computing Research Repository CiNii：NII論文情報ナビゲータ GeNii：学術コンテンツ・ポータル DBLP: Computer Science Bibliography プログラミング言語に関するサイト Ruby処理系の概要 FastRuby: Rubyをコンパイル？ RubyFlux: RubyをJavaに変換するコンパイラ HotRuby MacRuby LLVM.org, MoonGiftでの紹介 llvm.js: LLVMをJavaScriptに変換, MoonGiftでの紹介 TypeScript: Web Browser上でJavaScriptに変換（Introducing
DSEの起動とインストールDataStax Enterpriseの起動またはインストールの際に発生する問題のトラブルシューティング。 Linux関連の問題Linux関連の問題の修正。 NUMAシステムにおけるLinuxカーネル独特のパフォーマンスの問題zone_reclaim_modeによる問題。 Linux futex_wait()カーネルのバグにより、ノードが応答していないように見えるノードがランダムにフリーズし、応答しなくなります（理由は不明）。 高速書き込み中に読み取り速度が低下するLinuxプラットフォームで、SSTableが多いと読み取り速度が低下する可能性があります。 ある程度の時間が経過すると、ノードがフリーズしたように見える一部のJVMは、Linuxオペレーティング・システムによってスワップアウトされます。 OOMエラーが発生してノードが停止するLinuxプラットフォーム
【Sisense Data Modeling】データベースの準備～Generic JDBC Connectorで接続
シャローム！Sato-Gです。 2ヶ月サボってた。すまぬm(_ _)m 言い訳がましいんだが、この間、SisenseのBase campがあったり、イスラエルでSisense社の上層部の方にお会いする機会があったりと、色々あったのだ。 イスラエルでは、Sisenseについて要望を申し上げたつもりなんだけど、ちょっと文句を言ったみたいに取られてしまった。 僕はSisense好きだから大きな誤解なんだけど、ホントごめんなさい。そんなつもりじゃないんです。。。 僕が言いたかったのはこんなことだ。 SisenseはBLoXなどを使えば洗練されたWebサイト風の素敵なダッシュボードを作成できるし、標準のウィジェットで不足しているものがあればPluginとか、さらにD3やHighChartsなども使える。 だけど、「セルフBIとして使うなら、なるべく標準機能でサポートされるべきで、僕らの立場ではお望み
ある程度の時間が経過すると、ノードがフリーズしたように見える
DSEの起動とインストールDataStax Enterpriseの起動またはインストールの際に発生する問題のトラブルシューティング。 Linux関連の問題Linux関連の問題の修正。 NUMAシステムにおけるLinuxカーネル独特のパフォーマンスの問題zone_reclaim_modeによる問題。 Linux futex_wait()カーネルのバグにより、ノードが応答していないように見えるノードがランダムにフリーズし、応答しなくなります（理由は不明）。 高速書き込み中に読み取り速度が低下するLinuxプラットフォームで、SSTableが多いと読み取り速度が低下する可能性があります。 ある程度の時間が経過すると、ノードがフリーズしたように見える一部のJVMは、Linuxオペレーティング・システムによってスワップアウトされます。 OOMエラーが発生してノードが停止するLinuxプラットフォーム
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - xerial/sqlite-jdbc: SQLite JDBC Driver
Data Engineering Study #18「データ指向アプリケーションデザイン」
ScalaMatsuri 2020 におけるハッカソンの仮想化 · eed3si9n
2024年版: Scala+sbtで新Maven Centralにパブリッシュする - Lambdaカクテル
Linux futex_wait()カーネルのバグにより、ノードが応答していないように見える