600ページを超える書籍である「データ指向アプリケーションデザイン」の要点を最近の話題を交えながら解説します。 Data Engineering Study #18 の発表資料です プレゼンテーション https://www.youtube.com/watch?v=ZiKWXc0fSCw …
基調講演「30分でわかるデータ指向アプリケーションデザイン」 ・ スピーカー 斉藤 太郎氏 Twitter:@taroleo / Github:@xerial Principal Software Engineer , Treasure Data 東京大学理学部情報科学科卒。情報理工学 Ph.D。データベース、大規模ゲノムデータ処理の研究に従事。その後、スタートアップであるTreasure Dataに加わり、アメリカ、シリコンバレーを拠点に活動中。日本データベース学会上林奨励賞受賞。OSSを中心にプログラミングやデータ処理を簡単にするためのプロダクトを作成している。 「30分でわかるデータ指向アプリケーションデザイン」最新の論文にも触れながら、分散データシステムの世界の魅力を伝えていきます。後半、@tagomoris https://t.co/TQ2TnsFIOT… — Taro L.
私は普段主にScalaを使っているので、ちょっと手の込んだ処理が必要だったりJava/Scalaライブラリを使ったツールが必要な場合にScalaで書けると便利だなと思うことがあります。 AirframeはScala用のDIコンテナを中心とした様々な機能を提供するライブラリ群ですが、そのうちの1つとしてairframe-launcherというCLIツール作成用のモジュールがあり、コマンドラインオプションを簡単に扱うことができます。また、sbt-packというsbtプラグインを使うと作成したアプリケーションを実行可能なコマンドとしてパッケージング、インストールできます。これらを組み合わせてScalaでCLIツールを作る方法を紹介したいと思います。 wvlet.org github.com まずはbuild.sbtに以下の記述を追加し、airframe-launcherを依存関係に追加します。
金子研究室ホームページサイトマップ. 金子研究室ホームページでは,約2000ページを公開している.ページは,データベース関連技術,データの扱い,インストール,設定,利用,プログラミング,サポートページ,連絡先,業績に分けて構成している.サイトマップでは,ホームページ内の全てのページについてのサイトマップを示している. 【サイト構成】 人工知能 3次元,地図 プログラミング 情報工学全般 インストール データ処理 支援 連絡先,業績など 金子邦彦研究室 ▶ サイトマップ ▶ サイト内検索 ▶ アクセスログ(直近28日分), Google Search Console ▶ まとめページ(目次ページ) ▶ 人工知能応用,データ応用,3次元のまとめ ▶ Windows のまとめ ▶ Ubuntu の使い方 ▶ Python のまとめ(Google Colaboratory を含む) ▶ C/C++
わざと怪しいタイトルにしてみましたが、こんにちは。 雑にググった限り、これを書いてる2024年5月現在、日本語でのScala 3のCapture Checkingの解説記事を見たことがない気がするので、 自分も1%くらいしか理解してない気がしますが、書いてみることにしました。 公式のサンプルを別の視点というか書き方で説明しなおしたり、もう少し色々なパターン試した程度の情報でしかないので、おそらく公式のドキュメントをしっかり読んだ人にとっては、特に新しい情報はありません。 さて、公式には以下のようなサンプルが載っています。 docs.scala-lang.org def usingLogFile[T](op: FileOutputStream => T): T = val logFile = FileOutputStream("log") val result = op(logFile) l
過去の Data Engineering Study のアーカイブはこちらからご視聴いただけます。 開催内容 概要 本イベントは、Infra Study Meetup を運営する Forkwell と、分析基盤向けデータ統合SaaS「trocco」の開発・運営を行う primeNumber による共催イベントです。データ分析に精通した講師をお招きし、データ分析基盤の「これまで」と「これから」を学ぶことを趣旨として開催いたします。 複数回にわたって、各回テーマに沿った内容で各分野でご活躍されているエンジニア/研究者に講演いただきます。 質疑応答の時間には、ゆずたそ氏(@yuzutas0)にもご参加いただきます。 プログラム第18回「データ指向アプリケーションデザイン」 こんなエンジニアにおすすめ データ指向アプリケーションデザインを読んでいる・読もうと思っている方 ソフトウェアエンジニア・ア
⏳プログラム 0:00〜 待ち時間 9:03〜 オープニング 15:14〜 基調講演「30分でわかるデータ指向アプリケーションデザイン」Principal Software Engineer , Treasure Data 斉藤 太郎 氏 55:56〜 休憩 / スポンサーLT Forkwell 1:03:44〜 質疑応答(基調講演) 1:23:02〜 スポンサーLT「troccoフリープランはじめてみた」primeNumber 小林 寛和 氏 1:27:56〜 トークセッション パネリスト: 田籠 聡 氏 / 斉藤 太郎 氏 モデレーター: primeNumber 小林 寛和 氏 1:32:12〜 1. 本書籍を更に深く学ぶ方法 1:51:20〜 2. 本書籍からの技術進歩に関するアップデートについて 2:08:27〜 3. 本書籍の技術の応用について 2:21:00〜 4.
JavaのORMであるjOOQをGradleで設定する方法の説明。参考に上げてあるQiitaの記事もあるし元のマニュアルも丁寧ではあるがMavenベースで書かれている。Gradleもマニュアルにはあるがプラグインのことなどはあまり詳細が書いてない。 チュートリアルのサンプル 付属のマニュアルのチュートリアルで書かれているサンプルを元に作成する。なおデータベースはチュートリアルにあるMySQLではなくSQLiteを使った。 Step 1 準備 必要なライブラリを設定する。 apply plugin: 'java' // jooqのGradleプラグインと apply plugin: 'nu.studer.jooq' repositories { mavenCentral() } buildscript { repositories { jcenter() mavenCentral() } d
SQLiteは組み込み型のRDBMSです。 組み込み型のせいか、マルチスレッド/プロセスからアクセスするとエラーが発生することがあります。 以下、https://bitbucket.org/xerial/sqlite-jdbc で公開されているSQLiteのJDBCドライバを使って説明します。 エラーが発生する例 import java.sql.*; import java.util.*; public class Sample1 { public static void main(String[] args) throws Exception { Class.forName("org.sqlite.JDBC"); Connection connection = null; // init table try { connection = DriverManager.getConnecti
DSEの起動とインストールDataStax Enterpriseの起動またはインストールの際に発生する問題のトラブルシューティング。 Linux関連の問題Linux関連の問題の修正。 NUMAシステムにおけるLinuxカーネル独特のパフォーマンスの問題zone_reclaim_modeによる問題。 Linux futex_wait()カーネルのバグにより、ノードが応答していないように見えるノードがランダムにフリーズし、応答しなくなります(理由は不明)。 高速書き込み中に読み取り速度が低下するLinuxプラットフォームで、SSTableが多いと読み取り速度が低下する可能性があります。 ある程度の時間が経過すると、ノードがフリーズしたように見える一部のJVMは、Linuxオペレーティング・システムによってスワップアウトされます。 OOMエラーが発生してノードが停止するLinuxプラットフォーム
2020-10-19 / scala 本稿は ScalaMatsuri Day 2 アンカンファレンスで OSS ハッカソンを仮想化したことのレポートだ。誰かがアンカンファレンスのトピックとして提案したらしく、僕は朝会でファシリテーターとして申し出ただけなので事前準備は特に無し。元々は 4時間 (JST 正午 - 4pm、EDT 11pm - 3am) で枠をもらったが、うまく回ったのでコーヒーブレイクの後も数時間続いた。 アンカンファレンスをやるときにいつも強調してるのは「二本足の法則」で: いつでも自分にとってその場からの「学び」や自分から場への「貢献」が無いなと感じた場合: 自分の二本足を使って別の場へ移動すること オンラインのアンカンファレンスで、複数のセッションが行われているので別のトークを見るために抜けたり途中から参加することは自由であることを事前に伝えた。 使ったもの Zoo
新しくなったMaven CentralにScalaプロジェクトをパブリッシュできたのでその手順をまとめた。 背景 パブリッシュとは おおまかな流れ 事前に準備するもの Maven Centralのページからnamespaceを取っておく テスト用リポジトリを作る sbt-sonatypeの最新版を手でビルドする sbt再設定 クレデンシャル準備 署名用GPG鍵準備 プロジェクトのビルド Further Reading 背景 2024年より、Maven Centralはパブリッシュ用のAPIを変更した上、新サイトからしかアカウントを作成できなくなった。Mavenなどはこれに適合しているが、Scala + sbtのデファクトパブリッシングプラグインであるsbt-sonatypeは何の告知も受けられなかったのか突然新システムでは利用不能な状態になってしまった(以前に旧システムに登録した人はそのま
DSEの起動とインストールDataStax Enterpriseの起動またはインストールの際に発生する問題のトラブルシューティング。 Linux関連の問題Linux関連の問題の修正。 NUMAシステムにおけるLinuxカーネル独特のパフォーマンスの問題zone_reclaim_modeによる問題。 Linux futex_wait()カーネルのバグにより、ノードが応答していないように見えるノードがランダムにフリーズし、応答しなくなります(理由は不明)。 高速書き込み中に読み取り速度が低下するLinuxプラットフォームで、SSTableが多いと読み取り速度が低下する可能性があります。 ある程度の時間が経過すると、ノードがフリーズしたように見える一部のJVMは、Linuxオペレーティング・システムによってスワップアウトされます。 OOMエラーが発生してノードが停止するLinuxプラットフォーム
シャローム!Sato-Gです。 2ヶ月サボってた。すまぬm(_ _)m 言い訳がましいんだが、この間、SisenseのBase campがあったり、イスラエルでSisense社の上層部の方にお会いする機会があったりと、色々あったのだ。 イスラエルでは、Sisenseについて要望を申し上げたつもりなんだけど、ちょっと文句を言ったみたいに取られてしまった。 僕はSisense好きだから大きな誤解なんだけど、ホントごめんなさい。そんなつもりじゃないんです。。。 僕が言いたかったのはこんなことだ。 SisenseはBLoXなどを使えば洗練されたWebサイト風の素敵なダッシュボードを作成できるし、標準のウィジェットで不足しているものがあればPluginとか、さらにD3やHighChartsなども使える。 だけど、「セルフBIとして使うなら、なるべく標準機能でサポートされるべきで、僕らの立場ではお望み
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く