BiGG Models
BiGG Models is a knowledgebase of genome-scale metabolic network reconstructions. BiGG Models integrates more than 70 published genome-scale metabolic networks into a single database with a set of stardized identifiers called BiGG IDs. Genes in the BiGG models are mapped to NCBI genome annotations, and metabolites are linked to many external databases (KEGG, PubChem, and many more). For details ab
SQL Serverのインデックスの理解を深める - Qiita
SQL Serverのインデックスの理解を深める はじめに 「インデックスを作成すれば早くなる」という認識はあったものの、実際インデックスがどのような仕組みになっているのか詳しいことが理解できていなかったので、まとめてみました。 前半は、インデックスや、データベースの構造についてまとめています。 後半は、実際にデータベースにインデックスを作成する手順や、インデックスを使ったことによって本当に処理が高速化されているのか確認する方法などについてまとめています。 参考にした書籍はこちらです。 平山 理 著『絵で見てわかるSQL Serverの仕組み』 インデックスの仕組みについて そもそもインデックスとは テーブルへの処理を高速化するためのデータ構造です。索引（さくいん）ともいいます。 本で例えると、特定の項目のページを探す場合、索引を使わなければ全ページを順番に調べる必要があり検索に時間がかか
トランザクション分離レベルについてのまとめ - Qiita
※ InnoDBはREPEATABLE READでもファントムリードが発生しません。 MySQLで実際に試す MySQL(InnoDB)でトランザクション分離レベルを実際に試してみます。 準備 プレイヤーのコイン数を表す簡単なテーブルを作ります。 テーブル構造は次のようになります。 テーブルにplayer1とplayer2のデータを追加します。 2つのターミナルからMySQLに接続します。クライアントAとクライアントBとします(以下はAとBと呼ぶ)。 これで準備は完了です。 READ UNCOMMITTED READ UNCOMMITTEDは一番低いレベルです。 コミットされていない変更を他のトランザクションから参照できる設定です。 ① Aで現在接続中のセッションのトランザクション分離レベルをREAD UNCOMMITTEDに設定して、テーブルを検索します。 ② BでREAD COMMIT
RWKVとsqlite-vssで高速なベクトル検索を作ってみる
はじめに 最近 langchain を使うようになってきて、OpenAIのAPIをちょこちょこ叩くのですが、いかんせん遅い いや十分に早いのだけど、ドキュメントの量があると若干気になってくる速度です そこで、 ローカルLLMとしてrinna を使ってみたりしたのですが、まだまだ遅いです すでに先行して実装例を作ってくれていた RWKVでembedding vectorを計算 の記事と SQLiteでベクトル検索ができる拡張sqlite-vssを試す の記事を大いに参考にしながら RWKV と sqlite-vss を使って高速なベクトル検索を作ってみます RWKVのモデル 今回は学習済みのRavenモデル RWKV-4-Raven-3B-v12-Eng98%-Other2% を使っていきます OpenAI の text-embedding-ada-002 モデル では 1536次元と扱いや
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
国際日本文化研究センター | 怪異・妖怪伝承データベース
このデータベースには、日本民俗学の文献から集められた怪異・妖怪伝承についての35,257件の書誌情報が入っています。
失敗知識データベース
本データベースの記述は各事例の分析当時に得られた情報を元にしております．それ以降に判明した事実や新たな知見は反映されておりません．
NECを退職し、新会社を立ち上げました。 - KaiGaiの俺メモ
ご報告が遅れましたが、6月30日付で新卒の2003年から14年あまり勤務したNECを退職しました。 また、本日、東京法務局品川出張所においてヘテロDB株式会社の登記申請を行い、また、併せて新会社のチーフアーキテクト兼代表取締役社長に就任しました。 今後は、前職では実現できなかった、GPUやSSDなどヘテロジニアスな計算機資源を活用する事で、高性能、低価格、使いやすさを両立するデータベース製品の事業化を目指していく事になります。 どうぞよろしくお願いいたします。 web: http://heterodb.com/ 弊社が入居する西大井創業支援センター（品川区） 10年以上も勤務した会社を辞めてスタートアップを立ち上げるというのは、おそらく人生の中でも上位に食い込むビッグイベントの一つだと思うので、今の決意や創業に至る一連の流れについて記録を残しておこうと思います。 （書き下してみたら意外と長
なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
『ビッグデータ分析・活用のためのSQLレシピ』はデータ分析でSQLクエリを叩く人なら必読の黒魔術大全 - 渋谷駅前で働くデータサイエンティストのブログ
こちらの本をご恵贈いただきました。 ビッグデータ分析・活用のためのSQLレシピ 作者: 加嵜長門,田宮直人出版社/メーカー: マイナビ出版発売日: 2017/03/27メディア: Kindle版この商品を含むブログを見る 一般的なSQLの本というのはDB管理の一環としてのインフラエンジニア向けの技術書であることが多く、意外にもデータ分析を主目的としたSQLの使い方やクエリの工夫の仕方について書かれた本というのはあまり多くないんですよね。故に、多くのデータ分析者は難解なテーマを実現するクエリを書きたくても参考になる資料が乏しく、途方に暮れるわけです。僕もHive / Redshift / BigQueryのクエリを書きながら「こんな分析がしたいんだけど、それを実現できるクエリってないよなぁ。。。」と何度天を仰いだことか。 そんなところに突然降って湧いてきたのがこちらの新刊書。もう目次を見ただ
Schedule - CMU 15-721 :: Advanced Database Systems (Spring 2017)
Course Introduction and History of Database Systems M. Stonebraker, et al., What Goes Around Comes Around, in Readings in Database Systems, 4th Edition, 2006 (Optional) A. Pavlo, et al., What's New with NewSQL?, in SIGMOD Record (vol. 45, iss. 2), 2016 (Optional) In-Memory Databases H. Garcia-Molina, et al., Main Memory Database Systems: An Overview, in IEEE Trans. on Knowl. and Data Eng., 1992 S.
FPGAを使ってLinux OSのコアライブラリをハードウェアオフロード - MIRACLE Labs【研究開発】
FPGAを活用したLinuxの高速化に関する研究開発 ミラクル・リナックスではFPGAでLinuxのOSレベルでオフロードを行う研究開発を進めています。Linuxのコアな部分（オフロードライブラリ：例えばglibcなど）をFPGAで処理するようにすることで、CPUの負荷を下げ高速化を実現する、というもので、現在はテーマを絞って単機能での高速化に取り組んでいます。 FPGA開発大手のアルテラ社がインテル社の傘下になり、今後Intel CPUにFPGAが搭載されていく見込みです。ミラクル・リナックスは、今後見込まれるFPGAの標準実装に向けて、あらゆるLinuxアプリケーションを改変なしで高速化することを目指しています。 これによって、パッケージのアップデートやパッチ適用なども容易で、ユーザーは特に意識せずにLinuxアプリケーションを今よりも高速かつCPUを専有せずに利用できるようになります
(EN) GpuScan + SSD-to-GPU Direct DMA - KaiGaiの俺メモ
An article for none-Japanese readers.... What I'm recently working on is a feature to load data blocks from NVMe-SSD to GPU using peer-to-peer DMA. It allows to bypass the CPU/RAM under a series of data loading process, thus, also allows to reduce number of expensive data copy. Once data blocks are loaded onto the GPU's RAM, we can process individual records within the blocks, by thousands process
（83億レコード移行の続編）BigQueryを導入して改善サイクルがスピードアップした話 - Money Forward Developers Blog
みなさん、こんにちは。 PFM本部（家計簿アプリのマネーフォワードをつくってる組織）の伊藤です。 先日、当ブログでこんな記事をアップしました。 83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） ありがたいことに良い反響を多くいただき、沢山のブクマを頂戴しました。 そんな中で、 83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） | Money Forward Engineers' Blog 次回はこのビッグデータを何に使ってんのか書いてほしい 2016/08/03 19:00 というコメントをいただいているので、導入してどのように活用しているかの記事を書いてみたいと思います。 まとめ なぜBigQueryを推進したのか 詳細な分析をするのに便利なツール RにBigQue
Neo4j ユーザー勉強会 #7に参加してきた。 - INPUTしたらOUTPUT!
以下メモ Neo4j ユーザー勉強会 #7 - connpass データの注意点&勉強会スタート CSVファイルしかなかったがNeo4j形式のファイルも配布されるようになった Graph Connect Europe イベント報告 GraphConnect Europe誰も行っていないw パナマ文書の概要 ICIJがパナマ文書について1時間半くらい説明 Mar Cabra ICIJ, Data & Research Unitのトップ OffShoreLeaks, China Leaks, Luxemburg Leaks, Swiss Leaks, Panama Papers 2.6TB, 11.5M, 214k社の企業 3人のエンジニアでパナマ文書の分析をIT化した 親族を通してオフショア企業に登記するケース グラフデータベースはこの分野に強い Oxwallでジャーナリスト間でデータ共有
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
LevelDB入門 (基本編) - from scratch
さて、今回は比較的新しいデータストアであるLevelDBについてまとめてみました。 LevelDBは1年ほど前からNode.js界隈ではブームが来ていて、理由がよくわかっていなかったんですが、まとめている内に分かるかなと思ってまとめました。今回はNode.js無関係でLevelDBの基礎的なことだけ調査した結果をまとめてみました。 Node.jsで使ってみる話は後に回します。 LevelDBとは? key-value型のデータストアの一つです。 Googleの研究者である、Jeff DeanとSanjey Ghemawatが開発し、2011年に公表されました。C++で書かれており、多くのプログラミング言語でbindingsが書かれています。もちろん、JavaScript/Node.jsでも書かれています。 LevelDB は Google のBigTableをベースにしたアーキテクチャを持
dataset 1.6.2 documentation
Although managing data in relational databases has plenty of benefits, they’re rarely used in day-to-day work with small to medium scale datasets. But why is that? Why do we see an awful lot of data stored in static files in CSV or JSON format, even though they are hard to query and update incrementally? The answer is that programmers are lazy, and thus they tend to prefer the easiest solution the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery public datasets | Google Cloud
トランザクションの設計と進化
