医療のマスターDBを爆速で検索するWebサービスを爆速で作った
ヘンリーの Lead Architect の kohii です。 先日、医療系の個人開発サービス MediXplorer を作ったので、簡単なサービス紹介と技術的に工夫したこととかについて書きます。 作ったもの MediXplorer は厚労省（もしくは社会保険診療報酬支払基金）から提供される 医科診療行為マスター を検索・閲覧するためのWebアプリケーションです。 医科診療行為マスターって？ 日本には診療報酬制度というものがあり、病院等が医療サービスを提供した際の医療費の計算ルールが定められています。このシステムのもと、医療機関は提供した医療行為ごとに決められた点数に基づき医療費を計算し、患者や保険組合に請求します。（初診料 = 288点 みたいなやつ。1点10円で、通常そのうちの3割を会計時に支払う。） 「医科診療行為マスター」は、これらの医療行為のデータベースの一つで、列数150、行
QSV対応ffmpegでエンコードー最適パラメータ設定 - Simple Life in the digital age
（2020年03月08日追記） 「2020年版 デジタル放送録画の圧縮を最適化するFFmpegの使い方」について紹介。 FFmpegのパラメータを決める際に参考にしてください。 （2019年11月23日追記）「2019年版自宅録画サーバーのQSV最適化」について紹介しました。固定量子化モードを深堀りしてみました。 Intel Media Server Studio 2017 R2を利用して作成したffmpeg（今後「QSV対応ffmpeg」と略す）で、QSVエンコードを行っている。 多くの人が知りたいことは、「鑑賞に耐える画質で、どこまでファイルサイズを小さくできるのか。」ということです。インターネットを検索しても、なかなかその答えは見つかりません。 この記事では、とりあえず私が満足する画質でどこまでファイルサイズを小さくできるのか、明らかにしたいと思います。 今回目標値は、以下のとおりで
Webカメラからh264動画を取得した〜い〜その２〜 | 車輪の再発見みたいな？
前回は単なる前振りで中身ショボっって思った人もいるかも(汗) 今回からはがっつり中身だよぉ(^^)v もっとも一度もUVCの規格書見たこと無い人やUVC関連のプログラムをしたことのない人にはさっぱりだったりして^^; UVC規格での映像フォーマットについて UVC規格でのh.264の取り扱いについて書く前に、UVC規格での映像フォーマットについて簡単に書きます。 USB規格に準拠した機器では、その機器が対応している機能についてデバイスディスクリプタと呼ばれるバイナリデータを読み取ることが出来ます。デバイスディスクリプタは大きく分けて次の３種類があります。 USB機器共通の標準ディスクリプタ(Standard Descriptor) デバイスクラス固有のクラスディスクリプタ(Class Specific Descriptor) ベンダーが独自に定義したベンダーディスクリプタ(Vendor S
AVIF for Next-Generation Image Coding
By Aditya Mavlankar, Jan De Cock¹, Cyril Concolato, Kyle Swanson, Anush Moorthy and Anne Aaron TL; DRWe need an alternative to JPEG that a) is widely supported, b) has better compression efficiency and c) has a wider feature set. We believe AV1 Image File Format (AVIF) has the potential. Using the framework we have open sourced, AVIF compression efficiency can be seen at work and compared against
2016年のOSS圧縮ツール選択カタログ - Qiita
まだgzipで消耗し（略） 2016年、人類が待ち望んでいた、gzipを圧倒するOSS圧縮ツールzstd(Zstandard)がリリースされたにも関わらず、なんかあんまり話題になっていなくて寂しいので、ちょろいかんじの賑やかし比較記事を書きました。圧縮ツールのカタログ的に眺めていただけるかと思います。 はじめに （この記事で言う）圧縮ツールとは何か 圧縮ツールという呼び名は正確ではない（はず）です。平たく言えば、gzipやbzip2、xz、lz4などですが、人によっては、tarの裏側としてしか使ってなくて、聞いたこともないかもしれませんね。そういうときはまずgzipのmanpageとか読んでください。 しかし、そういうツールを何と呼べばいいのかわからないので、ここでは圧縮ツールと呼んでいます。 ややこしいですが、アーカイバではありません。アーカイブとは実態が一つのファイルになっているフォル
Elasticsearchの圧縮方式の比較 - Taste of Tech Topics
こんにちは。 2年目エンジニアのノムラです。 普段はElasticStackを用いた分析基盤の開発等を行っています。 Elasticsearchを使っているとストレージの使用量を節約したいと思う方は多いのではないでしょうか。 Elasticsearchはデータを格納するときにデフォルトでLZ4という圧縮方式でデータ圧縮を行っていますが、 実はLZ4よりも圧縮率の高いbest_compressionという圧縮方式を利用することもできます。 このbest_compressionは圧縮率が高い分、検索時にはLZ4よりも遅くなると言われるのですが、 実際にどれくらいデータサイズに違いがあるのか、検索速度の違いはどれくらいになるのかが 実はよく分かりません。 ということで今回はこの２つの圧縮方式のデータサイズと検索速度への影響を比較してみました。 目次は以下になります 環境情報 バージョン情報 準備
JSONデータ圧縮方式をSnappyからzstdに切り替えた事例紹介 | BLOG - DeNA Engineering
JSONデータ圧縮方式をzstdに切り替えデータ量を38.3%削減した事例、及びマイクロサービスの無停止アップデート事例について紹介したいと思います。 はじめに JPRゲーム事業本部開発基盤部の池田周平です。先日 Rails5対応についてDeNA techブログに投稿 した@namusyakaと同じチームで働いています。 JSON文字列をRDBに格納する際の圧縮フォーマットをSnappyからzstdに切り替え、データ量を削減した事例を紹介したいと思います。本対応を実施した目的はDB負荷対策です。DBで扱うデータをより小さくすることで、DBサーバのDiskI/O負荷とMaster-Slave間のレプリケーション遅延対策を目的としています。 「Sakasho」は、DeNAが持つモバイルゲームのためのプラットフォームです。複数タイトルのゲームを取り扱っており、一部データはゲーム毎の仕様差を吸収し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yoshimasa Niwa on Twitter: "圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE"
digital_video_introduction/README-ja.md at master · leandromoreira/digital_video_introduction