Searching for the cause of dropped packets on Linux - Optiver
Market regulation Why trade execution still matters Learn more Market regulation A better way to ‘pilot’ financial regulation Learn more Market structure Buy-side European cash equity trading trends Learn more Hi all, just wanted to share a recent experience I had investigating a packet drop issue on a linux system. Hope it’s useful to anyone facing similar issues. Recently I was alerted by our mo
python3ではじめるシステムトレード：経済データのダウンロード - Qiita
FRED FREDは米国のセントルイス連銀が運営するサイトで一般的には十分な世界中の公的な経済データが手に入ります。 世界中の97機関からデータの提供を受け、その数は570,000とあります。日本のデータに関してもここから取得したほうが便利なものも多々あります。データの取得にはWEBを直接探索する方法とAPIを使う方法があります。APIを使う場合にも事前にダウンロードするデータのコードが必要となるのでWEBでの探索が必要です。FREDのWEBから検索ボックスの下の"Category"をクリックすると次のページが現れます。 さらに"Production & Bsuiness"をクリックするとサブメニューが現れます。その下には検索頻度の高いデータが表示されます。検索頻度は"項目"の右横のインディケーターで示されています。長いほうが検索頻度を多いことを意味します。 つぎに"Business Cy
ビジネス意思決定における期待値最大化原理の適用についての諸課題 | Logics of Blue
本記事では、意思決定の手続きについて、ビジネス適用を念頭において解説します。 意思決定の方法としては、期待値最大化に基づく方法を中心に解説します。 本記事は『機械学習とビジネスを橋渡しするものこそ評価指標であり, ”全てのビジネスは条件付期待値の最大化問題として書ける”仮説についての一考察』の内容を受けたものです。「先のブログ記事」と表現したら、それは常にこの記事を指します。 なお、当方は「期待値最大化の原理は、唯一絶対の意思決定の原理というわけではない」と考えています。それと同時に「期待値最大化の原理をもっと広めたい。これをスタート地点として、もっと多くの工夫を生みだしたい」とも思っています。 本記事においては、期待値最大化の原理を適用する際の諸課題について言及しますが、これは「期待値最大化という意思決定の原理を使うべきではない」ということを意味しません。「期待値最大化という意思決定の原
「量子」と組合せ最適化に関する怪しい言説 ―とある研究者の小言― - むしゃくしゃしてやった，今は反省している日記
最近，量子コンピュータの話題をニュースや新聞で見かけることが増えてきました． その中で気になってきたのが，組合せ最適化と量子コンピュータ（特に量子アニーリング）に関する怪しい言説．私自身は（古典コンピュータでの）組合せ最適化の研究をやってきて，量子コンピュータを研究しているわけではないのですが，さすがにこれはちょっと・・・と思う言説を何回か見かけてきました． 最近の「量子」に対する過熱ぶりは凄まじいので，こういう怪しい言説が広まるのは困りものです．すでにTwitter上には，“組合せ最適化は今のコンピュータでは解けない”とか“でも量子なら一瞬で解ける”という勘違いをしてしまっている人が多数見られます*1． さすがに危機感を覚えてきたので，この場できちんと指摘しておくことにしました． 今北産業(TL;DR) “古典コンピュータは組合せ最適化を解けない” → 古典コンピュータで組合せ最適化を解
Wav2vec: Semi-supervised and Unsupervised Speech Recognition
Word2vec for audio quantizes phonemes, transforms, GAN trains on text and audio from Facebook AI. JS disabled! Watch Wav2vec: Semi-supervised and Unsupervised Speech Recognition on Youtube Watch video "Wav2vec: Semi-supervised and Unsupervised Speech Recognition" Wav2vec is fascinating in that it combines several neural network architectures and methods: CNN, transformer, quantization, and GAN tra
ゼロから作る時系列データベースエンジン
軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて
決済システムの残高管理周りの DB 設計と戦略 - カンムテックブログ
エンジニアの佐野です。今日はカンムの決済システムでユーザの残高管理をどうやっているかについて書きます。 カンムの製品であるバンドルカードはプリペイド方式のカードです。ユーザによる入金、店舗での利用、運営事由の操作などによりユーザの残高が増減します。このような残高の管理について単純に考えると user_id と balance と updated_at あたりをもったテーブルを用意して balance と updated_at を更新していく方法があるかもしれません。しかしながらカンムでは残高を管理するテーブルを持たず、これらイベントの履歴のみで残高を管理しています。以下、本記事ではこれらユーザの残高が増減するイベントのことをトランザクションと呼びます。ここでは DB の Transaction Processing を意味しません。 本記事のポイントは 残高を管理をするテーブルは作らず、ト
QuestDB | Peak time-series performance database
Peak time-series performanceQuestDB is the world's fastest growing open-source time-series database. It offers massive ingestion throughput, millisecond queries, powerful time-series SQL extensions, and scales well with minimal and maximal hardware. Save costs with better performance and efficiency. PerformanceColumnar storageSIMD-optimized queriesIngest 4M rows/s per nodeDon’t worry about cardina
Andreessen Horowitzが考えるDeFiの重要性について
昨日はメルマガをお休みしてしまいすみません。土曜日が飲み会だったので寝てしまいました。 ■メイントピックス SubSttackの調子が悪く、画像が載らないのでNotionページ参照することをおすすめします Andreessen Horowitzが考えるDeFiの重要性 a16zによるDeFiの重要性についてのコラム記事。 これを和訳しました。要約しようと思ったのですが、削るところがないぐらい良い内容なのでそのまま読んでもらったほうが良いかと思い、そのまま掲載します。長いですがご一読ください 分散型金融、通称「DeFi」とは、従来の金融仲介機関を自由にアクセスできる自律的で透明なソフトウェアに置き換える、ブロックチェーンを活用した製品やサービスのエコシステムのことで、多くの誇大広告や話題、懐疑的な意見、混乱、興奮が寄せられています。 DeFiはまだ始まったばかりですが（始まって数年）、その関
最適輸送の解き方
最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立つスライドになっています。 『最適輸送の理論とアルゴリズム』好評発売中！ https://www.amazon.co.jp/dp/4065305144 Speakerdeck にもアップロードしました: https
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why Generalization in RL is Difficult: Epistemic POMDPs and Implicit Partial Observability
Diffusion Models
http://arxiv.org/pdf/2010.01265
Temporally Correlated Task Scheduling for Sequence Learning
R-Drop: Regularized Dropout for Neural Networks
GitHub - AI4Finance-Foundation/FinRL: FinRL: Financial Reinforcement Learning. 🔥
WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis
Dice Loss for Data-imbalanced NLP Tasks
データセットシフトの学習理論
When Vision Transformers Outperform ResNets without Pre-training or Strong Data Augmentations