Alpacaの勉強会のお知らせ: Orb / Alpaca Tech Talk 2017/06/26(月) 18:30〜 - FutureInsight.info
OrbのCTOの山田さんとご飯食べている時に、そういえばおなじFintechだし勉強会やりましょうよ、勉強会、という話をしていたら、山田さんがあれよあれよというまに企画していただき勉強会することになりました。 connpass.com 僕は、いつも、どちらかというと金融機関の皆様を対象にAIのジェネリックな話をするのですが、久しぶりにガチな勉強会なのでガチな話をしようとおもって、今のAlpacaの技術スタックの情報をかき集めています。 で、最近にわかに盛り上がっている時系列データベースですが、AlpacaではMarketStoreと呼んでいるgo言語でフルスクラッチ実装した自社開発の時系列データベースを利用しております。MarketStoreの面白い点は、時系列データベースながらSQL構文をサポートしており、内部的には、 select tickcandler('25Min',Open,Hi
第22回［最終回］ まとめと本連載で解説できなかったこと | gihyo.jp
連載を終えて 本連載では、これまで21回に渡り、HadoopやSparkなどのソフトウェアを並列データ処理系と称して、前半においてはおもに当該処理系のアーキテクチャやデータ処理方法の原理を説明し、後半においては当該処理系の実装における技術的特徴を概観してきました。 前半では、いくつかの教科書や古い文献をベースに説明をしましたが、近年の発展が著しいと考えられている並列データ処理系においても、過去に深く研究された技術の組み合わせや応用である場合が多いことを感じていただけたかと思います。技術全般において言えることですが、最先端の技術を理解するには、基礎を丁寧に押さえることが最も重要だと思います。多くの参考文献を載せましたので、このような技術に興味がある方や今回を機に興味をもった方は、さらに理解を深めていっていただけると幸いです。 また、後半においては、近年の並列データ処理系が、過去の技術を基礎と
sublime text 3でgolang開発するためのプラグインなど - Qiita
この記事は、2015年のAdvent Calendar Go その2の9日目の記事です。 最近乗り遅れまいとgolangをさわり始めました。 普段使っているエディタがsublime textなので、sublime textでgolangの開発をする際に入れたプラグイン等を書こうと思います。 GoTools ironcladlou/GoTools Package Control GoTools GoSublimeが定番っぽいのですが更新が止まっているようなので、似たような総合パッケージのGoToolsを使っています。 主な機能は、 フォーマット 自動補完 関数などの宣言元へのジャンプ build関連 になります。 GoToolsインストール,初期設定 必要なライブラリをイントール後、いつも通りなPackage Controlからインストールします。 必要な外部ライブラリをインストール go
Kubernetesとは何かを分かりやすく紹介する「よい子のためのKubernetes絵本」動画が公開
「Kubernetesってなあに？」と娘に聞かれたお父さん。「Kuberenetsは、Dockerコンテナ群をオーケストレーションするためのオープンソースのシステムだよ」と答えたお父さんが作ったのが、この絵本です。 Dockerコンテナの普及とともに、コンテナをクラスタ化した際の運用管理ツールの重要性も高まってきています。Kubernetesはそうした運用管理ツールの1つです。 しかしKubernetesの仕組みと機能はやや複雑です。そこで、分かりやすくKubernetesを紹介しようと、KubernetesをベースにしたPaaS基盤ソフトウェアを開発しているDeis,Incが公開した動画が「The Illustrated Children's Guide to Kubernetes」（よい子のためのKubernetes絵本）です。 もちろん題名はある種のジョークで、中身はきちんとKube
Monitoring Cassandra at Scale
At Yelp we leverage Cassandra to fulfill a diverse workload that seems to combine every consistency and availability tradeoff imaginable. It is a fantastically versatile datastore, and a great complement for our developers to our MySQL and Elasticsearch offerings. However, our infrastructure is not done until it ships and is monitored. When we started deploying Cassandra we immediately started loo
Scalability - Bitcoin Wiki
Note: This page is seriously outdated and largely unmaintained; due to past incidents of edit-warring it has not been subject to much peer review. A Bitcoin full node could be modified to scale to much higher transaction rates than are seen today, assuming that said node is running on a high end servers rather than a desktop. Bitcoin was designed to support lightweight clients that only process sm
第20回 Sparkの設計と実装［1］～登場の背景とデータ処理の特徴 | gihyo.jp
はじめに 今回から2回に渡って、並列データ処理系のひとつであるSparkについて解説します。まずはじめに、Sparkの開発が始められた経緯を紹介し、次にSparkの特徴を説明します。 Sparkが登場した背景 Sparkは、Hadoop MapReduceと同様に、複数の計算機を用いてデータ処理を行う並列データ処理系です。2009年に、カリフォルニア大学バークレー校のAMPLabにて、Matei Zaharia氏を中心として開発が始まりました。Sparkの開発が始まった当時、世の中にはすでにHadoopが存在しており、高い耐障害性を有しかつスケーラブルな並列データ処理を、コモディティな計算機を用いて行うことは一般的になりつつありました。しかし、Hadoop MapReduceは必ずしも個々の計算機のメモリを効率的に活用する設計ではありませんでした。 Hadoop MapReduceは、ジョ
Scaling Raft
In CockroachDB, we use the Raft consensus algorithm to ensure that your data remains consistent even when machines fail. In most systems that use Raft, such as etcd and Consul, the entire system is one Raft consensus group. In CockroachDB, however, the data is divided into ranges, each with its own consensus group. This means that each node may be participating in hundreds of thousands of consensu
第19回 Impalaの設計と実装［3］ | gihyo.jp
はじめに 今回は、ImpalaにおけるI/Oの高速化技法について説明します。 前回説明したように、Impalaの実行エンジンは可能な限りメモリ上で処理をすることでアドホッククエリのレイテンシを下げ、スループットを向上させる、という設計方針で開発されています。 しかし、データはストレージ（二次記憶装置）に格納されているため、当然、ストレージへのI/Oを回避することはできません。また、Impalaは実行時に十分なメモリを確保するべく、データをメモリ上に保持（キャッシュ）しないため、クエリを実行するたびにデータをストレージから読み出すことを前提として設計されています[1]。 今回は、このようなユースケースを考慮しつつ、高速・高効率なアドホッククエリを実行するためのI/O処理方式とデータレイアウトについて解説します。 Short-Circuit Local ReadsによるI/Oの高効率化 Sh
第52回 データマイニング+WEB ＠東京( #TokyoWebmining 52nd )ー機械学習活用 祭りーを開催しました - hamadakoichi blog
2016/3/26 "第52回 データマイニング+WEB ＠東京( #TokyoWebmining 52nd ) ー機械学習活用 祭りー" を開催しました。 第52回 データマイニング+WEB ＠東京( #TokyoWebmining 52nd ) ー機械学習活用 祭りーEventbrite Google グループ 会場提供して下さったFreakOutさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧 参加者セキココ：第52回 データマイニング+WEB ＠東京 セキココ (作成してくれた [Twitter:@komiya_atsushi] さんに感謝） 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB
第18回 Impalaの設計と実装［2］ | gihyo.jp
はじめに 今回は、ImpalaのSQL処理の高速化において重要な役割を占めるクエリ処理について説明します。 Impalaのクエリ処理の特徴 Impalaは、MapReduceやSparkをはじめとする既存の手続き型のデータ処理エンジンを使用せず、アドホックなSQLクエリの処理の高効率化に焦点を置いた設計と実装が特徴です。たとえば、結合方法を見てみると、MapやReduceもしくはMapReduceジョブなどのブロッキングオペレータ（第16回）を組み合わせていく処理エンジンにおいては、Impalaにおけるパイプライン結合処理などを実現することは必ずしも容易ではありません（第8回「Impala／Prestoにおける結合処理」）。 また、MapReduceやSparkでは中間データをディスクに書き込むことにより高い耐障害性を実現しますが、Impalaでは耐障害性を多少犠牲にしてメモリ上で処理
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.hydromatic.net/wiki/FarragoHeuristicPlanner
Home Page
研究法（Claimとは）
[Japanese] White Paper![[Japanese] White Paper](https://cdn-ak-scissors.b.st-hatena.com/image/square/95a0c63ece26907230dd298570b9f2f515e9e9be/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F97b7224996bd9471e7acb4945c5112c2af6d3dc16241cf3385b07e665698241b%2Fethereum%2Fwiki)
Cassandra introduction apache con 2014 budapest
Vitess | Overview
How to recommend top 10 products in Spark ALS for all the users?
26 Trillion App Recomendations using 100 Lines of Spark Code - Ayman Farahat
PySpark: Top N Records In Each Group