How a Go Program Compiles down to Machine Code
Here at Stream, we use Go extensively, and it has drastically improved our productivity. We have also found that by using Go, the speed is outstanding and since we started using it, we have implemented mission-critical portions of our stack, such as our in-house storage engine powered by gRPC, Raft, and RocksDB. Today we are going to look at the Go 1.11 compiler and how it compiles down your Go so
ステートマシン猛レース - モナドとわたしとコモナド
ストリーム処理ライブラリはHaskellにおいて競争の激しい分野の一つだ。ストリーム処理ライブラリとは大雑把に言うと、IOなどの作用を絡めながら値の列(ストリーム)を生成したり、処理したりする構造を提供するライブラリである。多くのライブラリは、以下の3種の構造を定義している。 生産者(プロデューサー): IOなどのアクションを伴いつつ値を生成する。 消費者(コンシューマー): 多くの場合モナド変換子になっており、await :: Consumer s m sのようなアクションを組み合わせ、値の列を処理するプログラムを書ける。 変換者(トランスデューサー): 入力を受け取りながら、出力もできる。 生産者と消費者が変換者の特殊な場合であるものも多い。 今回は、基本中の基本とも言える操作であるスキャンの速さを調べる。scan (+) 0は入力ストリーム[0,1,2,3, ...]を出力[0,1,
QUICのヘッダ圧縮QPACKとは (旧QPACK) - ASnoKaze blog
20190408追記 最新版について記事を書きました asnokaze.hatenablog.com QUICのヘッダ圧縮であるQPACKについて 現在のQUICの策定中仕様の一つである「Hypertext Transfer Protocol (HTTP) over QUIC」では、QUICでもHTTPヘッダの圧縮にHPACKを使用することになっていますが、新しくQUIC用のヘッダ圧縮方式として「HTTP over QUIC - Mapping and Header Compression」という仕様でQPACKなるものが提案されています。 背景 QUICとHPACK HTTP/2ではヘッダ圧縮方式としてHPACKと呼ばれる方式を利用します。HPACKはRFC 7541「HPACK: Header Compression for HTTP/2」で標準化されています。 HPACKはヘッダ名と
Java 8 Stream API にテキストを流してみる（生成編） - Qiita
Java 8 Stream API にテキストを流してみる（生成編）- Qiita Java 8 Stream API にテキストを流してみた（終端操作編）- Qiita Java 8 Stream API にテキストを流してみて（中間操作編）- Qiita Java 8 が出てからだいぶたつわけだが その目玉機能の一つだった Stream API は今、開発現場でどれだけ使われているのだろうか。自分も出始めたころにちょっと触って理解しきれないまま敬遠してきた一人だが、最近また使う機会があったので情報など漁っている。 しかしまだ入門的な紹介かディープな検証ばかりで、どうもピンと来ない。もし Stream が便利で広く開発現場で使われているなら、そろそろもう少し実践的な情報が上がってきていいと思うのだが。 現状、Stream をちゃんとは理解しようとするなら、やはり自分の手で具体的なコードを
Java8 Stream API 終端処理 (TerminalOperation) - abcdefg.....
java8 Stream APIの終端処理についてのメモです。 前回の続きで、Stream APIの終端処理について書きました。 pppurple.hatenablog.com ストリーム生成⇒中間処理⇒終端処理の終端処理の部分です。 目次 終端処理 count min max sum average summaryStatistics findFirst findAny anyMatch allMatch noneMatch reduce(identity, accumulator) reduce(accumulator) reduce(identity, accumulator, combiner) toArray iterator spliterator forEach forEachOrdered collect(supplier, accumulator, combiner) c
TCP serverをSSL/TLS化するのに nginx の stream_ssl_module/stream_proxy_module が便利 - たごもりすメモ
最近 Fluentd の通信プロトコルまわりをアップデートするためにあれこれいじっている*1んだけど、これはおおむね fluent-plugin-secure-forward がサポートしていた内容を Fluentd 組込みの forward plugin でもサポートしますよ、というものになる。 んで問題なのが secure-forward は SSL/TLS での接続のみしかサポートしてなかったんだけど forward では生の TCP で通信する*2ので、本当に secure-forward と forward それぞれの実装間で互換性が保たれているのか、直接的には確認する手段がない、ということになってしまう。 TCP server の SSL/TLS 化 一方世の中には SSL/TLS ターミネータという機能があって、たとえばロードバランサなんかがこの機能を持っている。何をやるかと
Subvisual | Tutorial: HTML Audio Capture streaming to Node.js (no browser extensions)
Tutorial: HTML Audio Capture streaming to Node.js (no browser extensions) I'm taking the time to write the tutorial I wish I had some months ago. My task was to set up some user voice recording mechanism in the browser. It should record for about one hour, non-stop, saving to a server. The idea was to use the getUserMedia() API. No browser extensions should be used. The getUserMedia() API allows w
Stream Processing Casual Talks #1 に行ってきた＆しゃべってきた - たごもりすメモ
なんか、やろうぜー、という話になってそのような勉強会が行われたので、参加してた。 connpass.com 会場＆飲食の提供はYahoo! Japanさん。ありがとうございました。面白かった。 しゃべってきた Norikraそのものの話はさすがに今更感あったので、Norikraの大事なところと、あとPerfect Norikra (仮)について話してきた。 How to Make Norikra Perfect from SATOSHI TAGOMORI まあ、まだ1byteも存在しないソフトウェアなんだけどな！ 存在しないソフトウェアについて話せるようになったの、ちょっと実績解除感があるのではないだろうか。だめか。 Norikraを分散処理対応にするにはクエリ処理エンジンおよびデータ転送層を丸ごと書き直すしかないなー、しかもそこに色々なアイデアが必要だなとは思っていて、そのうちのひとつで
Stream Processing in SmartNews #jawsdays
- SmartNews uses stream processing to deliver news quickly as the lifetime of news articles is very short. Kinesis Streams play an important role in processing user activity streams and metrics in near real-time. - Data is ingested using Kinesis Producer and Consumer Libraries and processed using Spark Streaming to generate metrics for ranking articles. Metrics are stored in DynamoDB. - An ETL wor
なるべく理解したいffmpeg - ザリガニが見ていた...。
ストリーム・フィルターチェーン・フィルターグラフ・リンクラベルという概念に注目して調べてみた。 ファイル情報を見る ファイルに含まれるビデオとオーディオの形式を確認してみる。 $ ffmpeg -i sample.flv ffmpeg version 2.5.4 Copyright (c) 2000-2015 the FFmpeg developers ...中略... Input #0, flv, from 'sample.flv: Metadata: starttime : 0 totalduration : 1155 totaldatarate : 346 bytelength : 50005082 canseekontime : true sourcedata : B0AFCF105HH1424147114695748 purl : pmsg : httphostheader :
最新Java情報局
JavaOne 2017レポート、要注目のProject JigsawとVector APIをコードで理解 JavaOne 2017レポートの2回目は、筆者が聴講したセッションのうち興味深かったものを2つレポートします。Java SE 9の注目機能である「Project Jigsaw」と、今後の「Project Panama」で提供される「Vector API」です。 2017.11.02 JavaOne 2017レポート、ここ数年で最も充実していたキーノート 10月1日から5日間、世界最大のJava開発者会議「JavaOne」が開催されました。キーノートや500近くのセッションなどを通じて、Javaの最新情報に触れることのできる5日間となりました。このJavaOneの模様を2回にわたってお伝えします。今回はキーノートセッションを中心にレポートします。 2017.10.19 Java SE
ストリームデータ解析の世界
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
Stream Processing in Uber
Video and slides synchronized, mp3 and slide download available at URL http://bit.ly/1OKo5FN. Danny Yuan discusses how stream processing is used in Uber's real-time system to solve a wide range of problems, including but not limited to real-time aggregation and prediction on geospatial time series, data migration, monitoring and alerting, and extracting patterns from data streams. Yuan also presen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stream Deckを導入したら作業効率がとても良くなった話 - 宮原徹の日々雑感
Bashのストリーム/パイプ処理を視覚的に理解する - Qiita
GitHub - jparkie/PDD: Advanced Bloom Filter Based Algorithms for Efficient Approximate Data De-Duplication in Streams
HTTP API の設計方向
きつねさんと学ぶ Lambda式&StreamAPIハンズオン[関ジャバ2015/7/11] #kanjava![きつねさんと学ぶ Lambda式&StreamAPIハンズオン[関ジャバ2015/7/11] #kanjava](https://cdn-ak-scissors.b.st-hatena.com/image/square/809770f813735a077a9b91ee208d0a5cca92b28b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fhandson-150716025702-lva1-app6891-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
JVM上でのストリーム処理エンジンの変遷
https://cero-t.hatenadiary.jp/entry/20151212/1449929908