はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

対象 Apache Sparkをやるにはどれから始めたらいいかわからない方。 Apache Spark関連のリンクをまとめます。主に英語がおおいです。Edxのコースはとてもお勧めです。動画で説明があり、Pythonで実際にコードをかいて学んでいくのでとても理解しやすいです。 I will keep you updated! なにか他にいいリソースありましたらコメントください。 本家 http://spark.apache.org/ Quick start https://spark.apache.org/docs/latest/quick-start.html Overview Stanford CS347 http://www.cs.berkeley.edu/~rxin/talks/2015-05-18_cs347-stanford.pdf Compile and Run Example

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TungstenのShuffleまでカバーされていて、感動してしまったので、翻訳（意訳）してみました。 元記事: Spark Architecture: Shuffle Spark Architecture: Shuffle これは Apache Spark のアーキテクチャに関する2本目の記事です。今回は、Spark デザインの中で、もっと面白い Shuffle について詳しく紹介します。前回の記事は、Spark のアーキテクチャとメモリ管理についてでした。 一般的に Shuffle とはなんでしょうか？ 電話の履歴リストがテーブルに

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? The Cost of the “S” in HTTPS Naylor, et al., 2014　の　個人的なまとめです。 コメントに、今後のHTTP通信について意見などをカジュアルにいただけると幸いです。 Abstract セキュリティとプライバシーの問題により、HTTPSが広がってきた。しかしながら、下記のような弊害もあるかもしれない。 インフラコスト 通信遅延 データの使用量 エネルギーの消費 キャッシュや、ウイルススキャンのようなアプリケーションレイヤーのコンテンツが必要とした付加価値は不透明な暗号化された通信に対しては効果が

""" This app captures packets and extract five tupels. Store these data to elastic search. Elastic search and kibana creates real time packet monitering bashbord. """ import json import sys import datetime import time import pyshark import requests from elasticsearch import Elasticsearch from elasticsearch import helpers URL = "http://localhost:9200" INDEX_URL = URL + "/packets" TYPE_URL = INDEX_U