oasis440のブックマーク / 2017年8月8日

oasis440 id:oasis440

2017年8月8日のブックマーク (5件)

Scala implicit修飾子まとめ - Qiita
Scalaには他の言語ではなかなか見かけない，謎の修飾子「implicit」が存在します。僕もScala始めたばかりの時には，意味がわからず困惑しました。ぐぐっても個々の使い方は載っていても，まとまって解説しているところはあまりなく・・・。そこで，多少なりScalaをかじった僕がまとめておこうと思います。 Scalaレベルはポケモンでいうと，まだ20〜30Lvくらいなので，ご了承ください。 1. implicitの概要 implicitとは「暗黙的な」という意味です。逆の意味をもつ単語はexplicit。 C#を使っている人は，これらの言葉を聞いたことはあるでしょう。 (しかし，ScalaのそれとC#のそれでは，全く意味は異なりますが・・・。) implicitには様々な使い方があります。その中で全てに共通するのは，「暗黙的に何かをしてくれる」という点です。これだけ聞くと，「それって
oasis440 2017/08/08
scala
リンク
[Spark][Scala] Spark2.0でEncoderを用いてDatasetを生成してみる | DevelopersIO
はじめに分散環境での大規模データ処理エンジンであるSparkの最新バージョン 2.0 が先月リリースされました。主にSQL周りのAPIとDataFrame/Dataset周りのAPIに改良がなされており、具体的には以下のような変更がありました。 DataFrameとDatasetの統合従来のSQLContext,HiveContextに代わる新しいエントリポイントであるSparkSessionの導入共有変数であるアキュムレータAPIのリプレース（従来のAPIはDeprecated) DataFrameで動く機械学習 API(org.apache.spark.ml.~)の拡充機械学習 APIで構築したモデルの永続化と他言語SDKへの共有 R向け分散アルゴリズム Datasetは1.6からすでに導入されているAPIですが、今回2.0の変更にともなって改めて外部のデータからDatasetに格
oasis440 2017/08/08
Spark
リンク
やばい、iOSにネイティブアプリ要らなくなるかも。SafariもPWAに対応する可能性 - Qiita
これ以上は長くなるため後述． Chromeは既に，Safariもようやく上記の通り，Service WorkersがPWAでも最重要な機能の一つである．Chromeでは既に対応済み．しかしSafariが対応しておらず，世間的にはモチベーションの上がらない状況であった（やちまもその一人である）． Safariにおいて，Service Workersの実装状況 No active development が Under Consideration になったのは2015/12/041のことである． 20ヶ月という永遠とも呼べる時を経て，2017/08/032にようやく In Development となったわけであった．ちなみにMicrosoft Edgeでは既に開発中34である．だから何なのか SafariにService Workersの実装がなされると，一気にウェブアプリへの移行が
oasis440 2017/08/08
chrome

development
リンク
Apache Spark で分散処理入門 - Qiita
Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモメモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscala、pythonの方がすっきりかけている気がじます。これからも随時編集していきます Apache Spark とは上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin
oasis440 2017/08/08
Spark

Apache

hadoop

分散処理
リンク
Apache Spark - partitionについて - - Qiita
はじめにこの記事は、Apache Sparkのpartitionの概念について例題を添えてまとめてみようと試みた記事です。 Apache Sparkの概要についてはApache Spark で分散処理入門をどうぞ。例題で見るパーティションのイメージ以下は、Apache Sparkの分散処理のイメージを例題とともに図解しているものです。まず、使う関数の説明、次にその処理のイメージ、最後にソースコードの順番で紹介しています。パーティションの使い方が異なる三例を紹介します。 - filter関数の例 - flatmap関数の例 - reduceByKey関数の例 filter関数の例要素単位の変換としてはmap()やfilterなどがあります。関数説明
oasis440 2017/08/08
Apache

Spark
リンク
- 2017年8月9日
- 2017年8月8日
- 2017年8月7日