Spark DataFrameに新しい列を追加する - My Life as a Mock Quant
下記のようにUDF使うか, mapでDataFrameごと新しくするか、なのか？ import spark.implicits._ import org.apache.spark.sql.functions._ // Example data val df = Seq( (1, 2), (3, 4), (5, 6) ).toDF("x", "y") // Define function val hoge = udf({(x: Int, y: Int) => x + y }) val x = df.withColumn("z", hoge($"x", $"y")) x.show() stackoverflow.com
Scalaでの例外処理 - Either,Option,util.control.Exception - ( ꒪⌓꒪) ゆるよろ日記
今日はScalaの例外処理について解説しますよ。 基本 - try,catch,finally 例外処理の基本は、try,catch,finallyです。これはJavaと同じですね。 ただし、Scalaでのtry,catch,finallyは値を生成します。つまり、実行されたブロックの値が評価されます。 scala> val n = try{ "99".toInt } catch { case e:Exception => -99 } n: Int = 99 scala> val n = try{ "foo".toInt } catch { case e:Exception => -99 } n: Int = -99 上記のように、catch節には "case e:Exception => ..."のようなパターンマッチを書くことで、対応する例外の型に応じて補足することができます。try,
Scalaのjson変換ツールspray-jsonを試してみた。 - 日頃の行い
Scalaがとても楽しいので、spray-jsonによるScalaコード内でオブジェクトのjson変換を試してみました。 spray/spray-json · GitHub 基本的に上記のレポジトリのコードを元にしました。 ScalaのオブジェクトならDefaultJsonProtocolというトレイトを継承または、利用すれば変換することが出来るようです。 とても楽でした。 準備 /build.sbt 準備はbuild.sbtを以下のようにするだけです。 libraryDependencies += "io.spray" %% "spray-json" % "1.3.1" 一般的なScalaオブジェクトをjsonに変換する 上記の準備だけで、toJsonを利用して、Scalaのオブジェクトをjson化することが出来ます。 Scalaで用意されたオブジェクト（Listなど）の変換には2通りの
ScalaのFunction22問題（またはTuple22問題）について思うこと - たけぞう瀕死ブログ
Scalaで実際にシステム開発を行う上でかなりの高確率で遭遇するのがFunction22問題（またはTuple22問題）です。Scala Conference in Japan 2013のセッションではScalaの問題点として挙げたのですが、実際はいろいろと思うところもあるので書いておきます。 Function22問題（またはTuple22問題）とは？ Scalaのフレームワークではケースクラスへの値のマッピングにタプルを使ったり、値のバインドやアンバインドにapplyメソッドやunapplyメソッドを使うものが多いのですが、Scalaには以下のような制約があるため、22個以上のプロパティを定義することができない、というものです。 22個以上の引数を持つ関数を作ることができない（メソッドとしては定義できますが、変数に代入したり関数渡しをしようとするとコンパイルエラーになります） 要素が22
ターミナルのsbtで起動したプログラムをIntelliJのデバッガでデバッグする - $shibayu36->blog;
最終的に結構簡単な設定で出来たのだけど、いろんな情報に右往左往させられてしまったので、自分用にメモをとっておく。 やりたいこと Scalaで開発する時、基本的にターミナルでsbtを起動して、runとかtestとかを実行している。その時、挙動を動かしながら確認するために、ステップ実行を行いたい時がある。 ステップ実行しながらデバッグする時、IntelliJのデバッガが便利なのでそれを使いたい。 作戦 ターミナルで、sbtをJVMのデバッグオプション付きで立ち上げて、そのプロセスにIntelliJのデバッガでアタッチするという方法を取る。 IntelliJの標準のScala開発環境で、「Enable debbuging for SBT shell」という設定もあるのだけど、これがなかなかうまく動かなかった。そこでこちらのやり方は諦めて、上記した方法を取ることにした。 やり方 sbtをJVMのデ
Scala的な考え方 - Scalaがとっつきにくいと思っている人へ - ( ꒪⌓꒪) ゆるよろ日記
Javaな人から見ると、「Scalaって難しい」ってイメージがありますね。俺も最初はそう思ってました。今もですけど。 で、考えてみたんですが、何が難しいって考え方・イディオムになじみがないのが原因かと思ったんです。 ここでは、俺が今までScalaをやってきて得た考え方を紹介します。「Scalaをちょっとやってみたんだけど、とっつきにくくて…」と思われている方は、ぜひご一読ください。 参考資料: Scala入門 - Scalaで書きはじめたJava使い向け - Scala勉強会＠東北 Dropbox - 404 神は言われた。「リストあれ。」 Lisperは、リストをどう作るかをまず考えるらしいです。適切なリストが出来たら、プログラムはもうできたも同然だと。同じ考え方は、Scalaでも通用すると思います。 大まかに、こんな流れで考えてます。(リストは最初から与えられることもあるでしょう) 「
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ScalaのFutureの使い方メモ - ジタバタしばた
https://dwango.github.io/scala_text/