How can I change column types in Spark SQL's DataFrame?
Suppose I'm doing something like: val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> "cars.csv", "header" -> "true")) df.printSchema() root |-- year: string (nullable = true) |-- make: string (nullable = true) |-- model: string (nullable = true) |-- comment: string (nullable = true) |-- blank: string (nullable = true) df.show() year make model comment blank 2012 Tesla S No comment
[Mysql] SQLでif文を使う - Qiita
if(param1 == 0){ return 'なし'; } else if(param1 == 1){ return 'あり'; } else { return null; }
![[Mysql] SQLでif文を使う - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fc5adf3aa796b05f9fdd9ceefa2ca6ca992781c2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCTXlzcWwlNUQlMjBTUUwlRTMlODElQTdpZiVFNiU5NiU4NyVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MjY1MmY3YWQ1M2RlNjI3ZWFjNGUwY2MyNjVhODk4N2I%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdWlzdWluYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDFhMGI0MzI3N2Q5NDNjNjQwYmM5ZDUwMGU5ZmFhM2I%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D683f321ebbd588bd2dd3b81a56e64ef8)
1114#SELECT
シンボル表現と$メソッドはimport sqlContext.implicits._を行い、implicit classをインポートすると使えるようになります。 ・WHERE WHEREはデータのフィルタリング条件を指定します。 ※ここらへんはSQL99等の仕様と同じです。 SQL >>> SELECT * FROM dataframe WHERE col2 > 0 DataFrame >>> DataFrameではfilterを使うこともできます。 DataFrame .where( $"col2" > 0 ) DataFrame .filter( $"col2".isNull ) ・JOIN JOINは複数のデータ(テーブル)を条件に従って結合します。 使えるJOINタイプは下記のとおりです。 単にJOINとだけ指定するとINNER JOINとなります。 LEFT SEMI JOINは
How to export data from Spark SQL to CSV
This command works with HiveQL: insert overwrite directory '/data/home.csv' select * from testtable; But with Spark SQL I'm getting an error with an org.apache.spark.sql.hive.HiveQl stack trace: java.lang.RuntimeException: Unsupported language features in query: insert overwrite directory '/data/home.csv' select * from testtable Please guide me to write export to CSV feature in Spark SQL.
Apache Spark: SparkSQLリファレンス〜関数編・集計関数〜
SQL関数の花形、集計関数です。 基本的にはGROUP BYと一緒に使用します。 ※GROUP BYを使用しないとグルーピングを伴わない集計になり、全件カウントなどに使います。 approxCountDistinct(e: Column) approxCountDistinct(columnName: String) approxCountDistinct(e: Column, rsd: Double) approxCountDistinct(columnName: String, rsd: Double) グルーピング内のアイテム数の近似値を返します。 アイテム数が少ない場合は正確な値を返します。アイテム数が多い場合に近似値となります。 第２引数に相対標準偏差(RSD)を指定し、近似の許容度を設定することもできます。 sql: select approxCountDistinct( e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Spark: SparkSQLリファレンス〜関数編・Window関数〜
Apache SparkのDataFrameでrow_numberを実行する方法 - Qiita
IF/Case statement when using SparkSQL with Cassandra
SPARK SQL - case when then
Spark SQL: NULL handling in IF
Spark SQL - DataFrames
In-memory analytics with Tableau, SparkSQL, and MapR - Sonra