村のホームページ
村のホームページ 村の案内 このページは、主として、大学の授業で使う資料（その他）を公開する目的で、上村芳郎という人物が作っている個人のホームページです。 いかなる農協のホームページでもありません。 将来的には、学生以外の皆さんにも楽しんで見てもらえるようなページにする方向で努力したいと思っています。 →村の詳しい案内 →村の案内図（索引） 時候の挨拶 もう一月も終わり。私の正月は年末から持ち越した試験の採点だけで終わったような気がします。 日本の思想、あちこち書いています（「資料集」から入れます）。 （2024/1/8） カフカについて書きました。いちばん大事なことをまだ書いてない気がしますが、 何かの参考になるかもしれないので出しておきます。(→カフカ） （2024/1/25）
Spark SQLメモ(Hishidama's Apache Spark SQL Memo)
概要 Spark SQLは、Spark（RDD）の操作をSQL（SELECT文）で行う為のクラス群。 Sparkをインストールすればそのまま使える。（他に特に何かをインストールする必要は無い） Spark SQLを使う場合、SQLContextとSchemaRDDクラスを使う。 import org.apache.spark._ import org.apache.spark.sql._ val sc: SparkContext = ～ val sqlContext = new SQLContext(sc) import sqlContext._ SQLContextインスタンスはSparkContextを使って生成する。 SQLContextには通常のRDDからSchemaRDDへ変換する暗黙変換メソッドが定義されているので、インポートしておく。 SchemaRDDはRDD[Row]、す
Spark RDDメモ(Hishidama's Apache Spark RDD Memo)
RDDの不変とは RDDの不変（イミュータブル）とは、“依存RDD（系譜）”と“処理内容”が変わらないという意味であり、「“処理した結果のデータ（値）”が常に変わらない」という意味ではない。[2014-09-08] 「一度出来上がったデータ（値）は、正常な手段では変更されない」という意味では、データが不変と言えなくもないが。 Sparkでは、障害が起きてRDDの一部が消失すると、入力元の（依存している）RDDを使って再処理してデータを作り直す。 基本的には、依存RDDのデータ（値）が障害前と同じであれば、再処理した結果のデータも障害前と同じになる。 しかし、障害前と同じにならないケースもある。 破損していない入力データが見つかるまで再帰的に依存RDDを辿っていくことになるが、一番先頭まで辿り着いてしまうと、HDFS等の外部システムからデータを再度読み込むことになる。 もしそのデータの内容が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
森博嗣の浮遊工作室
