Windows上でDockerコンテナを動かす！ その歴史 #docker #windows #linux #lcow #wcow #wsl2 - クリエーションライン株式会社
普通のPythonスクリプトをSpark化してお手軽並列処理する #spark - クリエーションライン株式会社
こんにちは。木内です。 Apache Sparkはいわゆる「スケーラブルな汎用分散処理エンジン」なのですが、実際にはユーザの利用形態はSQLに関する処理や、機械学習などのデータ分析関連に偏っているように思えます。"汎用"というからにはデータ分析に限らずおおよそ並列処理できるようなユースケースにも使用できると Apache Spark の用途の幅が広がるのではないかなと思います。 そこで今回はデータ分析とは全く関係のないような処理をApache Sparkで並列化してみます。 そもそもどんなところで並列処理は使用されているのか 一般的に並列処理が使用されているのはいわゆるスパコンの分野です。私はスパコンのことはよくわからないのですが、線形代数、数値解析といった用途に利用されているようです。例えば Abaqus というソフトウェアは有限要素解析を行うことができるソフトウェアですが、応用分野とし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
