SparkのRDDとDataFrameでそれぞれwordcount - 映画は中劇
Sparkでデータ処理プログラムを書くためのAPIには、RDDとDataFrameの二種類がある。2つのAPIを用いてwordcountを書いてみる。wordcountは、テキスト中の単語の出現回数を数えるプログラムであり、分散データ処理の必修課題である。 RDDは低レベルなAPIで、データのレコードにはスキーマがない。データ処理は、map関数やflatMap関数などリスト処理的な高階関数によって記述する。reduceByKeyなどいくつかの操作は、レコードが(key, value)のタプルであることを要求するが、その検査はジョブ投入時ではなく、タスク実行時に行われる。総じて、古式ゆかしいMapReduceの感覚で扱える。 DataFrameは高レベルのAPIで、データのレコードにはスキーマが適用される。データ処理は、SQLによって記述するか、あるいはホスト言語上のDSL（以下クエリDSL
機械学習／Deep Learningの仕事が増える2017年、ソフトウェアエンジニアがFPGAを学ぶべき理由
ソフトウェアエンジニアがFPGA（field-programmable gate array）を使うハードルがさらに下がってきている。クラウドサービスでFPGAを活用できたり、Pythonで記述したニューラルネットワークをFPGAに高位合成できる研究成果が出てきたりしているのだ。 ソフトウェア開発者の立場でFPGAに取り組むイベント「FPGAエクストリーム・コンピューティング」を主宰する佐藤一憲氏、FPGAの高位合成によるディープラーニングについて研究している東京工業大学の中原啓貴氏（中原研究室）、そしてFPGAベンダーであるザイリンクスの神保直弘氏が、急激に常識が変わりつつあるFPGAの動向を語り合った。 本稿では座談会の中から、ソフトウェアエンジニアにFPGAや高位合成が求められる現状、そして、今後どのようなツールを使うべきか、ソフトウェアエンジニアがFPGAに取り組む際の課題などにつ
ウェブアプリケーションフレームワーク Flask を使ってみる - Qiita
Ruby は柔軟なプログラミング言語であり Sinatra のような手軽で軽量なウェブアプリケーションフレームワークがあります。いままで分析用の言語として主に Python で統計やデータの可視化をおこなってきましたが、もちろん Python にも多種多様なウェブアプリケーションフレームワークがあります。 数値計算などを Python でおこなう仕組みをウェブシステムとして提供したい場合、わざわざ別の言語を利用するよりウェブの部分も同じ言語で作ってしまったほうが一貫性があります。 そこで今回は Flask という Python の小規模なフレームワークを利用し、ごく簡単なウェブアプリケーションを作ってみます。 Flask には日本語訳された親切なユーザーガイドがあります。 https://a2c.bitbucket.io/flask/ とても丁寧に書かれているので、基本的にはこのドキュメン
re:dashからAmazon Athenaにクエリを投げる - Qiita
2016/12/01に、Amazon S3上のデータにアドホックにSQLクエリを投げられるサービスであるAmazon Athenaがリリースされました。 Athenaの概要に関しては以下をどうぞ。 Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを Amazon Athenaを使ってみました #reinvent Amazon AthenaをBigQueryと比較してみた 自分で軽く使ってみた感じだと、SaaSなので管理コストが低い上にクエリのパフォーマンスもかなり良く、非常に可能性を感じるサービスだという印象です。 というわけでAmazon Athenaをもっと使っていきたいので、OSSのBIツールであるre:dashからAmazon Athenaにクエリを投げられるようにしました。皆さんも良かったらやってみてください。 コメント欄にもありますが、re:d
pythonで美しいグラフ描画 -seabornを使えばデータ分析と可視化が捗る その1 - Qiita
Pythonでのグラフ描画 Pythonチャートを描く場合の定番は「matplotlib」ですが、その見た目のやや野暮ったい感じと、表記法のややこしさが指摘されています。 そこで、この記事ではMatplotlibの機能をより美しく、またより簡単に実現するためのラッパー的存在である、「Seaborn」の使い方を取り上げます。 ◆ Overview of Python Visualization Tools http://pbpython.com/visualization-tools-1.html 上記の記事ではMatplotlibとSeabornについて下記のように書かれています。 matplotlibについて Matplotlib is the grandfather of python visualization packages. It is extremely powerful b
最強のPython統合開発環境PyCharm - Qiita
新しい言語を習得するにあたって良きIDEというのは最良の師匠となるのでケチらず積極的に使うべきと思っています。 というわけで、Python における最強の統合開発環境である PyCharm について紹介します。 一番多いとは思うので Django による WebApplication 開発を想定して書いています。 機能や価格体系等については 2015年12月15日 の PyCharm 5.0.2 時点のデータです。 概要 PyCharm は高品質なIDEで有名なチェコの JetBrains s.r.o. が出している Python 向けIDEです。 Widows / OS X / Linux で動作可能。 JetBrains のIDEは IntelliJ IDEA という Java IDE がベースとなっており PyCharm はその Python プラグインとして開発されています。 他に
Python の Flask で REST API を作ってみる
勉強がてら Python の Flask で REST API を作ってみた。/users リソース以下にユーザの CRUD を作ってある。リソースの表現は JSON にした。 #!/usr/bin/env python # -*- coding: utf-8 -*- import json from functools import wraps from flask import Flask, jsonify, request, url_for, abort, Response app = Flask(__name__) # ダミーデータ (DB の代わり) id_index = 3 users = {1: {'id': 1, 'name': 'foo'}, 2: {'id': 2, 'name': 'bar'}} def consumes(content_type): def _con
Python: Flask のエラーハンドラについて
Flask にはエラーハンドラという機構がある。 これは Web アプリケーションの中でハンドルされなかった例外を HTTP のレスポンスに変換するというものだ。 つまり、どれだけ呼び出しの深い場所にいてもエラーが起こったときには例外さえ上げればクライアントに適切なレスポンスが返るという便利な仕組み。 同様の機構は、他の Web アプリケーションフレームワークでも JAX-RS (Java) の例外マッパーや Pyramid (Python) の例外ビューとして見られる。 今回はその便利なエラーハンドラについて書いてみる。 まずは何はともあれ Flask をインストールする。 $ pip install flask 最初のサンプルコードは 404 エラーをレスポンスに変換するというものだ。 エラーハンドラが登録されていない場合はデフォルトのエラーメッセージが HTML で返ることになるが、
データサイエンティストを目指す人のpython環境構築 2016 - Qiita
pythonの環境構築について "python 環境構築"でググると20万件くらいヒットしますが、割と内容が古いです。 タイトルにはデータサイエンティストと書いてありますが、データサイエンティスト以外にもanacondaはおすすめです。 2.x or 3.x? 3.xは動かないライブラリが多いので2.x推奨 > 3.xで動かないライブラリがある、くらいまで来ました。 easy_installでpipを入れて、setuptoolsも入れて、でもwheelというのもあって... > 古いです。 virtualenv 必須 > そんなこともないです。 winでは64bitは不具合が多いので32bit推奨 > 古いです。 winでは非公式バイナリからダウンロードしてインストール > お世話になりましたが、最近は使っていません。 2016版 OS毎python環境構築法決定版 Windows: an
Python パッケージ管理技術まとめ (pip, setuptools, easy_install, etc) | yunabe.jp
Python パッケージ管理技術まとめ (pip, setuptools, easy_install, etc) Python のパッケージ管理関係の情報がオフィシャルには整理されてなく、 またパッケージ管理まわりででてくるキーワードもいくつもあって分かり難いので完結にまとめてみました。 このドキュメント自体は少し長いですが、結論としては2015年1月時点では 原則 pip を使ってパッケージの管理を行う setuptools も広く使われているので入れておくとよい。そもそも pip のインストール時に自動的ににインストールされる distribute は 2013年に setuptools にマージされたので不要 という方針でよいと思います。 ただ少し古い情報ソースやパッケージのドキュメントを読んでいると distribute の利用が勧められていたり、 site-packages, e
How to turn off INFO logging in Spark?
I installed Spark using the AWS EC2 guide and I can launch the program fine using the bin/pyspark script to get to the spark prompt and can also do the Quick Start quide successfully. However, I cannot for the life of me figure out how to stop all of the verbose INFO logging after each command. I have tried nearly every possible scenario in the below code (commenting out, setting to OFF) within my
pyspark.sql module — PySpark 3.0.1 documentation
Module Contents¶ Important classes of Spark SQL and DataFrames: pyspark.sql.SparkSession Main entry point for DataFrame and SQL functionality. pyspark.sql.DataFrame A distributed collection of data grouped into named columns. pyspark.sql.Column A column expression in a DataFrame. pyspark.sql.Row A row of data in a DataFrame. pyspark.sql.GroupedData Aggregation methods, returned by DataFrame.groupB
Spark DataframeのSample Code集 - Qiita
はじめに：Spark Dataframeとは Spark Ver 1.3からSpark Dataframeという機能が追加されました。特徴として以下の様な物があります。 Spark RDDにSchema設定を加えると、Spark DataframeのObjectを作成できる Dataframeの利点は、 SQL風の文法で、条件に該当する行を抽出したり、Dataframe同士のJoinができる filter, selectというmethodで、条件に該当する行、列を抽出できる groupBy → aggというmethodで、Logの様々な集計ができる UDF(User Defined Function)で独自関数で列に処理ができる SQLで言うPivotもサポート (Spark v1.6からの機能) つまり、RDDのmapやfilterでシコシコ記述するよりもSimple Codeで、且つ高
簡単な集約/変換処理を PySpark & pandas の DataFrame で行う - StatsFragments
こちらの続き。 sinhrks.hatenablog.com 準備 サンプルデータは iris 。今回は HDFS に csv を置き、そこから読み取って DataFrame を作成する。 # HDFS にディレクトリを作成しファイルを置く $ hadoop fs -mkdir /data/ $ hadoop fs -put iris.csv /data/ $ hadoop fs -ls / Found 1 items drwxr-xr-x - ec2-user supergroup 0 2015-04-28 20:01 /data # Spark のパスに移動 $ echo $SPARK_HOME /usr/local/spark $ cd $SPARK_HOME $ pwd /usr/local/spark $ bin/pyspark 補足 前回同様に pandas から直接 PySp
人気の波には逆らえず、今更ながらPythonを始めてみた
Pythonというと、日本では長らくややマイナーな存在でしたが、ここに来ていきなり、最も重要なプログラミング言語になった感があります。もし、“PRG48”というグループがあって、“プログラミング言語総選挙”をやったとしたら、人気急上昇で1位になりそうな勢い…。すみません、つまらない例えをしてしまいました。 Python人気の最大の理由は最近の人工知能ブームでしょう。「TensorFlow」や「scikit-learn」といった機械学習の有名ライブラリがPython向けに提供されているので、「人工知能や機械学習を学ぶならPython」という認識が広まっています。 書店の技術書売り場へ行くと機械学習をPythonのコードとともに解説する本が何冊も並んでいます。この出版不況のご時世に、お世辞にも簡単とは言えない機械学習の本が何冊も出ている状況は、日本のソフトウエア業界の未来は案外明るい、と思わせ
Pythonコードを使用して、Pythonコードを書く方法を人工知能に学習させる | POSTD
ここでは少しの間、自律走行車のことは忘れてください。物事は深刻になってきています。この記事では、独自のコードを書くマシンを作ることに的を絞って話を進めていきたいと思います。 GlaDoS Skynet Spynetを使用します。 具体的に言うと、Pythonのソースコードを入力することで、自分でコードを書くように、文字レベルでのLong Short Term Memoryニューラルネットワークを訓練していきます。この学習は、TheanoとLasagneを使って、EC2のGPUインスタンス上で起動させます。説明が曖昧かもしれませんが、分かりやすく説明できるように頑張ってみます。 この試みは、 こちらの素晴らしいブログ記事 に触発され行うに至りました。皆さんもぜひ読んでみてください。 私はディープラーニングのエキスパートではありませんし、TheanoやGPUコンピューティングを扱うのも初めてで
（インターン向けに書いた）Pythonパッケージを作る方法 - Qiita
この記事は何？ Pythonパッケージの作り方を説明する Pythonパッケージを作るときに意識して欲しいことを説明する この記事はポエムです これまでのあらすじ インターンを迎える予定なのですが、彼らはパッケージを作ったことがないそうです。 一方で、企業としては、パッケージ化までしてくれないと、実務に使うまで時間がかかってしまって大変です。 そこで、社内向けに「Pythonパッケージの作り方」という文書を書きました。これをインターンの人に読んでもらっていい感じのパッケージを作ってもらうぜ！という都合の良い目論見です。 しかし、 私もいままでパッケージ化のノウハウをきちんと体系的に勉強したわけではないので、イマイチ不安です。そこで、Qiitaにポエム投稿して、ポエム修正をしてもらおうと思ったわけです。 ところどころ日本語が変なのはご容赦ください。日本語に不自由してます。1 この記事を読む人
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Allison Kennedy is coming soon
GitHub - projecteru/redis-trib.py: Redis Cluster lib in Python
Jupyter上のpysparkでspark-csvを使う - Qiita
