pysparkでデータハンドリングする時によく使うやつメモ - Qiita
この記事について pysparkのデータハンドリングでよく使うものをスニペット的にまとめていく。随時追記中。 勉強しながら書いているので網羅的でないのはご容赦を。 Databricks上での実行、sparkは2.3.0以降, pythonは3.6以降を利用することを想定。 既存データからDataFrameの作成 # csvk形式1(spark DataFrameから書き出されたデータなど、データが複数にまたがっている場合) df = spark.read.csv("s3://my-backet/my-data/*.csv") # csv形式1(単一のファイルの場合。そもそもあまりない状況だと思うが…。状況にもよるが後にrepartion()実行を推奨) df = spark.read.csv("s3://my-backet/my-data/data.csv") # parquet形式 df
databricks cloud上でmatplotlibとかseabornのグラフを表示するスニペット - Qiita
import pandas as pd import seaborn as sns import numpy as np import matplotlib.pyplot as plt df = pd.DataFrame(np.arange(10).reshape(5,2)) # 元データを適当に作る fig, ax = plt.subplots() ax = sns.heatmap(df) # axにグラフオブジェクトを渡す(matplotlibでも一緒) display(fig) # figの方をdisplayに渡す # こんな感じに書いてもnotebook上にグラフは表示されない sns.heatmap(df) plt.show()
MacにMeCabを利用できる環境を整える - Qiita
はじめに 何番煎じかわかりませんが、MacにおけるMecabの環境構築方法についてまとめておきます。 OSのバージョンはOS X High Sierraです。 Mecabについて MeCabはオープンソースの日本語の形態素解析器です。 形態素解析の分析において必須のソフトウェアとなっています。 なお、形態素解析の精度を大きく左右するものに、日本語の辞書があります。 利用する辞書によって形態素解析の結果が大きく変わります。 特に、Twitterのツイート本文や検索ワードなど新語が多く登場することが想定される文章ではその性能差が顕著に出ます。 この記事では、MeCabで用いられる代表的な辞書であるIPA辞書とIPA辞書を拡張して開発されたneologd辞書をインストールして利用できるようにするところまでを解説します。 MeCabのインストール MeCabはHomebrewからインストールできま
pandas DataFrameをs3から読む・s3に出力するメモ - Qiita
この記事について AWS EC2上とかで作業する際、s3上においたファイルにアクセスする機会は多いと思います。 そういう際にぜひ利用してください。 (環境やpermission周りの設定にも大いに依存する気がするので、これが最適解だとは思ってないですしそこらへんどういう設定に依存するのかちゃんと整理できてないのであとでちゃんと勉強したい…) s3からcsvを読み込む これはread_csvの引数にs3のバケットを指定してあげれば一発。 import pandas as pd df = pd.read_csv('s3://your-backet/your-file.csv') def write_df_to_s3(df, outpath): """ s3にファイルを書き出す処理 """ import s3fs key = "your-aws-access-key" secret = "you
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
