PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
「人とWebに優しい」Scrapyの使い方サンプル〜 #PyConJP 2017のつづき(なお野球) - Lean Baseball
※2019/8/12 書籍のリンクを最新版に更新 PyCon JP 2017で発表した野球×Pythonの分析ネタの詳細解説です.*1 プレゼンテーション：野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築 | PyCon JP 2017 in TOKYO speakerdeck.com youtu.be 時間および諸々の都合（察し）で公開できなかった*2, 「人とWebに優しい」Scrapyアプリのサンプル（なお野球） を作って公開したのでその紹介と,PyConのプレゼンで発表しきれなかった部分を簡単に紹介します. おしながき おしながき 対象の読者 参考文献 Scrapyを用いた日本プロ野球データ取得Exampleアプリ ポイント 全体像 「人とWebに優しい」settings.pyの書き方 Spider（クローラー本体）について〜Itemも添えて Spider.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
