PythonによるWebスクレイピング + Amazon QuickSightで大黒天物産ダッシュボードを作る | DevelopersIO
データアナリティクス事業本部の貞松です。 Amazon QuickSightでは、地理空間グラフ(地図上にプロットした円の色や大きさにより、地理的な位置関係とそれにまつわる分類や数値を視覚化したもの)を利用することができます。自動ジオコーディング機能(地名や住所から自動で緯度・経度を取得してくれる機能)については、米国のみの対応となっていますが、データセットにあらかじめ緯度・経度の情報を含めておけば日本の地図に対しても地理空間グラフを使用できます。 AWSドキュメント - Amazon QuickSightユーザーガイド - 地理空間グラフ (マップ) 本記事では、この地理空間グラフを使った一例として、庶民の味方、大黒天物産の店舗ダッシュボードを作成します。 大黒天物産とは 大黒天物産株式会社は岡山県倉敷市に本社を置くディスカウントストア(ラ・ムー、ディオなど)の運営企業です。 プライベー
【python】Yahoo Web APIでバーコード情報(JAN)から商品名を読み出す（数列→商品情報） 【お家IT#18】 - MotoJapan's Tech-Memo
本件の実装の一部 motojapan.hateblo.jp 前回の続き motojapan.hateblo.jp 目次 取得方法のアイディア 1.スクレイピングする方法 BeautifulSoup4 をインストール 実装 結果 2.WebAPIで検索する方法（種類） Product Advertising API (Amazon Web Services) 楽天商品検索API (Rakuten Developers) ショッピング商品検索(Yahoo! Developer Networks) Yahoo! Developer Networksを使ってみる 登録 ディベロッパー登録 アプリケーション登録 クライアントID取得 インストール & 実装 結果 前回は画像からバーコード情報（数列）を取得した。 今回はこの情報から、商品情報を取得する。 取得方法のアイディア 実際このバーコード情報か
内閣府が提供する祝日・休日 csv データをよしなに JSON フォーマットに変換して Amazon S3 に保存する Python スクリプトを書いてみたのと, そこで得たイイ感じでテストを書く, テストを回す為の知見を幾つか - ようへいの日々精進XP
tl;dr 作ったもの 知見 requests.get() を mock で置き換える S3 への put_object を moto で置き換える invoke コマンド Travis CI を使って, 複数の Python バージョンでテスト出来るようにする 以上 tl;dr inokara.hateblo.jp 前回の記事の続きというか, 前回, 突貫で作った Python スクリプトを自分なりに作り直してみました. スクリプトを作り直すにあたって, テストを書いたり, その上で Python 3 系の複数のバージョンでテストを Travis CI で回すようにしてみたり, モックを使ったり, 色々と経験出来たので覚書として残しておきたいと思います. 尚, あくまでも「自分なりに」なので, 誤り等あればご指摘頂けると幸いです. 作ったもの github.com 使い方とかは READ
Python製開発用SimpleDB·SimpleDB/dev MOONGIFT
Web APIはその名の通り、Web上で提供される。そのため、ネットワークにつながっていない状態では利用することができず、不便な思いをする。常時接続が当たり前になりつつあるが、近所のカフェや移動時間などで開発を行いたいときもあるだろう。 サービスを立ち上げたところ また、Amazonが提供する各種Web APIの中には有料で提供されるものもある。この場合は開発中もWeb APIを利用する上で課金されることになってしまう。開発中はバッチやテストなどで利用頻度は激しいだろう。その度に課金されてしまうのではスムーズな開発が行えない。そこで利用するのがこれだ。 今回紹介するオープンソース・ソフトウェアはSimpleDB/dev、Python製のSimpleDBクローンだ。 SimpleDB/devはAmazon Webサービスの一つ、SimpleDBをローカルでも動作させられるものだ。Simple
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - pielco11/JungleScam: An Amazon OSINT scraper for potential scam accounts
AmazonAPI Pythonによるxmlデータの取得 - 備忘録
PyAWS
