データアナリティクス事業本部の下地です。pythonでDynamoDBのデータを取得、csv形式で保存しS3にアップロードしてみたので内容をまとめたいと思います。 環境 環境は以下のようになっております。 mac: 10.15.7 python: 3.7.0 boto3: 1.12.33 全体像 手順としては以下のようになっています。 DynamoDBテーブルを作成 データを入力 scanを実行しデータを取得 取得データをcsvとして保存 S3へアップロード 実装 実装は、jupyter notebookを使用して進めます。 まず必要な関数のimportと変数の定義を行います。 import csv from boto3.session import Session session = Session(profile_name= プロファイル名) table_name = DynamoDB

#はじめに 最近、プライベートでデータ分析のツールを作成している関係でpandasというpython外部ライブラリを活用している。が、いざ使って見ると、「pandas?なにそれかわいいの？」と動物のパンダ🐼を連想させるヤバい思考に行きつつある状況になる。 これはまずいと感じ、投稿者はpandasを探し求める旅に出る。 この記事は、pandasを飼いならすためにpandasをSQLっぽく考えるというデータサイエンス初学者に向けた記事となります。 #そもそもpandasとは何か pandasとは、構造化された（表形式、多次元、潜在的に不均質）データと時系列データを簡単かつ直感的に操作できるように設計された高速で柔軟な表現力のあるデータ構造を提供するPythonパッケージで、実際的な実世界のデータ分析を行うための基本的な高レベルのビルドを行う事が可能なツールです。 要は、表データをpython

PythonはAIや機械学習領域のライブラリを豊富に持っており、近年非常に高い人気を誇っています。今回はPythonを使用して自然言語（人間が読み書きする言語）を処理する方法ご紹介します。 近年、自然言語処理の領域は急速に発展しており、機械翻訳（英語から日本語の翻訳等）の精度も年々向上しています。今回はその自然言語処理の基礎の基礎の部分をお伝えし、Pythonで処理する方法をご紹介いたします。 合田 寛都（ごうだ・かんと） 株式会社メンバーズ メンバーズデータアドベンチャー データアナリスト メンバーズに新卒入社後大手企業のWEBサイト運用やアクセス解析等に従事。メンバーズデータアドベンチャーに異動し、クライアント企業にデータアナリストとして常駐。 自然言語とは？ 自然言語とは人間が日常的に読み書きする、所謂普通の言語のことを指します。これと対比されるのが機械語やプログラミング言語で、Py

from django.shortcuts import render, redirect, HttpResponseRedirect from shisetsu.models import * from accounts.models import * from .models import * import calendar import datetime from datetime import timedelta from datetime import datetime as dt from django.db.models import Sum from django.contrib.auth.models import User from django.views.generic import FormView, UpdateView, ListView, CreateVie

はじめに AWSのEC2上でDjangoプロジェクトを展開しようとして丸一日悩んでしまったので、手順をまとめました。あくまでも自己責任でお願いします。 やったこと EC2インスタンスを立てて何も考えずにDjangoを動かして、ネット上からアクセスできるようにする。 今回はSQLite3,nginx,gunicornを使います。 注意 ec2-userをそのまま使っていたり、セキュリティ的に怪しい所があるため注意すること。今回はAWSでdjangoプロジェクトをとりあえず動かせるようにすることを目的とする。 VPC、サブネット、インターネットゲートウェイの設定はすでに完了していて、EC2自体はネットから参照できる状態になっている所からスタートする ssh(22)、HTTP(80)とDjango用(8000)のポートが開放されている状態を前提とする DBはSQLite3を使用する。また、SQL

Since many students in my Stat 451: Introduction to Machine Learning and Statistical Pattern Classification class are relatively new to Python and NumPy, I was recently devoting a lecture to the latter. Since the course notes are based on an interactive Jupyter notebook file, which I used as a basis for the lecture videos, I thought it would be worthwhile to reformat it as a blog article with the

Amazon Interactive Video Serviceのプライベートチャンネルを使ったライブ配信の再生に必要なJSON Web Token(JWT)をPythonの対話型インタプリタ環境で作成してみました。 はじめに 清水です。先日のアップデートでプライベートチャンネル機能が追加されたAmazon Interactive Video Service（Amazon IVS）、以下の公式ブログやワークショップ資料などで具体的な手順が公開されていますね。 Introducing Private Channels for Amazon Interactive Video Service | AWS Media Blog 再生承認の有効化 :: Amazon Interactive Video Service Workshop 動作の概要としては動画プレイヤー（Amazon IVS Pla

In the fall of 2019, the Python Software Foundation and JetBrains together conducted the official third annual Python Developers Survey. Much like the previous survey, we set out to identify the latest trends and gather insight into what the world of Python development looks like in 2019. The insights from 24 thousand Python developers from more than 150 different countries have helped us get a pi

最近では機械学習を取り入れたサービス開発も増え始め、私自身もそのディレクションをすることがあります。 ただ、データサイエンティスト、MLエンジニアと呼ばれる人々が作る学習モデルを盲目的に利用するだけの簡単なお仕事です、というのは否めず、初心者（私）が、機械学習の知識レベルを上げるために、簡単な学習モデルを作れるようになるまでの過程をまとめてみました。 ※ 続編『機械学習の初心者がpythonで有馬記念を予想してみた』も書いたので、併せてご覧ください。 今回のゴール pythonによる環境構築からスタートして、一番手っ取り早いと思われるロジスティック回帰による分類モデルを構築してみるところまで実施してみます。題材は趣味と実益を兼ねて、競馬予測モデルに挑戦してみます。 ※なお、競馬の専門用語を使用してますが、不明な点は調べて頂ければと思います。 環境構築 前提 実施した環境は以下の通りです。

Serverless Framework DashboardのCICD機能を使ってデプロイパイプラインを構築する方法をご紹介します。 Serverless Frameworkのダッシュボードがあるのを最近知って使ってみました。 かなり使い心地が良くて画面上からサクッとCICD環境を作成できたので、この記事で手順を残しておきます。 今回はデプロイ先はAWSでブランチ毎にAWSアカウントを切り替える、ランタイムはPythonでpytestをデプロイ前に実行する、という構成にしていきます。 環境 Serverless Framework Framework Core: 2.2.0 Plugin: 4.0.4 SDK: 2.3.2 Components: 3.1.4 Python: 3.8.5 Pipenv: 2020.8.13 pytest: 6.0.2 moto: 1.3.16 セットアップ

<tbody> {% for staff in user_list %} <tr align="center"> <th class="staff_name" staff_id="{{ staff.staff_id }}" width="200" >{{ staff.last_name }} {{ staff.first_name }}</th> <!--staff_id要素はjsで使う--> {% for item in object_list %} {% if item.user|stringformat:"s" == staff.username|stringformat:"s" %} ###ここで文字列に変換 <td class="day_{{ item.date }}" id="s{{ staff.id }}d{{ item.date }}"> {{ item.shift_nam

今回から、乳がんの判定に関するモデルの構築を題材に、PythonでのAI開発の方法を見ていきましょう。医学の場合、最終的な病気の診断は、あくまで医者が行うものですが、このようなモデルがあれば医者は自分の診断の正しさを確認できます。このように人間の判断の補助としての位置付けも機械学習モデルとしての意味のある利用形態です。 例題データの説明 今回の実習で利用するデータセットは、「Breast Cancer Wisconsin（Diagnostic）Data Set」（乳がん診断データセット）と呼ばれるものです。 乳がんの検診で腫瘍が見つかった患者に対して腫瘍細胞を採取し、顕微鏡で分析した結果を数値化した情報となっています。 W.N. Street, W.H. Wolberg and O.L. Mangasarian, “Nuclear Feature Extraction for Breast

概要 PythonのMecabを使用して、様々な教師データから「っぽい文章」を生成します WEBアプリ制作しました キャッチコピー自動生成のWEBアプリケーションを開発した話【MeCab】 https://qiita.com/SyogoSuganoya/items/8baa519cee5101912b3e サービスサイト MakeLike https://melikeke.sakura.ne.jp/malike/intro 参考 Python3からMeCabを使う https://qiita.com/taroc/items/b9afd914432da08dafc8 MecabをPythonで使うまで https://qiita.com/Sak1361/items/47e9ec464ccc770cd65c マルコフ連鎖を使って〇〇っぽい文章を自動生成してみた https://www.pc-k

それぞれの概要を順に説明します。わかりづらいところがあっても、まずは一通り目を通してください。後でPythonで実装していくので、そのときに実際の方法がわかります。 （1）データ読み込み 機械学習用のデータをPythonで扱えるよう読み込む処理が最初に必要です。具体的なやり方としては大きく次の3通りがあります。 ①CSVファイル読み込みによる方法 一番標準的な方法です。CSVファイルは通常、Jupyter Notebookが動いている環境から読み込みますが、学習用データがインターネット上に公開されている場合もあります。 今回の特集でこの後何度も出てくるread_csv関数は、ローカルファイルの読み込みと、URL 指定によるファイルの読み込みをサポートしています。URLを指定するケースでは、read_csv関数呼び出し1行でインターネット上のCSVファイルを直接読み込めます。 ②関数呼び出し

from django.shortcuts import render from shisetsu.models import * from accounts.models import * from .models import * from django.shortcuts import redirect import calendar import datetime from datetime import timedelta from datetime import datetime as dt # Create your views here. def homeschedule(request): from datetime import datetime now = datetime.now() return redirect('schedule/monthschedule/%