Amazon Athena for Apache SparkでS3バケット上のデータを可視化してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Amazon Athena for Apache SparkのAthenaノートブックで、自分で用意したS3バケット上のデータを可視化してみたので、検証内容を共有します。 re:Invent2022にて発表されたAmazon Athenaの機能で、Jupyter Notebookと互換性があるAthenaノートブックをインターフェースに、Apache Sparkを使ってインタラクティブにデータの分析を行うことができるというものです。 検証で確認したかったポイント 今回は、Amazon Athena for Apache Sparkを使って以下のことをどうできるか確認してみました。 Amazon Athena for Apache SparkからS3バケット上の自分のデータにアクセスするためのIAMポリシーの設定方法 Athenaノートブックから可視
子供にマインクラフト使ったPythonプログラミングを教えようとしたらChatGPT使ったプログラミング不要な世界を体験させちゃった | DevelopersIO
子供にマインクラフト使ったPythonプログラミングを教えようとしたらChatGPT使ったプログラミング不要な世界を体験させちゃった こんにちは、会社ではCX事業本部モダンオフショア推進担当、家庭では3児の父親の藤村です。 IT業界で働く親として、子供には幼い頃からプログラミングに親しんでもらいたいと思い、時々Scratchを使った簡単なプログラミングなどを教えていたのですが、ちょっとすると「友達とゲームする時間だから止めるね！」といって、友達とのNintendo Switch使ったオンラインゲーム(FortniteやMinecraftなど)をやり始めてしまい、親としては少し残念な気持ちになっていました。 そんな時に、『マインクラフトでわくわく学ぶ！Pythonプログラミング入門』という書籍が最近発売されたことを知りました。 マインクラフトでPythonを学ぶ！これは息子にドンピシャの内容
コードでAWSをさわってみよう！プログラミング初心者向けAWS SDK（Boto3）の使い方 | DevelopersIO
Pythonのインストール 環境構築ガイドを参考にインストールしてください。 Boto3のインストール Boto3はAWS SDK for Pythonの別称であり、Pythonを介してAWSを操作するためのライブラリです。 公式ドキュメント記載のとおり、下記コマンドを実行しBoto3をインストールします。 Boto 3 Docs / Installation $ pip install boto3 importできればインストール完了です。 $ python Python 3.7.4 (default, Sep 10 2019, 14:34:03) [Clang 10.0.1 (clang-1001.0.46.4)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> i
【Chaliceに入門してみた】LambdaとAPI Gatewayを手動で構築して消耗していた過去の私へ | DevelopersIO
こんにちは。AWS Loftが大好きな佐伯、改めKyoです。(まさか社内に佐伯さんが3名もいるとは…) AWS Loftでのハンズオンに参加してきたのでレポします。 AWS Amplify & Chalice ハンズオン 〜怠惰なプログラマ向けお手軽アプリ開発手法〜 Chaliceとは？ ChaliceはAWS Lambdaを使ったサーバレスアプリケーションを、Pythonで構築するためのマイクロフレームワークで、以下が可能です。 コマンドラインによるアプリの構築、デプロイおよび管理 API Gatewayをはじめ、S3, SNS, SQSといったAWSサービスとのインテグレーション IAM ポリシーの自動生成 Python Serverless Microframework for AWS ちなみにChaliceとは聖杯のことです。ChaliceはPythonのマイクロウェブフレームワー
Python's @classmethod and @staticmethod Explained
Python is a unique language in that it is fairly easy to learn, given its straight-forward syntax, yet still extremely powerful. There are a lot more features under the hood than you might realize. While I could be referring to quite a few different things with this statement, in this case I'm talking about the decorators @classmethod and @staticmethod. For many of your projects, you probably didn
ターミナルから直感的にCloudWatch Logsを検索できるawslogsコマンドの紹介 | DevelopersIO
はじめに こんにちは、中山です。 先日AWS Summit Tokyo 2016に参加してきました。セッションを聴講している際にスピーカーの方が面白そうなツールを紹介されていました。awslogsというPython製のツールです。これはAmazon CloudWatch Logsをターミナルから直感的に検索するためのツールです。早速使用してみたのでレポートします。 検証環境 awslogsコマンドを利用するためにCloudWatch Logsの設定が必要です。検証環境構築用のコードをGitHubに上げておきました。以下のコマンドで実行可能です。 $ git clone https://github.com/knakayama/awslogs-demo.git $ cd awslogs-demo $ ssh-keygen -f site_key -N '' $ terraform apply
Boto3(AWS SDK for Python)でSQSに送信したメッセージをLambdaでポーリングして受信してみた | DevelopersIO
こんにちは、みかみです。 さくら缶だと中身もおいしく感じる不思議..（近頃スーパードライの消費率上がってます。。 はじめに やりたいこと boto3 で SQS を操作してみたい スケジュールイベントで実行される Lambda関数 をつくってみたい SQS に保持されたメッセージを Lambda でポーリングして受信したい 確認環境（local） Python(3.6.0)インストール済み AWS CLIインストール＆設定済み（AWS CLI のインストールと設定） boto3 を pip install 済み SQSの準備 キューの作成＆メッセージ送信 Boto3(AWS SDK for Python)を使って、SQSにキューを作成＆メッセージを送信します。 Boto3ドキュメント > A Sample Tutorial send_msg.py import boto3 name = '
API GatewayのLambda オーソライザーから後続のLambdaにデータを引き渡す | DevelopersIO
API GatewayのLambdaオーソライザー（カスタムオーソライザー）から後続処理にデータを引渡す方法について調査してみました。 サーバーレス開発部＠大阪の岩田です。 API GatewayのLambda オーソライザー (以前のカスタムオーソライザー)について調べる機会があったので、調査したことをまとめます。 Lambdaオーソライザーとは？ 以前はカスタムオーソライザーと呼ばれていた機能で、Lambdaを使用してAPIメソッドへのアクセスを制御する機能です。 以前こちらの記事でも紹介されています。 Amazon API Gateway で Custom Authorization を使ってクライアントの認可を行う 現在開発しているアプリの中で、単なる認可処理だけではなく 処理の中で取得した情報を後続のLambdaに引き渡したい Lambdaオーソライザーで認証が失敗した場合のエラ
Lambda(Python3.6)でDynamoDBに登録された項目が日付型であるかチェックしてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 DynamoDBで提供されている属性の型は大きく分けて スカラー型、ドキュメント型、セット型となっています。 DynamoDBの命名ルールおよびデータ型 そのため、下記画像のように日付と時刻を登録するときは文字列データ型(String型)を使用するのがほとんどだと思います。 ただ、こちらが想定するフォーマット以外でも登録することができてしまい、 登録された時刻をみて、ある処理を実行するときなど 処理が失敗してしまう可能性があります。 今回はLambdaを使って登録されている項目のフォーマットが正しいかチェックしてみたいと思います。 DynamoDBのテーブル作成 今回はCloudFormationを使ってDynamoDBのテーブルを作成します。 テンプレートファイルを作成します。 今回作成するテーブルはプライマリーキー「Date」、ソートキー「Time
Python で Redshift の JDBC ドライバを使ってみる（JayDeBeApi） | DevelopersIO
Python から Redshift へ接続する方法で psycopg 以外の方法が無いものか探していた所 JayDeBeApi なるものを見つけました。Amazon 謹製の JDBC Driver を使えるかなということで試してみました。 テスト環境 OS X 10.11.6, Java 8u112, Python 3.6.1, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar Windows 7, Java 8u131, Python 2.7.13, JayDeBeApi 1.1.1, RedshiftJDBC42-1.2.1.1001.jar ※環境変数 JAVA_HOME の設定が必要です。 ※本来 Python 3 の場合は JayDeBeApi3 を利用するようなのですが、エラーが発生してしまったので 1.1.1 で試しました。 R
データ分析を便利にするJupyter notebookとPandas | DevelopersIO
こんにちは、小澤です。 今回は、Jupyter notebookとPandasの導入的な話をしようと思います。 とは？の話 Jupyter notebookもPandasもすでに「とは？」を書く必要がないくらい有名どころかもしれませんが一応書いておきます。 とはいえ、今回はこんなものがあるよというご紹介程度の内容となるので、この「とは？」がメインコンテンツとなります。 どちらもpipからインストール可能ですが、Anacondaを利用すると、グラフ描画用のmatplotlibも別途インストールする必要がなくなるため、 今回はAnaconda3-4.2.0を利用しているものとします。 Jupyter notebookとは ブラウザ上で、REPLのようなインタラクティブにプログラムを実行するためのものです。 Jupyter notebookを立ち上げるとブラウザから画像のような環境にアクセスでき
いまさら聞けない？scikit-learnのキホン | DevelopersIO
こんにちは、小澤です。 今回は、scikit-learn入門として、機械学習を使ったシステム構築の流れを見てみましょう。 機械学習というと複雑な数式などを駆使して難しいプログラムを実装するイメージがあるかもしれませんが、 ライブラリを利用するだけであれば簡単であることがわかるかと思います。 機械学習の種類 機械学習には様々な種類のものがあります。 ここでは、分類方法として以下のようにしています。 教師あり学習 教師なし学習 その他(半教師あり学習、強化学習など) 教師あり学習 教師あり学習ではデータと正解ラベルの2つの情報が渡されます。 大量のデータから「このデータの正解はこのラベルであった」というパターンを見つけ出して、正解ラベルのないデータに対してもそれを予測するものになります。 教師あり学習はさらに正解ラベルの種類によって回帰と分類に分けられます。 回帰は、正解となる値が連続した数値
AWS Lambda Pythonからpsycopg2でRDS PostgreSQLに接続する | DevelopersIO
AWS Lambda 関数では、実行に必要なプログラムをZIPでパッケージ化します。 AWS Lambda PythonからRDS PostgreSQL に接続する場合はどうでしょうか? PostgreSQLアダプターのpsycopg2をビルドしてLambda関数のルートディレクトリに同梱するだけで済みそうですが、話はそう簡単ではありません。 libpqをpsycopg2に動的リンクさせた場合の弊害 psycopg2 はPostgreSQLクライアント用Cインターフェース libpq のラッパーであり、標準では libpq を動的リンクします。 残念なことに、AWS Lambda の実行環境では libpq は共有ライブラリとしてインストールされていないため、libpq を動的リンクしていると libpq が見つからず、以下のようなエラーが発生します。 Unable to import m
#cmdevio2016 (レポート: E-2) TensorFlowと機械学習の今 | DevelopersIO
平田です。 先日、Developer.IO 2016にて、「TensorFlowと機械学習の今」というタイトルで、TensorFlowと深層学習についてセッションを行いました。他セッションとはかなり毛色の違う内容なので、閑古鳥も覚悟していましたが、結果は満員御礼でした。 普段の業務では深層学習には触れていないため、素人考えの発表となっています。内容に不備や誤りが多々あるかと思いますので、予めご了承ください。 機械学習の現在 最近の機械学習で、話を聞かない日はないと言ってもいいくらい、今の機械学習は深層学習が中心です。 今回は、この深層学習について簡単に概要を話し、なぜ今機械学習ライブラリが必要とされているのか、深層学習の登場によって他領域の機械学習にどのような影響を与えているのかを、ざっくりと自分なりにまとめて話しました。 深層学習について ニューラルネットワークの多層化には壁があり、その
Amazon EC2上でPython2.7及び各種ライブラリ環境を整える | DevelopersIO
AWSではPythonはEC2環境にデフォルトで導入されていますし、AWS CLIもPython環境の上に成り立っています。そういう意味ではAWSを扱う人に取ってはPythonは割と身近な言語であると言えるでしょう。 そんな私もAWS CLIは普段使いしておりますが、何気にその他の環境...Pythonそのものであったり、データ分析等で使う(使える)ような各種ライブラリについては未知の分野が多いです。そこで当エントリでは、EC2上でPython環境、主にデータ分析周りのPython環境やライブラリを整える手順についてまとめて行きたいと思います。 目次 EC2環境の準備 Python2.7へのアップグレード AWS CLIのアップグレード Beautiful Soup IPython pandas scikit-learn(numpy/scipy/scikit-learn) PuLP Sim
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
