S3 アクセスのニアリアルタイムな異常検出を pandas と Firehose で実装してみる | DevelopersIO
みなさん、S3 の異常アクセスてどうやって検出していますか？ EC2 への異常アクセスであれば GuardDuty がありますよね。CloudFront, ALB, API Gateway であれば AWS WAF がありますよね。S3 は？ S3 Access Analyzer？ あれは 99% アクセス分析やってくれそうなサービス名ですが、アクセスが来たものを対象に分析するサービスではなく、「アクセスされる危険性があるよー」という分析をしてくれるサービスなので違うんですよ。 AWS CloudTrail Insights？ あー、CloudTrai Insights は API コールのアクティビティを機械学習し、異常な挙動が起きた場合に知らせてくれますよね。S3 も CloudTrail に出力できるし出来るんじゃ… と思いますよね。でも出来ないんです。CloudTrail Insi
Pythonを会得する考え方やポイント5選！ 『パーフェクトPython』著者が魅力を語る！ - FLEXY（フレキシー）
※本記事は2020年4月に公開した内容です。 株式会社ディー・エヌ・エーのシステム本部CTO室の露木誠です。PythonやDjangoについて執筆した『パーフェクトPython』や『Django×Python』などの著書が技術系出版社から数冊出版されています。DjangoのAUTHORSファイルにも実は名前が掲載されています。 本記事では、Pythonを始めたいと思っている方向けに、Pythonの魅力をお伝えできればと思います。知っておきたいPythonの言語仕様や特徴的な考え方をご紹介しますので、参考にしてください。 Python関連のエンジニア案件を見てみる 自己紹介とPython、Djangoに関わる活動について ディー・エヌ・エーのCTO室に所属、元々は異業種からIT業界に参入 現在は、株式会社ディー・エヌ・エーのシステム本部CTO室で、エンジニア組織の課題解決を主な活動として、日
[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO
こんにちは、Mr.Moです。 下記の記事を見てVS CodeのPython拡張でJupyter Notebookが使えることを知り便利そうだなーとしばらく直感的に使っていましたが、そろそろちゃんと使いこなしたいので用意されているデータサイエンスチュートリアルを参考にしならが使い方をマスターしていきたいと思います！ Visual Studio CodeでJupyter Notebookを動かしてみた データサイエンスチュートリアルとは VS Codeの公式ページあるチュートリアルです。March 2020 (version 1.44)のアップデートで公開されたようですね。 https://code.visualstudio.com/docs/python/data-science-tutorial チュートリアルを参考にしながら使い方を確認していく さっそくチュートリアルを進めていきます。あ
![[VS Code Python拡張] データサイエンスチュートリアルをやりながらVS CodeでのJupyter Notebookの使い方をマスターする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b3a3cd126b780dcd4cdffcaa7d018424e8c697cb/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F06%2Fvscode-2019-eyecatch-1200x630.png)
Mac で docker-compose コマンドがエラーで動かない ( pyenv とか python とか言ってくる ) #docker - Qiita
$ docker-compose --version Traceback (most recent call last): File "/Users/yumainaura/.pyenv/versions/3.7.3/bin/docker-compose", line 5, in <module> from compose.cli.main import main File "/Users/yumainaura/.pyenv/versions/3.7.3/lib/python3.7/site-packages/compose/cli/main.py", line 17, in <module> import docker File "/Users/yumainaura/.pyenv/versions/3.7.3/lib/python3.7/site-packages/docker/__ini
[小ネタ] Python(Boto 3)で5GB以上のS3オブジェクトをコピーするときはcopyメソッドを使おう | DevelopersIO
Python(Boto 3)で5GBを超える容量のS3オブジェクトをコピーする場合には、copy_objectメソッドではなくcopyメソッドを使いましょう。copy_objectメソッドでは5GB以上のS3オブジェクトをコピーしようとしてもエラーとなってしまいます。 はじめに 清水です。タイトル通りなのですが、Python(Boto 3)で5GBを超える容量のS3オブジェクトをコピーする場合には、copy_objectメソッドではなくcopyメソッドを使いましょう。copy_objectメソッドでは5GB以上のS3オブジェクトをコピーしようとしてもエラーとなってしまいます。当初このことを知らずにハマってしまったので、備忘録がてらまとめてみたいと思います。 copy_objectメソッドを使ったS3オブジェクトコピーのコード まずはPython(Boto3)でS3上のオブジェクトをコピーす
アルゴリズムの基本をJava、C#、Pythonで学ぼう - データを集計し、言語ごとの違いを知る - エンジニアHub｜Webエンジニアのキャリアを考える！
今回は、以下のように指定しました。表示オプションはデフォルトのままです。 地点を選ぶ：東京 項目を選ぶ（データの種類）：時別値 項目を選ぶ（項目）：気温 期間を選ぶ：2019/1/1～2019/12/6 データの項目は「日時」「気温」「品質情報」「均質番号」の4種類。品質情報、均質番号は、観測値が正常かどうかに関する情報です。各項目の詳細については、同サイトの「ダウンロードファイル(CSVファイル)の形式」ページを参照してください。 ファイルの先頭5行には、次の画像のような項目が入っています。このまま使うとやや面倒なので、あらかじめ先頭5行分は削除し、全てデータ行のみのCSVファイルに加工しておきます。 CSVファイルの仕様にはバリエーションがあり、その全てに対応するとコードが複雑になりますので、今回は気象庁のCSVデータに基づき、次の仕様を前提とします。 文字種は、ANK（1バイト文字）
Microsoft、「Visual Studio Code」向けPython拡張機能の最新版を公開
今回のPython拡張機能は、Visual Studio Marketplaceからダウンロードするか、Visual Studio Code（以下、VS Code）の拡張機能ギャラリーから直接インストールできる。Python拡張機能をインストール済みの場合は、Python拡張機能ビューでVS Codeを再起動するか、Python拡張機能を直接アップデートすることで、February 2020リリースに移行できる。 February 2020リリースでは66の問題を修正し、多数の機能改良を施した。主な改良点は次の通り。 Jupyter Notebookエディタの起動が高速に Python拡張機能のJanuary 2020リリースでは、Jupyter Notebookエディタのパフォーマンスを大幅に改善した。February 2020リリースの特徴は、高速化の取り組みをさらに進めたことだ。 M
venvを使ってAWS CLI（v1）とAWS CLI v2を使い分ける（Mac, Linux編） | DevelopersIO
AWS CLI version 1 と version2 には、一部互換性がありません。互換性が無いと言われてしまうと、使い分けて実行したくなります。 と、いうわけでPythonのvenvを利用して、AWS CLI v1とv2の環境を使い分ける方法を紹介します AWS CLI v2がGAされました！ [アップデート] リソース名の補完など強力な機能追加！AWS CLI v2 が GA されました！ ｜ Developers.IO が、気をつけないといけないことがあります。 AWS CLI version 1 と version2 には、一部互換性がありません。詳細は公式ドキュメントを御覧ください。 Breaking Changes – Migrating from AWS CLI version 1 to version 2 - AWS Command Line Interface 互換性
第606回 オープンソースな多機能測定器Pocket Science LabをUbuntuで使う | gihyo.jp
Pocket Science Lab（PSLab）はオシロスコープやマルチメーター、ロジックアナライザー、シグナルジェネレーターなど多くの機能を備えた、スマートフォンからも操作できるシングルボードコンピューターです。今回はこのPSLabをUbuntuから操作してみましょう。 オープソースハードウェア「Pocket Science Lab」 Pocket Science Lab（PSLab）の最大の特徴のひとつが「オープンソースハードウェア」を謳っていることです。つまりソフトウェアだけでなくハードウェアやファームウェアの仕様やコードも公開されているため、ユーザーが必要に応じて改造・拡張しやすい作りになっているのです。 機能としてはオシロスコープやマルチメーターだけでなく、ロジックアナライザーやシグナルジェネレーター、電源などとして利用できますし、I2C/SPI/UARTの口もあるのでそれらの
Jupyter Notebookと Boto3で AWS環境定義書を作成してみる | DevelopersIO
Jupyter Notebook(以降 Notebook) は実行可能なプログラムコードや分析結果、グラフなどを含んだドキュメントを作成するための OSSです。 画像：https://jupyter.org/ Pythonによるデータ分析でよく利用されます。 特徴として 「Markdown セル」と「Code セル」 を Notebook内へ配置できます。 データ分析のプロセスの文脈を Markdownセルに書くことで、 プログラムのコメント以上の表現力で、プロセスを記述できることできます。 データの可視化についても、Notebookは優秀です。 Matplotlib のグラフや、Pandas のテーブルなどを Notebook内にインライン表示してくれます。 さて、Markdownセルによるドキュメンテーション、 pandas によるテーブル表記でふと思いました。 「Jupyter No
[アップデート] リソース名の補完など強力な機能追加！AWS CLI v2 が GA されました！ | DevelopersIO
本日、AWS CLI v2 の GA がアナウンスされました！ AWS CLI v2 is now generally available ちょっと使ってみましたが、あまりの便利さに感動しております！ AWS CLI v2 従来の AWS CLI v1 に比べてインストールが容易（python のバージョンがーーっ！！とか悩まない）になっているだけでなく、AWS シングルサインオン（SSO）対応、リソース名の補完やウィザードオプションなど強力なインタラクティブ機能が追加されています。 あと、YAML 形式の出力も使えますね！ 詳細については、Shirota の re:Invent のセッションレポートをあわせてお読みください。 また、今回の記事では触れていない AWS SSO 対応については、Kitano の記事を参照ください。 何はともあれインストール 今回は自分の mac に AWS
How To Become A Hacker: Japanese
なぜこんな文書を書いたか わたしは Jargon Fileの編集者で、またその他似たような有名文書いくつかの著者なので、しばしば熱心なネットワーク初心者から「ウィザード級の大ハッカーになるにはどうやって勉強すればいいの？」といったようなお尋ねメールを頂きます。でもかつて 1996 年に、こんな大事な問題を扱った FAQ や Web 文書 はみあたらないことに気がつきました。というわけで、これを書き始めました。多くのハッカーがいまやこれを決定版と見なしているし、つまり実際に決定版なんだと思います。でも、この問題について自分が唯一無二の権威だと主張するつもりもありません。気にくわなければ、自分なりのヤツをどうぞ。 この文書をオフラインで読んでいるなら、最新版は次のところにあります。 http://www.catb.org/~esr/faqs/hacker-howto.html なお、この文書の
Pythonローカル開発環境構築テンプレート【Flask/Django/Jupyter with Docker + VSCode】 - Qiita
Pythonローカル開発環境構築テンプレート【Flask/Django/Jupyter with Docker + VSCode】PythonDjangoFlask開発環境新人プログラマ応援 概要 ローカル環境を構築することには、それなりのコストを伴います。もちろんここで多少苦労したほうがよいという意見はすごく分かります。が、それで気持ちが削がれてしまうのももったいないと思う次第です。 そこで、Flask/Django/JupyterNotebook向けの Python開発環境構築を3コマンドで完了 させられるようなテンプレートを作成しました。(cdを除く) 前提条件 MacOSであること gitおよびmakeコマンドが有効であること(デフォルトで有効なはず) ※condaがインストールされている場合は、pipとのバッティングが発生し中途で失敗する可能性があります。 ローカル構築イメージ
PythonがJavaを抜いて2位に--GitHub人気言語ランキング - ZDNet Japan
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます GitHubの年次報告書「The State of the Octoverse」によると、最も人気の高いプログラミング言語のランキングで、「Python」が「Java」や「PHP」「C#」「C++」などを抜いて2位に浮上したという。 Microsoft傘下のGitHubは、この1年間に同プラットフォーム上で「開発者が370以上の主要言語で共同作業を行った」ことを指摘した。GitHubは、主要言語でタグ付けされた公開リポジトリとプライベートレポジトリへのユニークコントリビューター数で各言語をランク付けした。 「JavaScript」は2019年も首位の座を維持したが、Pythonは2015年に4位から3位に順位を上げ、2019年に3位から
不動の人気を誇る「Python」、評価が二分される「Java」「JavaScript」
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Python」は相変わらず、開発者の間で根強い人気を誇るプログラミング言語だ。一方、「Java」と「JavaScript」の評判――もしくは不評――については、プログラマーによって答えがまちまちだ。 フランスのコーディングスキル開発企業のCodinGameが、人気プログラミング言語とキャリアの詳細について、2万人の開発者を対象に調査した。 それによると、JavaScript、Java、Python、「C++」「C」が特に多くの人に習得されたプログラミング言語だった。習得者が特に少なかったのは「Clojure」「F#」「OCaml」だ。 「最も人気がある」言語は、最も多くの人に習得された言語とは違ったが、トップ5には順位こそ違えど、ほぼ
6. Modules
6. Modules¶ If you quit from the Python interpreter and enter it again, the definitions you have made (functions and variables) are lost. Therefore, if you want to write a somewhat longer program, you are better off using a text editor to prepare the input for the interpreter and running it with that file as input instead. This is known as creating a script. As your program gets longer, you may wa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JavaとPythonの基礎文法比較 - Qiita
京都大学、Pythonによるプログラミング演習教材を無料公開 | スラド デベロッパー
JupyterHub + JupyterLabで Python マルチユーザプラットフォームを作る on Rapsberry Pi 3B+ ! - Qiita
Jupyter Notebooks in Visual Studio Code