最近はセキュリティログ解析などに取り組んでいます。何か面白そうな話題があればお声がけください。IIJ/IIJ-II技術研究所所属。 こんにちは。島です。技術研究所でセキュリティログ解析などに取り組んでいます。 先日、入用でtracepathに相当する機能をPythonで作る場面が出てきました。tracepathは自分のノードから対象ノードまでのインターネット上の経路（ルータ）を発見し、遅延やMTUを計測するプログラムで、iputilsの一部として配布されています。 tracepathとは tracepathと似たプログラムにtracerouteがあり、ほぼ同等の機能を提供しています。わたしを含む年齢層高めの人には、tracerouteの方が馴染みのあるプログラムかもしれません。tracerouteはその実行に管理者権限が必要ですが、tracepathは一般ユーザでも実行できるという違いがあ

#はじめに Pythonを本格的に学習し始めてから３ヶ月くらいが経ち、そのアウトプットの場として活用していくつもりです。 今回の記事は自分のやりたいことのほんの一部でもあり、やりたいことは機械学習に取り組むことです。 機械学習を使ってどんなことをやるか決めていませんが、ざっくりとした流れは以下のようになってます。 1.機械学習のデータを集めるためにWebからデータをスクレイピング ←今ここ！ 2.スクレイピングしたデータの整形（特徴量） 3.学習モデルの作成、検証 今回は食べログからバーとそれに準ずるお店の口コミデータを収集してみました。 なぜ上記のお店の口コミデータを取得しようと考えた理由としては、美味しいお酒が好きだからです。 自分の好きなことであればモチベーションも維持しやすいしね！ ちなみに、個人的には数あるお酒の中でもクラフトジンがアツいです！ #スクレイピングの流れ 1.ランキ

強化学習の評価でよく使われるAtariのゲームですが、ついに57全てのゲームで人間を超えた手法が現れたようです。 早速実装してみました。 ※ネット上の情報をかき集めて自分なりに実装しているので正確ではない点はご了承ください ※解釈違いの内容がある可能性もご注意ください（理解が追いついていない部分があります） コード全体 本記事で作成したコードは以下です。 github GoogleColaboratory(実行結果付き) ※GoogleColaboratoryはmultiprocessingの相性が悪いらしく1Actorのみの学習となります) ※MountainCarの学習をのせています 追記：自作フレームワークを作成しています。そちらの実装の方が正確なコードとなります。 目次 構成としては前半が技術解説で後半が実装の説明になります。 Agent57とは NGU(Never Give Up

Kindle蔵書一覧を取得する方法を読んで、とても便利でした。 この中で、 @error_401さんから頂いた情報によると Kindle for PCを利用している場合、本の情報が入ったXMLが生成されるため このXMLをパースして蔵書一覧を取得することも可能だそうです。詳細は本記事のコメント欄参照。 とあったのでPythonの練習も兼ねて、シンプルなKindle蔵書一覧取得ライブラリを開発してみました。 使いかた 下記のGithubを確認ください。 https://github.com/koboriakira/kindlelamp 感想 開発している間に、「あれもやってみたいな」、「こんな機能があったら喜んでもらえるかも」など考えることが多かったのですが、できるかぎりシンプルで再利用できるものを目指してみました。 そのため1,2時間で完成したライブラリですが、これぐらい肩の力を抜いて作っ

データアナリティクス事業本部＠札幌の佐藤です。 個人の趣味としてAWS LambdaからTwitterへ自動投稿の練習をしています。 自動投稿するにはTwitterのAPIキーが必要なのですが、さすがに遊びとはいえソースコード上にAPIキーがハードコーディングされている状況はよろしくないため、練習のためAWS Secrets ManagerでTwitterのAPIキーを管理することにしました。 AWS Secrets ManagerからAPIキーを取得するところで少し考えたところがあるため、些末な事項ではありますが記載したいと思います。 AWS Secrets ManagerへのAPIキー登録 事前にTwitterDeveloperでAPIキーを取得しておいてください。 AWS Secrets Managerを新規作成します。 今回は事前に取得したAPIキーを登録するので、「その他のシーク

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

TL:DR; フォーミュラの更新を確認した いつもどおりbrew updateでフォーミュラの更新がないか確認した Deleted Formulae に python とあって少しだけ「大丈夫かな？」と思った $ brew update Updated 3 taps (homebrew/cask-versions, homebrew/core and homebrew/cask). ==> New Formulae python@3.7 （他のフォーミュラは省略） ==> Updated Formulae python@3.8 ✔ （他のフォーミュラは省略） ==> Deleted Formulae python ✔ 更新されたフォーミュラをインストールした 特に注意もせず、いつもどおり brew upgrade を実行した python 3.8.3 から 3.8.3_1にアップグレードさ

概要/理由 ・ Pythonで自分の大学の課題サイトをスクレイピングをして、未開始の課題を収集しLineに通知させることをしました。 ・理由：最近、スクレイピングにハマり、これを自分の日常に役立つものに生かしたいなと考えた。大学の課題が多すぎて、提出し忘れることがあるのでやっていない課題を知らせてくれると便利だなと考え作ってみた。 ・ソースコードはこちら 全体の流れ Dockerで環境構築 スクレイピングコードをかく Line NotifyでLineに通知 AWS Lambdaにデプロイし定期実行させる 使ったもの・ライブラリー等 Python のライブラリー selenium Beautifulsoup4 requests その他 Docker python3.6 Line notify AWS Lambda 詳細な流れ ①環境構築 Dockerで環境構築するのだが、Lamdaにデプロイ

こちらのコールドスタート関連については弊社岩田の資料が大変わかりやすいのでオススメです。 Serverless Meetup Osaka #5 で「VPC Lambda×RDSのデメリットについて正しく理解しよう！!」というテーマで発表してきました #serverlessosaka ｜ DevelopersIO では次のコードを見てください。 import time class sleep_class(): def __init__(self): time.sleep(2.0) self.init_time = time.time() def lambda_handler(event, context): s = sleep_class() print(s.init_time) 初期化に2秒ほどかかるsleepクラスがあります。これをLambdaで複数回実行すると次のような結果になります。

訂正 昔から deprecate されているのにずっと生き残ってるヤツたちはクセモノのぞろいで、全然初心者向けではありませんでした。 代わりに、Docディレクトリを deprecated-removed:: で grep して、 3.10 で削除する予定になっているものを削除する方がずっと楽なので、そちらに挑戦してみてください。削除する手順は下の記事のままで大丈夫です。 Python 3.9 がベータに入り、masterブランチはPython 3.10の開発に入りました。 はっきりとした区分はないものの、Python 2.7との互換性のために長くdeprecated状態を維持していたメソッドの削除に踏み切るバージョンになりそうです。そこでこんなIssueを作ってみました。 Issue 41165: [Python 3.10] Remove APIs deprecated since Pyt

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Microsoftは米国時間6月30日、「Python」向けの新しい言語サーバー「Pylance」をリリースした。同社の人気の高い、オープンソースでクロスプラットフォームのコードエディターである「Visual Studio Code」（VS Code）とのやり取りに、「Language Server Protocol」を使用する。 Pylanceは、「Visual Studio Marketplace」で拡張機能として提供されており、「Visual Studio CodeでのPython体験を飛躍的に改善する」と、Python Language Server and Python in Visual Studio担当プログラムマネジャー

そもそもそのPDFはテキスト抽出に耐えうるものか?一口にPDFといっても様々な経歴を辿って、そのPDFファイルの姿をしています。まずはそもそもPythonでデータ抽出できるPDFなのかどうかを見極めましょう。 スキャンした画像をPDF化したファイルからテキストを抽出したい...まずはOCRソフトウェアを利用しましょう。OCRを利用したあと、そのテキストを抽出する際、Pythonを利用できると思います。 表が含まれていて、テキストというよりは表データとして抽出したい...Tabulaなど、それ専用のソフトウェアを利用した方が、後々楽ちんです。 自分が作ったファイルではないが、WordやExcelで作成したらしきファイルからデータ抽出したい...最新ヴァージョンのWordやExcelでは、それらのアプリケーションで作成したPDFファイルを、再度編集可能な状態で読み込むことができるようです。もし

データアナリティクス事業本部、池田です。 前回のブログ で、 Google スプレッドシートからSnowflakeへの連携を書いたので、 今回はExcelのデータを投入してみます。 方式の検討 今回はAmazon S3などを使わずに済ませたかったため、 Snowflakeのステージは、外部ではなく、内部ステージ を使う前提で考えました。 Excelからアップロードできるファイル（JSON）への変換はPandasを使うとして、 そのあとは… Python（PUTコマンドでのアップロード） + Snowpipe + REST API Python（PUTコマンドでのアップロード） + Python（COPYコマンドでのロード） 個人的にはシンプルに実装するなら後者のCOPYコマンドかと思います。 PythonアプリからCOPYコマンドでなくREST APIを使う場合の動機は、 ロードの設定をア

CodeZineに寄稿いただいている執筆コミュニティ「WINGSプロジェクト」代表の山田祥寛さんのKindle本『速習 Django 3 』が6月8日に刊行されました。PythonフレームワークであるDjangoについて、必要な知識がギュッと凝縮されたコンパクトな一冊です。 本書は、PythonフレームワークであるDjangoについて短時間で概要を掴みたい方のための書籍です。7つのPartに分けて、Djangoの基本からテンプレート開発、データベース連携、リクエスト／レスポンス処理、フォーム開発までを、サンプルコードと共に詳しく解説しています。最新バージョン3対応です。 コンパクトにまとめた電子書籍なので、短時間読むことができます。この機会に、Djangoを習得してみませんか。 担当編集者からのコメント WINGSプロジェクト刊行のKindle電子書籍です。 短時間でサクッと読める軽めの本

データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型

def coprime_alternate(a, b): is_coprime = True for i in range(2, min(a, b) + 1): if a % i == 0 and b % i == 0: is_coprime = False break return is_coprime assert coprime_alternate(4, 9) assert not coprime_alternate(3, 6) 推薦の言葉 第2版日本語版へ寄せて まえがき 1章 Pythonic思考 項目1 使用するPythonのバージョンを知っておく 項目2 PEP 8スタイルガイドに従う 項目3 bytesとstrの違いを知っておく 項目4 Cスタイルフォーマット文字列とstr.formatは使わずf 文字列で埋め込む 項目5 複雑な式の代わりにヘルパー関数を書く 項目6 イン