S3に置いたPDFをテキストに変換するLambda関数+LambdaレイヤーをCFnで構築する | DevelopersIO
S3 バケットに PDF を置いたらその内容のテキストを処理して結果をまた S3 に置く、という機能を実装する機会がありました。勉強もかねて調べながらやっていたところで、ある程度かたちになってきたので、コアとなるところをご紹介します。 はじめに 故あって S3 バケットに PDF を置いたらその内容のテキストを処理して結果をまた S3 に置く という機能を実装する機会がありました。勉強もかねて調べながらやっていたところで、ある程度かたちになってきたので、コアとなるところをブログにしておきたいと思います。 Goal 下記のような状態をゴールとします。 特定の S3 バケットに PDF を置いたら、テキストデータだけ抽出して別の S3 バケットに保存される環境を作る PDF -> テキストの変換は AWS Lambda を使う（言語は Python 3.6 ） AWS Lambda Layer
Pythonを用いたWebスクレイピングの開発ノウハウ〜スポーツデータの場合(野球風味) - Lean Baseball
クローラー／Webスクレイピング Advent Calendar 2016 - Qiitaのクローザーとしてマウンドに立ちます@shinyorke(しんよーく)ともうします. このエントリーではみんな大好きな野球(メジャーリーグ)を題材に, Webスクレイパーを開発するコツ スポーツデータ特有の困った話 メジャーリーグベースボールのスクレイパーをガチで開発した話 を,自分の実体験を元に紹介します. 年末年始?来年とかに, 「俺もスポーツデータで機械学習やるぞ！」 という方(と自分)の参考になればと幸いです.*1 というわけでプレイボール⚾ 対象読者&取りあつかわないこと 対象読者 スクレイピングおよびPythonのプログラミング初〜中級者 何かしらのテーマ,特にスポーツでWebスクレイピングをされたい方 データに強いPythonでスクレイピング&分析したい方 とにかくスポーツ,特に球技が大
今からWindowsで初心者にとってベストなPython開発環境を構築する手順メモ - Qiita
はじめに 最近、自分のWindowsでのPython開発環境をリニューアルしたのでそのときの手順をメモしておく。 Pythonのインストールからプロジェクトを作るまでをまとめました。 OSはWindows10です。多分7や8でも問題ないはず。 ※（2018/4/15追記） MacOS10.13.3でもほぼ同じような感じで環境構築できました。 ※（2018/7/5追記） ここでの「初心者にとってベスト」とは、pyenvとかコンテナとかでバージョン管理すのは考えないということを意味します。つまり、単にPythonの文法や面白さを学ぶにあたってそこらへんで躓いたり苦手意識が付くのが勿体無い気がするので、そこは飛ばしていますということになります。 Anacondaインストール Anacondaとは、Python自体の他にSciPyやNumPyなどのデータサイエンス系の必要パッケージもまとめられたパ
100万倍速いプログラムを書く - Qiita
この記事はなんなの プログラミングを始めたばかりで高速化の大枠が全くわからず意味不明なことをしていた在学時、こんな資料があったら良かったのになあ、と思って書いたもの。 書いて、在学時研究室に押し付けた後紛失したと思われていたものが発掘されたもの。 要約 ライブラリがあるならそれを使う。 ライブラリが無ければ、ボトルネック部分を探してそこだけ高速な言語で書きなおすか、可能なら事前コンパイルする。 最初から全てを Low-Level な言語で書くと大変、でも結果のプログラムは速い。 以下の時間の計測ではインポートにかかる時間は除いています。 使用するもの Python（3系） Numba Scipy Line Profiler Fortran（gfortran） QUADPACK QUADPACK以外の導入方法の説明は色んな所にあるので各自でお願いします。上3つに関しては、個人的にはAnaco
ドキュメンテーションを加速するストレスフリーの作図ツール『blockdiag』 jus2011年6月勉強会
システム開発や保守、運用の現場においてドキュメントは必須のものです。 しかし、ドキュメントの作成・維持には多くのパワーがかかるため、ドキュ メントが存在しない、資料が古いままになっているなどといった現状を多く 耳にします。 本勉強会ではこれらのドキュメントでよく利用される「図」にフォーカスし、 みるみるうちに図を作成できる「blockdiag」をご紹介します。 「blockdiag」はシンプルなテキスト記述からブロック図、ネットワーク図などの 画像ファイルを出力可能なオープンソースの画像生成ツールです。書き やすさ、メンテナンスしやすさを中心にデザインされており、図を作るのに 配置や並べ替えに苦労する必要はありません。 blockdiagのサンプルはこちら このような特徴を持つ「blockdiag」と、シンプルな記述でドキュメントを作成 するツール「Sphinx」を組み合わせることによって
Ruby,Python,PHP,JavaScriptでマルチプラットフォームなデスクトップアプリを簡単に作成する Appcelerator Titanium Desktop - 仙台 Ruby Vim JavaScript フリーランスプログラマ
古いエントリーなのですが、まだ時折検索エンジン経由？でいらっしゃる方がいるみたいなので追記 Titanium Desktopは今はTideSDKと変わってオープンソースプロジェクトになっています。 いいたい事を先に。 Ruby,Python,PHP,JavaScriptやってる人でデスクトップアプリ作成に興味ある人は Appcelerator Titanium Desktop さわってみるといいと思います。OS X, Windows,Linuxとマルチプラットフォームなデスクトップアプリをhtml,JavaScript,Ruby,Python等の慣れ親しんだ技術で簡単に作成、公開することができます。 予想以上にブクマされてるみたいなので、Titanium Desktopの特徴を箇条書きですが追加しておきます。 一言で言えばJavaScriptで記述するAdobe AIRのようなRIAフレー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニアの為のWordPress入門 〜WordPressはWebAppプラットフォームです〜
C#／Scala／Python／Ruby／F#でデータ処理はどう違うのか？