サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
円安とは
toriaezu-engineer.hatenablog.com
WindowsでのPython開発環境。 試行錯誤の上ようやく落ち着いてきたので纏め。 随時更新する。 全然最強じゃ無いじゃん、とかのツッコミは無しで。 目次 目次 環境 希望する開発環境 Python for Windows 64bit PyDev(Eclipseプラグイン) 色々試したがイマイチ使いずらかったIDE SublimeText2 PyCharm Visual Studio Express 2015 Python Tools vim Cygwin VMware Windowsでのpython開発環境で気を付ける事 ライブラリのインストール Mecab 機械学習ライブラリ おわりに 環境 Windows10 64bit Python for Windows(3.5.1) Eclipse4.6 PyDev(Eclipseプラグイン) Cygwin VMware 希望する開発環境
環境 CentOS6 python3.5.1 falcon-1.0.0 はじめに falconはpythonのWEBフレームワークの1つでAPIに特化しており速度が早いらしい。 今回falconを使ってget/postに対応してjsonを返すapiを作成してみる。 手順 falconインストール pip install --upgrade falconテスト用コード vi falcon_test.py# -*- coding: utf-8 -*- # sample.py import falcon import json class ItemsResource: def on_get(self, req, resp): value = req.params['key'] items = { 'title': 'WebAPIテスト', 'tags': [ { 'name': 'テスト','バ
やりたい事 環境 秘密鍵/公開鍵の作成配置 クライアント(jenkins)側での作業 gitサーバー側での作業 Jenkins設定 jenkinsにgitプラグインをインストールする。 プロジェクト作成、設定 ビルドしてみる やりたい事 独自のjenkinsサーバーとgitサーバー(それぞれ別サーバー)を連携してビルド環境を構築する。 環境 CentOS 6.6 jenkins-2.25 git 2.10.0※事前にそれぞれのサーバーにgitがインストールされている必要あり 秘密鍵/公開鍵の作成配置 クライアント(jenkins)側での作業 ※jenkinsを起動しているユーザー(ここではroot)で実行 opensshがインストールされている事。 鍵ペア作成 ssh-keygen -t rsa複数ユーザーが利用する事を想定して鍵の名前を指定する。 Enter file in which
pythonを勉強しはじめの頃はprintでログ出力していたが、そろそろ規模も大きくなってきて運用も視野に入れpythonでのロギング機能を実装してみる。 標準出力と/tmp/test.logの両方にログ出力する場合の例 ログレベルはDEBUG from logging import getLogger,Formatter,StreamHandler,FileHandler,DEBUG logger = getLogger("test") formatter = Formatter('%(asctime)s [%(levelname)s] [%(filename)s: %(funcName)s: %(lineno)d] %(message)s') handlerSh = StreamHandler() handlerFile = FileHandler("c:/tmp/test.log")
Windows環境でpythonの機械学習ライブラリscipyをインストールしようとしてハマったのでメモ。 環境 事象 対処 ハマった原因 参考 環境 Windows10 64bit Python for Window 3.5.1 事象 事前にnumpyはインストール済みの状態で、pipでscipyをインストールしようとすると以下のエラー $ pip install scipy Running from scipy source directory. Traceback (most recent call last): File "<string>", line 1, in <module> File "C:\cygwin\tmp\pip-build-jdbdpxyp\scipy\setup.py", line 415, in <module> setup_package() File "
LVSとはLinuxでの負荷分散(ロードバランサ)環境構築の為のソリューション。 ラウンドロビン方式や重みづけの設定が楽に行える。 注意点として、LVSでは負荷分散の為の振り分けこそ行うがサーバーダウン時の自動切り離し等の冗長化は行えない。 冗長化を行う為には、LVSをラッパーしたkeepalivedを使用するのが一般的。 参考 http://blog.idcf.jp/entry/cloud/keepalived/ 今回は冗長化は行わず、単純なラウンドロビンでの負荷分散を行う。 また転送方式には代表的な所で下記2つがあるが、DSRを採用する。 NAT(Network Address Translation) クライアントからパケットを受け取ると、送信先とIPアドレスがリアルサーバーのものに置き換えられる。 LVSサーバーを必ず通るのでLVSサーバーの負荷が上がる。 Apache等のアクセス
環境 CentOS6 python3.5.1 gunicorn19.6.0 falcon-1.0.0 はじめに gunicornはPython製のWSGIサーバ。 WSGIサーバーとはWEBサーバーとWebアプリケーションをつなぐサーバ。 今回はwebアプリケーションにpythonのWEBフレームワークfalconを利用する。 前回の記事で導入したfalconアプリケーションを今回は利用する toriaezu-engineer.hatenablog.com 手順 gunicornインストール pip install gunicornインストール確認。 gunicorn -v gunicorn (version 19.6.0)gunicorn起動 バックグラウンドプロセスで起動する。 gunicorn falcon_test:api &起動時の引数は gunicorn モジュール名:falc
Apacheのバランサマネージャでロードバンスを行う。 環境 手順 ロードバランス設定 ProxyPassのオプション BalancerMemberのオプション Apacheが起動エラー時 バランサマネージャー設定 バランサマネージャー管理画面 環境 CentOS7 Apache2.4 手順 ロードバランス管理機能を使用するには mod_proxy_balancer をインストールする。 バランサマネージャ(管理画面)を使用するには mod_status が必要。 ※モジュールは既にインストール済みの前提 ロードバランス設定 httpd.conf で当該モジュールを有効にする LoadModule lbmethod_byrequests_module modules/mod_lbmethod_byrequests.so LoadModule lbmethod_bytraffic_modul
spidersパッケージ内のクロール処理メインのモジュールで以下のようにmake_requests_from_urlを定義してその中でcookieセット処理を実装する事でログインが必要なサイトでもクロールできた。 class ExampleSpider(CrawlSpider): ~~~ def make_requests_from_url(self, url): request = super(ExampleSpider, self).make_requests_from_url(url) request.cookies['test_key'] = 'value1' request.cookies['test_key2'] = 'value2' return request 注意点としてCrawlSpiderの継承クラスである事。 scrapy.Spiderの継承クラスの場合は異なるっぽ
Python製のクローラーフレームワークscrapyを使用してクローラーを構築する。 目次 目次 環境 やりたい事 scrapyのインストール 手順 クローラプロジェクトの雛形作成 スパイダーの作成 起点URLを定義 アイテムクラスを実装 パース処理実装 Scrapy Shellによるデバッグ パース処理の実装 Parse コマンドによるデバッグ 保存先指定 その他設定 色々やりたい時 スクレイピングURLルールを指定したい場合 日本語Unicodeデコードした文字列でjson形式で出力 ログ出力 cookieを設定してクロールする 実行 おわりに 参考 環境 Windows10 64bit Python for Windows(3.5.1) Eclipse4.6 PyDev(Eclipseプラグイン) Cygwin やりたい事 どこかのサイトのクローラーを1時間で実装 今回は参考サイトと
※本記事は個人用メモとなりますので、あくまでも参考用としてお願いします。 WordPressにてセキュリティ対策を施したのでメモ。 1.まずはプラグインでセキュリティ対策チェック プラグイン「iThemes Security」(旧Better WP Security)をインストールします。 このプラグインはWordPressでセキュリティ対策が取られているか 色んな面でチェックしてアラートを出してくれます。 「Better WP Security」を初めて導入した場合は、 データベースのバックアップをするかどうかを聞かれますがお好みで。 日本語化含め、インストールには以下を参考 WordPress セキュリティプラグイン「Better WP Security」|アイムービック エンジニアブログ インストール後、セキュリティ-ダッシュボードへ移動すると セキュリティチェック項目がずらっと並ん
WordPressで独自Javascriptを読み込む場合、 単純にいけば以下の様にscriptタグをそのままheader.phpに記述します。 <script type="text/javascript" src="http://hogehoge/hoge.js"></script> ですがこの方法だとライブラリを重複して読み込む場合もある為、 その解決策としてWordPressの関数wp_enqueue_scriptを利用すれば 上記問題も対策でき、スマートに独自Javascriptを読み込みできるみたいです。 今回は独自jsとしてorg_script.jsを作成して読み込む事に。 wp-content/themes/テンプレート名/js/org_script.js を作成。 wp-content/themes/テンプレート名/header.php に追記 <?php wp_enque
今回はOracleの勉強って事で、LinuxへOracleXEをインストールします。 Oracle XEとは? 個人や小規模環境向けの制限付き無料版のOracleです。 制限 CPU: 最大1CPU使用 メモリ: 最大1GBが使用 DBインスタンス数: 1 データベースサイズ: 最大11GBが使用可能(10gXE最大4GB) OS: Windows32bit, Linux64bit 商用利用可能みたいですが、制限がありますし 無償なのでサポートも無いみたいなので、 実質的には個人の小規模システムや勉強用として利用するのがメインでしょう。 【速報】Oracle無償版:Oracle Database 11g Express Edition(XE)がリリースされました! (オラクルエンジニア通信 - 技術資料、マニュアル、セミナー) Oracle Database XEの知名度 | Oracle
このページを最初にブックマークしてみませんか?
『ボールを蹴りたいシステムエンジニア』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く