いろいろ試しました。 先に結論を言ってしまうと、基本的には、文字化けないように出来ててあんまり考えなくていいです。あと、Python3でadd_charsetで文字セットいじったときの挙動がよく分かりません。 本題です。 基本のコード # -*- coding: utf-8 -*- import smtplib from email.mime.text import MIMEText from email.header import Header from email import charset con = smtplib.SMTP('localhost') con.set_debuglevel(True) cset = 'utf-8' # <---------------(文字セットの設定だよ) message = MIMEText(u'日本語のメールだよ★', 'plain', cs

はじめに 引き続き、「7つのデータベース　7つの世界 -オーム社-」の第5章からMongoDBの2日目のもう半分を勉強していく。 1/2で早めに切り上げてしまったので、こっちのほうが少し分量が多くなってしまった。 2日目「インデックス・集約・mapreduce」 集約クエリ 今まで調べたクエリは、基本的なデータの抽出に便利なものだった。しかし、これだとデータの後処理を自分でやらなければいけない。例えば、5,599,999よりも大きな電話番号をカウントする場合は、データベースにバックエンドでカウントしてもらいたい。PostgreSQLと同様に、count()は最も基本的な集約関数である。クエリを受け取り、(マッチした)数を返す。

光の速さのWEBサーバー(nginx)をlet's encryptでSSL化及びHTTP/2化。ついでにセキュリティ評価をA＋にする。nginxCentOSSSLTLSLet’sEncrypt 前回のおさらい インフラ さくらのVPS(v4) SSD 1G CentOS7.2 (OS) ミドルウェア nginx　1.8.0 php7.0-fpm (アプリケーション） MariaDB(SQL) 5.5.44 フロントエンド Wordpress 4.4.1 前回の記事の通り、Ansibleであっという間に以上の構成のwebサーバーを組むことができました。今回の記事ではこれらを無料で証明書を発行するwebサービス、let's encryptを使ってSSL/TLS化しちゃいます。そして、ついでにSSLの評価計測サイトであるQualys SSL Reportのセキュリティ評価でA＋をもらっちゃいます

はじめに Qiitaをご覧になっているエンジニアのみなさん、正規表現は使いこなせてますか？ 正規表現が使えるととっても便利ですよね！ あれ？そちらの方、「ぼく、正規表現ようわからへん・・・」って小さくなってませんか？？ 大丈夫です！そんなあなたのために、この記事を書きました。 知識ゼロからでも正規表現を学べるようにやさしく説明しているので、とりあえずこの記事を最後まで読んでみてください。 今は \d{2,5}[-(]\d{1,4}[-)]\d{4} が謎の呪文にしか見えなくても、最後まで読めばきっと意味がわかるようになっているはずです！ 対象となる読者 本記事は正規表現の予備知識が全くない「正規表現初心者」を対象としています。 正規表現は便利だってよく聞くけど、意味不明な呪文にしか見えなくてなんか怖い 正規表現を勉強しようと何度か頑張ったけど、結局よくわからなくて実務で活用できていない と

結論から言うと 3 のケースがいっちゃんだるい。 1. モジュールのパス通してるか このケースの典型エラーメッセージ Can't locate Foo/Bar.pm in @INC （※ 後述するがパスを通してない以外の原因でもこのメッセージが出ることがある） 対処法 use lib 'モジュールを置いてる Dir'; のしわすれてると思われる。ので、する。 use lib ってなんぞ？ とか @INC がわからない場合はここを読むいいでしょう。 モジュールの検索パスを調べる @INC - サンプルコードによるPerl入門 さらに詳しい解説がほしいばあいは perldoc -v @INC するもよし、あるいはほとんどのPerl入門書に解説が書いてるのでそれを読むもよし。 2. モジュールの最後で 1; してるか このケースの典型エラーメッセージ Foo/Bar.pm did not ret

はじめに 初心者エンジニアのあなたは、 **先輩エンジニアに「進捗どうなった？」や「なんでこの作業にこんな時間かかってるの？」**といったことを言われたことはありませんか？ また、 作業見積もりやタスク分解をちゃんと行なわないで、いきなりコードを書き始めているということはありませんか？ 勝手にコードを書き始めて、ほとんど手戻りになって1からコードを書き直しになるという経験もあるかと思います。 僕は徹底的に仕事のやり方を叩きこまれましたが、周りの話を聞いていると、こういったことができていない人もいるのかなと思い書こうと思った次第です。 またエンジニア向けには書いていますが、どんな仕事にも普遍的に使える考え方だと思っているので参考になれば幸いです。 アジェンダ 以下のとおりです。どこから読んでもらっても大丈夫ですが、上から読んでいったほうが流れが分かりやすいと思います。 ツールはGithub,

概要 cocos2d-xのアプリ内でも、マスタデータなどをSQLで扱えると便利だなと思ったので導入。 環境 Mac OS X Yosemite 10.10.1 Cocos2d-x v3.3 SQLite 3.8.7.4 準備 SQLiteのソースをダウンロード こちらのSource Codeからzipファイルをダウンロードする。 externalにファイルを追加 cocos2d/external/sqlite3/ |- Android.mk |- sqlite3.c |- sqlite3.h `- sqlite3ext.h

Redis不適切利用による問題は本番運用が始まってから顕在化することが多く、時限爆弾みたいな存在です。事前に防ぐにはコードレビュー段階で叩くしかありません。 Redisはスクリプト言語と相性が良く、適切に利用するとRDBと比較し驚くほど高速なプログラムを組むことができます。昨年尊敬する先輩にコードレビューで斧100本くらい(レビューコメント)投げられて血まみれになりつつ学んだことを、まとめて書いてます。概要は『消えても良いデータならRedis』 Redisのメモリが溢れたら... （この話は事実ではなくファンタジーです。） 深夜電話で叩き起こされました。どうやらアクセス障害みたいです。 何人かで実機確認したら、まったくゲームが遊べない。データ不整合怖いのでメンテIN。 ほどなくしてRedisが溢れメモリ不足で新規書き込みが出来なくなっていると判明。サーバのメモリ容量は64GByteでこれ以

MacにはPostfixというメール転送エージェントが入っているのでこれを使用する。 Postfixの起動 Postfixの起動の設定が /System/Library/LaunchDaemons/org.postfix.master.plist に書いてあって、Yosemiteだと以下のようになっている。 <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE plist PUBLIC "-//Apple Computer//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd"> <plist version="1.0"> <dict> <key>Label</key> <string>org.postfix.master</string> <key>Program

SQLCipherについて SQLiteを暗号化してくれるツールです。 cocos2d-xなんかでデバイスにデータを保存する場合、管理を楽にする為にSQLiteを使い、チート対策の為にSQLCipherで暗号化している方もいらっしゃるかと思います。 SQLCipherはビルド済みライブラリを使用する場合は有償ですが、自分でビルドしてライセンスを明記すれば無償で商用利用可能です。 導入方法は多くの方が執筆しており、特に困ることは無いと思うので割愛します。 ただ、SQLCipherを利用すると、利用していない時と比べてアクセス速度が格段に落ちるので、何か出来ないかとドキュメントを読んでみました。 keyの形式を変えて爆速に 結論から言うと、自由なパスフレーズは渡せなくなるものの、sqlite3_keyに渡す文字列を変更すると爆速になりました。 - string key = 'passphras

まずは… サーバを準備する AWS EC2を利用する。 -AmazonLinux -t2.micro -StorageはMagnetic -SecurityGroup設定 --SSH TCP 22 0.0.0.0/0 --SMTP TCP 25 0.0.0.0/0 ドメインを用意する -ドメイン取得する（お名前.com等で） -レコード設定 --Aレコード：hogehoge.com / 111.111.111.111（用意したEC2のIP） --MXレコード：hogehoge.com / 10 hogehoge.com インストール

nginxをJavaScriptで拡張できるnginScriptがローンチされたので軽く触ってみた。 nginScriptをビルド nginScriptは今のところnginx本家のMercurialリポジトリからcloneすることができる。また、nginxモジュールの実装とnginScriptの実装が一緒に含まれているため、まずはnginScriptをビルドする。

USTREAMやYouTube Liveの様に、リアルタイムで動画を配信しながら視聴できる一連の環境づくり＆設定についてまとめてみた。 （お試し環境なので、同時接続が辛いとか色いろあります） 配信サーバの準備 Real Time Messaging Protocol (RTMP) を扱うために、オープンソースで公開されているnginx-rtmp-moduleを使います。 今回は映像を受信して、配信するサーバは同じサーバとして、EC2(Amazon Linux)上に用意して試します。 sudo su yum update yum groupinstall "Development Tools" yum -y install pcre-devel zlib-devel openssl-devel cd /usr/local/src/ wget http://nginx.org/download

サーバーが応答しなくなった 管理しているサイト及びサーバーが大量のアクセスによって応答しなくなってしまい、やむなくインスタンスの再起動をしました。いわゆるDos攻撃かDDosです。 再起動後にアクセスログを確認 普段とは明らかに異なる大量のアクセス数があり、アクセス元のIPアドレスがいくつかのパターンに限定されたので、アクセス元のIPアドレスがどこの国のIPアドレスか調べました。 どこの国のIPアドレスか確認 いくつかIPアドレスから国を割り出すサイトがありますが、今回はこちらのサイトを使用しました。 怪しいアクセス元をいくつか検索したところ全て 「判別結果は｢CN｣でした。」 と表示されたので、中国からのアクセスである事が確実になりました。 不正アクセス元の国からアクセスを遮断する 幸い中国でサービス展開はしていないので、国単位でのアクセス遮断で問題無いとの判断になり、対応する事に。以下

背景 SQLiteをPythonから使用する場合、Python2.5以上ではデフォルトでsqlite3が使用できます。 これは、DB-API 2.0 仕様に準拠した SQL インタフェースを提供するもので、pysqliteという名前で開発されています。 sqlite3 http://docs.python.jp/2/library/sqlite3.html しかしながら、このライブラリはSQLiteの全ての機能を使えるわけではありません。これは、DB-APIの仕様に準拠するためです。 APSWは、SQLite APIをPythonで完全に使用できるようなライブラリになっています。APSWはPython2.xとPython3.xで動作します。 https://github.com/rogerbinns/apsw http://rogerbinns.github.io/apsw/ インストール

メッセージアプリのような機能を実現するための参考に、iOS版LINE(バージョン 5.2.0)の使っているライブラリを調べてみました。 要は、ライセンス一覧見ただけなのですが、7万字の長文テキストで見にくかった ので少し手間かかりました(　´･‿･｀) ライセンス一覧はこのLegal Noticesに記載されていました。 元々リアルタイムな更新処理の実装の選択肢に迷っていて、その参考にと思いましたが、関係無いものが大半です。でも知らないライブラリもちょくちょくあって、けっこう面白かったです。 Apache Thrift The Apache Thrift software framework, for scalable cross-language services development, combines a software stack with a code generation

iOSやAndroidではApplication内にデータを保存する方法として、SQLiteが使われています。 少ないデータであれば、PlayerPrefsを使用するだけで十分ですが、大量のデータを扱う場合にSQLiteを使えると便利です。 また、SQLiteは他の開発言語でも使えるので、Objective-CやJavaでの開発する場合でもデータはそのまま使用できるので汎用性に優れています。 今回はSQLiteが予めインストールされているMacで試しました。 * OS X 10.9.5 * SQLite 3.7.13 SQLiteUnityKitをgithubから取得する 今回、UnityでSQLiteを使う方法として、GithubにあるSQLiteUnityKitを使用します。 Busta117/SQLiteUnityKit · GitHub SQLiteUnityKitを取得します。タ

概要 peeweeはPython用のORMです。 以下のデータベースの操作が行えます。 ・SQLite ・MySQL ・Postgres ・AWSP ・BerkeleyDatabase（未検証） 詳細は下記のドキュメントを参照してください。 https://peewee.readthedocs.org/en/latest/index.html 更新履歴 2019.08.03 サンプルコードを変更　Python2.7 → Python3.7 & Peewee 3.9.6 環境 Windows10 Python 3.7.4(32bit) Peewee 3.9.6 インストール方法 from peewee import * from datetime import date db = SqliteDatabase(':memory:') class Person(Model): name = C

Github これなんだ Fluentdを使ってMysqlのテーブルのスキーマ変更とテーブル追加、削除をフィルタリングするするプラグインを書いた Databaseのマイグレーションがしっかりできている場合必要ないかもしれない。 使い方 テーブルのスキーマ変更を検知する場合 <source> type in_mysql_table tag mysql.table host mysqlserver username username password password database database_name port 3306 interval 60 # SHOW TABLES FROM #{@database} が走るinterval </source> <filter mysql.table> type change_mysql_table host mysqlserver user

Amazon LinuxでPostfixを用いたPostfixAdmin構築ログ インストール パッチ適用 Amazon LinuxのPostfix RPMはPostgreSQLを組み込まれてないので src-rpmでビルドする。 停止 $ sudo /etc/init.d/postfix stop 削除 $ sudo rpm -e postfix SRPM取得 ※amazon linuxのrpm取得方法はその都度確認 $ get_reference_source -d -p postfix specファイル編集 $ cd /usr/src/srpm/debug $ sudo rpm -ivh postfix-2.6.6-2.14.amzn1.src.rpm $ su - # cd /root/rpmbuild/SPECS # cp -p postfix.spec postfix.spec