JSONB型カラムでPostgreSQLをNoSQL風にスキーマレスに使う方法 - ほんじゃらねっと
PostgreSQL9.2以降のバージョンではjson型/jsonb型カラムが使える。 ちょっと特殊な記法を使うけど、 json/jsonbデータ内のキーをDBのカラムと同様に使えるようになるので、 スキーマレスDBのように同じテーブル内のレコードで 異なるデータ構成を持たせることができるようになる。 役に立ちそうなので触ってみた。 環境はPostgreSQL9.5。 公式ドキュメントのjson/jsonb型カラムに関する情報は下記のページに記載されている。 8.14. JSONデータ型 9.15. JSON関数と演算子 9.20. 集約関数 JSONB型カラムを持つテーブルを作成する サンプルとして商品情報を登録するテーブルを作成してみる。 JSON系のカラム型はJSON型とJSONB型カラムがあるけど、 公式ドキュメントによると、登録するJSONデータのマップキーの順序を どうしても守
PostgreSQLのgenerate_series関数でテスト用データを作成する - ほんじゃらねっと
これまでテスト用にたくさんデータを作成する時は、 PythonやらNode.jsやらでプログラムを書いてた。 blog.honjala.net PostgreSQLならgenerate_seriesという連続値生成関数を利用することで SQLだけで手軽にデータ生成できる、ということを発見したので、 今回は上記の記事と同じようなテストデータをSQLで作成してみる。 環境はPostgreSQL 9.5。 下記のようなテーブルを作成する。 drop table if exists bulk_test_items; create table bulk_test_items( id serial not null, item_cd varchar(100), name varchar(100), created timestamp default current_timestamp, primary
PostgresqlのSELECT句での関数呼び出し順序を確認した - ほんじゃらねっと
チーム内の雑談で、 Delete-Insert処理を1つのSQL文で行うとしたら、 SELECT文のSELECT句でDELETE用SPとINSERT用SPを呼び出す方法もあるよね、 SELECT句って記述順に実行してくれるのかな？ みたいな話になったので、検証してみた。 検証してみる 検証環境はCentOS環境上のPostgreSQL 9.5。 SPを使うのはちょっと面倒なので、 タイムスタンプを取得する関数で試してみる。 current_timestampやnow()は何度呼び出してもトランザクション開始時の時刻を 返してくれちゃうので、実際の現在時刻を返すclock_timestamp()を使う。 9.9. 日付/時刻関数と演算子 select clock_timestamp() as x, clock_timestamp() as y; 結果： x | y -------------
自動化のための「トリガー」について考える - ほんじゃらねっと
何かしらの作業を自動化する際、 その作業を起動する「きっかけ（イベント）」を何にするかを考える必要がある。 例えば定期的に実行するなら、「曜日」や「時間」がきっかけになるし、 自分が実行したい時に実行するなら(それを自動化と呼ぶかどうかはさておき) 「手動実行」がきっかけになる。 この「きっかけ」をうまく設定できるかどうかで、 期待通りのタイミングで作業が行われるかどうか、 無駄な負荷を避けられるかどうかが決まるので、 作業の自動化において結構重要な要素となる。 プログラムの自動化に必要な「トリガー」 あるプログラムを何らかのきっかけによって 自動的に実行されるようにしたい場合、 何らかの対象の変化（きっかけ）を察知する きっかけに応じてあらかじめ決められたプログラムを起動する プログラムの処理が実行される の3段階の処理が必要となる。 上記のうち、1と2が自動化にとって重要な「トリガー」
イギリス帰りの友人から教えてもらった「polite ignorance」という言葉 - ほんじゃらねっと
学生時代にイギリス帰りの友人から「Polite Ignorance」という言葉を教えてもらったことがあります。 今調べてみるとこの2語を組み合わせた言葉としての説明は見つけられなかったので自分なりに解釈しますと、「上品な」「思いやりある」という意味の「polite」と「無視」「無関心」を表す「ignorance」という単語を組み合わせているので「相手を傷つけない程度に無視する」「あからさまではない無視・無関心」みたいな意味でしょうか。相手に興味はないし関わりたくもないけど、それを相手が傷つかないようにやんわり伝える、みたいな感じですかね。 それとも「目の前で誰かが大失敗しても見て見ぬ振りしてあげる」みたいな意味でしょうか。なんかイギリス紳士のイメージに合う感じがしますね。 いや、実際そんな意味があるのかはわからないのですが、ちょうどこの言葉を教えてもらってからそれほど時間が経っていない時に
既存のMarkdownファイルをreStructuredTextに（ざっくりと）変換する - ほんじゃらねっと
新しいプロジェクトを開始するにあたり、 ExcelやめてSphinx + reStructuredTextでドキュメント作るようにしません？ という提案をしてみたら、意外とすんなり通った。 概要 — Sphinx 1.5.6 ドキュメント reStructuredText入門 — Sphinx 1.5.6 ドキュメント これでドキュメントのバージョン管理とか、 複数人での共同作成とかがしやすくなりそうで嬉しい。 この提案の前に、 チーム内でのちょっとした技術情報とか議事メモの共有に Markdown形式のファイルを使うようにしていて、 テキスト形式の文書管理に抵抗がなかったのが良かったのかもしれない。 で、どうせならこれまでMarkdownで作成したファイル(結構作ってた)も reStructuredTextに変換して、SphinxでHTML化して閲覧できるようにしたい！ ということで今回
Vimから他のエディタに乗り換えたくなった時にみるべきポイント - ほんじゃら堂
ライトな言語で開発する時とか、文章を書く時は テキストエディタとしてVim(KaoriYaさんのWindows版Vim)を長く使用している。 www.kaoriya.net 根が浮気症なので Spacemacs+EmacsとかSublimeTextとかAtomとかLightTableとか 話題になったエディタには 「これこそ俺が求めていたもの！」 と手を出して使ってみるのだけど、半年後には 「やっぱりVimだな」 ということでVimに戻ってしまう。 そんな感じで新しいエディタを使うのは楽しいのだけど、 使い方を学ぶのに結構時間を使うので、 時間を無駄にしないように、 この条件を満たさないエディタには手を出さない！（どうせVimに戻ってくるから！） というルールを決めてみる。 テキストオブジェクトのような簡易範囲選択機能があること テキストオブジェクトというのは、 「"“で囲まれた範囲」とか
昨日食べたものも思い出せなくなってきたおっさん（自分）のために食事履歴記録アプリをつくった - ほんじゃらねっと
おじさんになると、 よっぽど興味を持ったこと以外はすぐに忘れてしまうようだ。 忘れるというよりも、覚えてるけどうまく思い出せない、というべきか。 今週ランチで食べたものを思い出してみようとしても、 昨日のメニューすらなかなか出てこないことがある。 頭で覚えられないならしかたない、頭の外でデータ化しよう、 ということで今回は食べたものを登録できるツールを作ってみる。 まずはシンプルな機能で まずは食事内容を入力したらデータベースに登録してくれる シンプルな機能として実装してみよう。 登録内容は 年月日 食事区分 (朝食/昼食/夕食) 主食 主菜(メインディッシュ) 副菜(サブディッシュ。複数) くらいで始める。 いつもはコマンドを流すだけのスクリプトを作ることが多いけど、 今回は入力しやすいようにGUIアプリに挑戦する。 こんな入力画面を作るイメージ: Clojure + JavaFX +
プログラムテスト用の組み合わせパターンデータをササッと作るためのテンプレ【Python/Clojure】 - ほんじゃらねっと
他の誰かが作成した検索プログラムやストアドファンクションを 修正させられる時に、 検索対象のテストデータとか プログラムに渡す検索パラメータのテスト用データを 必要なパターン分作成してテストするのだけど、 抜け漏れのないテストデータを簡単に生成できないものかと調べていたら、 PythonにもClojureにも組み合わせリストを作成してくれるライブラリがあった。 組み合わせデータを作成する 必要なパターンの組み合わせデータを自前で作成するのはなかなかめんどくさい。 例えば商品検索機能のテストデータを作成する際、 「商品データ」が 属性として「有効区分(0:無効、1:有効)」と「表示区分(0:非表示、1:表示)」を 持っていて、「有効」で「表示」の商品のみ検索結果に含まれる、 ということを確認したい場合に テストデータとしては「有効区分」2パターンと「表示区分」2パターンの 組み合わせで下記の
Windows/Linuxでディスクがいっぱいになった時に、フォルダ毎に使用している容量を確認する方法 - ほんじゃらねっと
PCやサーバの容量がなくなる、というのは案外よくあるもので、 年に1回くらいそんな事態に遭遇しては、 どのフォルダ・ファイルが容量を圧迫してるんだ！ 容量を調べるためのコマンドなんだっけ？ とコマンドを探したりツールを探したりする。 なので、自分の忘備録も兼ねて、ここにまとめておく。 Linuxのコマンド Linuxの場合はduコマンドを駆使することで調べることができる。 du -sh ＜対象ディレクトリのパス＞ このコマンドを実行すると、 lsコマンドのように対象ディレクトリ以下のディレクトリとファイルの 一覧を表示してくれるのだけど、 同時にサブディレクトリも含めた容量を計算して表示してくれる。 やたら容量を使ってるサブディレクトリがあったら、 今度はそのサブディレクトリを対象にduコマンドを実行する、 ということを繰り返すことで、 容量を使っている場所を無駄に使っている場所を突き止め
忙しいけど映画は観たい人のために、テレビ映画放映情報チェックして通知してくれるスクリプト - ほんじゃらねっと
映画鑑賞は割と好きなのだけど、 なかなか映画館にはいけないし、 DVDを借りてもレンタル中に観る時間が取れるとは限らないし、 ということでもっぱらテレビで面白そうな映画をやってたら録画して 時間のある時に観ている。 しかしそうそうテレビ欄をチェックしているわけでもないので、 気づいたら観たかった映画が昨日放映されてて悔しがる、なんてことがよくある。 放映予定の映画をまとめて確認する方法はないのか、と探してみたら 良いページが見つかった。 cinema.pia.co.jp 2週間分の放映予定をチャンネル関係なく教えてくれる。 素晴らしい。目的達成。 定期的にチェックする まだ終わりじゃない。 大事なのは見逃さないように定期的にプッシュしてくれる仕組みを作ること。 残念ながらこの放映予定はRSS配信されていないようなので、 いつものように定期的にページの内容を取得して チャットワークに通知して
はてなカウンターのログを分析できるようにデータベースに取り込むスクリプト【Python/Clojure】 - ほんじゃらねっと
はてなカウンターの「ログ」画面で ログを月単位でダウンロードできることを発見したので、 ダウンロードしたログを分析用にデータベースに保存するスクリプトを作成する。 ログファイルのフォーマット ログファイルはCSV形式で 下記のような列構成になっている。 アクセス日時 IPアドレス アクセス元URL クライアント環境 クライアントの言語 解像度 色解像度？ アクセスURL 文字コードはUTF-8。 データにカンマが含まれる場合はダブルクオートで囲まれる。 データベーステーブルを用意する ほぼそのままログ内容を取り込めるように PostgreSQLにテーブルを作成する。 解像度と色解像度は「x」で結合してdisplayカラムにまとめる。 drop table if exists hatena_blog_logs; create table hatena_blog_logs ( id seria
MongoDBに保存したデータをNode.js+ExpressでWeb表示する簡単なサンプル - ほんじゃらねっと
そろそろNode.jsスクリプト作成にも慣れてきたので、 簡単なWebアプリ作成に挑戦してみた。 Meteor、MEAN.js、Sails.jsなど色々あって迷ったけど、 まずはシンプルにExpressを使ってみる。 MongoDBコレクションに保存された情報を Webページ上に一覧表示するスクリプトを、 Node.js+Express+MongoDBで作成した。 テンプレートには以前利用したことのあるEctを使う。 時間フォーマットにはMomentを使い、 デーモン化にはPM2を使った。 Moment本家サイト: Moment.js | Home ECTテンプレートエンジン本家サイト: ectjs.com PM2のGithubページ: github.com 作成の流れ プロジェクトの初期化処理： $ npm init $ npm install express --save-dev $
Node.jsがES5とES6(ES2015)に対応してることに今さら気づいて、使ってみたら感動した新要素 - ほんじゃらねっと
Pythonを堪能したのでJavascriptに戻ってきた。 JavascriptでPythonのジェネレータみたいな機能はないのかな、 と調べてみると、ES6(ES2015)で追加され、Node.jsはES6対応済みらしい。 そういえばES5もES6もよく調べたことないな、と思って 調べてみると、便利機能が山ほど追加されててびっくり。 Javascript好き、と言いながら大分遅れたコードを書いてたようだ。 とりあえず今後絶対使おう！と決めた要素を練習がてらまとめておく！ まずはconstとlet 今までvarを使ってた変数宣言にconstとletが使えるようになった。 constは再代入しない定数宣言、letはレキシカルスコープの変数宣言。 const products = [ {name: "item1", price: 10}, {name: "item2", price: 20}
Pythonのジェネレータを使って大容量ファイルを分割する - ほんじゃらねっと
過去に下記のような、ファイルを複数に分割する方法について記事を書いた： blog.honjala.net この記事に書いたコードをもう少しエレガントに書けないものか、 と方法を調べていて、 Pythonのジェネレータが使えそうだったので色々試してみた。 Pythonのジェネレータについて ジェネレータを意識して使ったことがなかったので、まずは使ってみる。 下記のページを参照した： postd.cc ジェネレータを使用する際は、 「ジェネレータ関数」と ジェネレータ関数が返す「イテレータオブジェクト」の 2つの要素を使う。 yield文で返り値を返す関数を定義すると、ジェネレータ関数になる。 ジェネレータ関数は呼び出しても中の処理が実行されるわけではなく、 代わりにイテレータオブジェクトを返す。 イテレータオブジェクトをforループなりnext関数なりで使用すると、 ジェネレータ関数で定義し
PythonでSSHトンネリングしてデータベースアクセス - ほんじゃらねっと
稼働中のWebアプリのデータベースに定期的にアクセスして データの状態をチェックしたい、でもデータベースには 外部から直アクセスできないようになっているので、 SSHトンネル経由でないとアクセスできない、という場合。 A5:SQLなりpgAdminなり最近のDBアクセスツールは 大抵SSH経由でのアクセスに対応しているので、 こういったツールを使えばDBに手動アクセスすることができる。 A5:SQL Mk-2 - フリーの汎用SQL開発ツール/ER図ツール 自分で書いたプログラムからSSH経由でDBにアクセスしたい場合は、 WindowsならPutty(SSHクライアントソフト)が SSHトンネリング機能を持っているので、PuttyなりCUIツールの plinkなりを立ち上げておくことで割と簡単に実現できる。 qiita.com 今回紹介するのは、 Windows以外のクライアントからアク
Pythonでgrep風にディレクトリ内のファイルを検索する方法（Python3対応＆機能追加版） - ほんじゃらねっと
だいぶ前に書いた下記の記事 blog.honjala.net の内容がPython3で動かないようなので、 Python3対応しつつ、もう少し使えるように書きなおしてみる。 まずはPython3で動くように修正する。 import os import re search_dir = "＜検索対象フォルダ＞" search_pattern = "＜検索パターン＞" file_name_list = os.listdir(search_dir) for file_name in file_name_list: f = open(os.path.join(search_dir, file_name), encoding="utf-8") line = f.readline() line_number = 1 while line: m = re.search(search_pattern, li
SQL Serverから出力したrptファイルを使いやすいようにcsvファイルに変換する【Python】 - ほんじゃらねっと
SQL Serverからエクスポートしたrpt形式ファイルを渡され、 CSVに変換してくれと依頼される。 「あれ、SQL Server Management Studioに 直接CSV出力する機能ありませんでしたっけ？」 と確認しても「しらん。やれ。」と言われる。 そんなよくある状況で助けてくれるrpt2csv変換スクリプトを作成した。 SQL Serverが吐くもの以外でrpt形式のファイルは見たことがないが、 中身は下記のような形式になっている： カラム名1 カラム名2 カラム名3 ... --------- ---------- ---------- ... 値1-1 値1-2 値1-3 ... 値2-1 値2-2 値2-3 ... 1行目がカラム名、 2行目がスペース区切りでハイフンがカラムサイズ分ずつ並び、 3行目以降がカラムサイズ分ずつスペース埋めでデータが並ぶ フォーマットに
ボケてきたのかタイムカードの打刻を忘れてしまうので、打刻漏れ防止用チェックプログラムを作成した - ほんじゃらねっと
毎朝出社時に社員カードで入室し、 入室したのと同じカードで出勤打刻をするのだが、 入って数歩のところにタイムレコーダーが置いてあるにも関わらず、 打刻が漏れることがある。 どうやら、 雨の日に途中で傘を置いたり（傘立てはドアとタイムレコーダーの間にある） 誰かと会って話しながら入室したりすると ルーチンが壊れて打刻を忘れてしまうことがあるようだ。 どれだけ変化に弱いルーチンなんだ、という話だが、 ともあれ打刻が漏れると手続きが面倒なので、 自動チェックの仕組みを考えた。 会社のタイムレコーダーは社内用出勤管理Webサイトと連動しており、 そこで自分の打刻時間を確認することができるようになっている。 仕組みとして、 出勤してるであろう時間と始業開始時間の間にこのサイトをチェックして、 打刻がなければ通知する、というスクリプトを作れば解決できそうだ。 私の場合、だいたい始業30分前くらいに出社
PostgreSQLにサクッとテストデータを登録するPythonテンプレ - ほんじゃらねっと
Python手軽でいいね、ってことで 最近はJavascriptよりもPythonでスクリプトを書いている。 今日もパフォーマンステスト用に大量データを登録する必要があったので SQLAlchemyを使ってスクリプトを書いてみた。 Python3で動作確認済み。 create_test_datas.py # -*- coding: utf-8 -*- import sqlalchemy engine = sqlalchemy.create_engine("postgresql+psycopg2://＜DBユーザー名＞:＜DBパスワード＞@/＜DB名＞", client_encoding="utf8") def create_table_defs(conn, meta): """テーブル定義""" tables = { "items": sqlalchemy.Table("t_item",
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
