はてなブックマーク

やりたいこと 概要 静的 HTML を複数ページ作成するときに、共通部分（ヘッダーとかフッターとか）をコピペしたくない。 「PHP とか使って include とかすればいいじゃん」 ていう意見もあるんだけど、動作確認に web サーバー立てるの面倒だし、単なる HTML で済むなら HTMLで 完結させたい。 細かい背景 gulp-ect を使って、やりたいことは大体実現出来ていたんだけど、以下の2つの理由により、別の方法に切り替えたいと思った。 ECT も gulp-ect も最終更新日が3年前 ファイルのパスを埋め込む（後述）、というののやり方が分からなかったし出来なさそう やったこと（TL;DR） さきに結論だけ書いておくと、 Nunjucks というテンプレートエンジンの記法で、ファイルを作成 gulp-nunjucks-render という gulp のプラグインを使って、HT

本投稿は、一つ前の「Elasticsearch多言語化その2」の補足。 ゴール やりたい事は、以下のようなフィールドに対する検索結果のハイライトをすること。 nested 型で、中身は複数の “attachment” 型 attachment 型の “content” フィールドには、content.{ja,en,…} というサブフィールドを作成し、各言語毎の analyzer で処理する マッピング定義は以下の通り。（elastic4s の DSL をそのままコピペしたが、まぁ大体理解してもらえるかと。） val messageMapping = mapping("message").fields( "title_v3" typed StringType fields( "en" typed StringType analyzer "english", "ja" typed String

詳しい人から見れば大した内容じゃないと思うけど、調べたり試行錯誤した結果をまとめる。（間違いなどがあれば、ご指摘頂けるとありがたいです。） Elasticsearch を何に使っているか 他サービス → API/webhook → 自サーバーの Elasticsearch 以前触れたと思うけど、開発プロジェクトのデータを全部1箇所にまとめて検索出来るようにしていて、そこで Elasticsearch を使っている。 自分の仕事内容としては、時間の4割位を受託開発にあてている。受託開発では、お客様や発注元の開発ベンダーに合わせて色んなツールを使わざるを得なくて、具体的には ChatWork, Backlog, Google Drive とかを使うことが結構多い。それに対して、自分達の開発チーム内部では自分達用のSlackチームがあるし、それ以外にも別のツールを使ってたりしているので、色んなと

Googleカレンダーで予定を登録したりするけど、そういうようなものをDBで扱いたい。 いくつかの方法があった よく分からない方法（詳細は省略） ググったらSOのこんなページが出てきたんだけど、ちょっと無駄に複雑な気がした。 毎週ｘ曜日系の繰り返しイベントも、毎週分レコードを作成する方法 以下のように2つテーブル用意するというアプローチもいくつか見つかった。これとかこれとか。 イベント管理テーブル イベント実施予定テーブル：イベント1回につき1レコードを格納するテーブル 例えば、1度きりのイベントであれば2つのテーブルに1レコードずつ書き込む。 また、2013/11/1以降の毎月1日に実施する繰り返しイベントの場合、管理テーブルには1レコード書き込み、2番めのテーブルには開催日毎(2013/11/1, 2013/12/1, 2014/1/1・・・・)に1レコードを書き込む。 これはシンプル

同じことやるの2度目なのに、すっかり忘れてしまっていたので、3度めに備えてメモ。 やりたいこと （MySQLに入っている）あるデータを、Google Spreadsheets APIを使ってスプレッドシートに書き込む。 使うもの 以下のライブラリを使う。 Google APIs Client Library for PHP (google-api-php-client) php-google-spreadsheet-client 事前準備 APIの有効化 まだの人は、Google API Consoleからプロジェクトを作成。 次に、左のメニューから「API」を選択して、必要なAPIを有効にする必要があるんだけど、スプレッドシートを使うには”Drive API”を有効にしておけば良さそう。 サービスアカウントの作成 最後に、API用の「アカウント」を作成。APIを使う方法として、ユーザー（

logrotateには色んなオプションがある。（logrotateが何をするツールかはググって下さい）。そのうちの1つに copytruncate というものがある。動作としては以下の通り。 対象ログがa.logだとすると、それを a.log.0 あるいは a.log-yyyymmddにコピー a.logをtruncate （内部的には cp /dev/null /path/to/a.log みたいな処理） ログ・ファイルのサイズが大きいままになる問題 ログファイル名は a.log とする。logrotate の設定で copytruncate になっているとすると、ローテートの際に、前述の通り a.log が a.log.0 にコピーされる。a.log が 100KBだとすると、a.log.0 は100KBで、その後 a.log は truncate されて 0バイトになるはず。 だが、

動機 Windowsでwebアプリとかの開発作業をすることも結構あるんだけど、ツール類はUnix系OKを前提としているものも結構多く、Windowsだと結構不便なことも多い。 最近ではGitを使わない開発というのはあり得ないので、通常はmsysGit (Git for Windows)を入れることと思う。msysGit自体は、Windows上でbashとGitが普通に使えるので便利だが、Git Bashの中でそれ以上の事をやろうと思うと、途端に面倒になる。 自分の例だと、Pythonで動く自動デプロイツールであるFabricを使おうと思ったが、色々と不便な事が発生した。 問題点 fabコマンドが別ウィンドウで立ち上がる 最初は素直に以下の手順で環境を作った。 Python 2.7.6を公式パッケージでインストール setuptools も普通にインストール pip install fabr

今作っているシステムで、全文検索部分にElasticsearchを採用した。理由は、使ったことなかったので触ってみたかったから。 環境はElasticsearch 1.4 インストールとか ドキュメント見ればいいので、省略。RedHat系の場合もUbuntuの場合も、パッケージを使えばいいと思う。 データを入れてみる 「へー。スキーマとか定義しなくても、勝手にデータ型とか定義してくれるんだ。でも日本語はどうするんだろう？まぁ後で変更すればいっか。」 とこの辺を読んで思った。 データの投入の仕方はcurlを使う場合はこんな感じ。ちなみに、そのページの最初にも書いてあるけど、以下の用語については最初に覚えておかないとドキュメントを読むときに困る。 Index -> RDBにおけるdatabase Type -> RDBにおけるtable Document -> RDBにおけるrow Field

2016年版はこちら↓ リモート勤務に使えそうなツール10選（2016年版） – K blog 今年はリモートワークが来る、はず プログラマーなら誰もが一度は 「自宅ならもっと集中して作業できるのに」 と考えた事があるはず。今までは願望に過ぎなかったのが、最近では、結構実現している会社が増えているし、「強いチームはオフィスを捨てる: 37シグナルズが考える「働き方革命」」なんて本も出たし、安倍政権もテレワーク推進を謳っていて、個人的には 「今年はリモートワーク（テレワーク、遠隔勤務）が本格的に来る！」 って気がしている。 自分自身、最近は自宅で仕事をさせてもらうことも増えてきてるんだけど、インフラ・ツールの発達により、それほど不便も感じていない。 今回は、そんなリモートワークをするのに必要、あるいはあると便利なツールを10個紹介する。実際の所、10個のうちの大半はリモートワークじゃなくても

前回からかなり間が空いてしまったけど、今回で完結予定。 前回はHiveの話を中心に、S3に置いたファイルをHiveでどう扱うかなどについて書いた。また、第1回では全体の流れを書いたので、どんなことをやるかは詳しくはそちらを参照。 今回は、DynamoDBに書き込んでいるデータを定期的にS3にエクスポートしたり、MySQLからエクスポートしたデータに対して、EMR上のHiveからクエリーを実行して結果を取得してみる。 DynamoDBからS3にエクスポート DynamoDBは、事前に設定した読み書きのスループット以上のアクセスは出来ないし、同じデータに対して違うクエリーを複数実行する場合とかに無駄なので、過去データを定期的にS3にエクスポートする事にした。 テーブル定義 まずはDynamoDBのテーブルをHiveに認識させるために、以下のようなテーブルを作成する。 CREATE EXTERN

随分前から、勉強がてら個人でちょこちょこwebサイト作ってる。デプロイはjarファイルのコピーだけとは言え、毎回手動でdeployとサービス再起動をするのはさすがに面倒になってきたので、デプロイを自動化するツールを導入する事にした。 環境等 Play! framework 2.2 web(app)、DB、バッチでサーバーが分かれている デプロイ先はいずれもLinux ローカル開発環境はOS X Mavericks (10.9) Fabric 1.8.1を使用 最初Capistranoにしようとしたがやめた 仕事先のプロジェクトで使っているCapistranoを最初使おうとした。でも、Capistranoは少し試したものの以下の理由で止めた。(Ruby on Railsの場合はCapistranoが一番良い選択肢だとは思うけど。) 最新バージョンのCapistrano 3は、ドキュメントが非

Webサイト作ってると、JSONを扱うことが多い。なので、Play! frameworkで、ScalaのオブジェクトからJSON文字列に、あるいはその逆をやりたいよね、と(特に前者)。 そんな今回はObject -> JSONの方法をいくつかまとめてみた。 環境は Play 2.1.1。そのうち2.2にアップグレードしようと思うけど。 ちなみに Scala Advent Calendar 2013 の 12日目の記事ですら。 あまりおすすめじゃない方法 使いたくない(Format) or 使えない(Jerkson)方法 JSONを扱う方法？え？Play!のサイトに書いてあるじゃん、と思うかもしれない。確かにそうなんだけど、Formatを定義するの面倒だし、何かいい方法がないかなと思って調べてみた。 例えば、SOのこの質問（見覚えのある人からの回答が付いてる）。これもやっぱりFormatを定

RDSではslow query logはテーブルに書きだされる。 Amazon RDSのMySQLでは、デフォルトではslow query logはmysqlデータベースのslow_logというテーブルに保存される(※)。 今までの普通のMySQLであれば、slow query logを有効化するとデフォルトではファイルに書きだされて、それをmysqldumpslowで集計・解析するってのが一般的だったと思うけど、テーブルに書きだされると、それにもう一手間必要になってくる。 ※以前は、slow_logテーブルに書き出す以外に選択肢は無かったと思うけど、最近はファイルに書き出すことも出来るらしい。 大まかな方針 slow_logテーブルから通常のslow query logファイル形式にエクスポート mysqldumpslowで集計 slow_logをエクスポートするツール2つ python

仕事で初めてRuby on Railsをやってる。nginx + unicornを使ってるんだけど、今回はnginxのインストール・設定まで。 ■nginx + unicornに決めた経緯 ついでにサーバー環境の構築まで頼まれたので、調べてみると、最近はunicornってのが人気らしい。大昔にRoRが流行始めた頃はMongrelが人気があったようだけど。まぁ、よく分からないけどちょっと調べてみた所評判良さそうなんで、unicornを使う事を決定。 次にフロントエンド。Apacheは今まで沢山使ってきたので、nginxを使う事にした。 環境はCentOS 5.0 （諸事情により…） ■nginxのインストール → エラー 以下のようにEPELのレポジトリを使えるようにする。 $ sudo rpm -Uvh http://download.fedora.redhat.com/pub/epel/

最近、仕事と趣味のプロジェクトで立て続けにnginxを使う機会があった。nginx + PHPについてこないだエントリを書いたけど、今回はApapcheのmod_rewriteのような機能を使ってWordPressのFancy URLを実現する方法について少し書く。といっても簡単。 参考にしたのはここ（英語）。 ■やりたい事 WordPressは以下のURLでアクセスするものとする。 http://www.example.com/blog/ Permalinkは、デフォルトだと以下のURL。 http://www.example.com/blog/?p=xxx これを以下のようにしたい。 http://www.example.com/blog/index.php/YYYY/MM/entry-name/ ■WordPressはmod_rewriteの有無を判断 ちなみに、Apacheを使って

KLP48 なるグループがデビューしたらしい マレーシアには日本語のフリーペーパーが（多分）2つあって、そのうちの1つ「MTown(エムタウン)」は毎週発行されている。 今週号では、KLP48 という AKB48 の姉妹…

以前、「scala の使い方が誤っています。」というエントリを書いた。バッチファイルの中で扱うパスに括弧が含まれていることに起因する問題だった。64ビットWindowsだと、C:Program Files (x86)ってフォルダがあるので。 で、その時は単純にダブルクォートで囲えばいいやと思って set FOO="%PATH_X86%foo" とかやったんだけど、これだとFOOにダブルクォートが含まれてしまう。以下のようにやればOK。結構目から鱗だった。 set "FOO=%PATH_X86%foo" 以下のようなバッチファイルを括弧を含むフォルダの下に置いて、色々変更しながら実行してみると分かりやすい。 if "%OS%"=="Windows_NT" ( SET "FOO=%~dp0..%" SET BAR="%~dp0..%" echo "%FOO%" echo %BAR% ) SET

■やりたいこと＝送信のみ 自宅のLinuxサーバーからメール送信させたいけど、最近はプロバイダで外向けの25番ポートへのアクセスを閉じていることが殆ど（OP25B=Outbound Port 25 Blocking）。ということでその回避方法。 外部から自宅サーバーへ送られてきたメールの受信とかは必要なし。 ■環境 CentOS 5.4 postfix 2.3.3 （CentOS標準のもの） プロバイダはOCN ■relayhostの設定 まずは全てのSMTPをOCNのSMTPサーバー経由にする。具体的には以下の記述を/etc/postfix/main.cfに記載 relayhost = [smtp.xxxx.ocn.ne.jp] ポイントはポート番号は25であって587ではない。ここの一連のやりとりが役に立った。OCNのページを見ると587を使わなければいけないように見えるんだけど… ■

symfonyでschema.ymlにごにょごにょ書いていざテーブル作成！と思ったら以下のエラー。 SQLSTATE[HY000]: General error: 1005 Can't create table 'dbname.#sql-192c_1a6' (errno: 150). Failing Query: "ALTER TABLE table1 ADD CONSTRAINT table1_user_id_sf_guard_user_id FOREIGN KEY (user_id) REFERENCES sf_guard_user(id)". Failing Query: ALTER TABLE table1 ADD CONSTRAINT domain_user_id_sf_guard_user_id FOREIGN KEY (user_id) REFERENCES sf_guard

CentOS標準のパッケージではPHP 5.1系しか使えないので、Remiレポジトリを使ってPHP 5.3を入れる。 色んなWebサイトにやり方が書いてあるけど、もっと簡単にできるので、一応メモ書き程度に残す。 ■EPELとRemiレポジトリをインストール $ sudo rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-4.noarch.rpm $ sudo rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-5.rpm ※2011/2/5追記：本エントリ記載当時はepel-release-5-3.noarch.rpmだったけど、現在は5.4になっている。 上の2つのコマンドだけ。remi-release-5-x.el5

MySQL 5.1がGAになってからしばらく経ったのに使った事無かったので、今やっている実験プロジェクトで採用してみた。 CentOSの標準パッケージだとmysqlのバージョンは5.0。mysql関連パッケージもmysql-5.0に依存しているので、その辺をクリアする必要がある。 とりあえず手順やエラーメッセージのみを簡潔に説明。 1. 既存のMySQLパッケージを（インストールされていれば）アンインストール 2. MySQL公式サイトからのRPMパッケージをインストール この辺りからパッケージをダウンロード。使用したのは以下のもの。 MySQL-client-community-5.1.34-0.rhel5.i386.rpm MySQL-server-community-5.1.34-0.rhel5.i386.rpm MySQL-shared-community-5.1.34-0.rhe

JMX（Java Management eXtensions）はJ2SE 5.0で取り入れられた新機能で、外部からJVMの監視・管理を行うことが出来る仕組み。 今やってるプロジェクトでは独自のDBコネクションプーリングクラスを使ってるので、コネクションの使用状況などを監視できればいいなぁというのがそもそものきっかけ。 JMX自体についての詳しい説明はGoogleで検索すれば情報は出て来ると思うので、ここでは具体的な使い方とかをメモ程度に。とは言え基本的な事を全く書かないのも何なのでちょっとだけ。 ○JMXの仕組み（超簡単に） その名の通りJavaを管理（manage）するための仕組みで、管理対象のJavaオブジェクト（今回の例ではコネクションプーリングクラス）に対してMBeanという管理用のオブジェクトを作り、クライアント（※1）はMBeanサーバーを経由でMBeanにアクセスして、管理対

Gemsのインストール。 Gemsは標準のCentOSのレポジトリには入ってないので、dlutterというレポジトリを追加 /etc/yum.repos.d/dlutter.repo というファイルを以下の内容で作成。 [dlutter] name=Unsupported RHEL5 packages (dlutter) baseurl=http://people.redhat.com/dlutter/yum/rhel/5/$basearch/ enabled=0 gpgcheck=0 # yum –enablerepo=dlutter -y install rubygems.noarch Loading “fastestmirror” plugin Loading mirror speeds from cached hostfile * dlutter: people.redhat.co