LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー
引き続き LTSV について。Text::LTSV はやってることは単にタブの split でしょうもないのだけど、せっかく作ったんだし何か利用方法はないかなと考えた。 LTSV のログは欠点があってそのままでは見づらいこと。 Text::LTSV でハッシュになるのだから、YAML とかで出力したらどうなるか試してみよう。さらに、YAML に色づけする YAML::Tiny::Color というのがあったぞ。 #!/usr/bin/env perl use strict; use warnings; use Project::Libs; use YAML::Tiny::Color qw/Dump/; use Text::LTSV; while (<>) { my $hash = Text::LTSV->parse_line($_); print Dump $hash; } こんなスクリプ
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
複数のAmazon VPCのプライベートネットワークをOpenVPNを使って接続する | DevelopersIO
今月に入ってまだJavaのコードを読み書きしてないとか、想定外です。都元ダイスケです。 さて、ネットワークまわりが苦手な人にとってはギョッとする単語が並んだタイトルですが。私も苦手なところからスタートしたので、皆様に分かりやすくお伝えしようと思います。 まずはおさらい IPアドレスには「グローバルIPアドレス」と「プライベートIPアドレス」があることはご存知だと思います。前者はインターネットの世界において一意であることが保証されているため、インターネット上で「発信元」や「宛先」として機能します。対して後者は、インターネットの世界から見ると一意ではないため、「発信元」や「宛先」として機能しません。ただし、インターネットではなく、ローカルエリアネットワーク (LAN) の中では（大抵の場合は）一意であるように設計されるため、LAN内に閉じた（＝インターネットを介さない）通信は、プライベートIP
複数のAmazon VPCのプライベートネットワークをOpenswanを使って接続する | DevelopersIO
今度はOpenswanだっ。OpenVPNはSSL-VPNの実装でしたが、OpenswanはIPsec-VPNの実装です。 共通手順 前半の手順はOpenVPN編と全く同じです。「OpenVPNのインストールと設定」の直前まで（「IPv4フォワーディングの有効化」のセクションまで）を読んで、作業してください。 OpenVPN編を実際にやってみた方は、その環境で、openvpnのプロセスを止めてしまえば、引き続きこのOpenswan編もお楽しみ頂けます。 Openswanのインストールと設定 VPC Instance-AにおけるOpenswanのインストールと設定 まず、Openswanをインストール。 $ sudo yum -y install openswan 続いて、設定ファイルを作成します。 /etc/ipsec.conf というファイルの末尾にある「include /etc/ips
Windows / Mac 有名どころ Git クライアント比較
こんにちはピンクです。最近 Git のクライアントを色々試してたので、今回はそれについて。 …の前に！ 以前は Git にはインストーラーがなく、コマンドうったり Windows 環境だったら msysGit でごにょごにょしたり～というのが最低限必要だったと思うのですが、気づいたらいつの間にか Mac OS X、Windows 向けにインストーラーが出てました。びっくり。ドンドン導入の敷居が下がって良いですね。Mac と Windows ではインストーラーがあるので、インストール超簡単！ Git – Downloads msysGit のページに msysGit と Git 公式のインストーラー比較が書いてあります。興味がある方は見てみると良いでしょう。ちなみに、後述の GitHub for Windws のコア機能は msysGit ベースらしいです。 Git 用語＆流れ説明 簡単なこ
Git がわからなくても Github を利用しよう | そんなこと覚えてない
みなさん Github を利用していますか？ 「Git がわからないから…」と、そんな理由で使わないのはもったいないです。 Webや開発に携わる人間であれば、例えプログラムを書かなくても、Github へアクセスする機会は増えているのではないでしょうか。 Webの人であれば jQueryのプラグインを探したり、サンプルコードが Github においてあったりすると思います。 しかし、いきなり使いこなすのは難しいので、まずは以下のことをはじめてみることをおすすめします。 アカウントを作る 知り合いや気になる人をフォローする 自分が利用しているリポジトリや気になるリポジトリにスターを付ける News Feed を読む 日本人がやってるネタリポジトリの Issues やPull Requestsに絡む Gitを利用しなければいけない機能はとりたててありません。(Pull Requestには突っ込
knockout.js の最近の動向 - しばやん雑記
Knockout : Home 気が付いたら 2.2.1 までバージョンが上がってました。2.2.1 に関してはリリースノートが上がっていないようなので、2.2.0 の情報を追いかけます。 Knockout 2.2.0 released - Steve Sanderson’s blog - As seen on YouTube™ 大きなところでは foreach バインディングを使っている場合、ソートで順番を入れ替えた場合に DOM の再生成を行わないようになっているようです。他にも仮想要素に対して text バインディングを設定可能になったようです。 <!-- 今までは親タグが必要だった --> <span data-bind="text: fullName"></span> <!-- ko 2.2.0 から仮想要素にバインド可能になった --> <!-- ko text: fullNa
AWS Elastic BeanstalkでWordPressを始める | DevelopersIO
ご挨拶 はじめまして、今回初めてブログ書くとくがみあけりです。 3本書くと弊社会長からカレーをごちそうしてもらえるということでブログを書くことにしました。 AWS Elastic Beanstalk?? みなさん、AWS ElasticBeanstalkは使ってますか？ データベースサーバであれば、EC2にMySQLをインストールして運用するよりもRDSを選択する人は沢山見かけますが、 EC2にApacheをインストールして運用しないで、ElasticBeanstalkを選択している人はそこまで多くないんじゃないかと思います。 おそらくですが、PHP,Rubyの対応が最近だったことと、使い方がよくわからないのが原因ではないでしょうか。 そこで今回はWordPressの環境を構築してみて、簡単に使えてメンテナンスが楽になることを確かめたいと思います。 次回はカスタムAMIを使ってEC-CUB
権限委譲、リーダーシップ、チーム - naoyaのはてなダイアリー
いいか、覚えておけ。おれにしてもお前にしても、それなりに成功するってことは、なにかは得意なんだ。でも大体のことは不得意極まりない。全部自分でやろうとするな。自分よりも何かで優れている人たちが、その何かでお前のためにチカラを貸したいと思うような人間になれ。 それがリーダーってもんだよ。 この記事が話題になってた。リーダーシップというのは力を貸してやろうと相手に思われることだという、いい話。 この手の話は、誰もが否応なしに社会で経験することだから、みんなそれぞれ自分の考えを述べたくなる･･･という話題でもありますね。例に漏れず、自分も少し経験から感じることを書いてみよう。 「権限」を「委譲」する? 「上司が何かを部下に任せる」という文脈でいくと、このストーリーは「権限委譲」の話にもみえる。確かにテーマとしてはそうなのだが、自分は一般で言う「権限を委譲する」という考え方そのものにちょっとした落と
バックアップ取得編 – Amazon EC2（AWS） Amazon LinuxでWordPress運用 - サイト制作の豆知識
以前、ファーストサーバーで、サーバー上のファイル一式と、DBの情報が全部消去される障害がありました。僕はその被害者の一人です。結局のところ、削除されたデータは復旧されず、幸い、記事データは手元に手動で取得していたDBのdumpファイルがあったらから良かったのですが、問題は各種設定ファイルや画像データでした。これらについてはバックアップがなかった為、CMSを一から構築し直し、画像をローカルからかき集めて対応するといった地獄の日々が続いたのです。 それ以降、バックアップの取得の大切さに気付き、万が一何か起きたときの復旧手順書を作成することにしています。 今回はAWSで運用しているWordPressサイトを対象に、現在行っているバックアップ方法について紹介したいと思います。 ●前提条件 バックアップの考え方として、「サーバーがふっとんでも10分以内に復旧できること」です。1日1回、バックアップ
RedmineとTracの比較
[ Redmine index ] RedmineとTracとの比較 序 目的 主にソフトウェア・プロダクトに対する障害管理（Bug Tracking）、課題管理（Issue Tracking）、および開発管理（Project Support）に使用するツールとして、RedmineとTracが候補に挙がる。しかし、このどちらを選択するかとなると、なかなか判断基準がないのが現状である。そこで、選択にあたっての判断材料を提供するために、双方の機能及び性能を比較する。 比較対象 2012年4月～5月執筆のため、対象バージョンはTracが0.12.3ja、Redmineが1.4.1である。 ユースケース もともとBTS（Bug Tracking System）と呼ばれるバグ（障害）管理ツールから出発しているが、チケット管理機能はかなり汎用的な機能であることから、障害だけではなく、問題／課題管理（I
Google,Facebook,Twitter,Tumblr等のAPIを簡単に扱える機能豊富なPHPライブラリセット「Eden」:phpspot開発日誌
Google,Facebook,Twitter,Tumblr等のAPIを簡単に扱える機能豊富なPHPライブラリセット「Eden」 2013年01月08日- Eden PHP Library Google,Facebook,Twitter,Tumblr等のAPIを簡単に扱える機能豊富なPHPライブラリセット「Eden」。 Youtubeやカレンダー、Google+等のGoogleサービス他、ソーシャルサイトのAPIを使った機能を簡単かつ綺麗なコードで実装できる他、PHPのSessionやCookie、String等のコードをオブジェクト指向で扱えるようにする機能などが提供されます。不要な物はダウンロード時にチェックボックスを外して排除することも可能 例えば、ライブラリを使えば、次のようなコードによってGメール経由でメール送信することが可能。 メール送信にかぎらず、Facebookのフレンドを
MySQLのインストール方法が進化していた！ - sakaikの日々雑感～(T)編
バージョン5.6 が待望のGAとなりました！早速、あいていたサーバに入れてみました。インストール後の設定が、至れり尽くせりになっていて、びっくり！*1 ちょっと引用が長くなるけど、敢えて途中のカットとかをしないで載せたいと思います。 あ、linux(CentOS) へのインストールです。 まず、取得したrpmのファイルを使ってインストールします。 # rpm -ivh MySQL-server-5.6.10-1.rhel5.x86_64.rpm Preparing... ########################################### [100%] 1:MySQL-server ########################################### [100%]すると、数分間かけて、以下のような文字列がつらつらと表示されてきます（ここでは、コメントをい
【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリー
id:stanaka がはてなで使って居るログフォーマットが LTSV だよーとブログに書く Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog Web界隈のエンジニアたち、特にログとか、#fluentd 関係者がざわつく 「ざわ・・・ざわ・・・」 @t_wada 「Unix 哲学の大事な点が形になっていると思う。素晴らしい。」 @hotchpotch 「cool」 六本木、渋谷、白金台方面から京都へ熱い視線が送られる id:naoya がただ vagrant + chef を使いたいがために LTSV に乗っかる GrowthForecast を使っていたため GF の中の人が反応する @kazeburo 「[growthforecast]」 id:naoya が勢いで Text::LTSV を作る あまり反応がないのでしょ
旧・Macの手書き説明書 - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ https://mac-tegaki.comへ移転中 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
FILCO、キー数を最小限に抑えたCherry軸の小型キーボード - 親指部にFnキー
同社が開発した「ダブル親指ファンクションキー配列」を採用した新キーボード。スペースキーの両側にファンクションキーを1つずつ備え、左右の親指を使い、スムーズにファンクションキーの操作ができる構造を目指した。 上述の「ダブル親指ファンクションキー配列」により、キー数を最小限に抑え小型化を実現。通常配列のキーボードから、最奥列のファンクションキー列やカーソルキー、Page upキーのブロックを省いたイメージで、同社のテンキーレスキーボード「Majestouch2 Tenkeyless」(87キー)と比べ、20%以上省スペース化している。省かれたキーは、上述のファンクションキーと他キーとの押し合わせなどで使用できる。 ラインナップは、67キーの英語配列モデル「Majestouch MINILA US67キー」と、68キーの日本語配列モデル「Majestouch MINILA JP68キー」の2種類
【Schoo web campus】色を変えれば、その資料はもっと伝わる
ヤマハMLO特別講義！音楽を通して創造力を鍛える、バッハから学ぶイノベーションの起こし方 先生：三澤洋史schoowebcampus
jQueryの可能性は無限大！？プラグインまとめ番外編 - Webデザイン初心者向けのあれこれ
どうもこんばんは、僕です。 今まで何度かjQueryプラグインを紹介してきましたが、今日は番外編？と言った感じです。 一応今までのプラグインまとめ記事はこちらです。 ・ひと工夫でこんなことも！ユニークなjQueryプラグイン5つ集めてみました ・すっごい動くよ！テキストをアニメーションさせるjQueryプラグイン集めてみた ・今更ながらみんな大好き（？）「lightbox」プラグインを集めてみました ・jQueryを使ったスライド・ギャラリーのライブラリを7個集めてみた ・jquery-tubular http://code.google.com/p/jquery-tubular/ ページの背景にYouTubeの動画を指定することができます。 背景を考える幅が広がるのではないでしょうか。 ・jquery.snipe http://rayfranco.github.com/jquery.sn
サバクラ両方で動く JavaScript の大規模開発を行うために
サバクラ両方で動く JavaScript の大規模開発を行うために 原文：Scaling Isomorphic Javascript Code (This is just for study, please contact me at tily05 atmark gmail.com if any problem.) 考えてみれば Model-View-Controller とか MVC ってよく聞くよね。実際どんなものか知ってる？ 抽象的に言うなら「オブジェクト情報の保持されるグラフィック・システム (つまり、ラスターではないグラフィック。ゲームとか) 上に構築された、表示系を中心としたアプリケーションにおいて、主要な機能どうしの関わりをうまく分離すること」とでも言おうか。もう少し深く考えを押し進めてみれば、これは当然、他のさまざまなアプリケーションにもあてはまる言葉 (bucket te
perl - Apache Combined Log を LTSV に : 404 Blog Not Found
2013年02月08日19:00 カテゴリTipsLightweight Languages perl - Apache Combined Log を LTSV に びっぐうぇ〜ぶに乗る前の準備として。 Labeled Tab-separated Values (LTSV) Labeled Tab Separated Valuesノススメ - stanakaのブログ タグ「ltsv」を検索 - はてなブックマーク 移行にあたっては当然「過去ログどうするよ」という問題が発生するわけですが、一番使われているであろう (common|combined) log をLTSVに変換するスクリプトが、ざっと見回しても見つからなかったので。つーかススメるならこれくらい用意しようよ＞id:stanaka ltsv.orgのexampleもcombined_ltsvの方がいいと思う。 Enjoy! Dan
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
LTSV のもうひとつのメリット、あるいは、プログラムでログを出力する際に気をつけるべきこと - kazuhoのメモ置き場
Labeled Tab-separated Values (LTSV) がブームのようです。 LTSV については、ラベルをつけることで柔軟に拡張できるという点が、その特徴として取り上げられますが、もう一点、タブをセパレータに使うことでログのパースが簡単になった、という点を忘れるべきではないでしょう。 特に httpd のログは NCSA httpd という HTTP/0.9 時代のWebサーバのログフォーマットがベースに拡張されてきたため、以下のようにセパレータとして空白、[]、ダブルクォート ("")*1が混在するという、とても処理しづらいものになっていました。どれほど複雑かは「404 Blog Not Found:perl - Apache Combined Log を LTSV に」の実装を見れば明らかでしょう。 127.0.0.1 - - [08/Feb/2012:23:52:4
Mac OS Xで、再起動せずにスワップを解放する方法 - kazuhoのメモ置き場
Mac を使っていて、だんだん動きがもっさりしてきたなー*1と思って /private/var/vm/ 下を見ると、案の定スワップファイルが溜まっていることがある。 こういうケースでの対策としては、・スワップ禁止にする、・/usr/sbin/purgeする、・再起動する、といった手があるけど、スワップ禁止にするのは本当にメモリ不足になる可能性を考えると怖いし、purgeはスワップアウトしたデータを回収してくれないので効果は一時的だし、再起動はめんどい。 そんな場合は、処理が落ち着いたタイミングで以下のようにして、スワップを実メモリに書き戻せばよい*2。スワップファイルも全部消える。 $ sudo launchctl unload /System/Library/LaunchDaemons/com.apple.dynamic_pager.plist $ sudo launchctl load
ローカルで GitHub を構築！ Git リポジトリ管理ツール「GitLab」を Mac OS X にインストールしてみた | DevelopersIO
ローカルで GitHub を構築！ Git リポジトリ管理ツール「GitLab」を Mac OS X にインストールしてみた GitLab とは GitLab は Git リポジトリを簡単に管理できるツール Gitolite をブラウザから管理できるようにする Ruby アプリケーションです。 GitHub のオープンソースクローンと呼ばれることから分かるように、UI が GitHub とめっちゃ似ています。 GitHub みたいなサービスを使いたい！だけど Public はアレだなということもあると思います。そんなときに便利です。 社内 GitHub として使うケースが主なユースケースだと思います。 しかもすべてローカルだけで作ることができるので、ローカルマシンにインストールすれば、構築後はネットワークなしで GitHub 的な環境を使うことができます！ そんな GitLab を Mac
ドラッグ＆ドロップでMacやiPhoneにファイルを送れる「Instashare」無料です。 | Appdrill
ドラッグ＆ドロップで Mac、iPhone、iPad にファイルを送れる「Instashare」をご紹介します。 このアプリを使えば、Mac ⇔ Mac、Mac ⇔ iPhone、iPhone ⇔ iPhone など自由にファイルをやり取りできます！ 使ってみました MacとiPhoneにそれぞれアプリをインストールして使います。 まずはMacから別のMacへ送ってみます。 メニューバーのアイコンにファイルをドラッグするとデバイスの一覧が表示されます。 送りたいデバイスの上でファイルをドロップ。 受信するMacで確認画面が出るので「Allow」を選択すると転送が始まります。 転送が完了しました。リストにファイルが表示されるので右端のボタンから開きます。ファイル自体は「ダウンロードフォルダ」に保存されます。 MacからiPhoneに送ってみました 今度は iPhone に送ってみます。 同じ
旧・Macの手書き説明書 - FC2 BLOG パスワード認証
ブログ パスワード認証 閲覧するには管理人が設定した パスワードの入力が必要です。 管理人からのメッセージ https://mac-tegaki.comへ移転中 閲覧パスワード Copyright © since 1999 FC2 inc. All Rights Reserved.
node.jsでPassbookサーバをつくってみる(2) | Lab
前回はPassの生成に必要なファイル(pass.json, icon.png, logo.png)の3つのファイルを準備し、Passのデザインの確認までを行いました。 今回は端末にダウンロードできるPassをどのようにサーバサイドで生成するかを説明します。なお、生成にはAppleのデベロッパーサイトで証明書を取得する必要が ありますので、ご注意ください。 あと、もちろん node.js も入れといてくださいね。 まず、Passbookに読み込ませるPassファイルの構造から説明します。 Passファイルの構造は普通のZipファイルになっています。Zipファイル内に必要なファイル(pass.jsonやicon.png)を固めて端末に送信しています。実際に前回作ったPassファイルの中身を unzip -l してみると… asuna:Passes tetsuo$ unzip -l hoge.p
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今風のWEBベースチャットを作れるオープンソースソフト「kandan」:phpspot開発日誌
http://kandan.me/
[家電製品ミニレビュー] バルミューダ「JetClean(ジェットクリーン) EJT-1000-WK」 ～優れたデザイン性と基本性能の高さに思わず買っちゃいました!
これは便利！Macで超快適にPDFを読むことができるタブ式PDFリーダー「Mighty PDF」 - iTea3.0