はてなブックマーク

久しぶりの Web。周回遅れになっているので、情報収集のために参加した。思っていたのとは、ちょっと違った*1が、参加してよかった。充実した 1 日になった。 案内 https://www.owasp.org/index.php/2017_OWASP_World_Tour_Tokyo 詳細 Opening "OWASP Project Overview for Developers" Training 1 "OWASP TOP 10 を用いた脆弱性対応" Training 2 "最小権限の具体的な実現方法" Training 3 "開発者・運用担当者に向けた、OWASP ZAP を用いた脆弱性診断手法" Training 4 "OWASP BWA を用いた学生および職員向けトレーニング" Training 5 "開発プロジェクトの現状を把握する OWASP SAMM の活用" Closing

「Javaにおける文字コードまわりの話 - あしのあしあと」は、もう少しブラッシュアップしたい。その前に、検証用のプログラムを少しだけ整理しておきたい。 ここでは、次のような用語を用いることにする。 文字と文字の識別子の集合を「文字集合」と呼び、文字の識別子を「コードポイント」と呼ぶ。 コードポイントからバイト列（バイト配列）へ変換する処理を「エンコード」と呼び、その逆を「デコード」と呼ぶ。 エンコード、デコードの方法を「エンコード方式」や「文字エンコーディング」と呼ぶ。 Javaでは、文字集合と文字エンコーディングを組み合わせた「エンコーディングセット」という概念が用いられる。「エンコーディングセット」って用語、正直、あまり使わない*1。。 http://java.sun.com/javase/ja/6/docs/ja/technotes/guides/intl/encoding.doc

ジョブ管理（JP1/AJS3）だけを使っていても、JP1イベントはけっこう使う（と思う）。そろそろ自分の理解をまとめておこうかなと。 JP1イベントを扱うのは「イベントサーバ」で、通常、JP1/Baseを起動すると、イベントサーバもいっしょに起動する。jevstartコマンドとjevstopコマンドで、イベントサーバのみ起動・停止することも可能である（UNIX/Linux版）。ちなみに、JP1/Baseの“jev”から始まるコマンドは、JP1イベントに関するモノ。 （JP1製品固有のJP1イベントはいったん無視して）オリジナルのJP1イベントの送受信については、ざっくり次のようなイメージになる。 で、実際のイベントの送受信については、主に次などにより実現される。 送信 オリジナルのJP1イベント JP1/AJS3の「JP1イベント送信ジョブ」 JP1/Baseの「jevsendd（またはj

JP1ジョブ管理（JP1/AJS3：JP1/Automatic Job Management System 3）を初めて使ったのは、もう何年も前になる*1。その時は、プロダクトのことを何も知らないうちに（けっこう複雑な）ジョブネットの設計をしなければならなくなって、、とにかくアーキテクチャの概要だけを手っ取り早く知りたかった。とはいっても、どこから手をつけてよいのやらわからず、マニュアルだってどこを読めばよいのやら。で、結局2日間だけ研修を受けさせてもらい、空き時間にプロダクトをいじり、講師に質問しまくってどうにかした*2。 その時に「こんな絵があったらなぁ」と思っていた（はずの）絵を描いてみようかと――同じ悩みを持っている人がいるかどうかはわからないが。なお、ジョブ管理ってのがどういうコトか、ジョブネットってのがどういうモノかは、ざっくりわかっているものとする。 1) マネージャ・エージ

Linuxのユーザとグループだが、設計および指示段階の考慮不足から、各サーバのユーザID（UID）とグループID（GID）がぐっちゃぐちゃに。。そこで、UID と GID を変更することにした（ユーザ名、グループ名は変えない）。NFSでマウントする時とか便利だし。 で、作業者みたいな素晴らしいリソースはないので、自分でやることに。むろん“usermod”、“groupmod”コマンドを用いる。例えば、グループ grpabc の GID を 2000 に変更するのであれば、次のコマンドを実行する。 # groupmod -g 2000 grpabc これで万事OKだと思っていたのが甘すぎた。まずは試しに1ユーザ“usermod -u ”してみて、UID が変わっていることを確認した。不幸だったのは、ホームディレクトリ配下の所有者を確認してしまったこと。残念ながら、既に作られているファイルの

業務で、JP1/AJS3（JP1/Automatic Job Management System 3） をよくさわっている。とてもよくさわっている。愛でている（ウソ）。周囲になぜか有識者がいない。まるでいない。で、色々とつまずいているので整理しておく。今回は、JP1ユーザのお話。 JP1ユーザとは JP1ユーザとは、まぁそのまんまだが、JP1で用いるユーザのこと。OSでもRDBMSでもなく、JP1で用いるユーザのこと。JP1/AJS3 を動作させるには、JP1 Base というプロダクトが必要で、この JP1 Base にてJP1ユーザは管理される。この JP1 Base（のうち、認証サーバに指定されたトコ）が認証や、認可の基本的なところを行ってくれる。 JP1ユーザのユーザ設計時には、次の2つを検討することになる。 アクセス権限 ⇒ JP1ユーザに権限を与える。認証サーバに設定する ユー

「「オブジェクト倶楽部2010夏イベント」に（初）参加してきた - あしのあしあと」で書いた通り、去年のイベントが至極よかった*1ので、今年も有休をとって*2、「オブラブ2011夏イベント」に参加した。参加の目的は「刺激をもらうこと」。 今日の空気を忘れないうちに、感想とも言えぬ、1行コメントを書いておく。 アイスブレーク：場が和んだ。コレやる人って大変だよなぁと、、特に社内の打ち合わせでそう思う。 パネルディスカッション：天野さんの発言が、いちいち胸にささった。印象的なキーワードは「職業軍人」「ふりかえり」「OO厨」「あえてオブジェクト指向」。 濱崎 健吾 氏：とてもお若いのに、、圧倒された。キタ「DevOps」。 西村 直人 氏：とにかくわかりやすかった。幅広い層が満足いくセッションだったのでは。 若人セッションズ：まぶしすぎた。3人のパワーのまとめ役がもう1人いたら、もっとよいセッシ

仕事で色々問題があって Tomcat の catalina.sh を初めてちゃんと読んだ。で、その時はわかったことをまとめる時間がなかったので、今になって（一応）メモ。まぁ、たいした内容でもない。 仕事では 6.0.x だったが、折角なので最新版をと Tomcat 7.0.16 の catalina.sh を再度読むことにした（といっても500行強なので、すぐに終わる）。 (1) catalina.sh とは Tomcat の起動/停止スクリプト。Tomcat のインストールディレクトリの下、bin の配下にいる。 このスクリプトで、Bootstrap#main に start とか stop とかつけて実行する（Javaのプロセスを起動する）。起動時（Bootstrap#main start）に、停止リクエストを受け付けるポートをバインドする（ポートおよびシャットダウン用のパスワードは、

この時は、結果をファイルに残すために、結局（あきらめて）sar コマンド*1を使うことになった。で、ついでにメモをしておこうかと。 例えば、1秒おきのCPUの情報（-u オプション）を、時間制限なくログファイルに残す場合には、次のように実行する（クーロンで定期実行されているかもしれないが、一時的に取得間隔を短くしたい場合など）。 # バイナリファイルに残す /usr/bin/sar 1 0 -u -o /log/sar_cpu > /dev/null 2>&1 & # テキストファイルに残す /usr/bin/sar 1 0 -u >> /log/sar_cpu.log & ここで、sarのman的には、インターバル 1 とカウント 0 はコマンドの最後に持っていくのだが、それだと -d オプションだけが（なぜか）動かないので、最初に持ってきている（これでなぜか動く）。どうした RHEL5

なんか、以前のプロジェクトでも、同じことをやった。なんで vmstat の結果に時間をつけてファイルに出力しなければならなかったかは忘れたが、、パフォーマンステストのエビデンスに必要だったのだろう。sar*1なんて高級なコマンドは知らなかったし。まぁ、そもそもLinuxではなかったし。 こんな簡単そうなことなのだが、けっこうはまった。 次を実行すれば、3秒おきに結果がコンソールに出力される。オプション -n は、ヘッダを何度も出力しないようにするためのもの。ファイルに出力しなくてよいなら（またはコンソールのログをとっておけばよいなら）、これで終わり。 # vmstat -n 3 | awk '{ print strftime("%Y/%m/%d %H:%M:%S"), $0 }' 3秒おきに10回出力してみる。もちろんうまくいく。 # vmstat -n 3 10 | awk '{ pri

「シェルでテキストファイルから1行ずつ読み込む」シリーズの最終回。これまで、次のような内容で書いてきた。 「シェルで1行ずつファイルから読み込む - あしのあしあと」 ⇒ テキストファイルから1行ずつ読み込むというありふれた処理ではまったこと。具体的には“パイプ＋while read” 「絵で見てわかるファイルディスクリプタ・パイプ・リダイレクト - あしのあしあと」 ⇒ ファイルディスクリプタ、パイプ、リダイレクトのおさらい。せっかくなので、絵をつかって説明 「while・read・exec 再入門 - あしのあしあと」 ⇒ テキストファイルから1行ずつ読み込む際に必要となる while 文、read コマンド、exec コマンドのおさらい。“パイプ＋read”の罠w で、ようやくスタートの、このスクリプトに戻る。 BUFIFS=$IFS IFS= exec 3< 入力ファイル名 whi

「シェルで1行ずつファイルから読み込む - あしのあしあと」、「絵で見てわかるファイルディスクリプタ・パイプ・リダイレクト - あしのあしあと」に引き続き、「シェルで1行ずつファイルから読み込む」シリーズの3回目。今回は、シェルで1行ずつファイルから読み込む際に用いる、1) while 文、2) read コマンド、3) exec コマンドについてメモしておく（while や read はよく使うにもかかわらず、きちんと理解していなかったなぁと反省しながら）。 1) while 文 while 文は、「条件が true の間、処理を繰り返す」ループ処理に用いる。で、シェルの場合には、条件が true とはつまり数値の“0”のことなので、「コマンドの戻り値が 0 である間、処理を繰り返す」とも言える。さらに言うと、複数のコマンドが並んだ時は、最後の戻り値が全体の戻り値であるので、「最後のコマ

「シェルで1行ずつファイルから読み込む - あしのあしあと」に引き続き、「シェルで1行ずつファイルから読み込む」シリーズの2回目。今回は、ファイルディスクリプタ（ファイル記述子）、パイプ（パイプライン）、リダイレクト（リダイレクション）のおさらい。今さら感は満載だが、まぁよしとする。なお、本エントリで用いている図については、書籍「UNIXネットワークプログラミング入門」を参考に作成した（読んだのは7年前で、今手元に本がないのだが、確かこんな絵が書いてあったと思う）。 まず、簡単な凡例を。 で、シェルやコマンドのプロセスが起動した時だが、次の絵のような状態になっている。 プロセスには（すぐに利用可能な）0番、1番、2番のファイルディスクリプタが用意されていて、それぞれ画面と紐づいている（にょろっとした矢印、方向も大事）。0番を「標準入力」、1番を「標準出力」、2番を「標準エラー出力」と呼ぶ（

基盤チームのスミッコメンバとして、プロセスの起動/停止スクリプトまわりの調査タスクがふってきた。とあるサーバプロセスについて、OSを起動した際には自動で起動されるのだが、OSを停止した際に、うまくサービスが停止してくれなかったのだ（OSはRHEL）。ちょっとずつ切り分け、対象を絞っていって、最終的にはロックファイルの生成に行き着いた。この調査の途中で、テスト用のサービス（内容は空）を登録しようとしたのだが、存外はまったのでメモしておく。 やりたいことは「新しい（空の）サービス“ashi（あし）”を登録し、OSの起動/停止の際に、自動で起動/停止するようにする」だけ。 こんなの楽々でしょ、と。まずは、/etc/init.d（これは /etc/rc.d/init.d のへシンボリックリンクになっている）以下に、次のスクリプト ashi を保存する（もちろん実行権限を付与して）。この /etc/

今さらながら、XStreamを使ってみた。JavaにおけるXMLの操作は、何年も前にJAXBを使って以来だ。いつの間にやら、JAXBはJava SEにバンドルされ、StAXも加わっていた。ちょっと目を離すと、すぐにおいていかれる。ちなみにStAXについては、櫻庭氏の次の解説がわかりやすい。 http://www.javainthebox.net/laboratory/JavaSE6/stax/stax.html さて、今回の目的は、次のようなXMLファイル*1を読み込んで、必要な情報を取得して解析したり、加工して別ファイルに出力したり、そういう処理をすることだ。 <box> <pack> <magazines> <magazine mcode="001" name="雑誌001" /> <magazine mcode="002" name="雑誌002" /> </magazines> <

OSの操作ログを取得したい（しなければならない）という要求は、まぁけっこうあるだろう*1。 セキュアOSではない従来のLinuxの機能で、比較的容易に実現可能な典型的な方式として、(1) scriptコマンド、(2) sudoコマンド、(3) acctコマンドを用いる3通りがある。この解説は、次の記事がいけてる。 http://www.atmarkit.co.jp/fsecurity/rensai/unix_sec06/unix_sec02.html いずれも、特権ユーザのログを厳密に取得するものではないが、お手軽なので（感覚的には）けっこう使われているのではないかと思う。 で、ただ今、基盤チームのスミッコメンバなので、めでたく初実装することになった。今回は、シェルの起動時にscriptコマンドを実行することで*2、操作ログを自動的に取得することに。 どこにscriptコマンドを記載すれば

非機能要求上、性能も可用性も確保したいのだろう。バッチサーバが、サーバ2台のHA（High Availability）クラスタ構成で、“Active/Standby”ではなく“Active/Active”だという。 もう一度言おう、HAクラスタ構成だが“Active/Standby”ではない。これだけ聞いた時に、具体的に、どのような構成を思い浮かべるだろうか？ （ここ何年かアプリの人間である）自分の場合には、初めて聞いた時は、Oracle RAC（Real Application Clusters）のような構成を思い浮かべた。クラスタファイルシステム（あるいは他の仕組み）によって2台のサーバでディスクを共有するのだろう、と。 でも、どうも市販のクラスタソフトを使って、次の図のように構成されているっぽい（ファイル1とファイル2は、それぞれプロセス1とプロセス2が作成するイメージ）。ローカルデ

ちょっと前に「Javaで乱数を生成する」というタイトルで、Javaで疑似乱数を生成する方法について書いてきた。 Javaで乱数を生成する(1) ： 疑似乱数生成器の動作概要 Javaで乱数を生成する(2) ： JavaのAPIの紹介 Javaで乱数を生成する(3) ： Tomcatのソースを読む準備 Javaで乱数を生成する(4) ： Tomcatでの実装方法 予測困難な疑似乱数を得るためには、疑似乱数生成器を用いるにせよ、何らかのノイズ（エントロピ）が必要となることがわかった*1。正直、面倒。疑似乱数を生成しなくて済むならば、是非そうしたい。Webアプリケーションであれば、アプリケーションサーバやフレームワークが（きっと推測困難な）セッションIDを発行しているので、それを用いればよい。下手に自作しない方がよい。 セッションIDを用いれば（そのまま、あるいは加工して用いれば）よい例としては

「Javaで乱数を生成する」というタイトルだが、生成できるのは疑似乱数。疑似乱数生成器の動作概要については「Javaで乱数を生成する(1)」に説明した。また、Javaでどのように実装するかについて「Javaで乱数を生成する(2)」に説明した。「Javaで乱数を生成する(3)」でTomcatのソースを読む準備をして、いよいよ疑似乱数の生成方法を教えてもらうことに。 なお、本エントリのソースコードは、全てApache Tomcat 7.0.5の“org.apache.catalina.session.ManagerBase”クラスと“org.apache.tomcat.jni.OS”クラスから引用*1している。 Tomcatでは、セッション管理を行うための“org.apache.catalina.Manager”インターフェースが用意されている。実際に、通常のセッション管理を行うマネージャや、

最近、ログまわりの設計をやっている*1。「どんなログが何のために必要なのか」という要件と、「プロダクトがどんなログを出力するか（どんな出力方式が設定できるか）」を検討し、よい落とし所を見つける、、そんな感じの作業だ。システム全体となると、機器やソフトウェアの数が多くって、ログ出力内容とログ管理（ローテーション、バックアップ、削除）まわりの検討が、（ゼロから徒手空拳で実施すると）やたらと面倒になる。「全部デフォルトの設定で、障害対応くらいできますよ」って言いたいところだが、ログ出力要件とログ管理要件が満たせていることは説明できなければならない*2。適当に流してドキュメントレビューで突っ込まれまくるくらいなら、それなりに精緻に設計していた方が楽だ*3。おっと、愚痴っぽくなってきてしまった。 さて、今日は「ログローテーションの仕組み（というか“方式”なのだが）」について、大きく3つに分類できるの

文字コードの検証の話、ずいぶんとさぼっていたが、ようやく少しやる気になった（というか、早く終わらせてすっきりしたかった）。ひとまず今回で終わり。 ちょっと間があいたので、これまでの話を整理しておく。 まず、外部設計時に実施する検証および調整の内容について、「Javaにおける文字コードまわりの話」に書いた。実際に、どのように検証したのかについて、まとめてみることにした。 「Javaにおける文字コードまわりの話(2)」にて、用いる用語（「コードポイント」、「バイト列」、「エンコード」、「デコード」などの用語をどのように使うか）と、BMP（基本多言語面）のみを対象にするという前提条件を述べた。さらに、プラットフォームでサポートされているエンコーディングセットを出力する方法と、エンコーディングセットで扱える文字の一覧を取得する方法を書いた。 「Javaにおける文字コードまわりの話(3)」では、バイ

あるHTTPレスポンスにおいて、画面の表示が遅かった（WebブラウザはIEを用いていた）。 表示時には、prototype.js（1.6.0.3）を用いて、次のようにDOMツリーを操作していた。つまり、windowオブジェクトのonloadイベントのタイミングで、DOMツリーの操作を実施していた。 Event.observe(window, 'onload', DOMツリーを操作する関数オブジェクトの参照);つまり、次のように処理されていた（画面が二度描画されるのが、目で見て取れた）。 WebブラウザがDOMツリーを構築する（以下、DOM構築） Webブラウザが画面を描画する（以下、レンダリング） JavaScriptによりDOMツリーを操作する（以下、DOM操作） Webブラウザが画面を描画する そこで、次のように（2番目のレンダリングを除くよう）処理を改善しようとした。 DOM構築 D

WAS（Web Application Security）フォーラムのカンファレンスに参加してきた。 このカンファレンスは、毎年、非常に内容が濃い。また、（昨年度に引き続き）土曜の開催であることと、自費で参加できるレベルの参加費用であることから、会社で「セキュリティ」関連のミッションが与えられていない人でも参加しやすい*1。 メインキーワードは「携帯（特に、かんたんログイン）」と「OpenID」だったと思う。「異なるサービス間で、ユーザをどう識別し、どのようにユーザの情報を送受信するか」について、世界のインターネットが大きく動いている。日本のインターネットが方向を誤らないようにしたい。そういうメッセージを受け取った。 一参加者として「微力ながら貢献しなくては」と思うのだが、、微力すぎて、とりあえず自分のまわりから（スキルはマイペースで身につけていこう。あせらないあせらない）。 以下、各セッ