こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識

本のページをめくるように、どんなWebページも素早く表示できるようにする。グーグルは以前からWebの高速化に取り組んできました。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」では、グーグルのUrs Hölzle氏がWebの高速化技術について「Speed Matters」（スピードの重要性）というセッションで紹介ています。 Webを高速化するためにどのような技術があり、あるいはどのような技術が検討されているのか、このセッションの内容を紹介しましょう。 スピードは重要だ 私が話そうとしているのは、「Speed matters｣（スピードの重要性）についてだ。Webは空飛ぶジャガイモより速くなれるだろうか？ どのくらい速くなれるだろうか？ （参考：オペラがやってくれた！ グーグルの空飛ぶジャガイモに対抗）

第2回目は、PHPでの開発に欠かせないテキストエディタのご紹介です。 メモ帳はダメなの？ 普段Windowsをお使いの方に一番身近なテキストエディタといえば「メモ帳」 すでにあるのにあえて違うものをおすすめするのには理由があります。 メモ帳には文字コードは「EUC-JP」を認識できない。 メモ帳で文字コード「UTF-8」を保存するとBOMが付く。 メモ帳の改行コードは「CR+LF」に限定されている メモ帳の文字コードの判定や名前が適切でないときがある。 ※BOMとは…日本国内でのみ、BOM (Byte Order Mark) がついているものをUTF-8、ついていないものをUTF-8Nとして区別することがあるが、国際的には認知されていない。 もともと8ビットを基本とするUTF-8ではBOMを付与する必要はないが、UTF-8であることが識別できるようにデータストリームの先頭に EF BB B

日頃からエディタやIDEを使ってコードを書いている皆さん、こんにちは。いままで使っているエディタは専らvimだった、tanakaです。vim使いのはしくれとして、IDEなんて、と思っていた時期がありました(もともとEclipseを使ったことはあるのですが) シーブレインではエンジニアは自分が使うエディタは大抵自由に選んでよいことになっています。僕は入社時に既に使っていたvimを使い続けています。.vimrc(vim用設定ファイル)もやっと200行を越えました。まだまだです。 しかし他の環境が気にならないといったら嘘になります。最近NetBeansというIDEを触ってみていくつか衝撃をうけたのでレポートします。なお、この記事で触れるのは現在ベータ版である6.5について書いてあります。 見出し NetBeansの短い説明 jQueryJavaScript補完対応！！ バージョン管理システムとの

RSSをツイートするBot.最初は，Rubyででっちあげたモノを使ってて，その後，どこかで公開されていたRubyのBotを使ってた． で，OAuthに対応させなくちゃいけなくなったけど，どうせならGaucheで書くか，と思って書いた． まぁ，ほぼGaucheでOAuth認証するライブラリ GitHub - shirok/Gauche-net-twitter: Twitter API access library for Gauche のおかげ． かなり汚いのでリファクタリングしないといけないと思う． config.scm．アクセスに必要なキーはここに書いておく．セキュリティ的には まずいのかもしれない． (define *consumer-key* "hoge") (define *consumer-secret* "hoge") (define *access-token* "hoge"

少し前のお話なのだけど、せっかくなので書いておくことにする。 MySQLのクエリログを見ていたら、 prepare に相当するログが一切流れていないことに気づいたので、PDO(mysql)でサーバサイドプリペアードステートメントが利用されていないんじゃないか疑惑が浮上。 php のバージョンは 5.2.11 mysql は 5.0 系 以下、検証してみた結果と、その対応です。 検証 簡単なソースコードを実行してみて、そのクエリログを見てみることにした。 PDO を利用 $p = new PDO('mysql:dbname=dbname;host=localhost', 'user', 'password'); $stmt = $p->prepare("SELECT * FROM table_name WHERE id=?"); $stmt->execute(array(1)); $stmt

Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T

2010年6月26日に行われたイベント、オープンソースカンファレンス2010 Hokkaido内のセミナーで使われた発表スライド「PHPで大規模ブラウザゲームを開発してわかったこと」Read less

「安全なウェブサイトの作り方」は、IPAが届出(*1)を受けた脆弱性関連情報を基に、届出件数の多かった脆弱性や攻撃による影響度が大きい脆弱性を取り上げ、ウェブサイト開発者や運営者が適切なセキュリティを考慮したウェブサイトを作成するための資料です。 「安全なウェブサイトの作り方」改訂第7版の内容 第1章では、「ウェブアプリケーションのセキュリティ実装」として、SQLインジェクション 、OSコマンド・インジェクション やクロスサイト・スクリプティング 等11種類の脆弱性を取り上げ、それぞれの脆弱性で発生しうる脅威や特に注意が必要なウェブサイトの特徴等を解説し、脆弱性の原因そのものをなくす根本的な解決策、攻撃による影響の低減を期待できる対策を示しています。 第2章では、「ウェブサイトの安全性向上のための取り組み」として、ウェブサーバの運用に関する対策やウェブサイトにおけるパスワードの取扱いに関す

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、R＆D統括本部 開発推進室 セキュリティプラットフォーム技術の戸田　薫です。 個人的に自宅では、 FreeBSD でよく遊んでいて、FreeBSDのパッケージ管理には、portsnap、portupgrade を利用していますが、ヤフーでは独自の方法で行われます。 その背景としてヤフーには、平均15億以上のPVを支えるためやサービスの付加価値のために何万台ものサーバがあり、サービスやシステムごとに大規模なシステムを構成する必要があるため、一般的なパッケージ管理システムよりもより柔軟で効率的なパッケージ管理が必要となっています。 今回は、ヤフーにおけるパッケージの管理についてご紹介します。 ヤフーインストーラ ヤフーでは

emacsというエディタの存在は皆さんご存知かと思います。 しかしながら、立ち上げてはみたものの何をしていいかわからない...もしくは、チャレンジしてみようと思ったけれども機能がありすぎて何やっていいのかわからない...まさにこういった経験はないでしょうか？ 実際のところ私自身も、emacsを使うようになるまで数回挫折しています。やはり自分が挫折してしまった理由も、機能が多すぎて使いこなせなかったことでいつも使わなくなってしまっていました。 このエントリーでは複数回に分けて、emacsを便利かもと感じれるレベルになるまでのチュートリアルをお送りしようと思います。 まず今回はemacsの導入までを実施したいと思います。 なぜいまどきemacsか？ サンがJava FXの実例をデモ − ＠IT Java,そしてemacsの開発者である、ジェームス・ゴスリン氏はEmacsは消滅すべきと語っていま

というわけで プログラミング未経験の状態から、mixiアプリのリリースまでなんとか漕ぎ着けることができました！最近、OpenSocial界隈は盛り上がってるみたいだし、プログラミング経験はないけれど、興味ある！って人も多いと思います。そこで、所謂「ド素人」の状態からプログラミングを勉強してmixiアプリをリリースするに至るまでの僕の軌跡と、何をどう勉強すればいいのか？ってのをまとめてみました。webで調べたり、プログラマの知人に相談したりしてこれは良かった！って部分を抜き出してまとめたので、これから勉強するぞって方は参考にして頂ければ幸いです。これであなたもＳＡＰ（ソーシャル・アプリ・プロバイダー）に！ 完成したアプリ 「一行リレー小説」 http://mixi.jp/view_appli.pl?id=15525 開発期間：実質3ヶ月程度 リリース日：3月24日 現在の投稿総数:7622行

はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28

「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします（編集部） ちまたにあふれるバージョン表記 少し前に「Web 2.0」「○○2.0」という表記が流行したのを覚えていますでしょうか。よく見かける広告のコピーにも、最近では「バージョンアップ」という言葉が普通に使われています。バージョンや、バージョン表記は、ソフトウェアの世界だけでなく、ごくごく一般化したように思えます。しかし実際には、どういう意味か分からないのが、バージョン表記です。 アプリケーションソフトウェアの開発は、さまざまな状態／段階を経て完成します。その段階／状態と、リリース後の状態／段階を示したのが、バージョン表記です。 例えば、数字以外でも、以下のような表記を見かけたことはありません

ライブドアは3月29日、法人向けデータセンター「DATAHOTEL」（データホテル）で、実サーバと仮想サーバを組み合わせ、柔軟な課金体系で提供する“クラウドっぽい”サービス「P.O.Infrastructure」（P.O.I）の受注を始めた。ソーシャルアプリ事業者が主なターゲット。 実サーバを仮想化されたネットワークに配置することで、実サーバの信頼性と仮想サーバの柔軟性を両立させるサービス。データセンターのメリットはそのままに、電源や配線などを意識することなくスピーディーに拡張できるようにした。トラフィック急増時など時間単位・分単位でリソースを増減する必要がある場合は、仮想サーバで柔軟に対応する。 エンジニアが24時間常駐し、インフラの設計・構築から障害対応までを行う「フルマネージドサービス」として提供。ソーシャルアプリの収益化タイミングを考慮し、初期費用は無料、サービスインまで（1カ月以

NSEG第1回勉強会 http://kokucheese.com/event/index/1654/ で発表したネタRead less