Created by Paulo A. Peccin MSX and the MSX logo are shown here as a tribute. v6.0.4 Docs & Project Home All trademarks are property of their respective owners.

大和正直公式ブログ 脱サラ成功を目指す副業サラリーマンの方やインターネットビジネスに挑戦している方へ大和正直の思考や経験に基づいた有益な情報を厳選してシェアしています。 「iMacros」はGoogle ChromeやFirefox、IEに対応した無料アドオンで、WEB上の操作をプログラミングによって自動操作することができる便利なツールです。 当ブログでは基本的にGoogle Chromeをベースにご紹介していくスタンスですが、今回のiMacrosは自動操作の特性上、僕が普段使っているGoogle Chromeとの競合操作を避けるためにFirefoxを使っていきたいと思います。 アドオンのダウンロード:iMacros for Firefox iMacrosで何が出来るのか? iMacrosはブラウザ上でのWEB操作を自動化することができるツールです。 ということは、普段のパソコン操作を思い
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました! Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記: この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新: デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる! - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
この記事はシステムエンジニア Advent Calendar 2015 - Qiitaの記事です。 弊社アーキ部で@kawasimaさんに教えてもらったさいきょうの二重サブミット対策について書いていきます! 二重サブミットが発生するケース 不正な更新リクエストが発生するケースとして、以下のものが考えられます。 サブミットボタンをダブルクリックする 戻るボタンで戻って、再度保存ボタンを押す 完了ページでブラウザリロードする CSRF攻撃による不正な更新リクエスト 1. サブミットボタンをダブルクリックする 確定ボタンをダブルクリックすることによって、ユーザが意図していないリクエストが発生してしまうケース。 2. 戻るボタンで戻って、再度保存ボタンを押す 処理完了画面から戻るボタンで前の画面に遷移し、再び確定ボタンを押すケース。 本来は入力➡︎確認➡︎完了の画面遷移が適切だが、その画面遷移にな
This document summarizes a presentation on offline reinforcement learning. It discusses how offline RL can learn from fixed datasets without further interaction with the environment, which allows for fully off-policy learning. However, offline RL faces challenges from distribution shift between the behavior policy that generated the data and the learned target policy. The document reviews several
この記事を読み始める前に Rubyでやるんだったら、ちょうどそういう本が出ているから、その本買えばいいのではないでしょうか。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る はじめに プログラミングを勉強し始めて、だいたい基礎的な文法を覚えたあとに、次に何をしようかな、と悩む人も結構多いみたいで、明確に「これを作りたい」という場合は、それを作ればいいとは思うんですけど、場合によっては、別段作りたいものが無く、漠然としたプログラミングをしたい、という熱意によって勉強しているという人もいるのではないかと思います。 で、もちろん「作りたいものがないのに、プログラミング勉強してどうするの」という意見もあるかとは思いますが、往
13行のコードで、Yahoo!Japanのトピックス一覧を取得する! PerlでHTML取得・解析したいときはLWP::UserAgentとHTML::TreeBuilderというのを使うと簡単にできます。 LWP::UserAgentを使うと、Webページの取得ができます。 HTML::TreeBuilderを使うと、HTMLのDOM解析ができます。 この2つのモジュールを使って、Yahoo!Japanのトピックス一覧を取得してみましょう。 コメント行と空行を除くとたったの13行です。 use strict; use warnings; use LWP::UserAgent; use HTML::TreeBuilder; # urlを指定する my $url = 'http://www.yahoo.co.jp'; # IE8のフリをする my $user_agent = "Mozilla
windowsでphpを使ってwebサービスの開発してるのをみていろいろ思うことがあったので書いてみた。 windowsは使ってるけどLinuxとかよくわからないって人向け。 なぜUbuntuをオススメしたいのか windowsでwebサービスの開発を行うにはphpならばXAMPPなどを、Ruby on RailsならばInstantRailsなどを使うと思いますが、サービスの公開に利用しているサーバはCent OSやRedHatなどのLinux OSが大半だと思います。そんなLinuxサーバを操作するためにはどうしてもLinuxの知識は必要になってきます。それだったらはじめからLinuxを使って開発して、体を慣らしてしまえばいいのです。 そして数あるLinuxデストリビューションの中でもUbuntuは簡単に使うことができます。そして環境を整えることがとても簡単です。 この点からUbunt
著者: 金床 <anvil@jumperz.net> http://www.jumperz.net/ ■はじめに ウェブアプリケーション開発者の立場から見たCSRF対策について、さまざまな情報が入り乱れている。筆者が2006年3月の時点において国内のウェブサ イトやコンピュータ書籍・雑誌などでCSRF対策について書かれている記事を調べた結果、おどろくべきことに、そのほとんどが誤りを含んでいたり、現実的 には使用できない方法を紹介したりしていた。そこで本稿ではウェブアプリケーション開発者にとっての本当に正しいCSRF対策についてまとめることとす る。また、採用すべきでないCSRF対策とその理由も合わせて紹介する。 ■あらゆる機能がターゲットとなりうる ウェブアプリケーションの持つ全ての機能がCSRF攻撃の対象となりうる。まずこのことを認識しておく必要がある。 Amaz
(注記:7/15、いただいた翻訳フィードバックを元に記事を修正いたしました。) 子供の頃、私の興味は互いに関係性のない様々な分野に及んでいました。数学も歴史も大好きでした。 ルネッサンスマン 、つまり 博学者 と言う、複数の分野に秀でた人になりたいと思っていました。これはとても難しい課題で、私は突如として、器用貧乏な人になってしまう危機に直面したのです。 私は特定の分野に特化しなくては、と考え始めました。そうすればたとえルネッサンスマンにはなれなくても、少なくとも、器用貧乏にならなくても済むと思ったのです。どうしたらソフトウェア開発をするのに必要な広い知識を保ちながら、1つの分野で専門性を高めることができるのでしょうか。 この記事では、過去5年間、私が良いJavaScript開発者になるために使ったテクニックとリソースの概要をお伝えしようと思います。 最近の多くのWeb開発者は、ある共通の
もうこれは文化の違いです。MySQL なんてオモチャはダメという 人もいれば、MySQL で何十億レコードでもいけるよ! という人も います。 以下、おもうところをつらつらと書いてみます。 ●機能 違いは多々ありますが、個人的には表層的な問題と思い ますので、ここでは触れません。 ●経験の有無 わたしは Oracle・MySQL 使いですが、DB2 とか SQLServer を使ってと言われると尻込みします。DB2 や SQLServer が 悪いと言っているわけではありません。よく知らない世界 だからです。 上司の方も知らない世界に飛び込むのは怖いでしょう。MySQL を 推したいのであれば、その不安を解消するために、 「わたしが詳しいので社内教育しますよ」 「有償サポートありますよ」 「圧倒的にコストが違いますよ」 「まずはプロトタイプ開発で MySQL 使ってみませんか?」 など、上
Chris Shiflett: SERVER_NAME Versus HTTP_HOST SERVER_NAMEとHTTP_HOSTの比較。 次のように値を取得すると一見、どちらも同じ値を取得できます。(値はリクエストしたサーバのホスト名) $_SERVER["SERVER_NAME"]; $_SERVER["HTTP_HOST"]; ただ、それぞれにおいて、取得方法が違ってきます。 HTTP_HOSTはリクエスト時に host:〜 で指定した値が返され、 SERVER_NAMEは、リクエスト時の host:〜 を使うものの、指定が無い場合は httpd.conf等に記述したServerNameディレクティブがデフォルトで使われます。 更にSERVER_NAMEはhtmlentitiesによってエスケープされるようです。 リクエストヘッダーの値をそのまま取りたい場合はHTTP_HOSTを使
Webアプリケーションが攻撃者に付け込まれる脆弱性の多くは、設計者や開発者のレベルで排除することができます。実装に忙しい方も、最近よく狙われる脆弱性のトップ10を知ることで手っ取り早く概要を知り、開発の際にその存在を意識してセキュアなWebアプリケーションにしていただければ幸いです。 Webの世界を脅かす脆弱性を順位付け OWASP(Open Web Application Security Project)は、主にWebアプリケーションのセキュリティ向上を目的としたコミュニティで、そこでの調査や開発の成果物を誰でも利用できるように公開しています。 その中の「OWASP Top Ten Project」というプロジェクトでは、年に1回Webアプリケーションの脆弱性トップ10を掲載しています。2004年版は日本語を含む各国語版が提供されていますが、2007年版は現在のところ英語版のみが提供さ
連載目次 ASP.NET SignalRとは 近年になってASP.NETを取り巻く状況には大きな変化が起こっている。数年前までは「ASP.NET」といえば、それはすなわちWebフォームのことであった。だが、ASP.NET MVCやASP.NET Web API、ASP.NET Webページが登場したことで、ASP.NETはその姿を大きく変えて「One ASP.NET」と呼ばれるビジョンが提唱されるまでになっている。 今回紹介する「ASP.NET SignalR」(シグナルアール。以降、単に「SignalR」)も、(上の概念図を見て分かるように)ASP.NETを基盤としたテクノロジであり、これを利用することでASP.NETアプリにリアルタイム性を持たせることが可能となる。 今回、正式版としてバージョン1.0がリリースされたSignalRは、もともと、ASP.NET開発チームのDavid Fo
Kazuho@Cybozu Labs: Wiki.Formatter in JavaScript というわけで、いまさら Wiki のフォーマッタを作りました。JavaScript で実装したので、クライアントサイドで整形することができます注1。なので、既存のウェブアプリを wiki 記法に対応させたいな、といった場合に便利だと思います注2。記法も自由に拡張できるようになっていますし。 JavaScriptでWiki記法のテキストをHTMLに変換するライブラリが公開されました。 次のようにして簡単に使うことが出来る模様です。 var formatter = new Wiki.Formatter(); document.getElementById('wiki').innerHTML = formatter.format(srcText); JavaScriptで実装できることで、サーバ側に
2013年のいま、API界隈が熱い! 今年に入り、官公庁の統計データやNHKの番組情報など、今までなかなか利用できなかったデータがAPIとして扱えるようになってきました。このエントリでは現在公開されているAPIを一覧でまとめます。いま使えるAPIはこれだけ読めば大丈夫。2013年の最新マッシュアップ事情をあますとこなく網羅します! HOT! API 総務省 次世代統計利用システム(国勢調査、人口推計、就業構造、企業統計、物価統計 etc.) NHK番組表(※未公開) 行政・自治体・公共サービス 郵便番号 郵便番号検索API(郵便番号 → 住所) 郵便専門ネット(郵便番号 → 住所、郵便番号の簡易存在チェック) ぽすたん(郵便番号 → 住所、住所 → 郵便番号) IW3 PROJECT(郵便番号 → 住所、住所 → 郵便番号) 宇宙 Google+ JAXA PR(※現在一部の学生に限定公開
夏休みまだ取れてないよ~・・・夏終わっちゃうよ~・・・みなさん、こんちには nakamura です。 コンテンツ DB への更新・参照等は日々使うので割りと覚えやすいですが、パフォーマンスチューニング等行う際にテーブルや MySQL 自体のステータスを取得する SQL ってしょっちゅう使うわけではないので結構忘れがちですよね~。今日はその辺りの SQL 文を備忘録も兼ねてまとめてみようと思います。 テーブル関連 テーブルの一覧を取得。 show tables; テーブル構造を取得。 describe table_name; ; describe にはショートカットが用意されています。 desc table_name; CREATE TABLE 文を取得。 show create table table_name; テーブルの状態を取得。 ; 全てのテーブルを表示 show table st
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く