Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。 日本取引所グループ 「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。 官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。 地方公共
Cookieを使わずにユーザーを追跡する仕組みが普及しつつある | スラド IT
Canvas機能を使った文字やグラフィックス描画の際の挙動の違いでWebブラウザの違いを識別する「Canvas Fingerprinting」という技術が開発され、すでにトップ10万のサイト中5.5%がこれを使ったユーザー追跡を利用しているという。 また、ユーザがCookieをこまめに削除しても、サイト側が同じデータをFlashのローカル共有オブジェクト（LSO、Flash Cookie）などに保存しておいて回復させれば、実質的にCookieを不滅化することができる。このEvercookieを実現する手段の一つである「Respawning by Flash cookie」sは、人気上位200サイトのうち10サイトで検出されたそうだ。 Cookieを無効にしていても、適切な対処をしない限り、閲覧者の行動はかなりの割合で漏洩している可能性があるようだ。 Canvas Fingerprintin
ナウい「LWF」 | GREE Engineering
こんにちは、WG基盤開発部ゲーム基盤チームの何です。内製プロダクトチームを陰から支える仕事をしています、チーム名を噛みやすいのが玉にキズ。最近はLWFをメインにフロントエンド周りのお・も・て・な・しをしています。滝川クリステルさん大好きです。 『GREE Advent Calendar 2013』15日目では ナウい「LWF」 と題しまして、LWFが最近どのように使われているのかを社内の活用例と共に紹介したいと思います。今更聞けないLWFの豆知識を始め、現場の開発で役立てているアシストツール、LWFの最新の事情についても触れていこうと思います。死語だらけの記事ですが、これを読んであなたもナウいLWFの世界へLet's Dive! LWFの簡単なおさらい 「LWF」- Lightweight SWFとはFlashコンテンツから変換したデータをマルチプラットフォームで再生可能にするアニメーショ
OpenFL - Creative expression for desktop, mobile, web and console platforms
Desktop, mobile, and web. From enterprise applications to best-selling games, your creativity can be expressed with OpenFL. Publish to native C++ on desktops, phones, or tablets, or deploy to the web with JS and WebGL. Do it all using one seamless toolset. Get Started » Download » Familiar. Easy-to-use. OpenFL implements the Flash Player API, but goes everywhere that browser plug-ins cannot. Use a
Flash、Apple、JavaScript、それぞれ何が問題なのか
teiichi ota @otachan UnityのFlash対応撤退は自分の運命を自分でコントロールできないPFを避けるというふつーの守りの戦略。Flash自体の未来には直接繋がらんよ。カウントダウンだなんだ言ってんのは雰囲気だけで生きてる証拠。そもそもUnity->Flash変換のゲーム見たこともねーだろw 尾野（しっぽ） @tail_y 単純に今までUnityのみだと普及率無いよねみたいに言われちゃうから、FlashPlayer上でも動きますよって言って開発者にアピールしてたところが、最近UnityPlayerも普及してきたし、そもそもFlash書き出し誰も使ってないよね、ってのでサポート終了なだけってのはある 尾野（しっぽ） @tail_y が、それとは別に、Adobeは何焦って、変なライセンス形式の発表とかしてんだよってのはある。あれで変な報道されちゃうし、Unity側へ心情的
Flash 11、AIR、HTML5、Unity のド派手なゲーム事例を紹介するよ - てっく煮ブログ
Flash, HTML5Google がまだ Flash を使っているサービスでみる脱 Flash の難しさ という記事を書いたところ、「Flash とゲームは実際どうなのよ」というツッコミが入ったので、「Flash 11」「AIR」「HTML5」「Unity」で派手めなゲーム事例をまとめてみます。Flash 11 の Stage3DFlash 11 の目玉機能として Stage3D が導入されました。Stage3D では GPU を使用した 2D/3D 描画ができるため、まさにゲームをターゲットにした機能といえます。Flash Player 2012 年以降のロードマップ でもFlash 実行環境は、ゲームやビデオ再生に必要な機能にフォーカスして開発を行う （他をまったく無視するわけではない）Flash Player の 2012 年以降のロードマップ公開 - akihiro kamij
Google がまだ Flash を使っているサービスでみる脱 Flash の難しさ - てっく煮ブログ
Flash, HTML5スマートフォンの普及が進む中、iPhone には Flash が搭載されず、Android 版 Flash は開発停止になるなど、遅かれ早かれ Web 上から Flash が消えていき、リッチな表現は HTML5 に置き換わっていくことは確実となりました。「これからは HTML5 だ」という印象を世間に強く与えたのが、2009 年の Google I/O でした。Google I/O 2009 レポート グーグルが賭けるHTML 5の未来 − ＠ITGoogle はそれ以降、多くのサービスに HTML5 を取り入れてきました。しかし、いまだに Flash を利用しているサービスがいくつかあります。この記事では HTML5 化していない、または、できていない 5 つの Google のサービスを通してどのこで Flash が使われているのかなぜ Flash が使われて
HTML5は本当にFlashの代替になり得るのか？～Webテクノロジー進化論
第20回 RIAコンソーシアム・ビジネスセミナー「Flash」はその役割を終えたのか～今後のRIA開発を考える～ http://www.riac.jp/2012/01/bflash-ria.html でつかった資料Read less
swfobject.js がアレな話 - ほむらちゃほむほむ
もばいる全盛感のある世間的には今更，FLASH なんてどうでもいいし，swfobject.js 自体 2009年から更新されてないから，こんな古いものをと言われかねないような話ではあるものの，日本語での言及をあまり見てないし，つい先日もさる通信キャリアがトップページでやらかしてて多分知られてないんだろうなと思ったので書こうと思った次第． swfobject.js とは何か この記事の対象読者にとっては説明するまでもない話とはおもうけど一応前置きとして説明しておくと，swfobject.js は FLASH を web ページに埋め込むための JavaScript のライブラリ．クロスブラウザ対応してたり，面倒な HTML-tag のお作法を覚えなくても良くなったりとでデファクトスタンダードな感じのモノ．2007年とちょい古いがリクルートMTL の SWFObject v2.0 ドキュメント
windowsやmacで、flashのtraceログが吐かれる場所 - カサヒラボ
最近、windowsとmac両方の環境でflex使ってflash開発をしてるのですが、 printデバッグをしたくても、flashのtrace()がどこに吐かれるかがよくわかりませんでした。 で、それは、flash debug playerをいれればいけるみたい。 その辺の設定メモです。 ■windowsでflashのlogを吐く 1.コントロールパネル→プログラムの追加と削除→Flash Player 9 ActiveX（を削除） なんか色々トラブるとめんどいのでflash debug playerを入れる前に、一旦flash playerをアンインストールします。 2.http://www.adobe.com/support/flashplayer/downloads.htmlから、debug playerをダウンロード。 Download the Windows Flash Play
TONPOOBLOG » ActionScriptで別ドメインの画像を読み込んで「使う」ときの注意点
別ドメインにある画像やxmlを読み込んで処理するswfコンテンツの制作中。ポリシーファイルが必要なのはわかっていたので、画像やxmlの置いてあるサーバー（http://www.sample.server/）のルートに下記のcrossdomain.xmlを設置。 <?xml version="1.0"?> <!DOCTYPE cross-domain-policy SYSTEM "http://www.adobe.com/xml/dtds/cross-domain-policy.dtd"> <cross-domain-policy> <allow-access-from domain="*" secure="true" /> </cross-domain-policy> でもって、swfの方から上記サーバーのrss（http://www.sample.server/rss.php）を読み込ん
Flashで別ドメイン(クロスドメイン)にある画像の表示方法(AS3.0) | maxar quartz
Flashでは別ドメインにある画像を取得し反映するには制約があります。今回、この回避方法を以下の場合分けをして書いていきたいと思います。ローカル上では動作を確認できたのにサーバへアップしたら反映を確認できない場合は、２か３の方法を試してみると良いかもしれません。 取得した画像をそのまま表示する場合 取得した画像を加工する場合 – 画像のサーバへポリシーファイルの配置が可能な場合 取得した画像を加工する場合 – 画像のサーバへポリシーファイルの配置が不可能な場合 URLRequestでそのまま表示することができます。 package{ import flash.display.*; import flash.net.*; public class main extends MovieClip { public function main():void { var image:String =
FlashからHTTP/HTTPSリクエストしてBasic認証を通過する方法 | alt
URLLoaderクラスを使ってHTTP/HTTPSリクエストをする先にBasic認証がかかっていたら、 URLRequestHeaderメソッドを使ってヘッダーに認証情報を付加すればOK。 ヘッダーに付加するid/passはBase64エンコードしなければならないのですが FlexにあるBase64EncoderがFlashにはないので 下記にあるas3httpclientライブラリのBase64クラスを使用しました。 Basic認証だとGET/POSTとも問題なかったのですが ここらへんの記事を読んでいるとWSSE認証ではあやしい動きになるようなので Basic認証でもHTTPURLLoaderやSocketURLLoaderをテストしてみる。 余談ですが、AIRの場合はURLRequestDefaultsクラスの setLoginCredentialsForHost
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - PexJS/PexJS: HTML5 Flash Lite 1.1 Runtime Engine
http://entropedia.co.uk/generative_music_1.2_beta/
Webの開発側にいる人間でFlash死ね！HTML5最高!と言っている人は正直どうかと思う。
Engadget | Technology News & Reviews
TechCrunch | Startup and Technology News
Expired
Engadget | Technology News & Reviews