Webページのスクレイピングと分析・可視化 - Qiita
先日、2016年アドベントカレンダーのはてブ数の分析というブログ記事を投稿した。このデータの可視化には様々な技術が使われている。本記事では、どのような技術を活用して作成したのかについて説明する。 ソースコードはこちら。 概要 このVizは、QiitaとAdventarに投稿された、全アドベントカレンダー及びそこに登録された記事のはてなブックマーク数を元に、どのカレンダーや記事が人気なのか、あるいはQiitaとAdventarのどちらが人気なのかを視覚化することを目的として作成された。データソースは、Qiita及びAdventarに登録された、アドベントカレンダー2016の全カレンダーページである。カレンダーには記事のメタデータが含まれている。記事そのもののページやユーザページのクロールはしていない。 システムの概要 データの収集→ETL→BIという流れで処理を行った。 データ収集 Webク
セキュリティ診断の内製化に向けて 第一回〜Webアプリケーション脆弱性診断ツールの実力を引き出すコツ〜
技術部の津野田です。 昨今、Webアプリケーションに対するセキュリティ診断の内製化の動きが活発になっています。 本日より、当社のお仕事が減らない程度に、セキュリティ診断の内製化に役立つ情報をざっくばらんに不定期発信して行く予定です。 第一回目は、内製化の際に多く利用されるWebアプリケーション脆弱性診断ツール（以下、脆弱性診断ツール）の実力を、さらに引き出すためのコツについてお話したいと思います。 なお、本稿では特定の製品に関するご案内はしていません。 具体的な設定手順や方法などについては、脆弱性診断ツールのマニュアルをご確認ください。 はじめに まずは、Webアプリケーションにおける代表的な脆弱性を、 一般的な脆弱性診断ツールによる検出の得手不得手で分類してみました。 比較的得意な分野 XSS（反射型） プラットフォーム上の問題 ケースによっては得意な分野 XSS（格納型、DOMベース）
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
HTTP/2のRFCを読んだ感想
はじめに 私は自ら「串職人」と名乗るほどウェブの(つまりHTTPの）Proxyサーバが好きで、もう10年以上もプロキシサーバを作り続けています。このブログの主題であるクラウド型WAF、Scutumもそのひとつです。そもそもプロトコルとしてのHTTPが好きです。ウェブの裏側に、とてもシンプルな、テキストベースのHTTPプロトコルが活躍しているということが私の串職人としての出発点です。 HTTP/2が出た 先日、ついにHTTP/2が出ました。 数年前から、「SPDY」などのキーワードに代表される次世代のHTTPが模索されていることは何となく知っていましたが、どうもGoogleのような非常に大きいトラフィックを処理している組織が主導しているもので、一般の開発者やウェブの利用者にとってそれほど魅力的なものではなさそうだな、という印象を抱いていました。 サーバ側を作っているのもGoogle、ブラウザ
angularJS と jQuery に関する誤解を解く - nazokingのブログ
最近 angularJS に対する期待の低下が著しくてつらい。 なんだかんだで SPA から jQuery に戻った話 - ボクココ Angularの問題では はてなブックマーク - mizchi のブックマーク - 2015年5月18日 みんな使いどころを間違ってるんや。１年半くらい使ってて不満もあるけど自分のよく使う範囲では angularJS 最強だと思う。 angularJS が向いてるのは Single Page Application ではない angularJS が向いてるのは ◎ フォームのような細かい部品を多用 ＆ DOMツリーとデータスコープがほぼ一致していてユーザの入力をサーバに送ったりする webアプリ。管理画面、マイページ、業務アプリなど △ Single Page Application ← 簡単に作れるけどページ間の連携が必要ないならサーバ側で分けてしまった方
伊藤直也氏が語る、モダンなWebテクノロジーに共通する傾向とは？（前編） Chef、Docker、MicroservicesからReact、FRPまで。QCon TOkyo 2015
伊藤直也氏が語る、モダンなWebテクノロジーに共通する傾向とは？（前編） Chef、Docker、MicroservicesからReact、FRPまで。QCon TOkyo 2015 最新のITと関連技術をエンジニアの視点で掘り下げるイベント「QCon Tokyo 2015 Conference」が4月21日に都内で開催されました。 そのセッションの1つとしてKAIZEN platform Inc.の伊藤直也氏が行ったのが、「モダンWebシステム開発」と題して、最近のWebアプリケーションに関する技術に共通する傾向を探った講演です。 ChefやPuppetなどによるInfrastructre as CodeからImmutable Infrastructureなどのインフラ周りからReactなどのフロントエンドにまで共通する考え方とは何か、示唆に富むその内容をダイジェストで紹介します。 モダ
ネットで薬を調べまくる患者さんも、自分が何を知らないのかまでは知らない - シロクマの屑籠
最近は、スマホやタブレット片手に、インターネットで薬や精神疾患について調べながら来院される患者さんが増えました。薬の名前をペラペラ列挙し、先生あれどうですか、これどうですかと、あたかも製薬会社のセールスマンのようです。 副作用もよく調べてますね。先生、これはパーキンソン症候群ですか、先生、のどが渇くのは抗うつ薬の副作用ですか、といった指摘は、ときに的を射ていることもあります。 でも、精神科医からみると、こういうインターネットにべったりな患者さんの知識はやはり偏っているようにみえます。 薬の名称、効果、副作用は余計なほど知っているのに、どれぐらいの用量でどれぐらいの期間使用したら効果が出やすいのか、薬ごとにどのぐらい副作用を避けやすいのかまで知っている人はまずいません。薬の効果を引き出すためにどういった手順や療養態度が必要なのかの知識も、たいてい欠落しています。シンプルなうつ病と妄想を伴った
websec-room.com - websec room リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
DeNAファウンダー南場智子が5年かけて口説き落とした男｜前田裕二 SHOWROOM | CAREER HACK
南場氏が5年かけて口説き落とした人物、それが前田裕二氏。現在、DeNAにてアイドル他の番組ストリーミングサービス『SHOWROOM』総合プロデューサーとして事業を推進。新卒で別の道を選んだ彼への南場氏の口説き文句とは？DeNAが必要とした彼を知ることで「過酷な環境を生き抜く優秀人材」の要件が見える。 ［関連記事］怠け者こそ「習慣」を味方にすべき。SHOWROOM 前田裕二に訊く、爆速成長への近道 前田裕二を知ると、苛烈なWEB業界の競争を勝ち抜く人材要件が見えてくる 「一緒に働きたいと思った人は、何年経っても待つ！」 「人材の質には妥協しない」 インタビューやイベントで公言し続ける株式会社ディー・エヌ・エー（以下DeNA） ファウンダーの南場智子氏。そんな彼女が、一度は新卒の内定を蹴られたにも関わらず、5年経っても採用したいと思わせた若手人材がいる。 それが、現在DeNAにて、アイドルやア
Shibuya.XSS テクニカルトーク #5 アウトラインメモ
Shibuya.XSS テクニカルトーク #5 : ATND Shibuya.XSSに参加してきたのでメモです。 体調がイマイチだったので朦朧としたメモです。 後、オフレコなものがあったので、その部分はオフレコとしてあります。 公開していけない箇所があったらIssuesなど立ててください。 私の見つけたXSS - yousukezan JVNのXSS FlashのXSS PaypalのXSS($100ぐらい) paypalの中国のサイト paypal-wujinggou.com All in ONE SEOプラグインのXSS (Wordpress) s=\\x22\x3e みたいな感じでXSS Wordpressのプラグイン XSSが日々大量に見つかるので要チェック Yahoo!のXSS 去年バウンティプログラムが始まって大量の脆弱性が報告されている Yahoo!mail の Self-X
一発当てた個人開発者をまとめるWebサービス作った
http://individualist.link/ （←ドメインかっこいいでしょ） 〜 居酒屋にて 〜 A「やっぱり若者が稼ぐにはアプリ作るしかないと思うんですよ」 B「あー分かる」 B「スマートフォンアプリ？Webアプリでもいいの？」 C「ゲームは当たると大きくていいよね」 A「Webアプリでもいいです」 B「当ててそれで暮らしてる人見ますね。羨ましい。」 A「いいですよね」 A「そういう人の話聞いてみたいんですけどなかなか出てこないですね」 B「当てた人が人前で自慢するメリットないからねえ…」 B「どういう人がどういうサービスで当てたのかまとめたい」 A「いいですねえ。Wiki 的な」 B「Google Docs とかでやってみる？」 A「おお、やりましょう」 B「Webサービスにしてもいいかも」 〜 帰宅 & １時間後 〜 B「できた」 B「ドメイン取ろう」 B「http:
これ結構使えた！サービスサイトやWordPressテーマで使われている小技まとめ
作成：2014/05/19 更新：2014/11/01 WordPress > ウェブサービスサイトや最近のWordPressテーマで使われているエフェクトや小技をまとめました。今回またjQueryが多くなってしまいましたが、サイト制作時に一手間加えたくなる小技集です。 エンジニア速報は Twitter の@commteで配信しています。 もくじ サイト読み込み時 １．画像読み込み時、ローディング画像を表示／jQuery ２．読み込み時に文字を動かす／jQuery ヘッダー ３．文字の拡大・縮小／jQuery ４．入力補助／jQuery ５．伸縮するサーチボックス／jQuery コンテンツ ６．中心に水平線を入れる／CSS ７．均等に並べる／段組み／CSS ８．コンテンツが現れた時にアニメーションさせる／jQuery ９．マウスホバーで画像を拡大しキャプションを出す／jQuery １０．マ
Railsアプリつくった - ✘╹◡╹✘
最近APIサーバ用途でRailsアプリを1個つくったので振り返る。 概要 接続元はiOSやAndroidアプリとか、Webブラウザとか、別のWebアプリケーションとか。1ホストあたり秒間数百リクエスト、平均応答時間10msぐらい。Rails 4.1.0.rc2、Unicorn、Nginxを使ってる。正直Railsは全部入りで重いイメージがあったので何となく平均50ms以内程度であれば良いところだろうと思ってたけど、意外と速い。多分そもそもサーバの性能が良いんだと思う。実装時に気を付けたことは普段の開発と特に変わりない。いつもは大勢でワイワイ開発するものに少し手を加えるということが多いんだけど、今回は珍しく自分一人でつくったから目が行き届いてたのかもしれない。DBへの問合せの効率に気を配るとか、Rubyでの処理の無駄を省くとか、アプリケーションのプロセスに無駄なコードを読み込ませないとか、計
IPAテクニカルウォッチ 「増加するインターネット接続機器の不適切な情報公開とその対策」の公開：IPA 独立行政法人 情報処理推進機構
「SHODAN(*1)」を活用し、複合機・ネットワーク対応ハードディスク(*2)等の確認を 2014年2月27日 独立行政法人情報処理推進機構 IPA（独立行政法人情報処理推進機構、理事長：藤江 一正）は、オフィス機器、家電製品のインターネット接続に伴う新たな脅威や、不用意な外部公開をSHODANで確認する手順をまとめたレポート「増加するインターネット接続機器の不適切な情報公開とその対策」を2014年2月27日からIPAのウェブサイトで公開しました。 URL：http://www.ipa.go.jp/security/technicalwatch/20140227.html 近年、ウェブサーバ機能やファイル共有機能等のインターネット技術を搭載したオフィス機器や家電製品が増えており、インターネットに接続されている機器は、2009年の9億台から2020年には260億台に達すると予測されています
Webアプリ開発者のためのHTML5セキュリティ入門
Enterprise x HTML5 Web Application Conference 2014の発表資料です。Read less
すべてWebで‐研究のためのWebアプリケーション技術‐ - jnobuyukiのブログ
今回は、このブログで取り上げているwebアプリケーション技術（Javascript, D3.js, Google Chartsなど）が私のような研究者にとってどのような可能性を持つのかを考えてみたいと思います。 webブラウザは、ご存知の通り、インターネットを閲覧するためのインターフェイスです。ブラウザを通して、世界中の情報にアクセスできます。しかし、近年のwebアプリケーション技術の進歩によって、ブラウザは文字と画像以外のものを提供できるようになりつつあります。 このような感想は私だけのものではありません。例えばGoogleでChromeの開発をされている及川卓也氏は日経電子版の記事で、Googleの流儀としてのイノベーションについて発言されています。それによれば、「webブラウザはインターネットを閲覧するためのビューアである」という固定観念を捨て、「インターネットの入り口であり、情報の
IE9以降でもHTMLフォームでファイル名とファイルの中身を外部から指定できる
昨日の日記「IE8以前はHTMLフォームでファイル名とファイルの中身を外部から指定できる」にて、福森大喜さんから教えていただいた内容として、ファイルアップロードのHTMLフォーム（enctype="multipart/form-data"）にて、アップロードするファイル名とファイルの中身を外部から指定できることを報告しました。この際にIE8以前という条件がありましたが、今度は、三井物産セキュアディレクションの望月岳さんから、「それIE9以降でもできるよ」と教えていただきました。既にご存じだったそうです。福森さん、望月さんという日本を代表するバグハンターから「秘伝のたれ」をおすそわけいただいたようで、興奮気味ですw まず、おさらいとして、IE8以前でのパターンは下記の通りでした（要点のみ）。 <form enctype="multipart/form-data" action="pro_ad
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EIZO、解像度1,920×1,920の正方形液晶を2015年に発売へ ～フルHDから情報量が78%増加、横幅が狭いデスクに
http://yuma-z.com/blog/2014/04/ambient_sound/
ロゴを作る時に知っておきたい11の基本ルール