大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
gitやcurlやwgetでGitHubにアクセスするとcertification errorになる原因を調べてみた - このブログはURLが変更になりました
中の人に裏を取ったわけではなく私の推測です。間違っているかもしれません。 2010年11月から2011年5月末までの状況(gitやwgetでcertification error) 2010年11月頃、GitHubではすべてのアクセスにSSLを使うよう仕様が変わった。 この時、SSL証明書にはワイルドカード証明書(*.github.com)が使われていた。 *.github.comのワイルドカード証明書にgithub.comは含まれないのだが、SSL証明書にはX509v3 Subject Alternative Name(subjectAltName)が設定されている*1ため、subjectAltNameに対応したクライアントであれば問題ない。 しかし、wgetの最新版1.12はsubjectAltNameに未対応*2。wgetではcertification errorが出ていた。 参考
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
フェイスブック、ミクシィ、グリーで使われている OGP (Open Graph Protocol) とは何か - IT戦記
みなさん、こんにちは お元気ですか？僕は元気です。 さて 最近よく、「いいね！」ボタンや「ミクシィチェック」ボタンによって、ウェブページを紹介し合う文化が少しずつ定着してきたなーと思います。 そんな中で、今後重要になってくるんじゃないかと思われる OGP （Open Graph Protocol）と言われる仕様があります。今日はそのことについて書いてみたいと思います。 OGP? おーじーぴー？？とはなんでしょうか。 OGP とは 簡単に言うと「このウェブページは何のことを書いているか」という情報を、プログラムから読める形で HTML に付加する記述方法のことです。 まあ、普通のウェブページは人間が読めばだいたい何のことが書いてあるか分かりますよね。 ですが、プログラムは人間ほど頭が良くないので、そのウェブページ内の文章だけではそのページが何のことについて書かれているページなのか正確に識別す
「Web開発者のための大規模サービス技術入門」という本を書きました - naoyaのはてなダイアリー
自分が作ったWebサービス、将来大きくなってもシステムは大丈夫なんだろうか? そんな不安を抱きながらWebサービス開発に携わっている方も多いでしょう。あるいは、毎日毎日システムが悲鳴を上げる、どうしたらこの状況を看破できるんだろう? 成長したWebサービスを前に、困っている技術者の方もいるかもしれません。 筆者も、まったく同じ経験をしてきました。 月間1,500万人が訪れる、はてなというサイト。その大規模システムの開発と運用に、筆者らは取り組んでいます。1,000台のホストが、その負荷を捌きます。100万人以上のユーザによってブログやソーシャルブックマークに投稿され続けるデータは日々大きくなっていき、サーバリソースを逼迫させます。ギガバイト、テラバイト単位のデータ量が技術者たちを悩ませます。それでもトラフィックの波は収まることを知りません。 (中略) どうしたらこの怪物、大規模サービスを抑
jsdo.itで遊ぼう！ - os0x.blog
既にご存知の方も多いと思いますが、1週間ほど前にKAYACさんの新サービスjsdo.itがリリースされています。 jsdo.itはHTML, CSS, JavaScriptを編集してその場で実行、共有するプログラマ向けコミュニティサイトです。wonderflをご存知の方はそのJavaScript版の一言で十分でしょう。 単にコードを書いて公開するだけでなく、その場で実行したり、favorite に登録したり、forkしたり、コメントを書いたりと、ソーシャルな要素が強いところがポイントです。 とりわけforkが特徴で、公開されているコードをベースにして改良を加えてみたり、パラメータを変えてどうなるのか実験してみたり、といったことが簡単にできます。また、わからないところがあればquestionタグを付けてどこがわからないのか書いておけば、誰かが回答付きでforkしてくれるかもしれません。que
2億7000万ヒットのサービスを作るための7つのレッスン | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー ソーシャルニュースサイトRedditのco-founder Steve Huffman さんが，月間2億7千万PVを誇るサービスを作る課程で学んだことを7つのレッスンにまとめてます。RedditはPython+PostgreSQL(リプリケーションはSlony)という構成で運用されていて，2億7千万ものPVを裁くために20以上のデータベースサーバを使っています。 RDBMSをKey/Valueのように使っているレッスン3のスキーマ設計の話などとても面白い。レッスンのいくつかはRDBMSバックエンドのシステムにのみ有効のようですが，たとえばレッスン6などはGoogle App Engin
Kazuho@Cybozu Labs: REST におけるトランザクションについて (Re: Web を支える技術)
といいつつ、ひとつだけ理解できないというか、納得できないところが。トランザクションのところがなんだかRESTっぽくないのがすごく気になる Webを支える技術 -HTTP、URI、HTML、そしてREST (WEB+DB PRESSプラスシリーズ)(山本 陽平) - ただのにっき(2010-04-23) 「Web を支える技術」は自分もとてもいい本だと思う (教科書としてすばらしいし復習用としても読みやすいのでイイ) のですが、トランザクションの所だけは分かりづらいなと感じました。その原因は、atomic transaction で解決できる課題を例として使っているという点と、トランザクションと更新クエリのレイヤ分割がされていない、という２つの点によるものではないでしょうか。 HTTP 上でトランザクションを表現する必要があるケースのほとんどは、atomic transaction ではなく
Ex DOM Storageがあるからと安心してWeb Storage使いまくりなWebアプリを作ると落とし穴に嵌る件 - monjudoh’s diary
Ex DOM Storageを使っていて嵌った。 頭がおかしくなりそうだったがなんとかとりあえずの解決はできたので、 その件について話をする。 Ex DOM Storage IE6,7でWeb Storageを使えるようにするライブラリ。 userData behaviorとhtcを使って実装されている。 落とし穴 こちらのリリース告知エントリで言及されているものの他にも、 userData behaviorにはWeb Storageの機能を再現できない制限がある事が分かった。 Ex DOM Storage をリリースしました - Yet Another Hackadelic 別ディレクトリとデータを共有出来ない userData behaviorは同じディレクトリ内でないとデータを共有出来ない。 a UserData store is available only in the same
SinatraでTwitter Streaming APIにアクセスする超簡単なWebアプリのつくりかた:Kenn's Clairvoyance
Twitterには、ストリーミングAPIという、プッシュでリアルタイムに情報を受け取ることのできるAPIが用意されています。 これを使えば、定期的にポーリングをしたりすることなく、誰かが発言した時点で即座にメッセージを受け取れます。 しかし、これを使うためには、TCP接続をTwitterに対して張りっぱなしにしておく必要があり、Webアプリなどで使うのに敷居が高いと感じている人もいるのではないでしょうか。 今回は、「そんなことないよ、超簡単だよ」ということを、Rubyベースのサンプルで示したいと思います。 なぜそんなことが簡単にできるのか、その秘密を先に種明かしすると、Ruby用のWebサーバとして急速に人気を獲得し、デファクトの座をとりつつある「Thin」というWebサーバが、内部的にEventMachineという非同期サーバを使用しているので、その機能を使うことで、今までのWebアプリ
『Evernote』と「Nozbe」を組み合わせると最強のタスク管理ツールになる | ライフハッカー・ジャパン
「Nozbe」は、本気でGTDしたい人のためのWEBベースのタスク管理ツールです。これを『Evernote』と組み合わせると、最強のタスク管理ツールになります。 まず、何かのプロジェクトを始める時には、Nozbeでタスクや目標の進捗管理をします。Evernoteは、ビジュアルで進捗を記録したり、次に何をすべきか説明するのに使います。この2つのアプリを組み合わせるにはどうすればいいかというと、Evernoteで何かを保存する時にNozbeで使っているプロジェクト名をタグとして使うのです。するとNozbeでは、Evernoteでそのプロジェクト名のタグが付けられているものが表示されるようになります。 これはNozbeを開発したMichael Sliwinski が「Evernote's blog」に書いていたハックで、自分のアパートを改装する時に思い付いた方法だそうです。Michaelはアパー
WebMemcacheというWebサービスを作った - hitode909の日記
MemcachedみたいにキャッシュしてくれるWebサービスがあれば便利そうだと思ったので，作ってみた． おもむろにHTTPアクセスすると，JSONをくれる． set, get, delete, statsのAPIがある．使い方は上のリンク先に書いた．リンク先のコードをクリックするとその場でXHRして試せる． キャッシュなので，Webページから使って便利みたいな感じじゃなくて，何かキャッシュを利用したいプログラムから使う． Rubyから値を複数setして同じ値をgetする例．このように，複数同時に操作できる． require 'net/http' require 'open-uri' http = Net::HTTP.new('webmemcache.appspot.com') response = http.post('/set', 'pi=3.14&e=2.7&namespace=te
【コラム】攻略! ツール・ド・プログラミング (15) HTML/CSS/DOMを書かないWebアプリケーションフレームワーク「qooxdoo」 | エンタープライズ | マイコミジャーナル
qooxdooとは qooxdoo(クークスドゥー)はJavaScriptをベースとしたAjaxアプリケーションフレームワークである。通常のWebアプリケーションフレームワークとは趣向が異なり、HTMLやCSSをいっさい記述することなく、JavaScriptのコードのみでAjaxを利用したインタラクティブなWebアプリケーションを開発することができる。DOMなどの知識も必要なく、使うのはqooxdooで用意されたオブジェクト指向ベースのJavaScript APIのみ。 たとえばWebページ上に表示するボタンやリスト、テーブル、フォームなどのGUI部品もすべてqooxdooのAPIでラップされており、利用するためにHTMLやDOMを意識する必要はまったくない。それどころか、ウィジェットをさまざまな形で配置するためのコンテナや、レイアウトを自動で整えるレイアウトマネージャなども用意されており
DropboxとGoogle Chromeを使っている人ならきっと便利·Drop Box MOONGIFT
Drop BoxはGoogle Chrome用のフリーウェア。Dropboxを使っていて、知り合いにファイルを渡したい時がある。メールに添付するのは面倒なので、Dropbox経由で渡せると手軽だ。そこでいつもはPublicに入れてURLを教え、ダウンロードが終わったら戻す操作をしていた。 これは意外と面倒くさい。そのままのURLでファイルを指定して渡せれば便利だ。そしてそれをGoogle Chrome拡張として実現してくれるのがDrop Boxだ。アドレスバー横のアイコンからファイルを探せるので、Dropboxへのアクセスも簡単だ。 Drop BoxはDropboxのフロントエンドと言うよりも、ファイルの授受を手軽にしてくれるためのツールとして考えた方が良さそうだ。Drop Boxのアイコンをクリックするとファイルの一覧と最近の変更が見られる画面が表示される。 そこでファイルを選ぶと自動的
XSSとセキュリティリスクと正しい脆弱性報告のあり方 - 最速転職研究会
適当 XSSがある=なんでもやり放題ではない ブログサービスなど自由にHTMLをかけるようなサービスでは、害が及ばないように表示を丸ごと別のドメインに分けていたり、あるいは別ドメインのIFRAME内で実行したりしているのが普通です。個人情報を預かってるサイトは、重要個人情報についてはHTTPSじゃないと参照できなかったり、そもそも表示しなかったり(パスワードやカード番号等)、決済用のパスワードや暗証番号を入れないと操作できなかったりする。 参考までに http://blog.bulknews.net/mt/archives/001274.html (2004年のアメブロ脆弱性の話) http://d.hatena.ne.jp/yamaz/20090114 (信頼できないデータを取り扱うドメインを分ける話) 管理用と別ドメインに分けたにも関わらず、script実行できることに対してDISられ
第3回 勉強会に行ったら世界が広がりました | gihyo.jp
本連載では、現在執筆中の技評SE選書には掲載していない、オリジナルのコンテンツをお届けしています。IT技術者が勉強をする場合のゴールとして、技術を身につけて自由自在にその技術を使えるようにする、というものがあると思います。今回はそれとは別の到達点として「転職」を取り上げたいと思います。勉強会を通じて適職を見つけ、転職をした人が周りに何人もいます。彼らを見てみると、転職が成立した条件として、次の3項目の共通項がありました。 実力、もしくは将来のための勉強の習慣を身につけた 自分の実力や将来性をきちんとアピールできた 受け入れ側のニーズとマッチした 今回は、勉強会に参加し転職のチャンスを掴んだお二人と、その転職先の社長さんを加えた三人の方々に、勉強や勉強会について語っていただきました。話に夢中で写真を撮り忘れました。文字ばかりですみません。 佐藤治夫さん（twitter：@haru860）株式
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
さまざまなテーマでさくっとダミー画像が作れる『lorempixum』 | 100SHIKI
IDEA * IDEA
Google App Engineを使って無料で自宅用プロキシを運用 | ライフハッカー・ジャパン
ブラウザだけでPDFファイルの結合・分離ができるシンプルツール『I Love PDF』 | 100SHIKI
