Webページのスクレイピングと分析・可視化 - Qiita
先日、2016年アドベントカレンダーのはてブ数の分析というブログ記事を投稿した。このデータの可視化には様々な技術が使われている。本記事では、どのような技術を活用して作成したのかについて説明する。 ソースコードはこちら。 概要 このVizは、QiitaとAdventarに投稿された、全アドベントカレンダー及びそこに登録された記事のはてなブックマーク数を元に、どのカレンダーや記事が人気なのか、あるいはQiitaとAdventarのどちらが人気なのかを視覚化することを目的として作成された。データソースは、Qiita及びAdventarに登録された、アドベントカレンダー2016の全カレンダーページである。カレンダーには記事のメタデータが含まれている。記事そのもののページやユーザページのクロールはしていない。 システムの概要 データの収集→ETL→BIという流れで処理を行った。 データ収集 Webク
一から始めるJavaScriptユニットテスト - Hatena Developer Blog
この記事は、はてなエンジニアアドベントカレンダー2016の5日目の記事です。 こんにちは、はてなでアプリケーションエンジニアをしている id:shiba_yu36 です。先日、buildersconにおいて、現在所属しているプロジェクトでJavaScriptのユニットテストを導入した知見について、「一から始めるJavaScriptユニットテスト」というタイトルで発表しました。 speakerdeck.com この発表は、実際にJavaScriptのユニットテスト環境を作ってみると非常にハードルが高いと感じたので、そのハードルを少しでも下げられればという思いで、非常にシンプルな例で一から環境を作る例を紹介しました。アジェンダは次のとおりでした。 カクヨムのJS環境 JSのテストツールを整理する 通常の関数のユニットテスト DOM操作する機能のユニットテスト カクヨムのJS環境や、JSのテスト
非公式PDF版SICPの全訳を公開しました - minghaiの日記
また1年振りの更新となりかけました。 Andres Raba氏により2011年から開発が続けられている、非公式PDF版SICPを全訳しました。 ファイル 恒例のgithubです。 https://github.com/minghai/sicp-pdf jsicp.pdfが日本語版の本体です。 ejsicp.pdfはデバッグ用の日本語・英語併記となります。 ライセンスはCC BY-NC-SA 3.0です。商業使用は認められないことにご注意下さい。 SICPとは何か? SICPとはMITが作成した何も知らない新入生向けのプログラミングの教科書です。 プログラミングと強調したことには理由があります。この本は良くあるプログラミング言語の教科書ではなく、あくまでもプログラミングを勉強するための教科書だからです。このことはこの本の中でも、最初の前書き、序文にて何度でも繰り返し強調されています。筆者達が
他人のサイトのアクセス数が無料でわかってしまうサービス | ライフハッカー・ジャパン
「あのサイトのアクセス数はどのくらいだろう？」と思ったことはありませんか？ どの計測ツールを使ったかによって数値は変わってくるため、一概に比較はできません。しかし、サイト毎の影響力を調べたいというニーズはあるのではないでしょうか。 「SimilarWeb」は、ウェブサイトの訪問者数を調べられるサイトです。訪問者数だけではなく、「参照流入が多いのか検索流入が多いのか」「流入経路」「検索キーワード」までもわかってしまいます。しかも無料です。 使い方は簡単。中央の検索フォームに、調べたいサイトのURLを入れるだけ。今回は例として、Yahoo! JAPANのトップページを入れてみることにします。 トラフィック概要です。ウェブサイトのランキングなどが表示されていますね（世界50位！）。2月の訪問者数4億1200万、サイト滞在時間00:13:10など、2月のサイトのアクセス数なども表示されています。Y
「丁寧な暮らし」とかしてる奴は滅亡しろよ - やまもといちろうBLOG（ブログ）
ふざけるなよと思うわけですよね。 「この人は“丁寧な暮らし”をしているな」と感じさせる人の特徴とは？ http://netafull.net/ranking/045980.html これが丁寧な暮らしなんですか。これが。 [引用] 上位にランク・インした項目はすべて「心に余裕があるからこそできること」です。毎日時間に追われて過ごすのを充実していると捉えるか、日々の生活を丁寧に過ごすかことを重視するのか、どちらがいいのかは難しいところですね。 元ネタのgooを見物にいったら余計血圧が上がりました。何が心に余裕だこのやろう。 「この人は“丁寧な暮らし”をしているな」と感じさせる人の特徴ランキング http://www.peeep.us/e7bbc012 [引用] とりあえずトップ5を。 1位 お菓子は基本手作りしている 2位 年賀状、暑中見舞い、お中元、お歳暮などといったイベントもしっかりこな
無宗教で弔うこと - ohnosakiko’s blog
国や地域や宗教によって、さまざまなかたちを取るお葬式。日本では仏教形式で行われることが多い。これまで私が参列した葬儀は９割方、仏式だった。あとはキリスト教。亡き伯父と伯母がクリスチャンだったからだが、では仏式で弔われた人々は皆仏教徒だったのかと言えば、おそらくそうではないだろう。 年輩者で定期的にお寺参りに行ったりお坊さんの説教を聞きに行ったりする人はいたかもしれないし、そこまでではない人もお盆で先祖の墓参りくらいはしたかもしれない。しかしほとんどの人は、「うちは◯◯宗らしいな」くらいのことはわかっていても、仏教とは無縁の生活を送っていたと思う。多くの人の日常において、特定の宗教の匂いは薄い。 だからいざ身内が死んで通夜だ葬儀だとなると、まず何をどうしていいかまごつくことがある。伊丹十三の映画『お葬式』では、遺族がビデオで仏式葬儀のあらましを学習するシーンがあった。他人の葬儀で何となく勝手
DNS問い合わせの可視化 | ある研究者の手記
DNS問い合わせの可視化 最近、データをまとめたり可視化したりしてその性質を調べる探索的データ分析(例)にはまっています。と、同時にネットワーク分析にもちょっと手を出しており、その2つの派生物としてドメイン名問い合わせの結果を可視化してみました。 これを読んでいる人にはもはや説明の必要はないと思いますが、一応書いておくと、世の中のwww.google.comやwww.amazon.co.jpのようなドメイン名はサーバの場所を直接示しているわけではなく、「この名前を持っているサーバのIPアドレスはなんですか？」というのをDNSサーバという別のサーバに問い合わせることで目的のサーバのIPアドレスを教えてもらい、その後目的のサーバへ接続します。以前は正引き（ドメイン名からIPアドレスを問い合わせる）と逆引き（IPアドレスからドメイン名を問い合わせる）が対称構造になるように設定するのが主流でしたが
Rubyのチートシート / アクティブサポート
Railsで使いまくりActive Supportなので、そんなにまとめがいが無いし、沢山あるのでまとめられないけれど、代表的なモノをとりあえずまとめておく。 blank?やpresent?やtryなんかは省略する。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
レスポンシブWebデザインの基礎
組み合わせ利用でいいとこ取り！ Adobe XD＋Photoshop＋Illustratorの長所を活かしたデザイン手法を学ぼうAkiko Kurono
SPDYとLinuxの間でGoogleマップがハマった落とし穴 - ぼちぼち日記
tl;dr 書いていたら思わず長文の大作になってしまいましたので、プロトコルオタ以外の方は文章の多さに退屈されるかと思います。GoogleマップサービスでSPDYの問題が発覚し、GoogleがLinuxカーネルに修正を加えて対応したというお話です。将来 Linux + nginx + SPDY を使いリバースプロキシでサービス運用を検討されている方は参考になるかもしれません。 1. はじめに、 プロトコルに執着する年寄りエンジニアの老害が叫ばれて久しい。 年甲斐もなく自分好みのパケットを追っかけるおやじエンジニアの姿を見て眉をひそめる若者も多いと聞く。 そんな批判に目もくれず、今日も一つ、プロトコルオタのネタをブログで公開したいと思いますw 今回はちょうど１年ほど前に書いたブログ記事 「GmailがハマったSPDYの落とし穴」の続編です。といっても今度の舞台は、Googleマップ。ネタ元も
レスポンシブ対応CSSベースの軽量フレームワークのまとめ | コリス
そのままサイト制作に使ってももちろん便利、自分用のテンプレートを作るための勉強にも役立つCSSベースのフロントエンド用フレームワークを紹介します。 一部のフレームワークで古いIE用にmodernizr.jsやrespond.jsなどを使用しています。 Kube Kube -GitHub レスポンシブ対応、プロ仕様のシンプルでミニマルなフレームワーク。 ファイルサイズ 15.6KB 対応ブラウザ Chrome, Safari, Firefox, Opera, IE8+, and スマフォ用ブラウザ ライセンス 個人・商用ともに無料利用可 Base Base -GitHub レスポンシブ対応、ベーシックなUIエレメントやグリッド揃ったフレームワーク。LESS, Sassだけでなく、.htaccessを含むサイト制作用のフォルダやグリッドのPSDもセットになっています。 ファイルサイズ 3KB(
PHPフレームワーク「Aura v2」がクリーン過ぎるので試してみる — A Day in Serenity (Reloaded) — PHP, CodeIgniter, FuelPHP, Linux or something
日本でまだ誰も紹介していないようなので、今日は新しいPHPフレームワーク「Aura v2 -- Aura.Web_Project」を紹介します。 Lighter than Silex, and slimmer than Slim, the Aura.Web_Project package is a minimalist web-specific project framework that starts out small and grows only as you need it. http://auraphp.com/blog/2013/12/12/aura-v2-web-project/ 参考訳：Silexより軽く、Slimよりスリム、Aura.Web_Projectパッケージは、あなたが必要とする小さく始めて成長する、ミニマリストのWebに特化したプロジェクトのフレームワークです。
gitの新人研修でtigを使うことをおすすめする理由 - Qiita
はじめに ４月まで残すところ２ヶ月と迫り、新卒などを対象とした新人研修の準備が始まっている頃かと思います。 新人研修の中でgitを教える際に、筆者はtigの活用をおすすめしています。 講師の立場からすれば、短い時間に高効率でgitの本質を伝えることができます。 研修生の立場では、tigを利用して簡単で直感的にgitリポジトリを閲覧・操作することができます。 tigを使うとどうしてそうなるのか、いくつかの理由を以下に紹介します。 セットアップが簡単ですぐ使い始められる tigは依存関係が少なくポータブルな実装でありインストールが簡単です。 会社から提供する開発サーバーであっても、社員ひとりひとりが所有するPCやMacであっても、 yumやbrewなどのパッケージマネージャから少ない手順でインストールすることができます。 一例: CentOS6.4にgit tigインストールと使い方 - Qi
退職しました - word-iteration
知り合い向けのエントリなので、「で、誰？*1」という方は、お手数ですがタブをそっ閉じでお願いしますm(__)m。退職エントリ、書いてみたかったんです。 1月末をもって退職し、2月よりリブセンスという会社でお世話になることになりました。 ここからながーい、自分語りが入るので、以下はお時間あれば読んでくださいw。 前職について 所属企業名はググればすぐにわかりますが、ここではあえて大きめのSIerとしておきます。 2003年に新卒で入社したので丸10年以上勤めていたことになります。 何年だか忘れましたが、人間の場合、神経細胞など一部を除いて一桁年数で多くの細胞は入れ替わると聞いています。「ってことは、俺の体はほとんど前職のお給金でできあがってる訳だなぁ」という、「まずは感謝」みたいな妙な感覚があります。 新卒以来、ずっと技術支援部隊所属で、現場では支援という形でプロジェクトに参画することがほと
Webアプリをいまどきの手法で爆速開発した — KaoriYa
外道はるかぜちゃんジェネレータというWebアプリを いまどきな手法を用いて爆速で開発した話を紹介します。 先の3連休中、外道はるかぜちゃんジェネレータというWebアプリを開発&公開しました。ここで採用した開発手法がいまどきな爆速開発でしたのでちょっと紹介&ステマします。使った技術は以下の通りです。 AngularJS: Googleが開発しているViewModelなWeb開発ライブラリ(MVW: Model View Whateverだったかな?w) Github pages: スタティックサイトのホスティングに最適 Kii Cloud: mBaaS (mobile backend as a service) で共有データの保存に利用 HTML5 Canvas: 画像生成に。サーバサイドではなにもしてない! サービス概要 外道はるかぜちゃんジェネレータはベースとなる画像があり、そこに面白い
Github を使って雑誌原稿を書く - naoyaのはてなダイアリー
今日はこのあと Github の Tokyo Drinkup January 2014 に行くのだが、先方から、もしかしたら 10分ほど Github について話してもらうかも、と打診された。話すか話さないかわからないが、もし話すとしたらと仮定し内容の整理も兼ねて以下「Github を使って雑誌原稿を書く」ということについて書いてみようと思う。 「Github を使って雑誌原稿を書く」もしくは「Github を使った雑誌編集者とのコラボレーション」について、である。 Web+DB PRESS の連載 ご存知の方もいるかもしれないが、このところ技術評論社の Web+DB PRESS で連載をしている。連載を始めて、もう一年近く経った。以前にも Perl に関する連載をしていて、そのときも数年ぐらい続けたので、間があきつつも、なんだかんだでそれぐらいの付き合いになる。 最近は特にテーマは決めず
[JS]Appleのプロダクトページのように、スクロール時に各要素をさまざまなアニメーションで表示させるスクリプト -scrollReveal.js
スクロールすると商品写真がアニメーションでスライド表示するAppleのプロダクトページのように、スクロールした時、ロードした時など、ページ内の要素がビューポートに表示した時に、各要素それぞれをさまざまなアニメーションで表示させることができる単体のスクリプトを紹介します。 デモのアニメーション scrollReveal.jsの使い方 Step 1: 外部ファイル 当スクリプトを外部ファイルとして</body>の上あたりに記述します。 jQueryなど他のスクリプトは必要ありません。 <body> ... ... <script src="js/scrollReveal.js"></script> </body> Step 2: HTML スクリプトをセットしたら、あとはアニメーションで表示させる要素に「data-scrollreveal」を追加するだけです。 <h1 data-scrollr
ソースコード管理ツールをSubversionからGitへ変更して感じたこと - torutkのブログ
少人数チームでのソフトウェア開発でソースコードを管理するリポジトリにGitを適用して1,2ヶ月ほど経過しました。Gitを開発に使用するのは今回が始めてで、みなSubversionを使っていたメンバーです。 開発環境 OS Linux、たまにWindows 開発言語 Java プログラミングツール NetBeans 7.4 Gitクライアント NetBeans標準搭載のGit機能、たまにコマンドライン、WindowsではたまにTortoiseGit Gitサーバー apacheでgit-http-backend、Redmineと認証統合 現在の使用状況 Gitの共有リポジトリを、開発サーバー上にapache（HTTP）でホストしています。 共有リポジトリはmasterブランチ一本で、各メンバーはローカルにcloneしたあとローカルのmasterで変更作業を実施し、適宜共有リポジトリのmast
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語形態素解析の初歩 - あらびき日記
Charming Python: Functional programming in Python, Part 3
