Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
はじめに こんにちは．私はWebスクレイピングが大好きなのですが、Rubyでもっと簡単にスクレイピングができればと思い、ライブラリを書いてみました． ようやくREADMEとUSAGEが書けたので公開しようと思います． ソースはGithubで公開しています． 特にドキュメントの英語が大変怪しいので、つっこみいただけると喜びます． tac0x2a/yasuri gemでも公開しているので、以下のコマンドで簡単にお試しできます． 簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを
時代が追いついてきたので PDF をベクター画像として描画する方法をまとめる - Qiita
ラスタライズ？ Xcode 6になって、『PDF でベクター画像を作って読み込んでおくと便利』といった話がありますが、そもそもこの方法ではプログラム実行時に実際にベクター描画しているわけではなく、あくまでビルド時に PDF から適切な大きさのビットマップ画像を自動生成（ラスタライズ）しているにすぎません。 なので、当然、描画内容を拡大したり回転したりすればジャギーが発生してしまいます。単なるビットマップです。 では、PDF をベクター描画して拡大などにも耐え得るようにするにはどうすればよいか？ 実は古い iOS でも通用する方法でこれを実現することが可能です。実際、この内容は iOS 5のときのものほぼそのままになります。 なぜ PDF なのか（余談） 単なる余談ですが、グラフィックスエンジンという観点で OS X と iOS の歴史を振り返ってみます。 iOS は元々 OS X のサブセ
大量のニュースから興味関心のある話題をベイジアン分類で抽出する - Qiita
前々回はニュースデータを収集するために RSS/Atom フィードを利用する話を書きました。 RSS/Atom フィードには全文配信と要約配信があり、昨今ではページビューを稼ぐため要約配信、特にリンクがリダイレクトになっているものや、本文がカラのものが多いという話をしました。 全文配信 … タイトル、リンク、それに記事本文全体を含むフィード 要約配信 … タイトル、リンク、記事の一部のみまたは本文がカラのフィード フィードデータをためる方法 前回は一部で最近話題の Fastladder のセットアップ方法を紹介し、付属のクローラーを使ってサーバーのデータベースにフィードを溜めるという方法を説明しました。 いずれ別の記事で詳しく述べますが Fastladder はサーバー設置型な上、ソースコードは公開されていますので、クローラー自体を自作することも可能です。 また fluentd は柔軟なロ
類似画像検索について簡単にまとめてみた - Qiita
類似画像検索手法について簡単にまとめました。 はじめに 画像検索には主に2種類の手法がある。 TBIR (Text Based Image Retrieval) 画像にテキストデータが紐付けられていて、テキストを元に検索する CBIR (Content Based Image Retrieval) 画像の特徴量を基盤として検索する ライブラリ Feature Extraction Library - FELib http://appsrv.cse.cuhk.edu.hk/~jkzhu/felib.html 下記の５つの特徴を持つ画像から特徴量を抽出できるライブラリである。 Color histogram, color moments. カラーヒストグラム・色統計) Edge histogram. 輪郭のヒストグラム Gabor wavelets transform. Wavelet tra
Brackets おすすめエクステンション集・解説 - Qiita
Qiita上の内容を集約し、大幅に修正・加筆したものを本として出版しました。 →ブログ：Bracketsの解説書を出版しました 基本的な使い方 こちらにて別途紹介しています。 →Bracketsの機能紹介、使い方解説 →Bracketsショートカット集 カテゴリ一覧 必ず入れておきたいもの ソースコード関連-全般 ソースコード関連-HTML/CSS ソースコード関連-JS/PHP、その他 画像・デザインデータ連携系 挙動改善系 機能拡張系 という形でカテゴリ分けをしています。 ※各エクステンションまだまだ機能をフルに使い切れてないところもありますので、何卒ご容赦ください。。。 必ず入れておきたいもの Extensions Rating 拡張機能一覧画面において、ソート可能にしたり各エクステンションの作者のアイコン・DL数・スター数等の情報を表示してくれます。 これにより、拡張機能がとても探
シェルスクリプトのコーディングルール2014 - Qiita
以前、シェルスクリプトを書くときに気をつける9箇条という記事を公開しましたが、あれから整理され洗練されてきたのでまとめてみました。今回は「気をつける」というよりも書くときに守っている／意識していることです。 1. 成功した時には何も返さない 簡単なコマンド mkdir を例に説明します。 ディレクトリをつくるときにこのコマンドを使用しますが、タイトル通り、正常にディレクトリの作成が行われれば、ターミナル画面上には何も表示されません。
GemのいろいろXML/HTMLparserをまとめたい(Oga特集) - Qiita
動機 前に徹夜テンションのままとあるgemの紹介を書いたんだけど、いろいろとひどかったのでまじめにまとめたかったし新しいXMLパーサが出てきたので調べるついでにまとめてしまおうと思った。 ぱーさいろいろ 冷静に思い出すと結構ある rexml rubyの標準ライブラリ普通に使う分には申し分ないやつ DOMParserからSAXParser、PullParserと一通りそろっている とりあえずこれでなんとかなるケースは多い Nokogiri HTML/XMLパーサでなんだかんだ一番人気？ CSSで要素を取り出せるのでHTMLのパースに使うといい感じ libxml使います HappyMapper XMLをオブジェクトにマッピングできるパーサ クラス作っとけばうまいことマッピングできるのでおすすめ （以前HappyMapperを紹介したけど糞記事すぎて申し訳ないしもはや恥ずかしくて見ることすらでき
Ogaってゆー新しいXML/HTMLパーサーについて - Qiita
OgaというXML/HTMLパーサーがありました。 XML/HTMLパーサーには、標準のREXML以外にもすでにNokogiriやOxがありますが、 Rubiniusでうまく動かなかった(GVLでロックされないから？)ので、極力C拡張を使わずに作ったものだそうです。 MRIでもNokogiriのインストールは時として鬼門になったりするので、ナイスな代替があれば嬉しいかも。 機能とか特徴 XMLとHTML(5)のパース DOMパース ストリーム/プルパース SAXパース 少ないメモリ消費量 高パフォーマンス。パフォーマンスが十分に出てなければそれはバグだ。 XPath 1.0のサポート XML名前空間のサポート らしいです。 インストール いつものように。
マークアップ講座 Part3 デバイス最適化 - Qiita
Retinaディスプレイ（高精細ディスプレイ） RetinaディスプレイはApple社の高精細ディスプレイ 高精細ディスプレイはデバイスピクセル比が１より大きいディスプレイのこと Retinaディスプレイ向けデザイン 2014年現在、制作上おもに重要とされる高精細ディスプレイはスマートフォン、タブレット搭載のもの ※ PCの高精細ディスプレイへのデザイン対応はまだ一般的とは言えない iPhone 5S、iPhone 5対応の場合 デザインカンプは短辺横640pxで作成 短辺横320pxのリキッドレイアウトでマークアップ(※) デザインの最小単位（最も細い罫線など）を2pxでデザイン (※) 次項で説明 iPhone 6 Plus（予想）対応の場合 デザインカンプは短辺横1080pxで作成 短辺横360pxのリキッドレイアウトでマークアップ(※) デザインの最小単位（最も細い罫線など）を3p
EmscriptenでC言語をJavaScriptに変換する - Qiita
C言語は使うべきではない言葉なので修正してくださいのクロスプラットフォーム言語だと思っていて、 iOSもObjective-Cの中でC言語が使えるし、 AndroidもNDKでC言語が使えるので、 UI以外のロジックはすべてC言語で書けば、それはすべてのプラットフォームで使えるのではないかと思っていました。 しかし、FireFoxOSでは、それができなくて、基本JavaScriptのAPIを呼び出すという形になってC言語が使えませんでした。 失意のどん底に陥っていたのですが、 そこの打開策に、Emscriptenがあったのです！ ！！！ Emscriptenとは EmscriptenはC/C++言語からLLVMを生成し、それをJavaScriptに変換するコンパイラのことです。 C言語の標準ライブラリやPOSIXの一部もサポートし、OpenGL ES2.0も使えるそうです。 Emscrip
MacOSX に Otama (類似画像検索エンジン) をインストールする - Qiita
Otama とは 類似画像検索エンジン。 https://github.com/nagadomi/otama たまたまCBIRについて調べ事をしてて見つけたけど、それまでは知らなかった。 メンテナンスが継続されている。 デモがいくつかあり、使い方のイメージがしやすかった。 C、Ruby、Python、Go、Python などのインターフェースがある。 とりあえず手元のMacにインストールしてみたメモを残します。 MacOSX にインストール ソースコードからビルドする手順が記載されていたので、これに沿ってすすめる。 https://github.com/nagadomi/otama/wiki/Building%20from%20source homebrew で必要なライブラリ類をインストール
通信系のデバッグには Charles が便利 - Qiita
はじめに Charles を使うと PC 上に HTTP プロキシを立てて端末の通信をキャプチャし、リクエストやレスポンスの内容を覗いたり書き換えることが出来る。類似のソフトウェアとして Wireshark や Fiddler, Paros がある。 アプリの開発をしていてよくあるのは、APIがスタブで固定値しか返してくれない、異常系エラーのデバッグがやりづらい、という場面だが、Charles なら通信を好きに値を書き換えられるのでこれらに簡単に対処することができる。 Charles は Java アプリなので OS X だけでなく Windows や Linux でも利用する事が出来る。本稿では OS X + iOS での利用を前提として Charles の導入から簡単な使い方までを説明するが、環境依存の箇所は適宜読み替えてほしい。 導入 本来は有料ライセンスだが、無料でも数分間だけ使用
KarabinerのMouseKeyModeを使ってマウスから解放される - Qiita
KarabinerはかつてKeyRemap4MacBookと呼ばれていたキーボードカスタマイズツールです。 MacOSXの使用者には当初から有名なソフトでしたが、バージョン10.1.0を使用してみたところ、Mouse Keys Mode v2なるものが追加されていました。 使用してみたところかなり使い勝手がよかったので覚え書きを書いておきます。 インストール インストール方法は以下の公式サイトに書かれています。 https://pqrs.org/osx/karabiner/index.html.ja 一般的なdmgファイルなので、ダブルクリックでインストーラが起動します。 設定 Mouse Keys Mode v2を有効にするには以下のチェックボックスをチェックします。 ApplicationsからKarabinerを起動 Change Keyをクリック 検索欄でmouseと入力 Mous
「オブジェクト指向プログラミング」と「関数型プログラミング」のたった一つのシンプルな違い - Qiita
はじめに 関数型プログラミングとオブジェクト指向の抜き差しならない関係について整理して考えるという記事がkenokabeさんという方が挙げていて、拙著の 新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡について言及があったので、補考として挙げておく。 暗黙的状態と明示的状態 これまで、関数を「わかりやすくきれいに書く方法」とオブジェクト指向が「どのようにして生まれてきたか」について話してきた。 新人プログラマに知ってもらいたいメソッドを読みやすく維持するいくつかの原則 新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡 一見、それぞれ関係ないように思うかもしれないが、実は大きなテーマでつながっている。 『それは「状態」をどのように取り扱い単純化するか。』ということだ。そして、これがいわゆる関数型プログラミングとオブジェクト指
Node.js用のスクレイピングモジュール「cheerio-httpcli」の紹介 - Qiita
1年程前にリリースしたモジュールなんですが、最近になって Node.jsで超簡単にスクレイピングを実装してみる - もやもやエンジニア node.js スクレイピング cheerio-httpcli の使い方 | まとめーたー とかで紹介していただいていたようなので、便乗して本人によるアッピールもしてみようかな、と。 Node.jsでスクレイピングする利点 何と言っても非同期で多数のサイトをガンガンスクレイピングできるところじゃないでしょうか。 一つのサイトに大量にアクセスするのは迷惑になるのでイカンですが、不特定多数のサイトに対してであるならば同時並行で処理できると処理時間の短縮にも繋がるかと思います。 cheerio-httpcliの特徴 WEBページの文字コードを自動判定してUTF-8に統一してくれる WEBページのhtmlをcheerioというモジュールでjQueryライクな操作が
今更ながら抑えておきたいシェルスクリプト用チートシート - Qiita
シェルスクリプト書くときになかなか覚えていなくて、かつググラビリティが低い情報をまとめてみました。 6/19 コメントを元に一部修正しました hnakamurさんありがとうございます！ 参考になる文献 test bash manual zsh manual 特殊な変数 変数 説明
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MacOSXでさくっとRAMディスクを作成する - Qiita
rsyncで擬似TimeMachineを構築 - Qiita
シェルスクリプトでtry-catch-finally - Qiita
https://qiita.com/shoko_kb/items/6b44c04c936e966a80ff