asyncioを用いたpythonの高速なスクレイピング - HackerNews翻訳してみた
「HackerNews翻訳してみた」が POSTD (ポスト・ディー) としてリニューアルしました！この記事はここでも公開されています。 Original article: Fast scraping in python with asyncio by Georges Dubus ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方があるのですが、これが最善という方法がないように思います。本格的なscrapyのようなフレームワークもあるし、mechanizeのように軽いライブラリもあります。自作もポピュラーですね。requestsやbeautifulsoup、またpyqueryなどを使えばうまくできるでしょう。 どうしてこんなに様々な方法があるかというと、そもそも「スクレイピング」が複数の問題解決をカバーしている総合技術だ
お湯の代わりに牛乳で茹でるお手軽チーズクリームパスタ : お料理速報
お湯の代わりに牛乳で茹でるお手軽チーズクリームパスタ 2014年03月25日19:00 カテゴリレシピイタリアン アメリカやイギリスではクリーミーなチーズクリームソースにマカロニを絡めた「マカロニ・アンド・チーズ」が家庭の味として広く食されています。 これから紹介するのは、マカロニを貝の形をしたパスタ、コンキリエに変えた手軽に作れるチーズクリームパスタの紹介です。 スポンサード リンク 用意する材料(4人分） 牛乳：2カップ コンキリエ（貝の形をしたパスタ）：2カップ ホワイトチェダーチーズ：1カップ 塩：適量 作り方 チェダーチーズを溶けやすい大きさに細かくする。 鍋に牛乳を入れ、中火にかける。 牛乳が温まってきたらコンキリエを入れ、沸騰しないように茹でながら撹拌する。 20分ほど茹でる（茹で時間はパスタメーカーの指定を目安に）。 パスタがゆだったら火からおろし、チェダーチーズを入れる。
マイクロソフト、「MS-DOS」と「Word for Windows」のソースコード公開。コンピュータ歴史博物館への寄贈で
マイクロソフト、「MS-DOS」と「Word for Windows」のソースコード公開。コンピュータ歴史博物館への寄贈で 米マイクロソフトは、同社が1982年にリリースしたIBM-PC向けオペレーティングシステムの「MS-DOS 1.1」および1983年の「MS-DOS 2.0」と、1990年にリリースしたWindows向けワードプロセッサの「Word for Windows 1.1a」のソースコードを、米カリフォルニア州マウンテンビューにあるコンピュータ歴史博物館に寄贈したことを明らかにしました。 同時に、この2つの製品のソースコードが同博物館のWebサイトで公開されました。 MS-DOSは、IBMが当時開発していたPCのためにマイクロソフトが開発したOSで、同社がPCのOS市場で圧倒的なシェアを築く礎となったソフトウェア。 Word for Windowsは、Windows用のワード
[初心者向け] Railsで関連するデータ(親子関係)を保存する方法あれこれ - Qiita
はじめに: 関連(association)って何？ 関連とはModel(データ)同士のつながりのことです。 単純な例で言うと、ブログの投稿(Post)とそれに対するコメント(Comment)は 関連 しています。 たとえば以下のような1件の投稿と2件のコメントを考えてみます。
![[初心者向け] Railsで関連するデータ(親子関係)を保存する方法あれこれ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/258d9b06292e09e241918d10656afe1a4f65f326/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JTg4JTlEJUU1JUJGJTgzJUU4JTgwJTg1JUU1JTkwJTkxJUUzJTgxJTkxJTVEJTIwUmFpbHMlRTMlODElQTclRTklOTYlQTIlRTklODAlQTMlRTMlODElOTklRTMlODIlOEIlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlMjglRTglQTYlQUElRTUlQUQlOTAlRTklOTYlQTIlRTQlQkYlODIlMjklRTMlODIlOTIlRTQlQkYlOUQlRTUlQUQlOTglRTMlODElOTklRTMlODIlOEIlRTYlOTYlQjklRTYlQjMlOTUlRTMlODElODIlRTMlODIlOEMlRTMlODElOTMlRTMlODIlOEMmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTU0MTY4YTA3MWM3YzI3MDJlZmZmMmYyY2JhZjBhYjc1%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBqbmNoaXRvJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wOGJiNjlhZmY4ZjQwYTVkMjZjMzBlN2M4YWU2ZjYxOA%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44K944OL44OD44Kv44Ks44O844OH44Oz%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dea5a02415172795080ba6dd0016d678a)
Unlambda で Lisp インタプリタ - iroriの日記
https://github.com/irori/unlambda-lisp 3 連休だったので Unlambda で Lisp インタプリタを作ってみました。 Adventure を作ったときのコードジェネレータを流用して、今回新たに書いたコードは 400 行ちょっとでした。生成された Unlambda プログラムは 35kb ほど。 構文は quote, if, lambda, defun が、組み込み関数は基本的なリスト用関数 (cons, car, cdr) と四則演算が使えます。代入はありませんが、代わりに call/cc を使えるようにしてみました。数値は非負整数のみ使えます。内部表現はチャーチ数なので大きい数を作ると大変なことになります。全体的にエラー処理が甘いので壊れた式を入れるとおかしくなりがちです。 次回は Lazy K で Lisp インタプリタを作る予定です。
Simple 8-bit Assembler Simulator in Javascript
Clock speed: Instructions: Show Hide View: Hex Decimal Register addressing: A: Show Hide B: Show Hide C: Show Hide D: Show Hide
Serf という Orchestration ツール #immutableinfra
Serfが面白いと俺の中で話題にwwwwww 【改訂版】 『ニンゲンヤメマスカ→運用自動化への希望、オーケストレーション』 Masahito Zembutsu Mar 1, 2013 オープンクラウドにゃんぱすー Open Source Conference 2014 Tokyo/Spring #osc14tk 3/4追記：blogに追記しました。 LVSとSerfでDSRロードバランサを自動管理してみた話 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2014/03/04/orchestration_with_serf_to_manage_lvs/
JAWS DAYS 2014、Immutable Infrastructure について - naoyaのはてなダイアリー
何もかも投げ棄てて Dark Souls II をやりたい気持ち抑えながら JAWS DAYS 2014 で Immutable Infrastructure について話してきました。以下、資料です。(Embed できないのでリンクです) https://speakerdeck.com/naoya/immutable-infrastructure-number-jawsdays Immutable Infrastructure トラックのトップバッターだったので、そもそも Immutable Infrastructure とは何か、どのような背景でこのような概念が提唱されるに至ったのか、そして現在は。またこれから何が変わるのかみたいな、大枠の話にフォーカスして話しました。会場は Immutable Infrastructure トラックは立ち見が出てるくらい盛況で、やはりこの分野に注目が集
Introductions to advanced Haskell topics
Many people bemoan the sharp divide between experts and beginning Haskell programmers. One thing I've noticed is that "advanced" Haskell topics all have one thing in common: there exists only one good tutorial on that topic and only the experts have found it. This post is a collection of links to what I consider to be the definitive tutorials on these topics. Monads Monads are technically not an a
ゲーム開発におけるメモリアロケーションの実装について - Qiita
はじめに 今回は、メモリアロケーションに関して、Java・C#などプログラミング言語やUnity・UDKなどのゲームエンジンにおいてはメモリの事なんて全然気にしなくていい時代になっている(!?)中、ゲーム開発におけるメモリアロケーションについて、えーでるわいすで現在使われているゲームエンジンでの実装も踏まえて一回まとめてみようかと。。。 発端は、@aizen76さんの「カスタムメモリマネージャと高速なメモリアロケータについて」というスライドを偶然見つけたのがきっかけで、自分は今まで深く理解せず何となくでやってきてしまっていた気がしたのでちょっとまとめて見ようと思い立った感じです。 対象 C++初級者~中級者ぐらい ※ ガベコレだのスマートポインタだのmallocの実装によるマルチスレッド環境下での速度がどうとかその辺の話は止まらなくなるので我慢します( ´∀｀) メモリアロケーションって何
記事の書き方｜読み物｜マジック：ザ・ギャザリング 日本公式ウェブサイト
Mark Rosewater / Tr. YONEMURA "Pao" Kaoru 2014年3月17日 時折、諸君は私に新しい記事の構想を送ってくれる。それに意義があると思ったなら、私はそれを自分の「短いリスト」（カギ括弧を付けた理由は、最近は名前ばかりで短いとはとても言えないからだ）に書き入れる。長年にわたってこの短いリスト上にあった話題が、記事を書くことに関する記事だ。私は2002年からこのMaking Magicの執筆者で、それ以前からもDuelist誌上で多くの記事を書き、コラムを書いてきた。つまり、私には記事を書く経験がいくらかあると言える。 そこで、今回の記事では記事を書く上でのべし・べからずについて語ることにした。執筆に興味のある諸君は、この記事が何か考えるきっかけになれば幸いである。執筆に興味がない諸君も、この記事を通してMaking Magic執筆の裏側を読み取ることが
仕事がうまくいく人は、この8つのムダ思考を捨てている | ライフハッカー・ジャパン
習得れば家具も作れる! 自宅で本格DIYを実現してくれるCNC加工ロボット「Cubiio」を使ってみた 『たった5秒思考を変えるだけで、仕事の9割はうまくいく』（鳥原隆志著、中経出版）の特徴は、「思考を加える」ではなく、「思考のムダを捨てる」という観点から仕事の仕方を解説しているところ。「発想しすぎの思考や能力を引く」考え方にシフトし、仕事の成果を変えていくことを提案しているのです。 ちなみに基盤となっているのは、「インバスケット（案件処理演習）」の考え方だとか。第3章「たった5秒で成果が出る『インバスケット』」に目を向けてみましょう。 1.「どう思われているか？」を捨てる 体裁に力を入れすぎると、本来するべき仕事ができなくなるもの。たとえばメールのタイトルに多くの時間をかけても、内容がわかりづらかったり、ファイルを添付し忘れていたりしたら台なしです。大事なのは、体裁よりも内容だということ
カジュアルJavaScript AST
今日の概要 実は使われてるJavaScript AST JavaScript AST(Abstract Syntax Tree)とは? JavaScript ASTを使ったツール紹介 使うだけじゃなくて書いてみよう browserify Node.jsで書かれたものをブラウザ向けに変換するツール Node環境で開発 -> browserifyでビルド -> ブラウザで動く JavaScriptのコードを 変換 する ≒ JavaScript ASTを見て変換 する 本体の色々な部分、transform pluginなどでASTを使ってる
Simple recommendation system written in Ruby
I'm looking for new job; so yesterday I went through my old Rails projects, trying to describe them for my updated CV. I found interesting old project where I wrote recommendation system. Nothing fancy, just simple tag based recommendation for blog articles. I decided to extract some of the code and blog about it. Algorithm used for recommendation is based on Jaccard Index and is also known as the
オブジェクト指向設計原則 - Strategic Choice
原則について優れたオブジェクト指向開発のための指針。ただ、、、原則は原則。必ず守らなければならないのではなく、まずそれで考えることが重要。逸脱したとしても正当な理由やトレードオフが説明できればよい。一覧単一責任の原則（SRP）オープン・クローズドの原則（OCP）リスコフの置換原則（LSP）依存関係逆転の原則（DIP）インターフェイス分離の原則（ISP）参考アジャイルソフトウェア開発の奥義 第2版 オブジェクト指向開発の神髄と匠の技作者: ロバート・C・マーチン, 瀬谷啓介出版社/メーカー: ソフトバンククリエイティブ発売日: 2008/07/01メディア: 大型本 Principles Of Object Oriented Designオブジェクト指向設計＠Syboos.jpオブジェクト指向設計の原則＠それはBooksオブジェクト指向設計原則＠ディノオープンラボラトリオブジェクト指向の法則
商用でも無料で使える2種類の日本語フォント「刻明朝」「刻ゴシック」
漢字に比べて平仮名・カタカナを幅ごと小さくデザインし、文章全体を表示させた時の統一感を重視したフォントが「刻」シリーズです。明朝体の「刻明朝フォント」とゴシック体の「刻ゴシックフォント」の2種類が用意されている「刻」シリーズは無料でダウンロードでき商用・非商用問わず自由に使用可能になっています。 フリーフォントの樹 http://freefonts.jp/ その字体が持つ雰囲気はもちろんのこと、両フォントが特徴としているのは仮名と漢字の大きさにアクセントを付けたデザイン。何行にもわたる長い文章を表示させたときに、紙面そのものが一つの模様であるような統一感のある美しさを演出するように作られています。 刻明朝体で文章を表示させるとこんな感じ。 漢字とかな文字のサイズの違いがメリハリを与えています。 一方の刻ゴシック体で同じ文章を表示させたらこんな感じ。ページ全体から受ける印象は、刻明朝体と大き
403 Forbidden
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
Java 7 CMS GCの基本的な情報の整理 - nekop's blog
バッチ処理などスループット重視のアプリケーションはデフォルトのパラレルGCで良いが、Java EEアプリケーションサーバなどレスポンスタイム重視のものやHadoopなどのクラスタ系ソフトウェアで死活監視に引っ掛る系などのstop the worldをなるべく避けたいいわゆるサーバ系ソフトウェアを運用する場合には、UseConcMarkSweepGCを付与して停止時間の短いCMS GCを使う。その場合にCMSのチューニングに踏み込もうとするとなんだか難しい記述がいっぱいで若干困るので、簡単なガイドをメモとして書いておく。 対象バージョンは以下。 $ java -version java version "1.7.0_51" OpenJDK Runtime Environment (fedora-2.4.5.1.fc20-x86_64 u51-b31) OpenJDK 64-Bit Serve
Text File / Line - odz buffer
コメントから Unix においてテキストファイルとは行の集合であり、行とは改行文字で終わるものと定義される、とどこかで読んだ記憶があります。 ふむ。きむらさんのところから(関係ないけどエントリに対する Permalink がおかしい。日付についているリンクはいいんだけど) 今、再度調べてみたけど見つからなかったんですが、 POSIX的には「テキストファイル」の定義ってのは決まってまして、 それによると各行の末尾は必ず改行を含むことになっています。 ですから、「テキストファイル」を扱うと謳っているユーティリティが ファイル末尾に改行を含まないファイルに対して文句つけても、 POSIX的には間違ってないです。 あと行の長さとして最低限これだけの長さは許容しなければいけないとかも あったんですけど、どこだっけなー。 あ、英語だったのは間違いないです。 POSIX だというならまんま POSIX
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mesosを使ったImmutable Infra 管理システムを作ってみた
GitHub - mbcrawfo/GenericMakefile: A generic makefile for use with small/medium C and C++ projects.
【319枚】昔集めたPC壁紙でものんびり貼ってく：キニ速
Ruby on Railsの記事一覧｜TechRacho by BPS株式会社
こんな食べ方アリ！？「切り干し大根サラダ」のレシピが激ウマと話題
スマトク！
The Open Group Base Specifications Issue 7, 2018 edition