otori334のブックマーク / 2021年4月13日

otori334 id:otori334

2021年4月13日のブックマーク (5件)

マルチコアのCPUを使い切って圧縮を速くする - それマグで！
gzip の限界＝ CPU 1コアマルチコア・マルチスレッドのCPUがあるのに、gzip や lzma(xz)や bzipといったメジャーな圧縮は、CPUを１コアで処理するんですね。 CPU使用率を見てみたら、CPU利用率は100%を超えないんですね。 HDD・SSDの書き込み速度に限界があるからそれでも良かったんだろうが。いまはメモリが一般的に６４GBもある時代です。うちのマシンでもメモリが12GBもあるのに３GB程度の圧縮に、５分とか耐えられません。もうちょっと速くしたい。 cpu利用率が100%で頭打ちになる。gzip gzipを使ってると、CPU利用率が100%で止まるんですよね。lzma などの他の圧縮でも同じ。 gzip/ gunzip をマルチで処理する pigz / unpigz Pigz のマニュアルには次のように書いてある。スレッドを使って並列処理をするっぽい。 P
otori334 2021/04/13
圧縮

ツール

CPU
リンク
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。追記 2018/03/05：大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
otori334 2021/04/13
スクレイピング

プログラミング
リンク
直リンク - Wikipedia
この項目では、他サイトの画像などのインライン表示について説明しています。トップページ以外のサイト記事のURLに対してリンクを貼ることについては「ディープリンク」をご覧ください。直リンク（じかリンク、ちょくリンク）とは、インターネットのWWWで公開されている画像などのメディアファイルのURLを参照し、インラインで表示する形態で別のウェブサイトにあるウェブページに貼り付けたり、リンクを貼ったりすることである。直リンとも呼ばれる。ダウンロードに一定の手順を踏む必要がある画像掲示板や、アップローダー上のファイルに対して、ダウンロード用のURLではなくファイルそのもののURLを掲示する場合も「直リン」とされることがある。ホットリンクとも言う[1]。サイト外部からの直接アクセスを想定していないファイルへのリンク（前述のようにリンクでない場合もあるが）を通常のリンクとは区別する意味で「直リン」と呼称
otori334 2021/04/13
スクレイピング

Web
リンク
2/3 直リンクを防ぐには？…禁止と言っても無駄 [ホームページ作成] All About
直リンクを防ぐには？…禁止と言っても無駄(2ページ目)画像ファイルなどへの直リンク(外部サイトからの直接参照)や、特定ページへのディープリンクを防ぎたい場合に、「禁止します」と宣言しても意味がありません。どうしてもリンクを阻止したい場合は、技術的にアクセス制限を施すしかありません。リンクを技術的に防ぐ(リンクされてもForbiddenエラーを表示する)方法をご紹介。直リンクやディープリンクを技術的に阻止するには外部サイトからのリンクを禁止するには、「.htaccess」という特殊なテキストファイルを使って、Referer(リファラ)という情報を調べることでアクセス制限を施します。直リンクを阻止したい場合でも、ディープリンクを拒否したい場合でも、あらゆるリンクを禁止したい場合でも、設定に使うファイルや記述方法は同じです。 ■.htaccessとは？ .htaccessファイルとは、ウェブ
otori334 2021/04/13
スクレイピング

セキュリティ

Web
リンク
blobやm3u8やtsファイルの配信動画のダウンロード方法とmp4変換して再生する方法
最近、動画をダウンロードしようとしたら、ファイルURLにblobが付いていたり、ファイル形式がm3u8やtsだったりすることがありました。なので、blobのURLやm3u8ファイル(HLS形式)の動画をmp4ファイルにしてダウンロードする方法を調べたので、忘れないようにダウンロード方法を載せておこうと思います。所要時間は１０分かからないくらいです。１．blobやm3u8やtsファイルの動画のダウンロード方法説明前にこの記事の前提をまず書いておきます。この記事は、ITやネット知識が少しある人向けの記事になります。また、私が体験した動画ファイルのダウンロード方法を１つのみ紹介しています。技術的な説明や背景は省いて、とにかくダウンロードの仕方さえわかればいいというスタンスです。（別に難しい知識が必要というわけではないですし、操作方法は全て書いておくので、同じ状況だという人は調べつ
otori334 2021/04/13
ツール
リンク
- 2021年4月14日
- 2021年4月13日
- 2021年4月12日