yt-dlp オプション一覧及びそのメモ - †MASAYOSHI†のオンラインメモ帳
youtube-dlの開発が止まっておりfork版のyt-dlpに移る事にした。yt-dlpはyoutube-dlのforkであるyoutube-dlcのそのまたforkになる。オリジナルであるyoutube-dlのオプション解説はyoutube-dl オプション一覧及びそのメモ。 2022/06/19更新 2022/09/06更新 OPTIONS -h, --helpヘルプを表示する。 --versionプログラムのVerを表示する。 -U, --update --no-update (default)プログラムのupdateを実行するかどうか。 -i, --ignore-errorsダウンロードエラーを無視する。プレイリストごとダウンロードするような時に使う。エラーで失敗してもダウンロードは成功したとみなされる。 --no-abort-on-error (default) --abor
Preliminaries What Is xargs? It's an adapter between text streams and argv arrays, two essential concepts in shell. You pass it flags that specify how to split stdin. Then it generates arguments and invokes processes. Example: $ echo 'alice bob' | xargs -n 1 -- echo hi hi alice hi bob What's happening here? xargs splits the input stream on whitespace, producing 2 arguments, alice and bob. We passe
Posted on Tuesday, April 2, 2024. Updated Wednesday, April 3, 2024. Introduction Andres Freund published the existence of the xz attack on 2024-03-29 to the public oss-security@openwall mailing list. The day before, he alerted Debian security and the (private) distros@openwall list. In his mail, he says that he dug into this after “observing a few odd symptoms around liblzma (part of the xz packag
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
PowerShell: the object-oriented shell you didn’t know you needed
PowerShell is an interactive shell and scripting language from Microsoft. It’s object-oriented — and that’s not just a buzzword, that’s a big difference to how the standard Unix shells work. And it is actually usable as an interactive shell. Getting Started PowerShell is so nice, Microsoft made it twice. Specifically, there concurrently exist two products named PowerShell: Windows PowerShell (5.1)
Note: this article is available as an ebook and as a printed book for easier reading Introduction What is this? When I was first learning Go, I already knew several other programming languages. But after reading an introductory book and the language specification I felt like I really didn’t know enough about Go to use it for real world work. I felt I’d probably need to fall into many traps before
Gleam is a type safe and scalable language for the Erlang virtual machine and JavaScript runtimes. Today Gleam v1.2.0 has been published, a release that focuses on improving the language server and developer experience. It's a big one both in terms of size and impact, so let's take a look as what it includes. Fault tolerant compilation Gleam's compiler has traditionally halted immediately when a c
Try Mastering Emacs for free! Are you struggling with the basics? Have you mastered movement and editing yet? When you have read Mastering Emacs you will understand Emacs. It’s that time again: there’s a new major version of Emacs and, with it, a treasure trove of new features and changes. Notable features include the formal inclusion of native compilation, a technique that will greatly speed up y
go command - cmd/go - Go Packages
Go is a tool for managing Go source code. Usage: go <command> [arguments] The commands are: bug start a bug report build compile packages and dependencies clean remove object files and cached files doc show documentation for package or symbol env print Go environment information fix update packages to use new APIs fmt gofmt (reformat) package sources generate generate Go files by processing source
Introduction to Go 1.24 The latest Go release, version 1.24, arrives six months after Go 1.23. Most of its changes are in the implementation of the toolchain, runtime, and libraries. As always, the release maintains the Go 1 promise of compatibility. We expect almost all Go programs to continue to compile and run as before. Changes to the language Go 1.24 now fully supports generic type aliases: a
A Lisp REPL as my main shell
If you enjoy this article and would like to help me keep writing, consider chipping in, every little bit helps to keep me going :) Thank you! Update: As of 2021-02-07, not all the code and configurations used in this presentation have been published. Should happen in the coming days, stay tuned! Introduction video The concepts I’m going to present in this article were featured in a presentation at
jq で IP アドレスを sort_by しようと思ったがうまくいかなかったので大人しく sort -V を使った | DevelopersIO
コンバンハ、千葉（幸）です。 AWS サービスの IP レンジの確認にip-ranges.jsonを jq でフィルタリングすることがしばしばあります。 そのまま実行すると IP プレフィックスは整列されていない状態で出力されるため、ソートしたいと考えました。 jq の機能に sort が含まれているため、そちらでなんとかできないかと思い試してみました。 まとめ jq の sort_byを使用すると文字列としてソートされるため期待した並びにならない jq でソートするのは諦めてパイプしてsortを使用しよう sortを使用する場合は-Vオプションを使用しよう （追記）jq だけでも split() や map() を使用すれば実現できる……! ip-ranges.json に jq を使用する AWS サービスが使用する IP アドレス範囲は、ip-ranges.jsonとして公開されてい
Part 2 is here: Code generation and basic optimizations JavaScript is getting very popular now. “Write once, run everywhere” — it’s about JavaScript (not only Java)! But what is behind this “Run everywhere”? V8, SpiderMonkey, JavaScript core, and more and more engines. A good example of “Run everywhere” was Nashorn and Rhino, but have you ever heard about these engines, based on Java Virtual Machi
A Base64 Surprise
A Base64 SurprisePublished Jan 23, 2022 - 11 min read - Text Only This weekend I decided to dip back into rust, something I've done on and off for a few days every year for.. seven or so years. Archived TweetThis weekend project was intended for me to Familiarize myself with rust again.Familiarize myself with rocket again.Try out ring - "Safe, fast, small crypto using Rust" now that I've experienc
Plan 9 Desktop Guide
PLAN 9 DESKTOP GUIDE INDEX What is Plan 9? Limitations and Workarounds Connecting to Other Systems VNC RDP SSH 9P Other methods Porting Applications Emulating other Operating Systems Virtualizing other Operating Systems Basics Window Management Copy Pasting Essential Programs Manipulating Text in the Terminal Acme - The Do It All Application Multiple Workspaces Tiling Windows Plumbing System Admin
Large Text Compression Benchmark Matt Mahoney Last update: July 3, 2025. history This competition ranks lossless data compression programs by the compressed size (including the size of the decompression program) of the first 109 bytes of the XML text dump of the English version of Wikipedia on Mar. 3, 2006. About the test data. The goal of this benchmark is not to find the best overall compressi
Transformer のパラメータ数を増やしながらも必要な計算量の増加を抑えることができる Switch Transfomer のご紹介です。Google さんのように1兆6千億パラメータは無理ですが、規模が小さいモデルでも効果が見込めるようなので、実際に動かして確認してみたいと思います。 1. はじめに 今回は今年1月に発表された Switch Transformer 1 の話です。 Transformer というモデルはそのサイズに応じて性能が伸びることが良く知られています2。近年どんどん巨大化しており、 Switch Transformer ではついにパラメータ数が1兆6千億個に達しました3。 この連載ではこの手の巨大なモデルは「スゴイのはわかるんですけれど、デモをつつくぐらいで手元で動かせないなぁ～。」とスルーしていたのですが、 Switch Transformer はパラメータ
LispText.pdf
Lisp Common Lisp / Scheme 0.1 Copyright c � 2020, Katsunori Nakamura 2020 2 29 1 1 1.1 Common Lisp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3.1 Lisp . . . . . .
CSV viewerアプリの作り方(ドラッグアンドドロップ)【Python】 - プログラムでおかえしできるかな
PythonのGUIアプリの勉強を兼ねてCSV viewer(CSVビューア)を作成しました。 GUIにはTkinterを、ドラッグアンドドロップ対応にTkinterDnD2を使用しました。 また、アプリも作成し、アプリにファイルをドラッグアンドドロップすると、アプリが起動しファイルを表示するようにしました。 TkinterDnD2 の使い方(簡単なパス情報の取得方法も)、アプリの作り方をサンプルコードで説明します。 目次 ◆アプリのサンプル画像 ◆機能・特長 ◇ドラッグアンドドロップに対応 ◇画面表示の特徴 ◇Tkinterの使用ウィジェット ◆必要なパッケージ ◇必要な Python パッケージ ◆ドラッグアンドドロップの実装(TkinterDnD2の使い方) ◇使い方の基本 ◇ドラッグアンドドロップの設定メソッド ◇パス取得 - イベントクラスに追加された属性データ(event.da
JupyterLab Changelog — JupyterLab 4.5.0a3 documentation
JupyterLab Changelog# v4.4# JupyterLab 4.4 includes a number of new features (described below), bug fixes, and enhancements. This release is compatible with extensions supporting JupyterLab 4.0. Extension authors are encouraged to consult the Extension Migration Guide which lists deprecations and changes to the public API. Code console improvements# The code console prompt can now be positioned on
xv6: a simple, Unix-like teaching operating system Russ Cox Frans Kaashoek Robert Morris September 6, 2021 2 Contents 1 Operating system interfaces 9 1.1 Processes and memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2 I/O and File descriptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.3 Pipes . . . . . . . . . . . . . . . . . . . . . . . . . .
HTML Whitespace is Broken September 2, 2024Recently, I was working on a project which required a deeper understanding of how whitespace works in HTML. I was never a fan of HTML's whitespace behavior before as I've been burned by it a few times. But as I dug into it more deeply, I found myself discovering complex design issues that I wanted to explore in a blog post. This is partially to write down
UPDATED: 2025-02-15: Fixed some bugs in the examples and pointed out that you don't usually just want to panic on memory allocation failure. I've been writing a lot of Rust recently, and as anyone who has learned Rust can tell you, a huge part of the process of learning Rust is learning to work within its restrictive memory model, which forbids many operations that would be perfectly legal in eith
Fitting a Forth in 512 bytes
Fitting a Forth in 512 bytes June 10, 2021 · 31 minute read This article is part of the Bootstrapping series, in which I start from a 512-byte seed and try to bootstrap a practical system. Software is full of circular dependencies if you look deep enough. Compilers written in the language they compile are the most obvious example, but not the only one. To compile a kernel, you need a running kerne
Click to expand changelog Split pandoc-server, pandoc-cli, and pandoc-lua-engine into separate packages (#8309). Note that installing the pandoc package from Hackage will no longer give you the pandoc executable; for that you need to install pandoc-cli. Pandoc now behaves like a Lua interpreter when called as pandoc-lua or when pandoc lua is used (#8311, Albert Krewinkel). The Lua API that is avai
大規模言語モデル RWKV-worldで学習で巨大なデータ(学会の予稿集のpdf)をファインチューニング(LoRA)する｜Kan Hatakeyama
概要学会の予稿集のような､大規模な文章(pdf)データを大規模言語モデルに学習させてみます 1.5 M tokenほどあります モデルは､学習と出力が高速なRWKVにしました 他のタスクでGPUリソースを使っているので､0.1B/ 1.5Bモデルでのお試しです 1.5Bは学習時にVRAM 7GBほど使います 執筆時､日本語最強のオープンLLMと謳われるRWKV-4-World-JPNtunedが本命ですが､7bを動かせるGPUが空いていなかったので､小さいモデルで試しています 前提: pdfデータの処理LLMとは直接関係がありませんが､一般論として､テキスト学習にはデータの前処理が必要です｡ 今回は､数百MBのpdfデータとして存在する学会の予稿集をきれいなテキストに変換しました｡ まずは､巨大すぎるpdfを分割しておきます｡ #pdfの分割 import os from PyPDF2 i
19_3.eps
The Haskell School of Music — From Signals to Symphonies — Paul Hudak Yale University Department of Computer Science Version 2.4 (February 22, 2012) i The Haskell School of Music — From Signals to Symphonies — Paul Hudak Yale University Department of Computer Science New Haven, CT, USA Version 2.4 (February 22, 2012) Copyright c � Paul Hudak January 2011 All rights reserved. No part of this public
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
An Opinionated Guide to xargs
research!rsc: The xz attack shell script
Darker Corners of Go – Rytis Biel
Fault tolerant Gleam
What's New in Emacs 28.1?
Go 1.24 Release Notes - The Go Programming Language
Inside JavaScript Engines, Part 1: Parsing
Large Text Compression Benchmark
はじめての自然言語処理 Switch Transformer の検証 | オブジェクトの広場
xv6: a simple, Unix-like teaching operating system
HTML Whitespace is Broken - Devel without a Cause
Understanding Memory Management, Part 1: C
Release pandoc 3.0 · jgm/pandoc