Web標準のHTTPクライアントfetch()でストリーミングしながらアップロードできるようになる。

使ってみる 例えば、100ユーザが同時にhttp://www.example.co.jp/ に1リクエストを発行した場合を想定。 ab -n 100 -c 100 http://www.example.co.jp/ 同時に100ユーザが、1ユーザーあたり10リクエストを発行した場合を想定。 -nには100 x 10 = 1000を指定します。 ab -n 1000 -c 100 http://www.example.co.jp/ 接続先にベーシック認証がかかっている場合。 -Aの後にベーシック認証ユーザとパスワードを:（コロン）で区切って指定します。 ab -n 100 -c 100 -A hogeuser:hogepass http://www.example.co.jp/ 同時接続数よりTotal発行リクエスト数が少ないとエラーメッセージが表示されます。 同時に100人で合計10リクエ

はじめに これも『Docker/Kubernetes 実践コンテナ開発入門』読書会で出てきたのですが、「溜まっていく不要なコンテナやイメージを全消しするコマンドってないのかな」という疑問。それに答えられるコマンドがあったのでそれに関してまとめてみます。 pruneコマンド 以下はPrune unused Docker objectsに書かれている内容ほぼそのままですが、多少例を交えて書いてみます。 様々なDockerオブジェクトをprune(枝刈り)するということですが、　そもそも日本人はpruneという言葉にあまり馴染みがない人が多いように思います。私もその一人ですが、唯一知っている例として、 というようなのがあります。findコマンドでたまに使われる用法ですが、「その前の条件に当てはまるものは検索対象から除外」というオプションですね。上記の例だと「名前が.gitであるものは検索対象から

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community. By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails. Already on GitHub? Sign in to your account

DanbooRegion is a project conducted by ToS2P (the Team of Style2Paints), aiming at finding a solution to extract regions from illustrations and cartoon images, so that many region-based image processing algrithoms can be applied to in-the-wild illustration and digital paintings. The main uniqueness of this project is that our dataset is created by real artists in a semi-automatic manner. This proj

Finally, some good news! This week, we were pleasantly surprised to see that FTX’s fraud victims would be getting some money back – even if…

対応バージョン この記事の内容は、少なくともGitのバージョン2.19.1までは対応している。 もし最新のGitで新しい動きがあれば随時更新する。 基本 .gitignoreを使うと無視する（Gitのトラッキングの対象外とする）ファイル or ディレクトリを指定できる。 .gitignoreは複数のディレクトリに置くことができる。 深い階層の.gitignoreに書かれた指定の方が優先順位が高い。（後に解釈される） .gitignore内の記述は上の行から順に以下のように解釈される。 /を含まない行（fileなど） .gitignore以下の全サブディレクトリ下にあるこの名前のファイル or ディレクトリを無視する 末尾以外にのみ/を含む行（/file, /path/to/file, path/to/fileなど） .gitignoreが置いてあるディレクトリをカレントディレクトリとする相

動機 cronからコマンド実行すると、環境変数がほとんど設定されていなくて色々と支障が出ることが多い。これまでコマンド実行前に.profileを読み込むよう記述していたけど、もうちょっとスマートな方法がないか調べてみた。 環境変数を渡す方法 実行時に設定ファイルを読み込む コマンド実行前に、次のようにして.profileや.loginなどを読み込む。 * * * * * . ~/.profile;/usr/local/bin/cronjob 自分はずっとこの方法でやっていた。ログイン時と同じ環境で実行できるので便利。でも、毎回定義の行にこの記述を入れる必要があり、見た目がすっきりしない。 シェル引数に-l指定 コマンド実行時にシェルを指定し、そのシェルの引数に-lを渡してやることでログインシェルと同じ環境変数を実現する。 * * * * * /usr/local/bin/bash -l /

追記: コメント欄にて、若干変なパスが含まれている場合の対処方法について、補足いただきました。 ご指摘ありがとございますm(_ _)m bash / zshなどでシェルスクリプトを書いていると、環境変数の設定を外部ファイルにまとめてsource して使う、というのはよくある。 そのような場合にsourceされたファイル内での絶対パスがイマイチうまく取れない、という問題に突き当たる事がある。 bashの話: うまくいかない方法と理由 通常、シェルスクリプト内で自分自身の絶対パスをとるときによくやるのが下記の手法だとおもう。 が、単体で呼び出した場合にはちゃんと動くのだが、bashからsourceで呼び出した場合にはうまく動かない。 なぜかというと、sourceされたファイルの実行が、呼び出し元のシェルプロセス内になるから。 bashでは$0は実行コンテキストに依らず、実行ファイル名が入ってい

はじめに Docker公式のBest practices for writing Dockerfilesに ADDよりもCOPYが望ましい(ADDは使わない方が良い)との記述があるのを見つけたのでその理由を確認してみました。 TL;DR 理由は以下の2つに分けることができます。 ① Imageサイズの観点 ② セキュリティの観点 そもそもCOPYとADDはどう違うのか こちらの記事にて端的にまとめられていたので日本語訳してしまいます。 COPY - 明示的なコピー元とコピー先のファイルまたはディレクトリを指定して、ローカルファイルを再帰的にコピーします。 COPYでは、場所を宣言する必要があります。 ADD - ローカルファイルを再帰的にコピーし、存在しない場合は暗黙的にコピー先ディレクトリを作成し、アーカイブをコピー元としてローカルURLまたはリモートURLとして受け入れます。アーカイブ

Best practices for writing Dockerfiles 上記のビルドコンテキストについての内容を確認したときのメモ 日本語としては以下があり Dockerfileを書くためのベストプラクティス【参考訳】v18.09 TL:DR docker buildを行う時に Docker デーモンへビルドコンテキストのファイルを送信している。ビルドコンテキストは PATH 形式を指定した場合、PATH のディレクトリ 例えば送信不要な大きなファイルがビルドコンテキストとして送信されるとビルドに時間が掛かる(送信に時間が掛かるため） 対応方法としては「.dockerignoreでビルドコンテキストから不要ファイルを除外する」、「Dockerfile を標準入力から受け取ってビルドコンテキストを送信しない」がある .dockerignore を利用する事でビルドコンテキストとして送信

.gitignoreとは？ .gitignoreはGitのリポジトリのルート（.gitフォルダと同じ位置）にあるときに使えます。 Railsの場合 Railsアプリとかだと、logディレクトリはバージョン管理したくないから とか書いてある。 同じように、バージョン管理の必要性がなかったり、していると不都合がおきる、 - sqlite3のDBファイル - キャッシュが入るtmpフォルダ - プロセス監視のpidファイル 等はignoreしておくべきです。（デフォルトで.gitignoreに書かれていますが） .gitignore自体はignoreにするべき？ それを ignore するなんて とんでもない！ .gitignoreはプロジェクト全体で共有しておくと、環境が変わっても（パソコンが変わっても）ignoreされるファイルやフォルダは 一緒な"はず" なので、ignoreはしなくて大丈

空のディレクトリをコミットに含めたいときは、2つのやり方があります。.gitkeep を使う方法 と、 .gitignore をおいておく方法（例えばPHPのフレームワーク Laravel で用いられている方法）です。 空のディレクトリを保持する目的で使用する .gitignore は、たいていの場合、以下のような内容になっています。 使い分けの基準 .gitkeep と .gitignore は、「空のディレクトリにファイルが追加されたときに、そのファイルを Git での管理対象に含めたいか？」という基準で、使い分けられます。 含めたい場合は .gitkeep 、含めたくない場合は .gitignore を使います。 .gitkeep を使う基準と例 .gitkeepは、「デフォルトではファイルが存在しないけれど、ファイルが追加されたら、そのファイルを Git での管理対象にしたい」場合

(追記 2022-11-05) 本記事の内容(オリジナルは2020年の7月頃)ですが、 2年以上経って久々に見返してみると我ながら色々とよろしくない点もあったように思うので、 可能な範囲で直した改善版: yamlで保存してあるconda仮想環境をDocker上で構築(multistage-build)を本記事の続きとして書いています。 本記事だとdocker内で作成しているユーザーの権限が大き過ぎたり、minicondaを使っている関係で商用利用が有償化されているAnacondaリポジトリから意図せずにパッケージを取得してしまう可能性があったりと、そのまま実行すると懸念点があるので注意してください。 Docker上でPython環境を作るときにpipやPipenvなども使うのだが、使うライブラリやパッケージの関係でconda環境を使えると便利なことがある。 思った通りのconda環境をDo

gcloudで複数のアカウントを使って、複数のプロジェクトをやりくりする必要に迫られたので、調べた。そして絶対忘れるので備忘録。 アカウント関係まず、登録されているアカウントの一覧表示してみる。 $gcloud auth list現在、クライアントで認識されているアカウントがリストアップされる。 リストにない新しいアカウントを使う場合は、アカウントを追加する。アカウントとはgmailのメールアドレス。 $gcloud config set account <ACCOUNT_NAME>set accountした後に、ログイン。 $gcloud auth loginloginコマンドを実行すると、ブラウザでGoogle Cloudが開く。クライアントがgcloudコマンドを使うって言ってるけどいい？という画面が出て認証すると、クライアントで使えるようになる。 念の為もう一度、gcloud au

はじめに Cloud Runはサーバーレスなコンテナ実行基盤です。この記事ではフルマネージド版のCloud Runのみを対象とし、フルマネージド版のCloud Runを指して、単にCloud Runと表記します。 Cloud Runの料金プランの特徴として、リクエストの実行中のみ課金対象になるという点が挙げられます。しかし、リクエストのたびにコンテナの起動と終了を繰り返すわけではなく、起動したコンテナはある程度使い回されます。リクエストが無い間は、コンテナが起動していても課金されないというわけです。 課金対象の時間 (https://cloud.google.com/run/pricing?hl=ja より引用) だからと言って無料で使い放題というわけではなく、コンテナランタイムの契約として、リクエスト中しかCPUが使えないと明記されています You should only expect

先日「conda は Python から openssl から何から何までインストールしてそのくせ conda だけで済むまでに自己完結してないから OS と pip の二重管理を os と conda と pip の三重管理地獄に変えて嫌い、virtualenv-wrapper があれば十分」と同僚に話したところ、「pip で numpy を入れると OpenBLAS にリンクされたものが入って、conda で入る MKL にリンクされたものより遅い」と言われました。自動コンパイルしましょう。 Linux を対象としていますが、OS X や Windows などでも同じことは可能なはずです。 基本的には unnounnoさんの投稿 と同じで、それに追加で pip.conf を書いて numpy, scipy のバイナリパッケージを無効化するだけです。 MKL のインストール https: