背景システムの処理速度を改善するために、ボトルネック解析を行う必要があった。 ボトルネック解析の方法と、プロファイリングに使用したperfの使用方法に関して調査を行った。 記事の目的perfを使用し、ボトルネック解析を行う ここでは、perfの導入方法及び使用方法について記載する。 perfとはperf(Performance analysis tools for Linux)とはLinuxカーネル2.6.31以降で使用可能なLinuxの性能解析ツールである。 実行されているプロセス毎のCPU使用率やプロセス内で呼ばれている関数の割合などを調査できる。 利点gprofのように、プログラム作成時に専用のライブラリを入れたり、コンパイル時にオプションをつける必要がない フレームグラフにして、ビジュアライズできる 導入方法(Ubuntu編)Ubuntu16.04へperfを導入する手順について記
RaspberryPi 3 Model B+でIoT監視カメラをつくる（その７ カメラのAI化） | そう備忘録
追加インストール機械学習の為にGoogeのTensorFlow関連のモジュールを追加インストールした。 Edge TPUランタイムのインストール以下のコマンドでラズパイにEdge TPU（Tensor Processing Unit）ランタイム（スタンダード版）のインストールを行った。 尚、本来はCoral USB Acceleratorの様なEdge TPUユニットをラズパイに接続して機械学習を行うのが理想なのだろうが今のIoT監視カメラにCoral USB Acceleratorを追加すると外箱を作り直さないといけないのと、そこそこの値段がするので（１．５万円ぐらい）ラズパイ単体でTensor Flow Liteを動かすことにしている。 この為、最後の行のlibedgetpu1-stdのインストールは今回のプログラムをラズパイ単体で動かすだけであれば不要なのだが、今後Coral USB
前々回記事 で、毎月勤労統計調査の母集団労働者数推計がセンサスの数値から乖離している問題をとりあげた。 5-29人規模と500-999人規模事業所では、推計母集団労働者数が増加することにより、センサスからの乖離が生じている 30-99人規模事業所では、推計母集団労働者数が減少することにより、センサスからの乖離が生じている さらに、 前回記事 では、母集団労働者推計をふたつの段階にわけて、どこでセンサスとの乖離が生じているかを検討した。調査対象事業所の労働者数の月間の変動データによる推計が第1段階であり (「毎勤推計」と呼ぶ)、事業所新設・廃止等による変動 (雇用保険事業所データによる) と事業所規模の変化などで別の層に事業所が移動したことによる変動 (毎月勤労統計調査による) の推計をおこなうのが第2段階である (「雇用保険等補正」と呼ぶ)。 5-29人規模事業所の推計母集団労働者数の増加
「俺はactions/cacheをやめるぞ！〇〇〇〇ーッ!!」 はじめに S3にキャッシュするアクションを作成しました。 GitHub Actions公式のキャッシュ機能であるactions/cacheは、 Pull Requestでコケた時にRe-run jobsするとactions/cacheアクションが正常に動作しない actions/cacheアクションは時折キャッシュの取得に失敗することがある などの問題を抱えているようです。 詳しくは、こちらのブログ記事を参照ください。 GitHub Actionsの知見ご紹介 - Masteries 加えて、キャッシュの容量はリポジトリごとに5GBとのことなのですが、明らかに容量オーバーしていないはずなのに、キャッシュミスが発生していることがあるような気がします。 そこで、今回S3に独自にキャッシュさせるアクションを作成しました。 今のところ
8月26日、 毎月勤労統計調査の改善に関するワーキンググループ の 第2回会議 があった。 オンラインで傍聴できる とのことだったので、申し込んで傍聴してみた。 この第2回会議の主たる議題は、毎月勤労統計調査の「ベンチマーク更新」について。2016年の経済センサス-活動調査の情報または事業所母集団データベース2019年次フレームの情報を利用して2022年1月にベンチマーク更新をおこなう、という方針に基づいて作成した試算の検討がおこなわれた。この方針は 第1回会議 (2021-07-09) において提案されていたが、これらのふたつの情報源のどちらも精確さを欠くため、試算を作成しての対応を検討することになったものである (第1回会議の 議事録 を参照)。 第2回会議に提出されたこの試算結果をみると、500-999人規模事業所の労働者数が2割近く減ったり、「きまって支給する給与」平均が1000円
これは ターミナル環境大掃除2021 の7発目です。 前回は vim-plugを導入する です。 動機 まず何を実現したいかと言うと、以下の2つである。率直に言うと「VSCodeのアレ」をやりたいのだ。1 CtrlP的な、大雑把なファイル名検索 インクリメンタルなソースコード全文検索 1 は要するにfuzzy finderで、言うなれば「今開いているディレクトリ (プロジェクト？) の中からfuzzy matchでいい感じに目的のファイルを呼び出す」機能である。最初はどばーっと全てのファイルが表示されており、一文字ずつ検索クエリを入力することによってリアルタイムに候補が絞り込まれていく。候補をひとつに絞れなくても、ファイル名で「これだ」と分かれば直接そのファイルを指定してバッファに呼び出せる。今まではDeniteを利用して実現していたのだが、このためだけに入れているのが心苦しくなったので再
Chrome拡張機能をmanifest v3で開発した簡易記録とハマりポイントの解消方法 - 雑多に技術メモと他色々
Chromeの拡張機能（プラグイン）を自作で作ってみたので、色々書く。 やってみたこと やった結果 動かせたの？ 開発した時の環境 ハマりポイントと解消方法の一覧 そもそも拡張機能を作るために必要な構成や作るべきファイルがわからない 開発成果物のそれぞれの役割がよくわからない 自作したChrome拡張機能の取り込み方法がわからない ツールを修正した時の取り込み方法がよくわからない service_workerが動作しない原因がわからず、デバッグもできない content_scriptsに指定したcssの参照先画像(URL)にアクセスできない 拡張機能アイコンクリック時の動作が定義しても動かない service_workerで外部jsが使えない 自作した拡張機能用HTMLでonclick属性が動作しない Local Storageから読み込んだ情報が想定外にObjectになった Javasc
Gitの基礎知識をまとめました - Qiita
こちらはエンジニアなりたての私が学んだ、Gitの基礎知識になります。 トピックは職場の先輩に大事な部分を抽出いただいてまとめました。 私と同様、初学者さんたちのお力になれれば嬉しいです ローカルリポジトリについて Gitのローカルリポジトリには３段階がある 1. ワークツリー 自分の作業場所。ここでファイルの作成や編集を行う。 ワークツリーで編集後、addしていない状態でgit statusを行うと以下のように言われる。 Changes not staged for commit→ステージに上がっていない変更があるよ use "git add ..." to update what will be committed→addするにはgit add <file>してね use "git restore ..." to discard changes in working directory→
何もわからないまま使うのは危険です！！！ いきなりこんなことをかいてしまいましたが、皆さん、MySQLを安全に使ってますか？ 特に金融とか顧客情報とか扱うとこ！あとDBの障害対応めんどくさいな〜ってなってる人も必見です！ MySQLをクラウドでmanagaedなもの(CloudSQLとか、RDSとか)使っている方もいれば、self hostedなサーバを利用している方もいらっしゃるかと思います。 どちらにおいても、必ずこの内容は抑えておかないと危険かもしれないですよという、注意喚起的な記事です。 つまり、マネージドなRDBMSとしてMySQL使ってるあなたも、知っておくべきということです。 RDS を使っているあなたも、 CloudSQLを使っているあなたも、ぜひ読んで確認してください。 InnoDB、ちゃんと気にしていますか？ MySQLを使っていますか？と書き始めましたが、この記事の中
京都で生まれ育って32年、いきなり北海道に飛ばされたもののなんとか 36歳で帰京、とうとう40のおっさんになったが、今だに崖っぷち状態の おやじがまったりと日々のダメっぷりを記録するブログです。 とは言っても大半がプログラムと資格勉強の記録ですが・・・（笑） タイトルのまんまです。以前、EXCELで似たようなことをしていたのでGASではどうするのかなぁと思ってやってみました。まぁほとんど丸パクリです。とりあえず、また使うかもしれないので自分用にメモです。しかしGASでGoogleDriveのファイル一覧嘗め回そうとすると3分かかってしまう。数が多いと6分制限に引っかかるのでこれでは使えない。せいぜい100ファイルとか数が少ないところで使う分にはいいけどダイナミックな場合は何回かに分割してやらないと少し厳しいかもしれない。 ◆GAS //設定値取得 const SHEET_URL = Spr
実行中のコンテナ内にあるファイルをホストとの間でコピー転送するには、kubectl|docker container cpを使えます。 config類のベースファイルや実行ログを取得する場合などに便利です。 ## コンテナのファイルコピー kubernetes, dockerに`cp`サブコマンドがある * `kubectl cp [options] origin dest` * `docker container cp [options] origin dest` --- ## ファイルpath NFS同様 `[host:]/path/to/file` * ローカルは、`host:`のprefixなし * リモートpathにはタブ補完が効かない * kubernetesの`host`にはpod名を指定 * `kubectl get pods`で検索 --- ## kubectl用共通オプ
ongaeshi/fude: A single binary video game programming environment. インストール不要でRubyスクリプトを書くだけで動くゲームエンジンを作ってみたくて作った。raylibというC言語で書かれたゲームエンジンを内部で使っている。とても軽量で raylib、mruby、raylib APIのmrubyへのバインディング全てでバイナリサイズが1.8MB! これならアプリケーション単位でfude.exeバイナリをgitレポジトリに置いても十分に運用できると思う。 自分がWindowsなのでWindowsバイナリを置いてしまっているけどraylibもmrubyも様々なプラットフォームで動くのでMacやLinux, Androidで動かすのもそこまで難しくないと思う。後raylibはemscriptenによるHTMLビルドもサポートして
基本 $ vi ファイル名 ...指定して起動 $ vi ファイル名1 ファイル名2 … ファイル名n ...複数ファイル起動 $ vi -R ファイル名 or $ view ファイル名 ...読み込み専用で起動 初期表示位置を指定して起動 $ vi + ファイル名 ...最後の行から表示 $ vi +行数 ファイル名 ...指定行から表示 $ vi +/文字列 ファイル名 ...文字列が最初に見つかった場所から表示 その他 $ vi -r ファイル名 ...壊れたファイルをリカバリする 1文字移動 [←] or [h] or [BackSpace] [→] or [l] or [Space] [↑] or [k] or [Ctrl]+[p] [↓] or [j] or [Ctrl]+[n] 数字指定移動 数字[←] or 数字[h] or 数字[BackSpace] 数字[→] or 数
国土地理院の標高タイルを2クリックでダウンロード→可視化するQGISプラグインを公開！ - Qiita
はじめに みなさんこんにちわ！ つい先日、こんな記事を書きました。 国土地理院のサイト（基盤地図情報）からダウンロードしたDEMを利用してサクッと可視化するプラグインを弊社(MIERUNE)で作成したので、そちらを紹介した記事になります。 ところで！！！！！！ こちらの記事、大部分が基盤地図情報からデータをダウンロードする方法に費やされています。 基盤地図情報はよく整備されたサイトなので必要ないかなとも思いつつ、色々書かせていただきました。 が、そもそもの話、「標高を見たいだけなのに会員登録して地図見て選択してダウンロードしたファイルを加工したりしなきゃならんのか…！？」と思った方もいるんじゃないかと思います。 「もっと簡単な方法はねぇのかよ？」と思いますよね？？？？？ そうです！！！！！！！！！ あるんです！！！！！！！！！！！！！！ いいえ！作りました！！！！ それがこちら！ こんな感
こんにちは。ポン吉です。 スマートホームと言えば「あらゆるものがインターネットにつながりITで制御された家」というIoTのイメージがありますよね～。最新はスマホで操作できる家電が増加中。ただ、マーケティング戦略的に「フラグシップモデル！」として強気な価格設定がされる製品が多い！ ぶっちゃけネットにつなげただけなのに高すぎ！ 読者 ポン吉 そこで登場するのがスマートリモコン！ スマートリモコンはこの数年でかなり普及しました。そんな2022年現在、ラズパイでスマートリモコンをオススメする意味はあるのか？と自問自答しておりました。 先に結論を述べますと、これからスマートホーム化を検討される方は市販スマートリモコンを推奨します。既にラズパイを持っている方で「市販品にないアツい機能を作りこんでやるぜ！」という方はラズパイのスマートリモコン化にチャレンジしてほしい！ スマートホームでの家電操作 タブレ
はじめに こんにちは。dazyuです。 ラクダとか貨物を載せて歩いてくれる家畜動物: 駄獣が元ネタです。 最近LAMB/ラムという映画を見ました。 アイスランドが舞台とのことで、内容もさることながら雄大な自然を背景にしたシーン一つ一つが美しく、見て損はなかった作品でした。 今回の投稿が初めてのブログになります。お手柔らかにお願いします。 はじめに 概要 環境 What is Gitea 構築するシステムの概説 構築作業 1. docker-compose.ymlの作成 2. dockerで環境立ち上げ 3. Giteaの設定 4. 動作確認 4.1. git clone 4.2. git push 5. ポートフォワード設定 5.1. docker-compose.ymlのポート変更 5.2. giteaの設定ファイル変更 6. まとめ 7. お片付け おわりに 参考一覧 概要 本稿ではd
DartSassがなかなか辛い 以前、「【Sass】@importを@useに置き換えてみる《FLOCSS対応》」というLibSassからDartSassへの移行について記事を書きました。 無事@import記法から@use・@forward記法に移行できたのですが、この記事の内容で数ヶ月使ってみたところ、正直前より使いにくくて辛くなってきました。 ざっくり何が使いにくいかというと、 Glob使えない 名前空間めんどい コンパイル遅い などなど。ファイル数が少ない時は耐えれますが、複数のCSSファイル生成したり細かくパーシャルで分けたりって時はけっこう辛いです・・・。 いつまでもGulpでがんばってるから使いにくいのかなーとか考えましたが、「Webpackなら問題なくDartSassれてる」みたいな情報も調べてみて特にない様子。調べ方が悪いのかもしれないし、WebpackがGulpほど苦労
ongaeshi/fude: A single binary video game programming environment. インストール不要でRubyスクリプトを書くだけで動くゲームエンジンを作ってみたくて作った。raylibというC言語で書かれたゲームエンジンを内部で使っている。とても軽量で raylib、mruby、raylib APIのmrubyへのバインディング全てでバイナリサイズが1.8MB! これならアプリケーション単位でfude.exeバイナリをgitレポジトリに置いても十分に運用できると思う。 自分がWindowsなのでWindowsバイナリを置いてしまっているけどraylibもmrubyも様々なプラットフォームで動くのでMacやLinux, Androidで動かすのもそこまで難しくないと思う。後raylibはemscriptenによるHTMLビルドもサポートして
ヘッドレスChromeでWebサイトのスクリーンショットを一括生成する GoogleChromeにはコマンドやプログラムから実行できるヘッドレスモードがあります。 今回はこの機能を使用してURLのリストから複数のスクリーンショットを一括作成してみます。 投稿日2018年12月06日 更新日2018年12月06日 ターミナルから実行 下記はMacのターミナルから実行する例です。Windowsなど他の環境ではChromeまでのパスを置き換えてください。 $ /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --headless --disable-gpu --screenshot --window-size=1280,1080 https://www.yahoo.co.jp これだけでカレントディレクトリに「scree
Renovateの設定をチューニングしたので共有 & 解説をする。 Renovateをより快適に使いこなせ。 https://docs.renovatebot.com/ 最終的に設定ファイルはこうなった $schema timezone prHourlyLimitNone automergePatch CODEOWNERSからrenovateがみているファイルの設定を外す schedule dependencyDashboard Edited/Blocked Open Ignored or Blocked Awaiting Schedule renovate再実行 ignorePaths pip_requirements packageRules renovateのデバッグ方法 参考 最終的に設定ファイルはこうなった それぞれの設定について解説する。 { "$schema": "https
注意この記事は違法にアップロードされた動画をダウンロードするといった行為は推奨しない。自己責任で。 本当に応援しているならローカルに保存して再生するのではなく、YouTubeで視聴して高評価とチャンネル登録を心がけよう。再生数と評価が投稿者のモチベーションに繋がる。YouTubeで収益化しているチャンネルなら尚更。 ローカル再生は最終手段。 下準備youtube-dl(yt-dlpやytdl-patchedもおすすめ)とFFmpeg(GyanD/BtbN)をダウンロードしておく。 今回私はytdl-patchedの最新版(2021.08.25.1629886051)を、FFmpegはGyanD氏のffmpeg-4.4-full_build.zipを使用した。 youtube-dl.exeとffmpeg.exeを同一フォルダ内に入れる。 環境変数等の設定はこの記事では紹介しないので、このフォ
CloudFrontとS3で静的なWebサイトを公開するにあたってハマったことがあったのでメモります。 Table of Contents インデックスドキュメントとは CloudFront+S3でハマった点 S3の静的ホスティング機能を利用する場合 S3をCloudFrontのオリジンに設定する場合 回避策：S3の静的ホスティングURLをCloudFrontのオリジンに設定する まとめ インデックスドキュメントとは ブラウザでURLを開くときパスにHTMLファイルを指定しない場合、ApacheやNginxなどのWebサーバではデフォルトでindex.htmlが読み込まれるように設定します。 https://crimsonality.net https://crimsonality.net/ https://crimsonality.net/index.html 上記のパターンは全てURL
catなどのコマンドは、ファイル名を引数にとって読み込みを行いますが、ファイル名が与えられない場合は標準入力を読む、という挙動をします。今回はこれをPythonで実現する方法について調べました。 $ cat input.txt $ cat < input.txt $ python hoge.py input.txt $ python hoge.py < input.txt 0. 基本 Pythonでは標準入力もテキストファイルへのポインタもfile object（細かく言うと_io.TextIOWrapperクラスのインスタンス）なので、次のような関数は標準入力sys.stdinが引数に与えられても動作します。
Laravelのユーザテーブル情報をVueの画面からダウンロードします Vue側のダウンロードの処理一切はダウンロードボタンのコンポーネントに閉じ込めてみます CSVはWindowsで開けるように BOM つけときます（macは動作確認してません..） 環境設定他関連記事はこちら Laravel + Vue + Vuetify で業務サイト作ってみる 作業はこちらを参考に LaravelでCSVダウンロード。 - Qiita [Laravel5.4] 大容量CSVのダウンロード - Qiita Laravel 5.3でcsvのダウンロード機能を実装 【Laravel 5.4】ファサード の作り方 - Qiita １．LaravelでCSVダウンロードするサービスを作成 <?php namespace App\Services; use Illuminate\Support\Facades\
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
perfを用いたシステムのボトルネック解析方法
毎月勤労統計調査、2018年の集計方法変更で何か間違えた模様 - remcat: 研究資料集
【GitHub Actions】S3にキャッシュするアクションを作りました - Qiita
毎月勤労統計調査、今後のベンチマーク更新で大きなギャップ発生のおそれ - remcat: 研究資料集
fzfとripgrepをvim連携させて優勝する | 雑司ヶ谷インターネット
【超危険】【クラウドも】そのMySQLパラメータ設定、やべ〜〜〜〜かも - Qiita
GASでGoogleDriveのサブフォルダとファイル一覧を出力する
コンテナ＝ホスト間のファイルコピー（docker / k8s）
シングルバイナリで動くゲームエンジンの fude というのを作っている - ブログのおんがえし
viコマンド（vimコマンド）リファレンス - Qiita
ラズパイでイケてるスマートリモコンを作ろう！赤外線制御で家電のIoT化
GiteaをDockerで立ててみよう！ - シー・エス・エス イノベーションラボ（ブログ）
DartSassがなかなか辛かったのでGulpを修正してみた｜notes by SHARESL
シングルバイナリで動くゲームエンジンの fude というのを作っている - ongaeshi
ヘッドレスChromeでWebサイトのスクリーンショットを一括生成する
Renovateおすすめ設定 - hesma2’s blog
【youtube-dl】YouTubeから最高画質・最高音質で動画を保存する
AWS CloudFront + S3による静的サイト配信時のインデックスドキュメントについて
Pythonでcatみたいに標準入力またはファイル名指定でテキストを読み込む方法 - Qiita
STEP07：Laravel5.7 + Vue2.5 でユーザ一覧をCSVでダウンロード - Qiita