Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います＞＜ 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行
画像生成AI「DALL・E2」や文章生成AI「GPT-3」「InstructGPT」などを開発するAI研究団体のOpenAIが、2022年9月に高性能な文字起こしAI「Whisper」を発表しました。オープンソースのWhisperはリポジトリが一般公開されており、日本語にも対応しているとのことで、オンライン実行環境のGoogle Colaboratory(Google Colab)やローカルのWindows環境に導入して使ってみました。 Introducing Whisper https://openai.com/blog/whisper/ GitHub - openai/whisper https://github.com/openai/whisper ○目次 ◆Hugging Faceの体験版を使ってみる ◆Google Colabに導入して使ってみる ◆Windows環境に導入してみ
MSXのソフトの中では顧みられることが少ない、実用ソフトをあえて紹介してみます。 HALNOTEのデスクトップ画面統合化ソフト『HALNOTE』 ジャンル：統合化ソフト メーカー：HAL研究所 対応機種：MSX2 メディア：カートリッジ＋ディスク 価格：29,800円（税抜） 目次 概要 画面写真 ハードの限界へ 実験 HAL研、茲に戦を宣す 余談 概要 HALNOTEのROMカートリッジ（上） HALNOTEは、MSX2用のGUI環境と各種アプリケーションを含む統合化ソフトです。 HALNOTEには、以下の要素がまとめてパッケージされています。 GUI環境『HALバインダ』（一般名詞として『デスクトップ』とも） ワープロ『日本語ワードプロセッサ』 ドローソフト『図形プロセッサ』 テキストエディタ デスクアクセサリ（カレンダー・メモ用紙・電話帳・時計・ユーティリティなど） こんにち、Lin
9年ほど前にこういうエントリを書いたのですが、まだそれなりに見られているようなので、最近はどうなのかなーと、再検証・再計測してみたエントリーです。 ↑の過去エントリにも記載しているのですが、SSH/SCP では暗号化方式（強度）によってファイル転送のスループットが変わります。 もちろん、オープンなネットワークでやるにはセキュリティがー、とか、インターナルでやるなら、そもそも netcat (nc) でいいやんー、とか、そもそも大量にファイル数あるなら、事前に固めてしまえー、とか色々あると思うのですが、本エントリではあくまで暗号化方式 の違いでスループットがどう変化するのか、それはどのくらいスループットが出るのか、を確認したログとなります。 ベンチマークで利用した環境 Google Compute Engine (GCE) の インスタンス (n1-highcpu-4) を2台準備しました
Node.jsアプリケーションのDockerイメージのサイズを削減する方法について調べた - The Third Law
Next.jsアプリケーションのDockerイメージのサイズが大きくて困っていたので調べていたところ、Next.jsの公式ドキュメントにDocker Imageというセクションがあり、おすすめ設定が記載されているのを見つけました。以前はここまで詳細な記述はなかったのですが、つい10日ほど前に追加されたようです。 ドキュメントには一番おすすめの方法だけ書かれているのですが、もともと「What is the best way to use NextJS with docker? · Discussion #16995 · vercel/next.js · GitHub」というdiscussionがあり、ドキュメントの記述はここでの議論が元になっているようです。Discussionではいくつか例が示されているのですが、それぞれさまざまな最適化テクニックが利用されており、どれくらいの容量になるか気
技術部の笹田です。Ruby 3.2 無事にリリースされて良かったよかった。 Rubyインタプリタは複雑なプログラムなので、当然のごとくバグが入ってきます。Rubyインタプリタ開発者は、これに対していろんな対策をしています。たとえば、テストを書いて、CI環境でチェックするとか、今となっては当然のことを、当然のごとくやっています（RubyCIやchkbuild、ruby/spec: The Ruby Spec Suite aka ruby/specなどの整備や、実行環境の日々のメンテナンスの成果です）。 これに追加して、個人的にテストをとにかくたくさん繰り返し行うマシン群を用意しています。テストの実行頻度をなるべくあげて、「時々しか発生しない」というバグを炙り出して、Rubyインタプリタの品質向上を目指すためです。本稿ではそんな、ちょっとだけ変わったテスト環境についての話をご紹介します。 この
【PR】「X68000 Z Hacker's Edition」試用レポート。活用のためのPC向け環境構築もあわせて紹介
【PR】「X68000 Z Hacker's Edition」試用レポート。活用のためのPC向け環境構築もあわせて紹介 ライター：aueki 昨年，突如として発表されて話題となった「X68000 Z」。2023年1月28日23：59まで行われているクラウドファンディングでは出資者が5500人を超え，調達資金は3億円を突破（※1月15日時点）するなど，大きな反響を呼んでいる。 プレッジの多さから一時は個数制限がかけられていたが，現在は6月以降出荷となる第2ロットの申し込み（関連記事）を受付中だ。 関連記事 「X68000 Z」のクラウドファンディング，開始45日目にして目標の10倍近い3億円を突破。記念アイテムを支援者にプレゼント 瑞起がKibidangoで実施している「X68000 Z」のクラウドファンディングプロジェクトだが，支援総額が3億円を超えたことが明かになった。開始45日目にして
OpenAIが発表した音声認識モデル「Whisper」は、日本語の音声でも精度高く文字起こしできるツールとして知られています。今回はアイスマイリー編集部が「AIニュース原稿の読み上げ音声を素材にどのくらい精度高く文字起こしできるのか」や「生活騒音下における読み上げ音声でも結果は変わらないのか」について調べてみましたので是非やり方を真似して試してみてください。 記事後半ではWhisper APIおよびChatGPT APIを活用した文字起こしサービスである「writeout.ai」の紹介も行っていますので、業務への活用イメージとしてご活用ください。 生成AIについて詳しく知りたい方はこちらの記事もご覧ください。 生成AI（ジェネレーティブAI）とは？種類・使い方・できることをわかりやすく解説 音声認識モデルとは？ 音声認識モデルとは、AIが人間の声を認識し、認識した音声をもとに何らかのデータ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Raspberry Pi Foundationが新しいブートローダーをリリースした。これを使用すると、別のコンピューターを経由することなく、「Raspberry Pi」に直接OS（公式OSなど）をインストールできる。 これまで、Raspberry Piの所有者がPiデバイスにOSをインストールするには、「macOS」「Windows」、または「Ubuntu」デスクトップにインストールされたイメージ書き込みツールを使用する必要があった。別のPiデバイス経由で実行することも可能だが、この場合は、それぞれのデバイスにSDカードリーダーを接続する必要がある。新しいRaspberry Piブートローダーはネットワークインストール機能を提供するので
Ryzenの3D V-CacheをRAMディスク化した猛者が現れる。尋常じゃない速さ。PCIe 5.0 SSDの12倍以上 | ニッチなPCゲーマーの環境構築Z
AMD Ryzen 7 5800X3Dの3D V-CacheをRAMディスク化することに成功したユーザーが現れた。その速度はシーケンシャルリードが約182GB/s、シーケンシャルライトが約175GB/sというとんでもない速さだ。最速のPCIe 5.0 SSDよりも12倍以上も高速だ。 Ryzen 7 5800X3D - 3D V-Cache RAMディスク リード182GB/s ライト175GBs RAMディスク化したNemez氏によると、OSFMountというアプリを使用してL3キャッシュ上にRAMディスクを作成したという。Tom’s HardwareのライターであるAlbert Thomas氏もRyzen 7 7800X3DのRAMディスク化に成功し、この話が真実だと確認できた。 Ryzen 7 7800X3D - 3D V-Cache RAMディスク リード178GB/s ライト16
Memeplex.appは、誰でも無料でAI作画ができるWebサービスです。 使い方をまとめます。 Memeplex.appに関するニュースヘッドライン2024/2/11 キャラクターを固定して出せるCustom_SDXLに対応しました(ブロンズユーザー以上)同じプロンプトを与えると同じキャラクター(人物)が生成されるCustom_SDXLに対応しました。ブロンズユーザー(レベル3)で2種類、シルバーで8種類、ゴールドユーザー(レベル5)で12種類のCustom_SDXLを使うことができます。漫画制作などが捗ります。 同じキャラクターを繰り返し出せます2024/2/11 個別画像をループバックして高解像度化/透過できるようになりました(ブロンズユーザー以上)要望が多かったので、レベル3以上(ブロンズ)ユーザー様に対して個別の画像ページから「ループバック」でクリエイトページに戻った後、高解像
QEMU 7.0.0バックエンドやDisposableモードを追加したMac/iOSデバイス対応の仮想化アプリ「UTM v3.2」が正式にリリース。
QEMU 7.0.0バックエンドやDisposableモードを追加したオープンソースの仮想化アプリ「UTM v3.2」が正式にリリースされています。詳細は以下から。 オープンソースのCPUエミュレータQEMUやAppleのVirtualization.Frameworkを利用し、Intel/Apple Silicon MacやiPhone/iPadデバイス上で仮想マシンを作成できる仮想化ソフトウェアUTMシリーズを開発しているUTM Projectは現地時間2022年05月12日、Beta版を公開し開発を進めてきたUTM v3.2.xの正式版となる「UTM v3.2.3」をリリースしたと発表しています。 QEMU 7.0.0: The backend has been updated to the latest release.[…] Additionally, other backend
Google ColabでサクッとLLMを使ってみよう！ - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに こんにちは！ 今年も国内外様々な LLM(大規模言語モデル)が公開されましたね！ LLM の選定や調査・実験をする際、リソースの要求レベルが非常に高く、ローカル環境での実施はかなりハードルが高いですよね... そこで今回は、Google Colab（正式には Colaboratory）を利用して LLMを動かす方法を紹介します。 サクッと LLM を動かしたい時におすすめです！ はじめに Google Colab 基本的な使い方 エラーがでたときは？ セッションが多すぎるとき なぜかうまく動かない時 有料プランについて ほかにも使ってみる Google Colab Google Colab は、Google が提供している提供しているサービスで、ブラウザで Python を実行できるツールです。 機械学習の用途で利用されることが多く、操作も簡単です。 基本的な使い方 今回は、ca
Windows 10 Homeでは256GBのメモリを搭載したマシンでも128GBまでしか利用できない | スラド ハードウェア
2019年には1枚で32GBの容量を持つメモリモジュールが登場している。これにより、一般的なPCでも256GBのメモリ搭載が現実のものとなった。ただし、Windows 10 Homeでは最大128GBまでのメモリしか扱えないという制限があるという（AKIBA PC Hotline!）。 実際に256GBのメモリを搭載したPCにWindows 10 Homeをインストールしてみると、256GBのメモリは認識するものの、利用可能なメモリは128GBまでと表示されるという。 なお、メモリを多く使用すると言われているGoogle Chromeでも、256GBのメモリは使い切れず、また動画編集ソフトでは「Premiere Pro」と「After Effects」を同時に起動した状態でもメモリに余裕がある状態だったという。 そのほか、記事ではRAMディスクとしてメモリの空き容量を活用する方法も紹介され
Google Colabの制限と対策｜npaka
「Google Colab」の制限と対策をまとめました。 1. Google Colabの制限「Google Colab」の主な制限は、次のとおりです。 ・RAM：12GB ・ディスク：CPU/TPC:最大107GB、GPU:最大68GB ・90分ルール : 何も操作せずに90分経つとリセット ・12時間ルール : インスタンスが起動してから12時間経つとリセット ・GPUの使用制限 : GPUを使いすぎるとリセット（上限未公開） 「Google Colab」のツールバーの「RAM/ディスク」にカーソルを移動することで、「RAM」「ディスク」の「使用サイズ/最大サイズ」、クリックすることで「現在のRAM・GPU・ディスクの使用率」を確認できます。 2. 90分ルールの対策以下のPythonスクリプトをローカルで実行して、1時間毎に「Google Colab」にアクセスすることで、90分ル
Linuxでいわゆる「RAMディスク」を作成してみます。 HDDは情報の読み込みでも書き込みでも物理的な速度でメモリにはかないません。で、あるならばメインメモリの一部をHDDに見せかけることができれ5ば超高速なストレージとして使えるのでは！という発想ですね。Linuxではtmpfsと呼ばれる仕組みを利用することで手軽に利用できます。 もちろん、メモリ上にデータを置きますので電源を落とした瞬間にすべてが失われます。主にキャッシュなど一時的な利用が中心になると思われます。 RAMディスクをマウントする 今回の環境 マウントする 起動時に自動でマウントする ベンチマーク 書き込み 読み込み その他 tmpfsが使えない メモリは利用分のみ消費される 参考ページ RAMディスクをマウントする 今回の環境 テスト用にAWSのLightsailで最もお求めやすいインスタンスを作成しました。 $ cat
![[Linux] メモリ上に高速なディスクを作成する - tmpfs - ねこの足跡R](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d095ad89d148659822a62f08f2ae5dd78586518/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F820878482973262145%2F6801883189061409360%2F1701758393)
はじめに ご無沙汰しております。ABEJAの大田黒（おおたぐろ）です。前回は弊社TechBlogにて、数千人規模のイベント向けに顔認証技術を利活用したお遊びプロダクトの設計・開発・デリバリーについての裏側を執筆させて頂きました。 tech-blog.abeja.asia 今回のテーマは少しニッチな内容にはなりますが、自社で提供しているIoTソリューションにおけるセキュリティまわりの取り組みについて、ご紹介させていただければと思っております。 はじめに IoTデバイスを取り巻く環境 ABEJAにおけるIoTの利活用 例：製造業での適用例 (機械部品の自動検品) システムの構成例 ABEJAの立ち位置 IoTにおけるセキュリティの考え方 IoTデバイスに関わるインシデントの例 大事なこと IoTにおけるセキュリティ対策のご紹介 (一例) アクション3本柱 + α 1.「仕組み」で徹底的に守る
どこで実行すべきか。Google Cloud のコンピューティング オプションの選択 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 7 月 20 日に、Google Cloud blog に投稿されたものの抄訳です。 どこでワークロードを実行すべきでしょうか。アプリケーション自体にとっても、そのアプリケーションの管理と開発を行うチームにとっても、実行するアプリケーションに適したインフラストラクチャ オプションを選択することが重要です。この投稿では、実行場所を決定するときに検討する必要がある特に重要な要素をいくつか取り上げて説明します。 サービスについてCompute Engine - 仮想マシン。CPU、メモリ、ディスク、GPU の構成を予約して、実行する OS と追加ソフトウェアを決めます。 Kubernetes Engine - マネージド Kubernetes クラスタ。Kubernetes は、コンテナ化アプリケーションのデプロイ、スケーリング、管理を自動化するオープンソース
今回は、Ubuntu Serverの完全自動インストール方法を紹介します。 PXEブートを利用した完全自動インストール サーバーの自動インストール自体は第615回で紹介済みですが、ごく僅かではあるものの、対話での入力が必要な箇所が存在していたり、イメージファイルを書き込んだUSBスティックをインストール先のマシンに挿しておく必要があるため、完全な自動化には至っていませんでした。複数台のマシンに対するインストールや、サーバールームなどの日常作業を行っている場所とは離れた場所に設置されたマシンに対するインストールでは対話作業の手間が大きくなるため、せっかく自動インストールを導入した恩恵が得られなくなってしまいます。そのため、このような環境下で自動化の恩恵を十分に受けるためには、インストール作業を完全自動で行わせる必要が出てきます。 完全自動インストールは、自動インストールサーバーと、インストー
週刊Railsウォッチ（20200512後編）RubyのPStoreライブラリ、Lambda StoreのサーバーレスRedisは有能、Amazon Linux 2のライブパッチほか｜TechRacho by BPS株式会社
2020.05.12 週刊Railsウォッチ（20200512後編）RubyのPStoreライブラリ、Lambda StoreのサーバーレスRedisは有能、Amazon Linux 2のライブパッチほか こんにちは、hachi8833です。何だか秒読みが始まってますね⏱。ここでプルリク数見えます。 じつはレイルズに投げたプルリクがいま993個なので週末ぐらいに1000個いくかもしれん — Ryuta Kamizono (@kamipo) May 11, 2020 ちなみにコミット数は既に3,424件なんですね😳。 参考: Rails Contributors - #5 Ryuta Kamizono - All time 各記事冒頭には⚓でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志
Linux のカーネルハックの実践的な入門方法について書いてみようと思います。 カーネルハックをすると、OS の機能を改変したり、追加したりできます。 OS の機能の例としては、スケジューラ、メモリ管理機能、ネットワークスタック、ファイルシステム、デバイスドライバ等があります。 今回の記事では、具体的にどうすればカーネルの機能を改変したり、追加したりできるのかについて書いていきます。 特に今回は、カーネルモジュールを使ったカーネルハックの方法について書いていきます。 カーネルハックに関する事前知識や、カーネルモジュールとして実装ことの利点については過去の記事にまとめてありますので、よろしければそちらもご参照ください。 具体的には、既存のファイルシステムをハックして機能を追加してみようと思います。 必要な準備 1. Linux がインストールされた仮想マシン Linux のカーネルハックを行
開発環境を快適にするためには、SSDより速いRamDiskを構築すべきだ！！ RamDiskとは メインメモリの一部をストレージのようにドライブとしてマウントする メモリなのでとても速い SSDがかなり高速になったので、HDD時代ほどはメリットがないが SSDの書き換え回数を減らすというメリットもある しかし、メモリなので電源OFFをするとデータが消える （たいていのソフトは、データをストレージに保存するオプションがある） RamDiskソフトにより速度などが違うので何個かためしてみた 環境は Windows10 64ビット。 まず NVMe SSDの速度 ROG Ramdisk Max?GB。上限はわからないが、かなり大きなサイズを確保できる NTFSでの保存も可能 複数ドライブ作成可能 やはりSSDより速い。圧倒的に Dataram RamDisk Fat32 Max1GB その他色々
今更Linuxですか？今更Linuxです。 全体的な進度としては超ゆっくりになる予定。 平行で問題演習も行っている感じだとどうしても暗記しなければいけない部分もでてきますが、根本的な理解や体系的な学習によって暗記量は減らせると思います。 システムの起動 BIOS ブートローダ カーネル init/systemd SysVinit SysVinitの動作順序 ランレベル ランレベルごとのスクリプト systemd systemdの基本 systemdの起動順序 さんざん言われていることですが、Linuxの勉強は実際に環境を作ってコマンドを打ち込みながらやることを推奨です。 幸いにも最近では個人でもクラウドサーバを簡単に立てたり、超スペックのPCじゃなくてもホスト上に仮想マシンを構築することができるようになっているので勉強しようと思ったときの敷居は下がっているのではないかと思います。 Linu
Raspberry Pi + USBカメラ のH.264映像をブラウザで見られるようにする - みかんのゆるふわ技術ブログ
ちょっと離れたところの様子がみたいことってありますよね。 たとえば、風が強い日の洗濯物👕の様子とか、もうすこしで花🌺が咲きそうなつぼみ、など。 たびたび見に行くのは面倒ですよね。 そんな時にご家庭にあるRaspberry Pi3とUSBカメラで映像配信して、スマホで見られたらいいなと思って、 生活に役立つ工作をしてみることにしました。 やりたいこと イメージはこんな感じです😎 どうやって作るの？ 安いWebカメラはMJPEG(Motion JPEG)形式で動画が出てくるものが多いです。 でも容量が大きくなってしまう欠点があるので、動画変換ツールFFmpegで高圧縮なH.264に変換します。 変換した動画をRTMPというプロトコルでNginxに送り込みます。 FFmpegはUSBカメラの取り込みとRTMP出力に対応しているので、ここまでFFmpegだけで完結できます。 さすがFFmpe
ずっと夜で - megamouthの葬列
入った会社はWebサービスをやっていた。アクセスカウンターとかレンタル掲示板みたいな、そういうプリミティブな感じのウェッブ。今でも化石みたいに残っているとこがあるよね。teacupとか。もうないか。 当時はそういうことをしている会社をASP（Application Service Provider)と呼んでいて、「うちはASP事業やってるんです」と言うと通りが良かった。 名刺代わりっていうのかな、何が出来るのか、うちはこんなに技術力あります、ってのをさ、運営しているWebサービスで表現するわけ。同業者が集まったらさ、世間話している風で、自分とこのサービス自慢しまくるんだよね。なんかこう、いやあ負荷高くて、この前もサーバー落ちてぇとか、うちのユーザーは中学生が多いんでぇとか、今で言うマウントの取り合いだよね。どこも流行ってないからさ、意味のわからないとこで競ってるんだよ。 プログラマ的にはA
AWS Secrets Controller PoC: AWS Secrets Manager と Kubernetes の統合 | Amazon Web Services
Amazon Web Services ブログ AWS Secrets Controller PoC: AWS Secrets Manager と Kubernetes の統合 はじめに Kubernetes では、API キーや証明書などのシークレットオブジェクトを使用して、podSpec の外部に機密情報を保存して管理できます。概念的には、これにより、他のタイプの Kubernetes オブジェクトとは異なる方法でシークレットを処理できます。それにもかかわらず、多くの顧客は、最初に導入されたときにカスタマーマネージドキーによる強力な暗号化オプションが含まれていなかったため、シークレット素材の保存用に Kubernetes Secrets を使用することを避けました。これが、この PoC を作成する動機となりました。Kubernetes 動的アドミッションコントローラを使用して、外部サー
こんにちは。 ご機嫌いかがでしょうか。 クラウドシフトしてますか～？ 吉井 亮です。 「段取り八分仕事二分」という名言があります。 クラウドへの移行もやはり同じで十分な準備をしてから臨みたいものです。 クラウド移行の初期段階では DISCOVERY というプロセスがあります。 現行 IT 資産の情報を収集し、移行計画の役立てたり、 移行ステータスの追跡に使用します。 今回は DISCOVERY プロセスに活躍する AWS サービスを紹介します。 AWS Application Discovery Service AWS には Application Discovery Service (以下、ADS と略します) というサービスがあります。 これを使うとオンプレミスサーバーの使用状況と設定データを収集することが可能です。 ADS は Migration Hub に統合されており 一連の移行
RAMディスク作成ツール ImDisk Toolkit の使用方法
RAMディスク作成ツール ImDisk Toolkit の使用方法 RAMディスクにアプリやデータを置いて実行すると、超高速で作業ができます。 昔はよく使っていましたが、パソコンの性能が上がったので忘れていました。 しかし最近ホームページビルダーの起動や動作が重く・遅くなり始めたので、もう一度検討してみることにしました。 今回使用したのは非常に使いやすい、無料の RAMディスク アプリです。 しかも複数のRAMディスクを作成できます。 ImDisk Toolkit の 特徴と機能 ImDisk Toolkit の 入手 ImDisk Toolkit の インストール ImDisk Toolkit の 設定方法 ImDisk Toolkit の ベンチマーク測定 ImDisk Toolkit の 特徴と機能 2022年8月現在 オープンソースの仮想HDDやRAMディスク作成ソフトである「Im
前回は Manjaro を VirtualBox にインストールしました。 Manjaro 19.0.2 KDE エディションを VirtualBox にインストールしてみた - In my mind 今回は Manjaro を快適に使用するための初期設定、環境整備をしていきます。 リポジトリのミラーサーバーリストを変更 圧縮をマルチコア対応にする リポジトリの同期とソフトウェアの更新 日本語入力環境を構築 Fcitx-Mozc をインストール 設定 ホームディレクトリを英語化 OS 選択画面で待たずに起動 SSD の Trim コマンドを有効にする キャッシュを RAM ディスク上に ファイアウォールを導入 アンチウイルスソフトの導入 エラーチェック バックアップ Timeshift でシステムのバックアップ ホームディレクトリのバックアップ 参考 リポジトリのミラーサーバーリストを変更
はじめに 小売店舗の経営者さんから「監視カメラの映像を使って来店客の分析をしたいけど、何か方法ないかな？」と質問があり、詳しく聞いてみるとカメラ画像とレジデータの突合をし、商品を購入されたお客さんの性別や年齢と購入されたものを分析して、仕入れの計画を立てる参考資料にしたいとのこと。 ということで、手始めに監視カメラのことを調べ、監視カメラの画像をパソコンに取り込めるようにし、カメラの画像からレジでお会計をされた来店客を抽出して、時間ごとに表示することで、レジの記録と突合しやすくなるのかなと考え、試してみたら意外と簡単にできたので、以下に手順をまとめます。 なお、監視カメラはレジカウンターの斜め後ろ奥に設置され、レジカウンター越しに店内を映しています。 やったこと 監視カメラの画像をパソコンに取り込む 監視カメラの画像から人を抽出 抽出した人の状態を識別 動作環境 機器 監視カメラ（CVI方
布留川npaka大先生がRWKVのファインチューニングする方法を公開していたのだが、Google Colabでは7Bが限界で14Bは失敗したらしい。 人はいつでも、誰かのお役に立つチャンスを伺っている。 今こそ千載一遇のチャンス!ドスパラ様から我らがMemeplexのために開発していただいた、怒涛のA6000x2マシンが火を吹く時が来た!みんな!パソコン買うならドスパラ!AIやるならドスパラだぜ!忘れないでくれよな!(※ドスパラはMemeplexにスポンサーしています) 大先生がGoogle Colabで14Bの学習に失敗したのは、学習時のメインメモリの消費が80GBを超えてしまったからだそうだ。 ならば大丈夫。我らがドスパラ謹製Memeplexマシンは、A6000(VRAM48GB)を二枚搭載した上に、メインメモリは怒涛の256GB。もともとRAMディスクとして使うことを想定していたもの
MSXplayで作成された驚愕のMGSDRV形式データがベンチマーク大会になっている件 - Gigamix Online
【2024.07.07更新】いろいろ追加 【2024.06.17公開】初版公開。ただいま記事作成中 【おさらい】MGSDRVとは ベンチマーク元のデータ なぜこの楽曲データがベンチマークなのか？ ベンチマーク結果 ソニー HB-F1XV（MSX2＋） パナソニック FS-A1F（MSX2） ヤマハ CX5（MSX1） 松下電器 FS-4000（MSX1） Mu-PLAYER（MSX turbo R） MSX BASIC（MSX turbo R） SX|2（MSX互換機） 週刊MSXを作る（手作りMSX） 似非SCCディスク（MEGA-SCC RAM） MGSPICO（Raspberry Pi 再生環境） MSXplay（オンライン MGSDRV MML制作環境） OPNAL2 ProMax（携帯型FM音源モジュール） バーチャルMIDI音源（MAmidiMEmo） 【参考】あなたもレッツベ
CentOSでRAMディスクの作成 - 元RX-7乗りの適当な日々
※ このエントリは、はてなグループ終了に伴う、サブブログからの引越エントリ(2010/10)です。 ※ 情報が古い可能性もありますので、ご留意ください。 いつも忘れる。 # mkdir /mnt/ram # mount -t tmpfs -o size={容量} /dev/shm /mnt/ram↑の{容量}の部分で、2GB 確保したい場合は、"2g" とかを入れておけばOK。
この記事の内容 SSDの寿命を確認します。 メインメモリの一部をRAMディスク（ハードディスクのような記憶装置）にします。 Chromeのキャッシュの保存先をSSD（ソリッドステートドライブ）からRAMディスクに変更します。 SSDの性能値には、TBW（Total Byte WrittenまたはTera Byte Written）という寿命の目安になる項目があります。下表は私の使っているSSDの性能表です。 200TBWは、総書込量（『書込→削除→書込』と繰り返し書き込んだデータのサイズ）が200TB（テラバイト）に達した頃にSSDが寿命を迎えるという意味らしいです。 私の使っているSSDは、容量が同程度の中ではTBWが小さかったので気になっていました。現在の総書込量を調べるソフトがあるので、あとどれぐらい寿命があるのか調べます。 SSDの寿命が気になったきっかけはもう一つあります。 OS
Mellanoxドライバのインストール事前に、RDMAに対応した Mellanox ドライバである OFED をインストールしておく必要があります。 ドライバは公式サイトからダウンロードできます。 # tar -xzvf MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64.tgz # cd MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64 # ./mlnxofedinstall --with-nvmf # /etc/init.d/openibd restart インストール完了後、念のために initramfs を更新しておきます。 しなかった場合、この後に行うカーネルモジュールの読み込みでエラーになる場合があります。 # update-initramfs -u # reboot RoCEv2サポートの確
Windows 11をインストールせずに、DVDやUSBドライブから実行する。 かつて、すべてのOSがフロッピーディスクから起動した時代を覚えている方もいらっしゃるでしょう。 しかし、ここ数十年、ほとんどすべてのコンピュータは、ハードドライブやSSDなどの内蔵ドライブにOSを保存しています。 しかし、Windows 11を実際にインストールすることなく、自分のコンピュータで試したいと思ったらどうでしょうか。 Live11は、ダウンロードが可能になったばかりで、ディスクに1ファイルも書き込まずにWindows 11 Proを実行することができます。 Live11は、Tiny11の開発者であるNTDEVによる、新しい軽量のWindows 11ライブディスクです。 NTDEVがInternet Archiveに投稿したイメージ（新しいタブで開く）をダウンロードした後、USBフラッシュドライブやm
Chiaマイニングはどれだけストレージを消費するか PC Watch より、HDD/SSD が品薄になるとの予想が出され、一部では既に大容量HDDの購入制限を設けていることを知った。原因は仮想通貨「Chia」のマイニング需要によるものとされる。 参考: HDD/SSDが品薄。今度は仮想通貨“Chia”のマイニング特需 - PC Watch アルゴリズムやブロックチェーンネットワークの仕組みとかは自分には難しすぎるのですっぱり諦め、あくまでも自分が気になった、どれだけストレージを使用するのかを整理する。 Chia Chia では Plot と呼ぶファイル、あるいはブロックに事前に計算した大量のハッシュを格納する。 ブロックチェーンが課題ブロックを送信した時、ユーザーはそれに最も近いハッシュが Plot 内に存在するか確認し、存在した場合にその分のブロックを得ることができる。 Plot は土地
前回は MX Linux 19.1 を VirtualBox にインストールしました。 MX Linux を VirtualBox にインストール - In my mind 今回は MX Linux を快適に使用するための初期設定、環境整備をしていきます。 目次： リポジトリのミラーサーバーを変更 MX リポジトリマネージャーでの設定 Synaptic での設定 リポジトリの同期とソフトウェアの更新 日本語入力環境を構築 ホームディレクトリを英語化 OS 選択画面で待たずに起動 SSD の Trim コマンドを有効にする キャッシュを RAM ディスク上に ファイアウォールを設定 アンチウイルスソフトの導入 エラーチェック バックアップ Timeshift でシステムのバックアップ ホームディレクトリのバックアップ 参考 リポジトリのミラーサーバーを変更 MX リポジトリマネージャーでの設
近年、AI技術の進歩が著しく、AIを活用した文字起こしサービスの幅も広がっています。 そんな中で、OpenAIが開発した「Whisper（ウィスパー）」という文字起こしサービスをご存じですか？ 本記事では、Whisperの概要や利用料金を紹介しています。 また、Whisperの具体的な使用方法や、Whisperを搭載したおすすめツールであるSEOに強いAIライティングツール「トランスコープ」の文字起こし機能についても、実際の生成結果を掲載しております。 本記事を参考にすることで、Whisperを用いた効果的な文字起こし方法が身につくでしょう。 特に、ビジネスやインタビューの音声を迅速にテキスト化したいと考えている方には、本記事が非常に役立つと考えられます。 ご興味のある方はぜひ、最後まで目を通していただければ幸いです。 Whisperとは 引用元：Whisper Whisperは、高度な音
redmine.tokyo 第17回勉強会に参加して「Redmineプラグイン開発とCIのmatrix」でリモートLTした #redmineT - hanachin temporary
発表資料 orbの内容 なんかかなり伝わっていないと思うので実際のyamlをはるとこういう感じのyamlでいろんなmatrixができます(雑すぎる説明) https://github.com/yasslab/hello_world/blob/master/.circleci/config.yml CircleCIのorbのregistryはここ https://circleci.com/orbs/registry/orb/agileware-jp/redmine-plugin ソースコードはここに公開されています。 github.com 導入してみたい! みたいな方がいらしたらぜひ ruby-jp のSlackの #redmine チャンネルでお声かけください(常駐してます)。 リモートLT・YouTube live最高 redmine.tokyoの存在をしってから参加してみたいな〜と思っ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料でOpenAIの「Whisper」を使って録音ファイルから音声認識で文字おこしする方法まとめ
MSX2がワークステーションになった日。HALNOTE - まっつん総研連絡用ブログ
大容量ファイルのSCP転送を高速にする方法 (ver.2019) - 元RX-7乗りの適当な日々
Rubyインタプリタの品質向上のために個人的にやっていること - クックパッド開発者ブログ
OpenAIの文字起こしAI「Whisper」の使い方 | DXを推進するAIポータルメディア「AIsmiley」
「Raspberry Pi」の新ブートローダーがリリース--OSのネットワークインストールが可能に
無料作画AIサービスMemeplexの使い方｜shi3z
[Linux] メモリ上に高速なディスクを作成する - tmpfs - ねこの足跡R
セキュアなIoTデバイス導入・運用の為の取り組み紹介 - ABEJA Tech Blog
第787回 PXEでサーバーの完全自動インストールを行う | gihyo.jp
Linux カーネルハック実践入門 - かーねるさんとか
最速の開発環境が欲しい。RamDisk編 - Qiita
【LPIC101】Linuxのシステム起動の流れ LPICで学ぶLinux① - SEワンタンの独学備忘録
AWS移行 現行IT資産情報を自動収集して活用しよう | DevelopersIO
Manjaro インストール直後にやること12選 - In my mind
店舗に設置された監視カメラの画像を使って来店客の状態を識別してみる - Qiita
RWKV14Bを日本語AlpacaデータセットでLoRAして公開しました(ご家庭で動く!?)｜shi3z
Chromeのキャッシュの保存先をメインメモリ（RAMディスク）に変更する！ - モーリーのメモ
NVMeとConnectX-4で始めるNVMe over RDMA (RoCEv2)入門
RAMで動作するWindows11のLiveディスク「Live11」、ダウンロード販売開始 - 自作ユーザーが解説するゲーミングPCガイド
Chiaマイニングはどれだけストレージを消費するか | Coelacanth's Dream
MX Linux をインストールしたら最初にやること 11件 - In my mind
OpenAIのWhisperでAI文字起こし！価格・使い方を解説