並び順

ブックマーク数

期間指定

  • から
  • まで

201 - 240 件 / 249件

新着順 人気順

mkdirの検索結果201 - 240 件 / 249件

  • Making a micro Linux distro

    Follow @popovicu94 In this article, we’ll talk about building up a tiny (micro) Linux “distribution” from scratch. This distribution really won’t do much, but it will be built from scratch. We will build the Linux kernel on our own, and write some software to package our micro-distro. Lastly, we are doing this example on the RISC-V architecture, specifically QEMU’s riscv64 virt machine. There’s ve

      Making a micro Linux distro
    • rcloneでGoogleDriveとかDropBoxとかをお洒落にマウントする

      クラウドストレージを自分のパソコンにマウントすると、 ローカルのディレクトリツリーに組込まれるので、 速度は別としてもクラウドストレージであることを意識しなくてよくなり、 とても便利に使うことが出来るようになります。 そして、これを実現してくれるのがrcloneです。 このノートでは、archlinuxでrcloneを利用し、 クラウドストレージをマウントして活用する具体的な方法を紹介します。 さて、 巷には、無料でも利用できるクラウドストレージ、例えば、GoogleDriveやDropBoxがあります。 このノートを読み始める前に、クラウドストレージをrcloneに登録しておいて下さい。 rcloneへクラウドストレージを登録する方法は、 「 rcloneでお洒落にクラウドストレージを扱う 」 でGoogle driveでの登録例を紹介しています。参考にして下さい。 rcloneでお洒落

        rcloneでGoogleDriveとかDropBoxとかをお洒落にマウントする
      • ターミナルで用いるコマンドの略称と正称リスト。grep,cat,chmodって何の略語? - Qiita

        *1 @he451 さんにコメントいただき、一部追記いたしました。コメントありがとうございました🙇‍♂ 引用元 書籍『Efficient Linuxコマンドライン ―開発と自分に磨きをかけるLinuxのテクノロジー』 *2 @isuke さんにコメントいただき、一部追記いたしました。コメントありがとうございました🙇‍♂ 詳細リスト ls List (一覧表示) カレントディレクトリ内のファイルとディレクトリの一覧を表示します。ディレクトリ内のファイルやサブディレクトリを確認するためによく使用されます。 cd Change Directory (ディレクトリを変更) カレントディレクトリを変更するために使用されます。指定したディレクトリに移動する際に使います。 pwd Print Working Directory (現在の作業ディレクトリを表示) 現在の作業ディレクトリのパスを表示しま

          ターミナルで用いるコマンドの略称と正称リスト。grep,cat,chmodって何の略語? - Qiita
        • DynamoDB Table Creation: With CDK and TypeScript | DevelopersIO

          In this blog, we'll create a simple DynamoDB table using the power of CDK and TypeScript. But before that, let's know about CDK, the Cloud Development Kit. It's an open-source framework that empowers developers to define their desired cloud resources within the familiar comfort of their preferred programming language. CDK offers a higher level of abstraction, allowing us to write concise and maint

            DynamoDB Table Creation: With CDK and TypeScript | DevelopersIO
          • macOSでRISC-Vのコンパイル環境・実行環境を整える(2024年2月現在) - Qiita

            こんにちは|こんばんは。カエルのアイコンで活動しております @kyamaz です。 はじめに 私は、2018-2019年頃に『RISC-Vの量子計算拡張』にある取り組みをしておりました。それから5年以上経って、RISC-V界隈の状況も変わってきております。Githubのリポジトリの構成やコンパイルの環境も変化しております。本稿では、そのアップデートとして2024年2月現在で、macOSでRISC-Vのコンパイル環境・実行環境を整えることを主題にて書いて参ります。 macOSで homebrew を使った方法は、下記の@zacky1972さんのエントリーにある通り brew install riscv64-elf-gccで整います。ただ本稿では、この簡単な方法ではなく、コンパイル環境をビルドして整えることを目指します。 更に、実行環境も下記の@zacky1972さんのエントリーで整えられます

              macOSでRISC-Vのコンパイル環境・実行環境を整える(2024年2月現在) - Qiita
            • AWS CLIを使用したS3操作入門 | DevelopersIO

              はじめに データアナリティクス事業本部のおざわです。お客様からAWS CLIを使ってローカルからS3にファイルをコピーしたり、ダウンロードしたりといった操作を試してみたいとお話を伺ったので、今回はAWS CLIを使った簡単なS3の操作に関してチュートリアル形式でまとめてみました。 AWS CLIのインストールと初期設定 以下の記事を参考にインストールと設定を行ってください。 また、使用するアクセスキーについては最小権限のアクセス許可で払い出すようにしてください。 AWS CLI の最新バージョンを使用してインストールまたは更新を行う AWS CLIを使用するため必要な初期設定について MFA(多要素認証)について 設定によってはコマンド実行時にMFA認証を求められます。 以下のような文言がプロンプトに表示されますが、一度入力すればセッションが有効な間は再入力する必要はありません。 Ente

                AWS CLIを使用したS3操作入門 | DevelopersIO
              • QEMUに似たRenodeというOSSの組込みデバイスエミュレータを試す - daisukeの技術ブログ

                今回から、Renode というオープンソースの組込みデバイスのエミュレータを試していきます。 簡単に言うと、QEMU と同じ位置付けの OSS です。QEMU よりも、組込みデバイスのサポートが充実しているようです。 それでは、やっていきます。 はじめに Renodeのインストール mono-completeのインストール 依存関係のパッケージインストール Renodeのダウンロードとインストール STM32で動作確認 サンプルソースのビルド 実行してみる おわりに はじめに 「QEMUを動かす」の記事一覧です。良かったら参考にしてください。 QEMUを動かすの記事一覧 ・第1回:STM32(ARM Cortex-M)をQEMUで動かす(環境構築編) ・第2回:STM32(ARM Cortex-M)をQEMUで動かす(ソースコード確認編) ・第3回:STM32(ARM Cortex-M)を

                  QEMUに似たRenodeというOSSの組込みデバイスエミュレータを試す - daisukeの技術ブログ
                • [アップデート] Amazon EC2 Instance ConnectがRHELやCentOS StreamなどのOSをサポートしました | DevelopersIO

                  [アップデート] Amazon EC2 Instance ConnectがRHELやCentOS StreamなどのOSをサポートしました RHELのEC2インスタンスにEC2 Instance Connectで接続したい こんにちは、のんピ(@non____97)です。 皆さんはRHELのEC2インスタンスにEC2 Instance Connectで接続したいと思ったことはありますか? 私はあります。 EC2 Instance Connectを用いることで、パスワードや鍵を用意しなくとも簡単にアクセスすることが可能です。 ただし、EC2 Instance Connectで接続できるOSはAmazon LinuxとUbuntuと限られたOSのみでした。 今回、アップデートによりEC2 Instance ConnectがRHELやCentOS Stream、macOSをサポートするようになり

                    [アップデート] Amazon EC2 Instance ConnectがRHELやCentOS StreamなどのOSをサポートしました | DevelopersIO
                  • Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録 - LayerX エンジニアブログ

                    こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;DR Google Colaboratory に Google ドライブをシュッとマウントできて便利 pandas の ExcelFile() で Excel ファイルがシュッと読めて便利 備忘録 まずは人に聞いたりファイルをいくつか眺めてデータの仕様を把握します。どうやら以下のようなファイルのようです。 ファイル数は200以上、合計 5GiB 程度 Excel 内のシート数は 3つ Excel のシート名は「データの内容を表す文字列_ランダム文字列のサフィックス」※ 例: シート1: tr

                      Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録 - LayerX エンジニアブログ
                    • macOS Sonomaでテキストカーソル横のIMEインジケータをオフにする方法

                      macOS Sonomaでテキストカーソル横にIMEモードが出るようになった macOS Sonomaでは、テキストカーソル横にAやあのようなインジケータが出るようになりました。 設定画面にはこれをオフにする設定はないようで、気になっている方もいるのではないでしょうか。 このページでは、これを非表示にする方法を説明します。 方法は簡単、下記のコマンドを実行して再起動すれば出なくなります。 sudo mkdir -p /Library/Preferences/FeatureFlags/Domain sudo /usr/libexec/PlistBuddy -c "Add 'redesigned_text_cursor:Enabled' bool false" /Library/Preferences/FeatureFlags/Domain/UIKit.plist

                        macOS Sonomaでテキストカーソル横のIMEインジケータをオフにする方法
                      • Cosmopolitan Third Edition

                        After nearly one year of development, I'm pleased to announce our version 3.0 release of the Cosmopolitan library. The project is an entirely new animal. For starters, Mozilla sponsored our work as part of their MIECO program. Google also awarded me an open source peer bonus for my work on Cosmopolitan, which is a rare honor, and it's nice to see our project listed up there among the greats, e.g.

                          Cosmopolitan Third Edition
                        • 【小ネタ】Officeが入ってないLinuxなどのマシンでPowerPointファイルをスライド一枚ずつJPEGファイルに変換する方法 | DevelopersIO

                          こんちには。 データアナリティクス事業本部 機械学習チームの中村(nokomoro3)です。 Officeが入ってないLinuxなどのマシンでPowerPointファイルをスライド一枚ずつJPEGファイルに変換する方法を紹介します。 手順 以下の手順で行います。 pptxファイルをpdfファイルに変換 LibreOfficeを使いました 実はLibreOfficeであればpptファイルをpptxにすることも可能です(便利!) pdfファイルの各ページをJPEGファイルに変換 Pythonでpdf2imageを使いました 動作環境 WSL(Ubuntu-20.04 LTS)で行います。 環境準備 環境準備は以下を実行すればOKです。 # pptxをpdfに変換するlibreofficeをインストール sudo apt install libreoffice # 日本語フォルトをインストール(

                            【小ネタ】Officeが入ってないLinuxなどのマシンでPowerPointファイルをスライド一枚ずつJPEGファイルに変換する方法 | DevelopersIO
                          • DockerでLaravel開発環境を手軽に構築する手順 - カゴヤのサーバー研究室

                            Laravel開発環境を、手間なく用意したいとお考えでしょうか。世界中に普及しているPHPフレームワーク「Laravel」は、Docker上で使うことも可能です。 Dockerを使えば他開発者とLaravel環境を共有したり、万が一環境に不具合が生じた際に作り直したりするのも手間がかかりません。 この記事では、Dockerを使ってLaravel開発環境を手軽に構築する手順を紹介します。 Laravelとは Laravel(ララベル)とは、マイクロソフトの.NET開発に携わっていたTaylor Otwell氏により開発されたPHP用のフレームワークです。オープンソースとして公開されており、初心者でも手軽に扱いやすいことから世界中に普及しています。Laravelは主にWebアプリケーション開発の現場で採用されており、実際にLaravelを用いて幅広い種類のアプリが開発されている状況です。 La

                              DockerでLaravel開発環境を手軽に構築する手順 - カゴヤのサーバー研究室
                            • Cloud RunからCloud Storageをファイルシステムとしてマウントする - G-gen Tech Blog

                              G-gen の佐々木です。当記事では Cloud Run で Cloud Storage FUSE を使用して、オブジェクトストレージである Cloud Storage のバケットをコンテナ内のディレクトリにマウントしてみます。 前提知識 Cloud Run とは Cloud Storage(GCS)とは Cloud Storage FUSE について Cloud Storage FUSE とは 制限事項 料金 考慮事項 Cloud Run 実行環境 マルチプロセス化による PID 1 問題への対処 Cloud Run で Cloud Storage FUSE を使用してみる 構成図 Cloud Storage バケットの作成 Artifact Registry リポジトリの作成 使用するコード main.go gcsfuse_run.sh Dockerfile コンテナイメージのビルド・

                                Cloud RunからCloud Storageをファイルシステムとしてマウントする - G-gen Tech Blog
                              • Git Submoduleを使って共通のソースコードを複数のプロジェクトで共有する方法

                                この記事について この記事ではGitのサブモジュール機能を使って共通のソースコードを複数のプロジェクトで共有する方法について紹介します。 この方法が役に立つのは、例えばNode.jsでブログシステムを開発していて管理システムと配信システムを別々に作っているけどデータベースは共通している、といった場面です。 このような場面ではPrismaやSequelizeのモデル定義が管理システムと配信システムの両方のコードベースに必要となります。 普通にコピー&ペーストしても悪くはないかと思いますが、より良い方法としてGitのサブモジュール機能を使った方法を紹介します。 共有する前の状態 ソースコードを共有する前のファイル構成(再現コマンドを兼ねます)を下記と仮定します。 mkdir module-a mkdir module-a/common touch module-a/common/add.js

                                  Git Submoduleを使って共通のソースコードを複数のプロジェクトで共有する方法
                                • In praise of Nushell

                                  I'm a little old school and spend a ton of time in the terminal; many programmers and data scientists are the same. The magic of pipes Most people will use the default shell that is installed on their system, either bash or zsh.1 Running commands is OK, but the real magic is when commands are designed to do one small thing well, and then you compose them together with pipes: # look for "hello" in

                                  • TypeScriptを使用してMochaとChaiでテストを書き、nycを用いてカバレッジを取得してみた | DevelopersIO

                                    TypeScriptを使用してMochaとChaiでテストを書き、nycを用いてカバレッジを取得してみた こんにちは、るおんです。 皆さんはTypeScriptで書いたコードのテストをどう書いていますか?今回は、Node.jsのテストフレームワークMochaとアサーションライブラリであるChaiを使用してTypeScriptのテストを書いて行きたいと思います。 また、nycを用いてテストカバレッジも取得できるようにしてみたいと思います。 このブログでやること 環境構築 TypeScriptコードをそのままテスト MochaとChaiを使ったテストコードの記述 nycでのテストカバレッジ取得 環境構築 今回使用した動作環境は以下のとおりです。 OS : MacOS Ventura 13.6.1 Node.js : v20.0.0 npm : v9.6.4 tsc:v5.3.3 プロジェクト作

                                      TypeScriptを使用してMochaとChaiでテストを書き、nycを用いてカバレッジを取得してみた | DevelopersIO
                                    • Reading and writing Node.js streams

                                      Working with large datasets in Node.js applications can be a double-edged sword. The ability to handle massive amounts of data is extremely handy, but can also lead to performance bottlenecks and memory exhaustion. Traditionally, developers tackled this challenge by reading the entire dataset into memory at once. This approach, while intuitive for smaller datasets, becomes inefficient and resource

                                        Reading and writing Node.js streams
                                      • 【Hotshot-XL】SDXLモデルを使った動画作成 - パソコン関連もろもろ

                                        はじめにいろいろな動画生成AIに触れてきましたが今までのはほぼすべてStable Diffusion 1.5をベースとしたモデルを使用していました。 今回SDXLをベースとした動画作成モデルが公開されていたので使ってみました。 github.com 導入 Windows 11 CUDA 11.7 Python 3.11 1行でPython環境が構築できるようにrequirements.txtを作成しました。 pip install -r https://raw.githubusercontent.com/dai-ichiro/myEnvironments/main/Hotshot-XL/requirements.txt 実行リポジトリのクローン git clone https://github.com/hotshotco/Hotshot-XL cd Hotshot-XL モデルのダウンロー

                                          【Hotshot-XL】SDXLモデルを使った動画作成 - パソコン関連もろもろ
                                        • Amazon GameLift × Unreal Engines 5 でオンラインマルチプレイゲームを作る - ISID テックブログ

                                          こんにちは!金融ソリューション事業部の孫です。 ゲームが好きなみなさま、クライアント・サーバーモデルのマルチプレイゲームの制作に興味を持っていますか? 本記事では、熱意を持っていますが「難しそう・・・どうやって始めたらいいんだろうか、ゲームサーバーの構築はどうすればいいのか」という状況の読者向けに開発を体験するのハンズオンを紹介します。 皆さまの熱い気持ちを早く形にするため、AWSが提供するマルチプレイーゲーム用のクラウドサーバー管理サービスであるAmazon GameLiftとゲームエンジンであるUnreal Engines5を使用し、オンラインマルチプレイ環境を構築する最低限の手順でご紹介します。 注意事項 本記事では以下の操作が行えることと、環境が整っていることを前提としています。 AWSのマネジメントコンソールの使用 対話型シェルの使用 Unreal Engineの利用とプロジェク

                                            Amazon GameLift × Unreal Engines 5 でオンラインマルチプレイゲームを作る - ISID テックブログ
                                          • 既存の MySQL と PostgreSQL データベース用の GraphQL API の作成 | Amazon Web Services

                                            Amazon Web Services ブログ 既存の MySQL と PostgreSQL データベース用の GraphQL API の作成 AWS Cloud Development Kit (CDK) を使って既存のリレーショナルデータベース上にスケーラブルでセキュアな GraphQL インタフェースを簡単に構築できる機能を発表しました。AWS Systems Manager Parameter Store に SecureString として安全に保存されたデータベースの認証情報と共に AWS Amplify GraphQL API CDK コンストラクトを提供し、SQL ステートメントを実行する GraphQL API の構築を開始します。この新機能は、Amazon Relational Database Service (Amazon RDS) 上の MySQL および Pos

                                              既存の MySQL と PostgreSQL データベース用の GraphQL API の作成 | Amazon Web Services
                                            • 【CloudFormation】Auto Scaling&Multi-AZ DB ClusterのWordPress環境を構築 - APC 技術ブログ

                                              目次 目次 はじめに 構成図 テンプレート まとめ はじめに こんにちは。クラウド事業部の西川です。 今回は前回のテンプレートからRDSをMulti-AZ DB Clusterに変更したテンプレートをご紹介します。 ↓前回の記事はこちら techblog.ap-com.co.jp CloudFormationを初めて触る方は↓の記事にスタックの作成方法も記載してありますので是非ご覧ください。 techblog.ap-com.co.jp 構成図 EC2 Auto Scalingは希望する台数3、最小台数3、最大サイズ4、CPU平均使用率70%を保つ設定のターゲット追跡スケーリングポリシーです。 EC2にはSession Managerで接続できるようにしています。 SSH接続したい場合はセキュリティグループでSSHのインバウンドを許可してください。 また、CloudWatch LogsはEC

                                                【CloudFormation】Auto Scaling&Multi-AZ DB ClusterのWordPress環境を構築 - APC 技術ブログ
                                              • 録画サーバの構築(地デジ・BS・CS録画環境) – Debian Linuxによる自宅サーバ

                                                パソコンに接続できるTVチューナーを使って、自宅サーバで地デジ・BS・CSを録画できる環境を構築する方法をご紹介します。具体的には、株式会社プレクスが販売しているPX-Q3U4/PX-Q3PE4のTVチューナーを使用し、録画アプリケーションとしてMirakurunとEPGStationをDocker上で動かします。 必要な機器 TVチューナー PX-Q3U4 (外付け型) PX-Q3PE4 (内蔵型) 上記以外の機種でもドライバが対応していれば問題ありませんが、設定が変わる場合もあります。 ICカードリーダー クレジットカードやマイナンバーカードにはICチップが埋め込まれているのですが、それらを読み取る事ができる装置です。 ICカードリーダ https://www.amazon.co.jp/gp/product/B003XF2JJY B-CASカード 地デジの情報を復号化するために必要です

                                                  録画サーバの構築(地デジ・BS・CS録画環境) – Debian Linuxによる自宅サーバ
                                                • Build Your Own SMTP Server in Go

                                                  At Valyent, we are building open-source software for developers. As part of this mission, we're currently developing Ferdinand, our email sending service for developers (currently in alpha). Email infrastructure relies on several key protocols, with the most important being: SMTP (Simple Mail Transfer Protocol): Used for sending and receiving emails between mail servers. IMAP (Internet Message Acc

                                                    Build Your Own SMTP Server in Go
                                                  • 日々勉強した事を振り返る為に er_repository という Git リポジトリを作って毎日草を生やす話 - Qiita

                                                    ■ はじめに 説明 普段は、Notion というツールでデータベースを作って毎日の振り返りを行ってます。 又、月初と月末には目標と結果もまとめて来月に活かしてます。 ざっと構成としては以下のような感じです。 2024/01 ページ — 目標 — 実績 — 01/01 — 01/02 — 01/03 — etc… これは誰かに見せるとかではなく、完全に自分用の日報?みたいなものです。 今月は、こういった事が頑張れたな、積読してる書籍を◯本消化出来たな、などです。 このまま Notion で管理しても良いのですが、せっかくなので Git リポジトリ作ってそこに毎日 push すれば、毎日草生やせるじゃんと閃いたので試験的にやってみようと思いました。 毎日の振り返り、everyday_retrospectiveを略して er_repository とします。 とりあえず事前準備としてやる事として

                                                      日々勉強した事を振り返る為に er_repository という Git リポジトリを作って毎日草を生やす話 - Qiita
                                                    • TerraformでWorkflowsのワークフローを作ってみた | DevelopersIO

                                                      データアナリティクス事業本部の根本です。最近はWorkflowsやDataformを実装することが多いのですがせっかくなのでWorkflowsのリソース作成をgcloudコマンドではなくTerraformで作りたいなと思い試してみました。 この記事の対象者 TerraformでWorkflowsワークフローを作成してみたいひと 前提条件 Workflows、Cloud Shellが使用できること 検証の全体像 TerraformでWorkflowsが作成できるかどうか 早速やっていきます。 やってみる まずはTerraformを実装していきます。一応Cloud ShellにTerraformが入っているかコマンドで確認します。 terraform version コマンドを実行して以下のようなバージョン情報の出力があれば問題ありません。 Terraform v1.5.7 on linux_

                                                        TerraformでWorkflowsのワークフローを作ってみた | DevelopersIO
                                                      • Pull Request ごとに Cloud Run を作って Identity-Aware Proxy を使ってセキュアに公開する方法

                                                        こんにちは。MIXI 開発本部 SREグループの riddle です。 以前 Flutter on the Web と WidgetBook をGCSを使って Pull Request 単位にセキュアに公開する | MIXI DEVELOPERS という記事を書きましたが、今度は Cloud Run で似たことをやってみます。 単に Cloud Run を Pull Request ごとに作るのは簡単ですが、Identity-Aware Proxy を使うところが難しいのでそこに焦点をあてて紹介します。 <目次> 作った全体の構成仕組み 2.1 Developer が https://XXXXX.example.com にアクセス 2.2 Identity-Aware Proxy が Developer の認証を行う 2.3 Nginx による Cloud Run へのリバースプロキシ 2

                                                          Pull Request ごとに Cloud Run を作って Identity-Aware Proxy を使ってセキュアに公開する方法
                                                        • `find` + `mkdir` is Turing complete

                                                          • TerraformでGoogle Cloudのサービスアカウントを作成してみた | DevelopersIO

                                                            それでは以下のコマンドを実行していきます。 terraform init terraform initコマンドが成功したらterraform applyコマンドを実行します terraform apply コマンドを実行すると Do you want to perform these actions? と確認されますので、yesと入力してEnterキーを押下します。 コマンドが成功したらサービスアカウントが作成されているか確認してみます。 サービスアカウントが、指定通り作成できていることを確認できました。 ロールを付与したサービスアカウントを作成してみる 次はロールを付与したサービスアカウントを作成してみます。 ホームディレクトリ直下へ移動して、ディレクトリを作成して移動します。 mkdir terraform_serviceaccount_test_with_role && cd ter

                                                              TerraformでGoogle Cloudのサービスアカウントを作成してみた | DevelopersIO
                                                            • Windows、macOS、LinuxにReactをインストールする方法

                                                              Windows、macOS、LinuxにReactをインストールする方法 Reactは現代のウェブ開発に欠かせないツールとなっており、これをマシンにセットアップすることは、優れたユーザーインターフェース構築を始めるための第一歩となります。 パフォーマンスと再利用性に重点を置いたUI構築のための人気のJavaScriptライブラリで、人々のために本当に役立つ、高速で応答性が高く、メンテナンス可能なインターフェースを簡単に作成できるようになり、ウェブ開発に革命をもたらしました。 コンポーネントベースのアーキテクチャと、実際の環境でどのように動作するかに重点を置いているため、モダンなウェブアプリケーションの構築を目指す開発者にとって、魅力的な選択肢となっています。 この包括的なガイドでは、Windows、macOS、およびLinuxオペレーティングシステムにReactをインストールする手順を説明

                                                                Windows、macOS、LinuxにReactをインストールする方法
                                                              • Spark NLPでTransformerモデルをスケールする - GMOインターネットグループ グループ研究開発本部

                                                                こんにちは、T.Y.です。並列分散処理のフレームワークであるSpark上で自然言語処理(Natural Language Processing, NLP)の様々なタスクを行いたい、特に、BERTやGPTなどのTransformerモデルの学習や推論を試したいという動機のもとでSpark NLPについて調べた内容をこちらのブログで解説します。環境構築の過程でSparkからGPUを使用するための手順や、SparkとGPUを利用する他の機械学習フレームワークについても紹介したいと思います。 目次 Summary クラスタ構成 Spark Rapids XGBoost4j-Spark-GPU Spark NLP ChatGPTとテストしてみる Fine-tuningについて Sample Model Spark NLP Displayによる可視化 Synapse ML 最後に 1. Summary

                                                                  Spark NLPでTransformerモデルをスケールする - GMOインターネットグループ グループ研究開発本部
                                                                • systemd: enable indefinite service restarts

                                                                  When a service fails to start up enough times in a row, systemd gives up on it. On servers, this isn’t what I want — in general it’s helpful for automated recovery if daemons are restarted indefinitely. As long as you don’t have circular dependencies between services, all your services will eventually come up after transient failures, without having to specify dependencies. This is particularly us

                                                                    systemd: enable indefinite service restarts
                                                                  • 【初心者向け】AWS CloudFormationでWeb3層構造のWordPress環境を構築(Session Manager接続可) - APC 技術ブログ

                                                                    目次 目次 はじめに 構成図 テンプレート スタック作成 動作確認 スタック削除 まとめ お知らせ はじめに こんにちは。クラウド事業部の西川です。 タイトルの通り、AWS CloudFormationでSession Managerによる接続が可能なWeb3層構造のWordPress環境を構築しようと思います。 構成図 テンプレート AWSTemplateFormatVersion: '2010-09-09' Description: Single-AZ WordPress Blog Site Parameters: DatabaseMasterName: Description: Database Master User Name Type : String Default: admin DatabaseMasterPassword: Description: Database Mas

                                                                      【初心者向け】AWS CloudFormationでWeb3層構造のWordPress環境を構築(Session Manager接続可) - APC 技術ブログ
                                                                    • Raspberry Pi 5をSSDで高速化する|CoderDojo西神

                                                                      導入手順基本的にはUSBもNVMeも同じです。ここではmicroSDで起動しているRasPi5があるものとして話を進めます。 SSDを接続USB SSDの場合はSSDをUSB 3.0ポートに接続します。NVMe SSDの場合はボードのマニュアルに従ってボードとNVMe SSDをRasPi5に組み込みます。NVMeの接続前にはRasPi5の電源が接続されていない (電源コードが抜けている) ことを必ず確認しましょう。 RasPi5の更新RasPi5を起動したら、最新の状態に更新します。 $ sudo apt update; sudo apt -y upgradeRasPi5本体のファームウェアを更新します。 $ sudo rpi-eeprom-update -aRasPi5本体のブート順をUSB/NVMe優先に設定します。 $ sudo raspi-configAdvanced Option

                                                                        Raspberry Pi 5をSSDで高速化する|CoderDojo西神
                                                                      • dbtを手軽に試す!Dockerを利用してPostgreSQLと一緒に簡単セットアップ | DevelopersIO

                                                                        データアナリティクス事業本部のueharaです。 dbt、最近勢いがありますね。 「ちょっとdbtを触ってみたい」 「けど開発環境はあんまり汚したくない...」 このように思っている方も多いのではないでしょうか。 今回は、Dockerを利用してdbtをPostgreSQLと一緒に簡単セットアップする方法をご紹介したいと思います。 ※Dockerが既に実行できる環境を想定しておりますので、準備がまだの方はインストール案内ページなどを参考に、ご準備お願いします。 はじめに 今回はDocker Composeを利用して、以下の環境を立ち上げます。 ファイルの準備 今回作成するファイルの構成は以下の通りです。 「dbt」は空のフォルダを作成して下さい。 . ├ dbt (空のフォルダ) ├ compose.yml ├ Dockerfile ├ profiles.yml.tmpl └ require

                                                                          dbtを手軽に試す!Dockerを利用してPostgreSQLと一緒に簡単セットアップ | DevelopersIO
                                                                        • AWS CodePipelineとGitHubで実現するCICDハンズオン | エンベーダー

                                                                          このハンズオンでは、AWS CodePipelineとGitHub、Elastic Beanstalkを使って、簡単なWebアプリケーションのCI/CDパイプラインを構築する方法を学びます。CI/CDの自動化により、開発プロセスの効率化と高速なリリースを実現することができます。 CI/CDの基本とAWS CodePipelineとGitHubの統合 CI/CDの基本概念とその利点 CI/CDは、ソフトウェア開発プロセスにおいて重要な役割を担っています。CI(Continuous Integration)は、開発プロセス中にコード変更を頻繁に統合するプラクティスです。これにより、ソフトウェアの品質が向上し、バグが早期に発見されやすくなります。CD(Continuous DeliveryまたはContinuous Deployment)は、ソフトウェアを継続的にデリバリーまたはデプロイするプロ

                                                                            AWS CodePipelineとGitHubで実現するCICDハンズオン | エンベーダー
                                                                          • DockerコンテナにSSH接続する方法

                                                                            Dockerコンテナを利用することで、アプリケーションの実行に便利な隔離された環境を確保することができます。そこでは、高いレベルでの一貫性と移植性が保証されます。Dockerコンテナで作業する際には、そのシェルの接続や検査が極めて重要です。そうすることで、コマンドの実行、問題のトラブルシューティング、コンテナの動作のリアルタイム監視が可能になります。 この記事では、メンテナンスやアップデートのためにローカルやリモートのDockerコンテナにアクセスする方法についてご説明します。 コンテナアクセスが欠かせない理由 コンテナへのアクセスは、コンテナ化された環境における効果的な管理とトラブルシューティングに不可欠です。コンテナのログやランタイム情報を分析し、簡単にエラーを特定して解決することが可能になります。 また、コンテナにアクセスすることで、設定の更新、パッケージのインストール、その他の管理

                                                                              DockerコンテナにSSH接続する方法
                                                                            • ターミナルをiTerm2からAlacrittyに変更した - 肉球でキーボード

                                                                              ターミナルをiTerm2からAlacrittyに変えたので、Alacrittyの設定方法について紹介します。 Alacrittyとは Rust製のターミナルエミュレーターです。 公式READMEでは以下のように特徴を説明しています。 高速に動作 configファイルで柔軟にカスタマイズ可能 BDS, Linux, macOS, Windowsのマルチプラトフォームに対応 他のターミナルエミュレーターの機能にある タブ ウィンドウ分割 GUIでの設定 といった機能は意図的に実装されていないようです。 タブやウィンドウ分割などの機能は、ウィンドウマネージャーやtmuxに任せる方が適切と作者は指摘していて、ターミナルとして必要最低限の機能に絞っています。 GUIでの設定がないのも、configファイルに管理をまとめられるメリットがあります。 オリジナル特徴 公式READMEにAlacrittyの

                                                                                ターミナルをiTerm2からAlacrittyに変更した - 肉球でキーボード
                                                                              • TailscaleとBitwardenで自分だけのパスワードマネージャー

                                                                                Tweet はじめにこんにちはizurinaです. 少し前にTailscaleとBitwarden(Vaultwarden)を使って,自分だけのパスワードマネージャーを構築しました.俗にいうBitwardenのセルフホストってやつです.この記事はそれについてまとめようかなと思います. Bitwardenの保管庫にはTailnet内からしかアクセスできないようになっているので,比較的安全にパスワード管理できると思います.また,Tailnet,つまりある意味では自分専用のVPNからしか保管庫にアクセスできないという点では「自分だけのパスワードマネージャー」と言えると思います. 動機あまりパスワード管理をクラウドに委ねたくなかったというのが大きな理由です.大きくない理由としては,BitwardenのフォークであるVaultwardenをセルフホストすると本来有料の機能も無料で使えるメリットがある

                                                                                  TailscaleとBitwardenで自分だけのパスワードマネージャー
                                                                                • Writing useful terminal TUI on Linux with dialog and jq - Fedora Magazine

                                                                                  Why a Text User Interface? Many use the terminal on a daily basis. A Text User Interface (TUI) is a tool that will minimize user errors and allow you to become more productive with the terminal interface. Let me give you an example: I connect on a daily basis from my home computer into my Physical PC, using Linux. All remote networking is protected using a private VPN. After a while it was irritat

                                                                                    Writing useful terminal TUI on Linux with dialog and jq - Fedora Magazine