NVIDIA MellanoxのNICである「ConnectX」シリーズはUbuntuカーネルに組み込まれたドライバーでも基本的な機能は動くのですが、Mellanox自身がより高機能な周辺ツールを含むソフトウェアパッケージを「OFEDドライバー」として提供しています。今回はこのOFEDドライバーを、セキュアブートが有効化されたUbuntuにインストールする方法を紹介しましょう。 SmartNICで使えるInboxドライバーとOFEDドライバー 2019年にNVIDIAに買収されたMellanoxは、HPC（High-Performance Comuting）やデータセンターなどに向けて、高速なネットワークデバイスを提供する会社でした。現在でもMellanox時代に由来する製品は、Mellaoxのブランド名を冠して提供されています。そのNVIDIA Mellanoxの代表的な製品のひとつが「
これは、なにをしたくて書いたもの？ Linuxにおけるリソース制御といえば、ulimitです。 limits.conf(5) - Linux manual page /etc/security/limits.confファイルや/etc/security/limits.dディレクトリ内に[任意の名前].confファイルを作成して nofileなどの値を設定すればOKです。 ですが、systemd制御下で動作するプロセスはこの事情が違います。前々からなんとなく知ってはいましたが、 自分で設定したことがなかったので試しておくことにしました。 環境 今回の環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu
Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた - GMOインターネットグループ グループ研究開発本部
2018.04.10 Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 最近 MySQL 系のデータベース (Percona Server / PXC) に関するブログを立て続けに書いていましたが、今回は Hadoop と MySQL 両方に関する内容について書きました。 前々回のブログ：InnoDB だけじゃない！MyRocks (MySQL + RocksDB) ストレージエンジンを試してみた 前回のブログ：MySQLの冗長化を試す！～Percona XtraDB Cluster & ProxySQL & Replication～ Hadoop を構築すると毎回頭を悩ますこととして、H
sysctl
カーネルパラメータチューニング項目整理.md sysctlで設定可能な項目について調査した内容。 ファイル関連.md ファイルディスクリプタ OS全体のファイルディスクリプタ数の制限値 fs.file-max で設定。 プロセス単位の制限については /etc/security/limits.conf で設定する必要がある。 これらの値はPAM認証（sudoやユーザーでログインした場合）がないと反映されないため、デーモンプロセスなどでファイルディスクリプタ数を増やしたいときには ulimit コマンドを起動スクリプト（ /etc/rc.d/init.d/ など）で指定する必要がある。 OS全体の非同期I/Oの最大数 fs.aio-max-nr で設定。 デフォルトは65536で、Oracleなどは1048576といった大きめの値を推奨している。 値が小さいとアプリケーションが起動できないとい
ビッグデータの新しい基盤としてHadoop上でSpark＋Delta Lakeを検証してみた - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 前回データベースのテーマでPostgreSQL＆Patroniを検証しましたが、今回はまたHadoop系のテーマでDelta Lakeを検証しました。 Delta LakeはDatabricks社が開発したApache Spark用のストレージレイヤーの技術です。去年オープンソース化になってまだそれほど日が経っていません。Databricks社はビッグデータを処理する技術としてとても良く使われているApache Sparkの生みの親が創業した会社ですね。 目次 何故Delta Lakeか Delta Lakeを使うSparkとHadoopの環境準備 利用技術 サーバースペック 最初Ambariを試してみた 前準備 HadoopおよびSparkの環境構築 Hadoop用ユーザー＆グループ作成
Dedicated Server Setup
*注* Steamがこれらのポートを使用しているため、クエリポートを27020〜27050にすることはできません。 前提条件[ | ] Windows[ | ] Microsoft Visual C ++ 2013再頒布可能パッケージ（_CommonRedist/vcredist/folderの下のSteamArkゲームフォルダーにあります）。 DirectX（DXSETUP、_CommonRedist/DirectX/June2010/フォルダーの下のSteamArkゲームフォルダーにあります）。 Linux[ | ] 64ビットLinuxサーバーでは、steamcmdをインストール/実行するために32ビットバイナリが必要です。 sudo apt-get install lib32gcc1 ゲームサーバーにはglibc2.14以降が必要です。Ubuntu 14.04（およびそれ以降）およ
Archive 2022年4月 (1) 2022年2月 (1) 2021年3月 (2) 2020年12月 (1) 2020年6月 (1) 2020年2月 (1) 2019年7月 (1) 2019年6月 (2) 2019年4月 (1) 2018年12月 (1) 2018年9月 (1) 2017年12月 (1) 2017年11月 (1) 2017年8月 (2) 2017年6月 (1) 2017年5月 (1) 2017年4月 (6) 2017年3月 (12) Category 3DCG (1) CMS (1) python (3) Web製作 (13) WordPress (1) アニメ (2) グルメ (3) サーバー (3) ソフトウェア (1) デザイン (2) プログラム (5) フロントエンド (13) 素材 (1) 那須 (2) 雑感 (6) Recent Posts GA4でクライ
* soft core unlimited * hard core unlimited root soft nofile 65536 root hard nofile 65536 anyuser soft nofile 65536 ←ここを追加 anyuser hard nofile 65536 ←ここを追加 確認方法 /etc/security/limits.confに記述しても反映されていないことがある。 サーバへSSHして、当該プロセスのプロセスIDを確認し、cat /proc//limitsで確認すること。 port枯渇やらなんやら リソースネックになっていないにもかかわらず、スループットが出ないような場合、any port枯渇に陥っている場合がある。 だいたいこういう場合当該サーバをnetstatで調べてみるとTIME_WAITが大量発生し、any portを使い切っている可能性
Oji-Cloud クラウドとテクノロジーが人生をHappyにする。クラウドインテグレーターに転職したぱぱエンジニアが発信するテクニカルブログ。 概要 Linux オペレーティング・システムでは、ファイル・ディスクリプタという仕組みが使われます。ファイル・ディスクリプタによって、標準入出力やブロックデバイス、ソケットなどが擬似ファイルとして処理されます。ファイル・ディスクリプタは、プロセス毎に管理され、/proc/プロセス番号/fd/ に保持されます。 ソケットとは、ネットワーク通信で用いられるファイル・ディスクリプタです。ネットワーク通信では、コネクション毎にファイル・ディスクリプタが作成されます。クライアントからの同時接続が多いシステムの場合、ファイル・ディスクリプタも多く必要になります。 このファイル・ディスクリプタは、同時にオープンできる数が制限されています。Webサーバーで’To
本投稿ではRHEL7.7にOracle Database 19cをインストールする手順を紹介します。 今回インストールするOracle Database 19cは前回投稿したRHEL7.7上にインストールします。 【RHEL】ノートPCにRHEL7.7をインストールしよう 事前にダウンロードしておくもの ・compat-libstdc++-33-3.2.3-72.el7.x86_64.rpm(2020/3/28時点で最新) ⇒/tmpに配置します。 https://pkgs.org/download/compat-libstdc++-33 ・jre-8u241-linux-x64.rpm(2020/3/28時点で最新) ⇒/tmpに配置します。 https://www.java.com/ja/download/linux_manual.jsp ⇒今回のOracle Database 19c
【Oracle】Oracle19cをCentOS7にサイレントインストールする 事前準備編 1/2 - SEワンタンの独学備忘録
初めに ライセンスと無料利用 構築環境とインストール要件について ソフトウェアのダウンロード プロファイルの作成 ソフトウェアのダウンロード インストールの下準備 カーネルパラメータの設定 ユーザ及びグループの作成 リソース制限の設定 環境変数の設定 その他設定 インストーラパッケージの配置 パッケージの格納 展開ディレクトリの作成 パッケージの展開 ふいにOracleのインストールをやってみる。 最近はクラウド活用とかでサーバにインストールする機会とかも減っているのかも分かりませんが。 初めに ライセンスと無料利用 Oracleは商用利用する場合には基本的に有料ライセンスが必要ですが、学習用途を目的とした個人環境などの場合にはOTNライセンス下で無償で自由に使用することができます。 個人で使用する場合には何かにひっかかるようなことはないと思いますが、その辺は自己責任で。 参考：Oracl
AWSでlinuxサーバを作ってARKをインストールする手順
AWSでlinuxサーバを作ってARK用のサーバを立てる手順 シージをやるとき一緒に遊んでくれるメンバーたちとの間でARKが話題に上がり、 なんやかんや色々話をした結果、ARKやろうかーみたいな話になったのが事の始まり。一番最初に言ったの俺だけど（ARKプレイ時間1600時間突破廃人 今までカスタムサーバ作って皆とプレイしていたのですがこれまでずーーーっと同じ課題を抱え続けていました。それは私のPCにARKサーバ建てているのでPCの電源が入っていないとほかの人がARKプレイできないということ。 つまり私と生活リズムが違う、休日お仕事で平日休みの日があるみたいな人は殆どARKを遊ぶことが出来ないといった問題点がありました。じゃぁPCつけっぱなしにしろって？いやん・・・。不測の事態があったらどうするんだ！ そこで今度はAWSにlinuxサーバを立ててARKインストールし、サーバの電源ON/OF
cap_from_textスタイル あるプロセスのケーパビリティがどうなっているのかはlibcapに含まれるgetpcapsを使って調べることができる。オプションで調べたいプロセスのプロセスIDを指定すると次のような出力が得られる。 # getpcaps 12345 Capabilities for `12345': =eip cap_chown,cap_sys_rawio-eip この出力はcap_from_text(3)のスタイルに従っている。cap_from_textスタイルの一般的な書式は次の通りだ。 [<capability>[,<capability>,...]]<action-list> ... ここでaction-listは次のような書式である。 <action>[<flags>][<action>[<flags>]...] 上の実行例ではactionにあたるのが=と-、f
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第782回 MellanoxのOFEDドライバーをセキュアブートが有効化されたUbuntuにインストールする | gihyo.jp
systemd制御下で動作するプロセスの、リソース制御を行う - CLOVER🍀
Cent OS 7にてオープンソースの検索サーバーFessを導入するまで
よく修正するカーネルパラメータ - Qiita
Linux ファイル・ディスクリプタ制限のチューニング | Oji-Cloud
【Oracle】RHEL7.7にOracle Database 19cをインストールしよう
Linuxケーパビリティ (3/3) | OSDN Magazine