Designing Cloud Data Platforms読んだ - カーキ色はヒンディー語らしい
www.manning.com Designing Cloud Data Platformsという本を読みました。 どんな本か 2021年に出版されたデータ基盤の本です 大企業のデータ基盤の設計（コンサル・SIer？）の人が著者です データ基盤を大きく６つのレイヤー（下図）に分割し、それぞれの章で説明しています Data Lake（②）とDatat Warehouse（⑤）を組み合わせた基盤を、この本では「Data Platform」と呼んでいるかと思います（Data Warehouse単体との対比） 書名に「Cloud」とついていますが一般論的な話がメインです。個別のクラウド・プロダクトの話題は軽く触れる程度です （Egressの通信量気をつけましょうとか、無限にスケールするオブジェクトストレージ良いよねとか） The Cloud Data Lakeや、 Fundamentals of
NVIDIAのGPUリソース分割技術
こんにちは、NTT研究所の山口です。 前回の記事でA100のMIGについて触れていますが、MIGを活用する際のモチベーションとして、1つのGPU上で効率的に複数プロセスを実行したり、複数ユーザで利用できるようにしたいという目的が挙げられるかと思います。本記事では1つのGPUリソースを効率的に利用するための技術として、Multi Process Service(MPS), Virtual GPU(vGPU), Multi Instance GPU(MIG)という三つのNVIDIA社の技術についてまとめます。 MPS: GPU上で並列処理を効率的に行うことができるvGPU: GPUを仮想化してVMに対してリソースを割り当てることが可能。分割されたGPUは、VM内で個々にGPUとして認識可能であるため複数ユーザに対して提供しやすいMIG: 最新のアーキテクチャであるAmpereでしか利用できない
第642回 仮想マシン上のmicrok8sからGPUを利用する | gihyo.jp
第641回では「LXDとmicrok8sでシングルサーバーをKubernetesクラスターにする」と題して、より高機能になったmicrok8sについて紹介しました。microk8sで構築したKubernetesがあれば、気軽にたくさんのCPUコアを使ってさまざまなワークロードを動かし、部屋を暖められます。でも、待ってください。そのサーバーにはもっと便利な熱源がありませんか？ そうGPUですね。本格的に寒くなる前に、Kubernetes環境からもGPUを使えるようにしましょう。 ホスト側でGPUパススルーの準備 第641回ではLXDの仮想マシンインスタンスの上にmicrok8sをインストールしました。つまりホストマシンのGPUを使うには、LXDの仮想マシンの中からGPUにアクセスできなくてはなりません[1]。コンテナの場合、第532回の「LXDのコンテナからGPUを利用する」などで手順を紹
nvidia-smi(1) で GPU にパワーリミットを設定して消費電力や発熱を減らす - CUBE SUGAR CONTAINER
自宅にあるオンプレマシンでグラフィックカードを GPGPU の用途に使用していると、消費電力や発熱は切実な問題になりうる。 特に昨今は電気代の値上がりも著しいし、発熱は製品寿命の短縮や夏だと室温の上昇につながる。 そこで、今回は Linux の環境で nvidia-smi(1) を使って NVIDIA の GPU にパワーリミットを設定することで消費電力や発熱の低減を目指してみる。 使った環境は次のとおり。 Ubuntu 20.04 LTS のマシンに、Docker と nvidia-container-toolkit がインストールしてある。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.4 LTS Release: 20.04 Codenam
【ABCI】産総研スパコンに圧倒的入門するためのページ〜VSCode・Anacondaによる計算環境整備 - Qiita
こんにちは、@aya_seです。大学で自然言語処理の研究をしています。 今回は、産総研AI橋渡しクラウド(ABCI)で最低限のジョブが投げられるようにするまでの作業をまとめました。もともとは研究室内Wikiに書いていたものですが、せっかくなので公開してみます。また、ABCIの事例ではありますが、他のスパコンでも共通する部分があるかと思うので、参考になれば幸いです。 ちなみに、今回の記事の大部分の内容はABCIのユーザーガイドに書いてあったので、読むとよさそうです。 想定する読者層 研究室に配属されたばかりで、これからスパコン(ABCI)を使おうと考えている Python・PyTorchを利用したML系のジョブを投げたい スパコン(ABCI)におけるジョブの概念や投げ方について知りたい ABCIにRemote SSH接続する まずはABCIのアカウントIDを把握する。 ABCI利用者ポータル
大規模分散学習でGPUを食べまくる人｜マソラ
こんにちは！東工大修士2年/産総研RAの高島空良と申します。本記事は、研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の17日目の記事となります。 本記事では、私がcvpaper.challengeに研究メンバーとして参画した経緯から1年間活動してきた内容の振り返りを、ざっくばらんに記載します。メインコンテンツは「大規模分散学習」になる見込みです。 私の体験を通して「cvpaper.challengeでの研究・活動の流れ」や「cvpaper.challengeの研究コミニュティの雰囲気」なども伝えられれば幸いです。 注：勢いに任せて執筆した結果、かなり長くなってしまったので、ご興味に応じて適当に読み飛ばしていただければと思います🙇♂️ 自己紹介私は現在、東京工業大学の情報工学系修士2年で、高性能計
Slurm HPCクラスタとKubernetesを同居させてみた（前編） - Qiita
はじめに こんにちは、(株)日立製作所 研究開発グループ サービスコンピューティング研究部の小林です。 DockerやKubernetesに代表されるコンテナ技術がWebアプリ開発を始め様々な場面で使われるようになりました。最近ではHPC向けのコンテナランタイムとしてSingularityが開発され、より一層コンテナ活用の幅が広がりそうですね。 本日のアドベントカレンダーでは、HPCジョブスケジューラの一つであるSlurmクラスタとコンテナオーケストレータのKubernetesクラスタを同居させSingularityベースのワークロードを双方から実行可能な環境を構築してみます。 アドベントカレンダーではHPCジョブスケジューラの一つであるPBSに関する記事もあるので興味がある方は要チェックです。 なぜ同居させるのか データ分析技術の多様化 従来のデータ分析に関するいくつかの主要な動向として
機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~ - tenzenの生存日誌
はじめに システムの構成 クライアントコマンド authenticator K8s Custom Controller cks-operator imperator 仕組み まとめ はじめに この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。 6 年間の振り返りは こちらの記事 を、運用に関する紹介は こちらの記事（執筆中）を参照してください。 システムの構成 構築・運用していたシステム構成は以下の図のようになっており、ユーザは専用のクライアントコマンド経由で Web IDE や Jupyter を起動してデータの分析ができるようになっています。 アーキテクチャ クライアントコマンド 前述のクライアントコマンド（以下 cmd）の機能などについて軽く説明します。 cmd のソー
弱小大学の研究室における計算機環境の理想と現実 - ぽよメモ
はじめに 理想 現実 今までの環境 新しい環境への移行にあたって 新しい環境 監視 情報共有・記録 他にやりたいこと 使用中であることの明示 自動ジョブ実行システム 今後の課題 理想に近づくために 共用計算マシンの整備 大学側での提供サービスの拡充 クラウド利用は？ まとめ はじめに これはあくあたん工房GWアドベントカレンダー1日目の記事です． しがないM2が悲惨なラボ計算機環境をどうにかしたいとあがいている様子です．過度な期待はしないでください． なおこれは，かなり恵まれた環境で，かなり恵まれた学生が，さらに高望みしているだけの記事です．未だにPCの起動ディスクがHDDだとか，メモリが4GBしかないとか，そういう世界の話はしません．タスクとしては主に軽い深層学習がメインで，MPIを使ってマルチノードで大規模演算！みたいなことはしていません． 理想 プログラムを書いたら， ワンクリックで
機械学習基盤をKubernetesで運用してきて - Qiita
この記事について この記事はKubernertes Advent calender 2018の8日目の記事です。 普段からオンプレのKubernetesクラスタを使った研究開発に携わっており、LANケーブルの配線から新バージョンのKubernetesやエコシステムの検証、構築、運用保守、独自ツールの開発に加えてフロントエンドのGUIをmaterial-uiで作ったりとほぼ全レイヤをやっています。 今回は機械学習の実行基盤としてKubernetesを運用してきたなかで得られた知見について書いていきます。 運用中のKubernetesクラスタについて 運用しているKubernetesクラスタはオンプレミスのCPUサーバとGPUサーバの混合構成で、さらにGPUサーバは複数の世代のGPUが混ざっています。 データサイエンティスト向けに内製した機能を持つことが大きな特徴ではありますが、用途は機械学習
台風通過前後の風雨の様子を地図とグラフで整理する - Qiita
はじめに 過去の台風上陸前後に、どのくらい雨や風が強かったのか気になりました。そこで、特定の都市において、台風通過・上陸前後の風雨の様子を一覧できるようなウェブサイトを作成してみました。 注意：データ等は精査しておりませんので、間違いが含まれるかもしれません。ご利用の際は自己責任でお願いいたします（当方は責任は負いません）。 とりあえず、以下の３つの台風を作成しています。 令和元年台風第19号@東京 令和２年台風第10号@鹿児島 令和４年台風第14号@鹿児島 ※令和元年台風第19号@東京の例 レポジトリはこちら データの収集と加工 台風や当時の気象の状況は気象庁のウェブサイトから取得できます。台風の経路は、GeoJSON へ変換し、地図上に掲載します。地図の表示には、ウェブ地図ライブラリとして Mapbox GL JSを、背景地図として、国土地理院 最適化ベクトルタイルを利用しています。
渡米して5ヶ月でレイオフを経験した①通達から退職まで｜よこな / Ayana
（写真：散歩していたら公園に遊具があったので登った。元気に無職をやっている） いつもnoteに書いていたように日々大変だけど楽しく働いてて、間違いなく充実していたところでチームごとレイオフを食らってしまった。 転職活動も終わってから綺麗にまとめたnoteを書こうかとも考えた。しかしやっぱり忘れる前に1度出しておきたいと思い直し、買ったばかりのM2 Macにウキウキしながら書いている。 まだ転職先は決まっておらず、アメリカの就活事情について書くのは数ヶ月後となりそうなので、この記事ではどういう風に告げられたか、何を感じたか、これから何が起こりそうかを記すことにする。所感については細かく、かつ推敲控えめに正直に書いてみようと思うので長くなるかもしれない。 今の状況、これから何が起きるか長ったらしい日記の前に、事実を述べておく（ビザ事情に興味がある方向け）。 なお、ここで出てくる夫のEビザ手続き
英語を学ぶには「決算資料」が最強であるワケ - グローバル経営の極北
この記事（「英語力をどうやって鍛えるか？ 私が普段やっていることを公開！」）はありがたいことに反響が大きく、たくさんの方に読んでいただきました。ありがとうございます。そこで紹介した、グローバル企業の決算は英語の勉強にも最適、という点について、IBMを例にしながら説明してきたいと思います。ポイントは以下の３つです。 構造をつかもう 表現を学ぼう 真似をしよう なお、決算資料はInvestor Relations（IR)のページに置いてあります。よってGoogleで「IBM IR」など検索をかければすぐ出てきます。 IRのページは非常に充実していますが、今回は四半期決算の資料を見ていきます。直近の決算であるIBMの2017 Q2(第2四半期）を使います。 では、早速見ていきましょう。 構造をつかもう ある程度基礎ができたあと、実際に仕事で英語を使っていく上で重要なのは、実は「構造」の理解です。
Javaのパッケージ名の命名には2019年でも所持ドメインの逆順を使うべきなのか調べた - Qiita
発端 Java6までは言語仕様の中に命名規約の章があったけどJava7からはなくなった。あとパッケージ名もドメイン名逆順にしろというのが、ローカルでの利用を意図してるなら単一の識別子だけでいいということになった。そのころからlombokみたいにプロダクト名だけのパッケージ名を見るようになった気がする — きしだൠ (@kis) 2019年1月22日 今までjavaパッケージの命名はドメイン名の逆順というのが通例だと思っていたが、たしかにそれに沿わないライブラリも特にScala系のライブラリで見ることが増えてきた。 そもそもこの命名規則は確かに衝突を避けるためには合理的ではあるもののコード中の記述量が増えるため後発の言語でもまったく真似されていない。 最近のJavaでより短いパッケージの命名が許容されるならとても嬉しいと思い、本当にJavaのFQDN逆順命名規約は無視していいのか調べた。 調
最小のHTML文書とは何か - Qiita
何が最小の (最短の) HTML 文書であるか、というのはたまに話題になります (実用上はあまり意味がありませんが)。答えは少し複雑です。 Web ブラウザーなどに含まれる HTML 構文解析器はどんな入力が与えられるかわかりませんから、任意の文字列を処理できる必要があります。構文解析器の立場では、空文字列 (長さ0の文字列) が最短の HTML 文書となります。 しかし任意の文字列がすべて意味のある HTML 文書を構成しているわけではありません。そこで HTML の仕様に適合するもので文字数が最短のものを考えることにします。 原則 HTML 文書には、最低でも DOCTYPE と html 要素が必要です。 html 要素には、 head 要素と body 要素が必要です。しかし、これら3つの要素の開始タグと終了タグは、曖昧でなければ省略できます。 (タグを省略しても、要素は暗黙のうち
バンコクの思い出 - 蛍光色に浮かばない寿司
この記事を書いている今日は奇しくもセンター試験の日で、つまり僕の数少ない成功体験のうちの１つが誕生した日でもある。インターネットはつくづく不思議な場所で、おそらく一人も見ていないだろう受験生に対してアドバイスの皮を被って成功体験の吹聴や自己確認が行われていたりするのだが、そういうあからさまな自己肯定感の祭典を鼻で笑ったところで、僕もまた一定の成功体験の追憶を行っていることは事実として認めなければいけない。大学の近辺に住んでいるので、先程出かけただけで大量の受験生を目撃したのだが、そのとき深々と被っていたフードの内側に見える僕の口元には、勝者にだけ許される冒涜的な笑みが浮かんでいた。今更言うまでもないこととして、僕は最低の人間なのである*1。 というわけでその帰り道、僕は何らかの黒歴史を書き下して自分への楔にしようと思ったのだが、僕は身体の９割が黒歴史で構成されている人間なので、考えても考え
気分良く働ける場所に住む - ytanaka's blog
最近メンタルの調子が良いというか気分良く仕事ができている。なぜなのかその理由を考えてみた。 オフィスの近くに住んでみる 4月に大学を辞めることにしたので、仕事に集中するためにオフィスに歩いていける場所に住むことにした、きっかけとしてはこれが大きかったと思う。 リモートワーク全盛ということで去年の夏頃に海老名市に引っ越していたのだが、元々海老名に引っ越したのは貯金のために一番大きな固定費である家賃を削ることが目的だった。 そして目的通りお金は溜まったが、なんというか仕事のパフォーマンスがどんどん落ちていく感覚があった（それがなぜかはわからなかった）。 プログラマということもあってリモートワークそれ自体に支障はなかったと思う。運動はしていたし、飯も基本的に自炊していたし、休日は車で外出して箱根とか熱海とか行きたいところに行っていたので不満はなかった。 肉体的には非常に健康的な生活を送っていたと
Stable Baselinesを使ってスーパーマリオブラザーズ1-1をクリアするまで - Qiita
はじめに 強化学習でゲームを解くことに興味があってちょっとずつ勉強している強化学習苦手勢です。Advent Calender 用に何かゲームの攻略について書いてみることにしました。OpenAI が公開している Stable Baselines の紹介とそれを使ってスーパーマリオブラザーズ 1-1 をクリアするところまでやりましたという内容です。OpenAI Gym / Baselines 深層学習・強化学習 人工知能プログラミング 実践入門を参考にました。 Stable Baselines は OpenAI が公開している強化学習アルゴリズムの実装セットです。多くの有名な手法を利用しやすい形で提供しています。強化学習アルゴリズムは実装時に仕込んでしまったバグの検出が難しく、学習が上手くいかない時に問題を切り分けにくくしています。Stable Baselines のような標準化された実装を使
mlflowとluigiによるML実験管理例 - Qiita
はじめに 本記事ではMLの実験を行うときの、コード、パラメータ、モデル、評価結果を管理するための構成例を紹介します。 サンプルコードはこちら 前提知識 Must python docker Want mlflow luigi 思想 前処理を加えたデータや学習したモデルなどプログラムで出力されるファイルは全てmlflowの管理下におく。 コードはgitで管理し、実験結果とcommit hashを紐づける。 前処理、学習、推論などタスク同士の依存関係を管理して、依存しているタスクを自動で実行できるようにする。また、既に実行されたタスクは実行しないようにする。 構成概要 titanicのdataに対して、前処理、学習、推論を行う例を紹介する。 ディレクトリ構成は以下のような感じ。 src/tasks/下に前処理などの具体的なタスクを行うファイルを作成する。 tomlファイルで実行するタスクを指定
機械学習を用いたIRIAM顔認識機能の改善の取り組み【DeNA TechCon 2023】
youtube：https://youtu.be/9ScrFVsIKd4 概要： バーチャルライブ配信アプリIRIAMにおいて、配信者様に合わせてリアルタイムでキャラクターを動作させるためには、高速で高精度な顔認識が必要です。 iPhoneにおいてはApple製のARKitを用いることで高精度な顔認識を既に実現出来ていたのですが、Androidと一部のiOS端末では顔認識の精度が不十分という課題がありました。この問題を解決するため、データ本部とIRIAMが協力して、任意のプラットフォームで動作可能かつ高精度で高速な顔認識システムの開発に取り組みました。 本発表では、データの収集と機械学習モデルの設計指針、モデルの形式の変換の方法、Unity上で効率よく動作させる手段など、その開発過程で得られた知見を紹介します。 登壇内でのリンク集： p8, https://gs.statcounter.c
Mixiのどこが楽しいか。 - marqs blog
最近友人に「Mixiのどこが楽しいの？」とか「Mixiに名前とか乗っけるのって危険じゃないですか？」とか聞かれたりします。個人的にMixiのようなサービスでおもしろいと思うところをいくつか…。 受動的コミュニケーション メール送ったり、電話して元気？って聞くほどでもないけれど、でも元気かな？生きてるかな？最近どうしているかな？と気になる人の近況がわかる。 相手の趣味がわかって楽しい 相手の日記やコミュニティをみていると、その人に対する新発見がある。あれ、こんなの好きだったのね？みたいな感じ。 自分でblogを開設したりしないようなひとも日記を書いちゃったりする。 意外な人が、いろんなことを書いていたりします。その人に対する理解が深まったりします。 もちろんネットを使う時には、危険が伴います。でもそれは、家の鍵を閉めたり、夜道を歩くときにひったくりに注意したり、風呂屋で財布をなくさないように
本を見るなっ！ - デザインの余白
なんでもググっとけ。 インターネットが普及して、あらゆるものが「すぐそこ」にあるような感覚になることが多くなって久しいと思います。そして、スマフォを誰もが持つようになって、さらに便利になった。。。 ような気がします。実際に便利になったんだけど。 今やなんでも直ぐに「ググる」ことで、ほとんどのことが解決します。いや、解決した気持ちになります。いやいや、解決するのかな？w 例えば「今度のビジュアルは、イビザ島みたいな透明感のある海と空がいいね」とクライアントに言われたとします。「ふむふむ」とか「良いですね〜！」などと言いながら、殆どの人がその「イビザ島」へ行ったこともなかったりします。僕はありませんw 昔、TVで見たなぁとか、写真集で見たなぁとか、そんな感じ。 で、今のイケてる人は直ちに「ググる」訳です。 そして、出てきた写真や地図、周辺情報などを打ち合わせしているその場で入手し、皆に知らせ
ChatGPTを「優秀な助手の猫」にする方法
初めに ChatGPT便利なんですが、素知らぬ顔で嘘つきます。 プログラムのような論理的にルールが決まってる事項に関しては かなり正確な答えを返してくるんですが、そうでない分野に関しては 本当に正しいのか人間側がある程度、知識が無いとかなり危ないです。 とはいえ、便利なので使いたい。 正解は期待しないが、参考にはしたい。 ということで、回答を人間側でどれぐらい使えるのか？って判断しやすい形で 出せないかと試行錯誤してみました。 「優秀な助手の猫」の召喚呪文 ITエンジニアの業務の諸々に答えてくれる猫を作りました。 回答だけ出されても評価しづらかったので、以下を出すようにしてます。 回答毎に番号を振って、別の質問で言及できるようにしたい 質問をどう理解して回答したのか 質問に対して疑問や確認事項があるか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大昔のgccのプリプロセッサに関する、極めてどうでもよい話 - のらりくらり
うるう秒補正バグでHBaseクラスタがダウンしたお話 / HBase cluster goes down by leap second bug of Linux kernel
ゲームボーイの上で動くソフトウェアと通信をする