OpenMetadataではデータリネージュ（データの流れ）を可視化できます。 Redshiftではクエリのログを読み込むことでそこから自動的にリネージュ情報を作ることができます。 その流れをやっていこうと思います。 Redshiftのユーザについて OpenMetadataを利用する際はスーパーユーザではないユーザを利用するべきです。 OpenMetadataはデータカタログなので原則Redshift内の実データ書き換えは発生しません。 発生してしまったらかなり怖いです。 よってスーパーユーザの権限はそもそも必要なく、 また、もしも想定外に書き換えがあった時にはきちんと禁止されるように一般のリードオンリーユーザを作成して行います。 また別の理由として、スーパーユーザでは全てのデータにアクセスができてしまい、 Redshift Spectrumを利用するテーブルに対してもクエリをかけること
やるべきことをきちんと管理すれば仕事の効率も上がる。わかっていてもなかなか実践できないもの。新年こそ、しっかりタスク管理をしたいと考えている人におすすめしたいのが、タスク管理ツール「Todoist」をGoogleカレンダーと連携させて使う方法だ。
AITuber Studio AITuber Studioは、AIを活用したバーチャルYouTuber（VTuber）の制作と配信を支援するアプリケーションです。 主な機能 リアルタイムの音声認識と応答生成 複数のAIモデル（GPT-3.5、GPT-4、Claude、Llama2など）をサポート Live2Dモデルを使用したキャラクターの表示と制御 テキスト読み上げ（TTS）機能 YouTubeライブチャットとの連携 小説モードとゲームモードの搭載 セットアップ 必要なPythonパッケージをインストールします： pip install -r requirements.txt 必要なモデルファイルをダウンロードし、model_assetsフォルダに配置します。 promptフォルダ内のai.txtとai-first.txtファイルを編集して、AIの性格や初期メッセージをカスタマイズします。
GDBがeBPFのデバッグをサポートした
GDBがeBPFのデバッグをサポートした。 GNU Debugger Adding eBPF Debugging Support - Phoronix eBPFというのはLinuxカーネル内の仮想マシンだ。 もともと、BPF(Barkley Packet Filter)という仮想マシンがあった。これはネットワークのパケットフィルタリングをするための仮想マシンで、レジスターベースのRISCプロセッサーを模した命令セットになっている。 カーネル内で安全にユーザーコードを実行するというのは需要があるので、BPFをより汎用的に使いたいという声は多かったのだが、何分BPFは設計が古い。レジスタは2個で32bit、命令セットはatomic compare exchangeのようなモダンなプロセッサーに搭載されている命令がない。 そのためeBPF(extended BPF)が設計された。レジスタは10個
「モバイルPASMO」と「モバイルSuica」の両方を利用できる機種を知りたい。 | モバイルPASMOサポート
ご利用のスマートフォンの機種によっては「モバイルPASMO」と「モバイルSuica」どちらか一方、または両方を設定することができます。 機種により以下の3タイプに分類されます。 TYPE① モバイルPASMO・モバイルSuica両方1枚ずつ発行可能 TYPE② モバイルPASMO・モバイルSuicaどちらか1枚のみ発行可能 TYPE③ モバイルSuicaのみ対応（モバイルPASMOサービス対象外） TYPE①でモバイルPASMO／モバイルSuicaを一つの端末で利用する場合には、かざした際に優先的に使われるメインカードの設定が必要です。 ※ メインカードの詳細はこちらをご確認ください。 TYPE②に該当する機種をご利用の場合は、すでにスマートフォンに設定されているモバイルSuica、または、モバイルPASMOを退会した後に改めて、ご利用されるサービスを設定してください。 TYPE①、②、③
TCP レベルの疎通確認のときにはよく telnet を使っていたのですが、最近いろいろな OS で telnet が入っていません。 こういうときに、実は curl で telnet を代替できます。 telnet をプロトコルとして指定するだけです。 以下の例では、google に 80 番ポートで接続して、 HEAD リクエストを送っています。 $ curl -s telnet://www.google.com:80 HEAD / HTTP/1.0 HTTP/1.0 200 OK Date: Sun, 05 Apr 2020 07:15:31 GMT Expires: -1 Cache-Control: private, max-age=0 Content-Type: text/html; charset=ISO-8859-1 P3P: CP="This is not a P3P p
メンバーやサービスアカウントの権限を考える際に、ロールの持つ権限を比較したいことがしばしばある。そういう時は gcloud と diff を使うことで比較できるという素朴なテク。 ロールと権限 ロール(role)は roles/{roleName}, roles/{service}.{roleName} などで表され、許可されている操作を表す権限(permission)の集合である。 例えば BigQuery データ閲覧者 (roles/bigquery.dataViewer) は、以下の permission を持つ。 bigquery.datasets.get bigquery.datasets.getIamPolicy bigquery.models.export bigquery.models.getData bigquery.models.getMetadata bigquery
ArgoCD の Config Management Plugin (CMP)を理解し、Plugin でマニフェストの変数置換を行う - kencharosの日記
概要 前職の同僚がずっと、PullRequest ごとにプレビュー環境でアプリケーションをデプロイしたいと言っていた。 確かにそれができれば便利ではあるけど、たとえ k8s の力を借りても実現するまでの手順は多く、遠い夢かと思っていた。 でも ArgoCD で頑張ればその夢は近くなるかもしれない。 これは、ArgoCDの Config Management Plugin (CMP) と呼ばれる機能を使って、動的なマニフェスト生成を行い、さらにPullRequestごとの固有の情報をマニフェストに柔軟に埋め込むための仕組みを考えてみたという話。 想定読者 k8s にある程度詳しい ArgoCD にもある程度詳しい ArgoCD の ApplicationSet や Generator の機能を知っている、あるいは調べればわかる方 参考資料 GitブランチやPullRequestごとにプレビュ
dockerfile_inlineでcompose.yamlにDockerfileをインラインで書く - Qiita
概要 先日出たDocker Compose v2.17.3から dockerfile_inline という構文で compose.yaml にDockerfileをインラインで書けるようになりました。これのなにがうれしいかというと、メインのアプリケーションではなく周辺のミドルウェアなどでDockerfile書くほどでもないんだけど、ちょっとだけカスタマイズしたいみたいなのが書きやすくなる。 ※厳密に言うと dockerfile_inline という構文自体はcompose v2.17.0から追加されましたが、初期実装はバグがあり機能してなかったので、実質まともに使えるようになったのはv2.17.3からです。 環境 本稿執筆時点の最新版のDocker Desktop for Mac v4.19.0にバンドルされてるcomposeがv2.17.3だったので、とりあえず最新に上げて試します。 $
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
はじめに システムの構成 クライアントコマンド authenticator K8s Custom Controller cks-operator imperator 仕組み まとめ はじめに この記事では大学院修了にともなって、これまで構築してきた Kubernetes (K8s) を用いた ML 基盤のうち、開発したソフトウェアを中心に紹介していきます。 6 年間の振り返りは こちらの記事 を、運用に関する紹介は こちらの記事（執筆中）を参照してください。 システムの構成 構築・運用していたシステム構成は以下の図のようになっており、ユーザは専用のクライアントコマンド経由で Web IDE や Jupyter を起動してデータの分析ができるようになっています。 アーキテクチャ クライアントコマンド 前述のクライアントコマンド（以下 cmd）の機能などについて軽く説明します。 cmd のソー
はじめまして、インフラ部でアルバイトをしているmya0です。 コンテナ化していないアプリケーションで、デプロイにコンテナレジストリを活用しました。 GitLab CI実行時にアセットをビルドし、結果をDocker Imageとしてコンテナレジストリに保管し、デプロイ時にこの中身をコピーすることでデプロイを高速化しています。 この方法であれば本番環境でコンテナ化したアプリケーションを動作させる準備が整っていない状態でもコンテナレジストリを利用し、徐々にコンテナを利用するように移行していくことができます。 Docker Imageについて DockerのImageはレイヤー毎にtarファイル(layer.tar)として取り出すことができ、 docker saveすると含まれているlayer.tarをすべて確認することができます。 layer.tarの中身にファイルがそのまま保存されているので、
24GBしかVRAMのない星飛雄馬のようなご家庭のPCでも動いちゃう おもいこんだら、なので、LongWriterを星飛雄馬のようなご家庭のPC「RTX 4090(24GB)」で試してみます。 使用するPCはドスパラさんの「GALLERIA UL9C-R49」。スペックは ・CPU: Intel® Core™ i9-13900HX Processor ・Mem: 64 GB ・GPU: NVIDIA® GeForce RTX™ 4090 Laptop GPU(16GB) ・GPU: NVIDIA® GeForce RTX™ 4090 (24GB) ・OS: Ubuntu22.04 on WSL2（Windows 11） です。 1. 準備環境構築python3 -m venv longwriter cd $_ source bin/activateパッケージのインストール。 pip ins
Kubernetes ネイティブなワークフローエンジン Argo Workflows のご紹介 - Uzabase for Engineers
こんにちは。Product Team の竹原です。 先日、社内用の小さな Web アプリを追加開発する機会がありまして、その際に CI/CD パイプラインの作成も行いました。 CI/CD パイプライン構築のために Argo Workflows を使ってみたところ非常に感触がよかったので、感想などを記載しておこうと思います。 ※ 今回は概要の紹介程度となります。実際に作成したワークフローはまた次回ご紹介します。 Argo Workflows とは 公式のワークフローサンプル Argo Workflow ならではの便利さとか工夫とか 利用するツールや動作環境のバージョンをコントロールしやすい Kubernetes のサービス名で名前解決ができるので、E2E テストがやりやすい 並列処理をシンプルに書ける ステップをテンプレート化できる(Workflow Templates) Cluster W
本番でWebアプリケーションを運用していると，様々なログを取り扱う必要がある．これはKubernetesでも同じで，Kubernetes上で動かしているコンテナのログも，何かしらの方法で集約してどこかに蓄えておいて，分析とか検索とかをしたくなる． こういう用途でまず思いつくのがfluentdで，fluentdはKubernetes用にDaemonSetを用意してくれている． github.com こいつを使えば，コンテナの標準出力に出てきたログは，すべてfluentdで拾えることになる． では，標準出力以外の，例えばファイルに吐き出すようなログはどうなるだろう？ こういったログを集めるためには，アプリケーションのコンテナのサイドカーとしてfluentdを動かし，ログファイルをVolumeMountすることでサイドカー側のfluentdにログファイルを読ませる，というようなことをする必要があ
この記事は コネヒト Advent Calendar 2020 の20日目の記事です。 僕はプライベートで過去6年位、また業務利用でも直近3年半くらいずーっとArchLinuxで過ごしてきていて、過去にこんな記事も書いています。 続・ラフなラボ – ArchLinux なラップトップで仕事しはじめて大体1年経った ただ、今月コネヒトに入社するにあたって業務利用するPCを Windows 10 Professional マシンにすることを選択したので、実際に過ごしてみてどうなのかを書いてみようと思います。 自分の仕事について Web系のインフラエンジニアとして働いています。今のところは AWS の ECS や EventBridge 周りを触っていることが多く、Python で業務に必要なスクリプトを書いたり、PHP,Go のコードを触る機会もあります。他には Terraform のコードも
IaC 提供の難しさ: API で宣言的な管理を実現できるか？という視点 - Diary of a Perpetual Student
Mackerel は Terraform Provider を提供していて、監視ルールや通知チャンネル、ダッシュボードなどの設定が Terraform で記述・管理できるようになっています。 今回は Terraform Provider 提供者の目線から、サービスを IaC で管理できるように対応する難しさを紹介します。 公開 API で宣言的な管理を実現できるか？ Mackerel の Terraform Provider は、内部的に公開 API を呼ぶことで設定の管理を実現しています。よって、公開 API を新たに増やしたり改修したりする場合には、IaC による宣言的な構成・設定管理を API を使って行えるかどうかを気にする必要があります。 具体例: ホワイトリストと、ホワイトリストに自動で追加するフラグの両方を IaC で管理する 例として、やや抽象的な表現にはなってしまいますが
機械学習モデル（ニューラルネットワーク）は、たくさんの数値に対して値をかけたり、足したり、合計したり…といった操作をすることで問題を解きます。 そしてGeometryNodesは、（本来は3Dモデリングやモーショングラフィックスのための機能ですが、）たくさんの頂点（ジオメトリ）に対して値をかけたり、足したり、合計したり…といった操作が可能です。 ということは機械学習モデルをGeometryNodesで動かすこともできそうですよね。 実際、動かせました。 すみません！本来出力にSoftMaxをかけるべきところを、いれていませんでした！ （出力の値は変わっていないのですが、可視化の印象がだいぶ変わります） 撮りなおしたので、最初の動画のことは忘れてこちらをご覧ください…！🙇 pic.twitter.com/fowj9Tm8lL — Melville (@MelvilleTw) Novembe
はじめに Firestore は非常に便利で高速な NoSQL データベースですが、一方で検索面があまり得意ではありません。where クエリで単一フィールドもしくは複合フィールド（発行クエリによる）での絞り込みや、文字検索では全文一致・前方一致・後方一致までは何とか実現できますが、SQL の LIKE 検索のような部分一致や、全文検索を Firestore 単体で実現できません。 Google Cloud の公式ドキュメントにも、全文検索についてはサードパーティツールを利用するよう明記されています。 Firestore では、ネイティブ インデックスの作成やドキュメント内のテキスト フィールドの検索をサポートしていません。さらに、コレクション全体をダウンロードして、クライアント側でフィールドを検索することは現実的ではありません。 https://cloud.google.com/fire
Investigation of a Serverless Type WEB Application Delivery Platform サーバレス型Webアプリケーション配信基盤の検討 id | @ido_kara_deru
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenMetadataでRedshiftのクエリログからリネージュを作成する | DevelopersIO
タスク管理におすすめアプリとは？Googleカレンダーとの連携が最強 | bizSPA!フレッシュ
EndouMadoka/AITuberStudio · Hugging Face
curl で telnet を代替する - 理系学生日記
GCP IAM ロールの持つ権限を比較するテク - ぽ靴な缶
dify/README_JA.md at main · langgenius/dify
機械学習手法を用いる研究向け基盤 on Kubernetes ~開発編~ - tenzenの生存日誌
コンテナ化していないアプリでもコンテナをデプロイに活用する - pixiv inside
WSL2でLongWriterを試してみる｜noguchi-shoji
PodにfluentdのSidecarを自動でinjectする - PartyIX
続・ラフなラボ – 7年ぶりくらいに Windows 環境に戻ってきた
BlenderのGeometryNodesで機械学習モデルを動かしてみた｜Melville
Meilisearchを使ってFlutter×Firestoreの全文検索を実現する
Serverless_Type_WEB_Application_Delivery_Platform
medical.nikkeibp.co.jp
kasegeru.blog.jp
search.app
vehicle123.com
www.nikkei.com
x.com