はてなブックマーク

.streamlit/config.toml は不要かもしれません. とりあえずなくても cli コマンド引数で対応できるためです. spec ファイル 一度コマンドラインで pyinstaller 実行し, spec ファイルが作られるのでこれを編集します. asset file 実行時に streamlit のサイトテンプレートのファイルなどが必要になります(streamlit/static/index.html など) datas にパス(元ディレクトリと, コピー先)を指定します. site.getsitepackages() で現在(pyinstaller 動かす環境)の python site-packages からコピるようにするとよいでしょう. import site import os block_cipher = None assert len(site.getsite

ChatGPT(GPT-3.5?) しゅごいよねぇ... ローカルで(GPU で)似たようなの動かしたい... 追記: 2023/06 時点ですと 8bit 量子化が成熟してきていてで 3090 x 1 で問題なく動きました. また日本語ですと rinna 3.6B がいい感じでした. https://zenn.dev/syoyo/articles/946c17666e10fb LangChain + GPT-NEOX-Japanese-2.7b で日本語 LLM やりとり整備するメモ https://qiita.com/syoyo/items/d0fb68d5fe1127276e2a GPT-NEOX-Japanese-2.7b 試したけどなんか微妙だったネ... とりま LLM では大きさは正義と思いますので, gpt-neox-20b 試します. https://www.infoq.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 AWS(EC2 ,RDS CLOUD9) + Ruby on Railsでプロジェクト作成した。 上記プロジェクトで使用しているDB(Mysql)を Windows(ローカル環境)のDbeaver上でRails プロジェクトのDBを表示させる例を示す 前提条件 具体的に必要な内容 (省略) ・ローカル環境を用意(Windows) ・Dbeaver をWindows内にインストール ・AWS準備 ・AWS EC2(Amazon Linux2)を開発環境・本番環境それぞれに作成 ・ElasticIPを作成し 各EC2インスタンスに割り当てておく ・開発環境 (統合開発環境として　AWS CLOUD9を使用)内でRailsプロジェクト作成 ・DB(RDS含む)を準備 ・「ローカル環境→開発環境」「ローカル環境→本番環境」「開発環境→本番環境」 それぞれへssh接続で移動できるための鍵・設定

Traceback (most recent call last): File "/Users/syoshika/.../scraping.py", line 22, in <module> kw_search = browser.find_element_by_css_selector("#sbtc > div > div.a4bIc > input") AttributeError: 'WebDriver' object has no attribute 'find_element_by_css_selector' 予想 エラーは直訳で、「"WebDriver"は"find_element_by_css_selector"という属性を持ってませんよ」 。 要するに定義されてないメソッドを使おうとしてるからエラーが来てるのかな？ こういうときは大体誤字ってる場合が多いんだけどそうでもなさ

はじめに Dockerfileで宣言するFROM centos:7などのベースイメージは公式で配布するもの使用するのが一般的ですが、こういったベースイメージは実は自前の物を使う事もできます1。今回は自分が使用しているシステムをそのままDockerイメージ化する方法をまとめて置きます。 Dockerイメージの作り方 Linuxでベースイメージを作るにはそのままで稼働できるファイルの群れ、すなわちルートファイルシステム2が必要です。今回は使用中のLinuxシステムをそのままイメージ化することが目的なのでシステム自体を圧縮してファイル化します。 1. 全体のシステムをコピーする rsyncを使ってシステムのスナップショットを作ります。その時、/dev, /proc/, /sys/, /run, /mntは現在のマシーンに依存するディレクトリーなので除外します。 下記の例では/mnt/copyにシ

背景 2019 年コモディティ品で GPU 計算ノードを構築するメモ https://qiita.com/syoyo/items/cffcd64aa09cdb042b5d あたりで GPU 計算ノード(機械学習, レイトレ, マイニング)を構築している 2019 年からだいたい 2.5 年くらい連続稼働させていて(~10 nodes くらい), インシデントも多少たまってきたので記録です. GPU の障害 1~2 週間連続稼働させているとエラーも出やすくなります. Linux(Ubuntu) + GPU エラーメッセージ集 https://qiita.com/syoyo/items/0707daed0295db6a3ffa GPU fallen of the bus がよく出ます: 熱暴走なり, メモリエラーが原因が多い模様. 基本リブートすれば治る. 機械学習などで長期間回すときは GP

概要 ポートフォリオ作成にあたり、開発タスクをissueを使って管理することにしたので issueのテンプレートを作成し、楽にissueをかけるようにしたかった。 作成方法 Settingsへ移動する まずはissueを作成したいプロジェクトへ移動し、 settings -> Optionsを選択 テンプレートを作成する準備 FeaturesのIssuesのSet up templatesをクリック 作成画面 Add template: selectをクリックし、任意のテンプレートを選択する。 今回はCustom templateを選択します。 次にPreview and editをクリック クリックするとカスタムテンプレートを作成する画面が表示されます。鉛筆横のマークをクリックします。 編集画面が表示されるので、必要な項目を入力していきます。 今回はTemplate nameとAbout

前置き 私が所属している「もりけん塾」で受けたコードレビューについてまとめていきます。 「もりけん塾」では、先生がマークアップエンジニアからフロントエンドエンジニアになるための課題を作成してくださっており、塾生はその課題を通してJavaScriptの基礎を学んでいきます。 本当に1段1段階段を登っていくように作られており、課題を終える頃にはある程度自走しながらコードが書けるようになります。 私もこの課題に挑戦し、先日課題を終えることができました。だいたい2~3ヶ月くらいかかったと思います。JavaScriptが全然わからない状態から、ここまで書けるようになるとは思っていなかったです。 JS課題はこちら 成果物　👈　README.mdに置いてます。 先を見越したコードを書く編 仕様が増えたときを想定する バリデーションを実装する課題でのレビューです。 名前のバリデーションでは、変数名を n

M1 macOS で arm64 native な python と numpy/scipy/matplotlib, Jupyter-lab など入れてデータサイエンスしたい. 現状だと x86 の時と同じやり方でインストールしようとすると, M1(arm64) の場合はコンパイルがコケたりなどしてうまく行きません (pip とか, macports 経由とかでインストールとか) 例えば altivec(みんな知っているかな!) コンパイルフラッグが clang 未サポートで numpy ビルドできないなどの issue があります. いずれ時が解決するでしょうが, 待つのもめんどいです. ソースからビルドするのはもっとめんどい. ぺろっとお手軽に Arm64 native なデータサイエンス環境セットアップしたいですよね. miniforge Apple Silicon, run Sci

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 OpenGL/Vulkan を使う Windows 10 グラフィックスアプリの画面を Linux PC などに転送したい 同じ部屋や, 異なる部屋にある PC 間で, イントラネットで使う(インターネットで外から繋ぐなどはしない) RDP だと OpenGL 2.x(?) までなので使えない. 追記: OpenGL/Vulkan 機能使えました. おまけ参照. Chrome Remote Desktop だと, 拡張入れるのが気になるし, 認証で一度 Google サーバに繋がないといけないのでめんどい. VNC を試します.

背景 レイトレやビジョン系機械学習(顔認識とか)で画像を出す + GUI がほしい. C/C++ で記述されたもの. ピクセルデータ(配列)から画像データが表示できること cross platform(Linux, Windows, macOS)対応 X11 で画面を飛ばして描画したいなどで, OpenGL を使わないようにしたい x11vnc とかだと画面全体を転送で遅い(=> 10GbE にすればある程度解決するかもだが?) ミニマルな構成 and 環境整備が楽であることが理想 いろいろ開発マシンを変えて開発したり, 各人の PC でも問題なくコンパイルできるように, すぐに環境整えられる or git sumodule で追加できるのが理想 cmake, meson でサクッと追加できる 候補 クロスプラットフォームで Software 描画で, そこそこ機能が充実しているものとして

背景 レイトレーシングや機械学習など, aarch64(arm64) linux のプログラムを書いていたり, ライブラリをビルドしていたりする 市販で入手しやすい Native 環境(e.g. Raspberry Pi 4, Android スマホ + termux や, Jetson AGX とか. だいたい aarch64 4 コア + 8 GB mem な環境) だとビルドが遅かったり, 並列ビルドすると out-of-memory になりつらいので, つよつよ host PC(Threadripper とか)で cross-compile でやりたい 特に embree-aarch64 で ARM のビルドだと, 同等の性能の x86 の 5~10 倍はコンパイル遅いような現象が出て辛い AWS とかでつよつよ ARM インスタンス借りる手もあるが, レイトレーシングなど画面に出

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 僕はもともとObjective-Cの時代からゲームを作っていました。 そして半年前からUnityでゲームを作るようになりました。 本記事では、この変更の理由とSwiftとUnityのテクノロジーの違いを書いています。 僕が使ったテクノロジーについて ここでは僕が使ってきたテクノロジーとそのテクノロジーを使わなくなった理由を書いていきます。 OpenGL2 ゲームと言ったら動的に動く物！ という理由で調べたところアニメーションなどに適しているのがOpenGLだったため、一冊の本を買ってOpenGLを学びました。 OpenGLをO

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事は、VISITS Advent Calendar 2019の21日目の記事です。 VISITS Technologiesでインフラエンジニアをしている@syogunです。 本日は、全社的にDatadogを導入したので、何をやったのか、何がよくなったのか等を振り返りたいと思います。 これから、Datadogを導入しようと考えている方に少しでも参考になればと考えています。 それでは参りましょう。 なぜ導入したのか？ 私が使いたかったからです！本気です。 弊社エンジニア @ham さんの スタートアップに転職して思ったこと にもありまし

概要 KubernetesでGitOpsを実現するツールであるArgo CDとKubernetesでblue/grennデプロイやカナリアリリースを実現するためのデプロイメントコントローラーであるArgo Rolloutsを使用して、カナリアリリースを実現する方法を２回に渡ってご紹介します。 今回はセットアップ編となります。 Arog CDのオフィシャルサイト https://argoproj.github.io/argo-cd/ 構成図 構成要素 GKE GCR ※今回は登場なし Cloud Build　※今回は登場なし Cloud Load balancer(ingress) GitHub argo cd argo rollouts 前提条件 Googleアカウントがあること GitHubアカウントがあること デプロイしたいアプリケーションがあること 今回は例としてオフィシャルサイトが

概要 Datadogの進化は早いですね。 今回は、Metric Correlationという機能についてご紹介です。 Metric Correlation について AWS Dashや夏のDatadogまつりMeetup でも紹介されていましたが、 「[レポート] 夏のDatadogまつりMeetup に参加してきました」によると 機械学習を活用し、異常が見られるメトリクスと同じ挙動しているメトリクスを探してくる（相関） とあります。便利そう。 使い方 2019/9/26時点では、まだBetaという位置付けです。 こちらのBetaリクエストページからリクエストすることが可能です。 機能が有効になると、相関関係を調査したいグラフのshow this widget in full screenボタンを押すと、 タブメニューにCorrelation Betaが追加されます。 使ってみた 今回は、

はじめに DockerをMacに入れた。Docker設定メモを書いて、Dockerに関しての知識が随分深まった。 はじめはdocker-composeを使ってサイトを構築してみる記事を書こうと思ったのだが、あまりにも簡単にできてしまったのでdocker-composeも含めた今まで得た知識をメモとして残しておきます。 この記事は僕のように全くDockerを使ったことがない人向けの記事です。 これからDockerで遊びたい方の役に立てればと思います。 前回の記事の書き直しになっている部分もあります。 Dockerとは？ Dockerの位置付けはVagrantなどと同じ仮想OSに近いポジションにいると思います。 しかし、大きく違う点としてDockerはイメージベースで駆動するため構築や(DockerHubを使用した)コピーが簡単にできるところにあります。 Vagrantとは違いプロセス内で実行

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

背景 Chainer で書かれた automatic portrait image matting のモデルを, ONNX にコンバートしてモバイルで動かしたい resize_images を pyramid pooling で利用している. onnx-chainer では resize_images のエクスポートに対応していなかったので, 対応しようとしたところ, resize_images(より正確には upsampling + bilinear 補間)の振る舞いが Chainer と ONNX で異なる(TensorFlow とも異なる)ことがわかった Chainer, ONNX, TensorFlow いずれもドキュメントでは bilinear 補間するとだけ書いてあり, 実際どのような bilinear 補間をするのかという仕様がありません. 実のところ, bilinear 補

最近Elixirを始めたての初心者Vimmerが「これは入れといた方がいいなー」と思ったプラグインを２つ紹介します。 vim-elixir 公式が作成しているElixirサポートプラグイン。 https://github.com/elixir-lang/vim-elixir 何が出来るかというと３つあり、 Elixirのシンタックスハイライト .ex .exs .eex形式のファイルタイプが検出可能に Elixirに合わせた自動インデント の３つが可能になります。 シンタックスハイライトはこんな感じに。 ただ、オムニ補完が効くようになるとどこかで見たのですが効いてないような気がします・・・ これについて分かる人いらっしゃいますでしょうか？＞＜ vim-mix mixに特化したプラグイン。 https://github.com/mattreduce/vim-mix mix全般に関することがv

最近、コードを書く環境をVisualStudioCodeに変えました。いろいろ便利な機能が標準であるようです。Pythonでコードを書いてて自動整形をしてほしくなったので、コードの自動整形を有効にしてみます。 「ファイル」→「基本設定」→「設定」と開く 検索窓からformatonで検索 以下のような表示がある Editor:Format On Type これにチェックを入れてください。すぐに変更が反映されるはずです。 結果：コード書くと整形される Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationWhat you can do with signing up

冬到来! RX470 と ROCm TensorFlow で GPU 機械学習をはじめよう! RX470 8GB mem mining 版(中古)が, 税込 6.5 千円ちょっとくらいで買えるので(2019 年 1 月 10 日時点), お手軽に試せるよ! 優秀な TensorFlow 小学生さまにおかれましては, お年玉で買えてしまいますね. RX470 mining 版はメモリが 8GB で機械学習を始めるのによいのですが, 画面出力が無いので, GPU 内臓の Intel CPU と組み合わせるか, 画面出力用に別 GPU で Linux をセットアップしておこう. 構成 Ubuntu 18.04(16.04 でも動くと思う) RX 470(8 GB mem, mining edition) メモリ 16GB or more Ryzen 2700X ROCm 2.0 https://

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 markdownを書くエディタとしてkobitoを使っていたけど、キーバインドが弱いのと、やたらエラーが多いのでやっぱりemacsで書くことにする。 要件 Emacs上でリアルタイムプレビューができること 出力されるプレビューは、githubのようなスタイルとする 自環境 Windows 10 GitBashをCmderで使用（GitBashの中身はmingw） Emacs 25 pandoc markdown-modeでは、プレビュー機能のためにmarkdown文書をhtml化するツールが必要。 インストールが楽なのでpandocを利用するものとする。 インストール pandocのwindows用インストーラーは https://github.com/jgm/pandoc/releases/latest からダウンロードできる。 デフォルトで c:/Users/<user>/App

+------------------+ includes | | JIT +------------+ +--------------+ | C++ app | <--+- | C++ code |<---| STL header | | | | +------------+ +--------------+ +------------------+ | | C header | | libClang | | +--------------+ +------------------+ | | | libLLVM(MCJIT) | | | +------------------+ | | | STL/libc runtime |----+--------------------------+ +------------------+ link 問題点 (既存のを含め) C++ コードをその

ピクシブ株式会社 Advent Calendar 2017 の 23 日目担当の syoichi です。 去年の 2 月にエンジニアとして入社しました。去年の Advent Calendar の時から変わらずプレミアムチームに所属しており、主に PHP / JavaScript / CSS で開発しています。直近では pixiv の決済基盤のシステムで Scala に触れる機会もありました。 さて、今回は現在各ブラウザーで開発中で、Edge で先行実装され、Firefox でリリースの目処が立ちつつある、Web Authentication API について簡単に調べてみました。 何ができるのか 端的に言うと、FIDO 2.0 に基いて、FIDO 対応デバイスによって指紋や顔などを照合する生体認証が Web から利用できるようになります。 活用例としては、生体認証によってパスワード無しで素