はじめに 2021年、Pythonで複数の暗号系ライブラリを開発してPyPIで公開してきました。その過程で、setuptools、flit、poetryと、幾つかのパッケージ管理をわたり歩き、GitHub上でのCI/CDも色々試す中で私的なべスプラが定まってきたので、2022年初に備忘録としてまとめておきます。 具体的には、pyenv、poetry、pre-commit、tox、GitHub Actions を活用し、低コストで（＝なるべく自動で）、高品質のプロダクトをPyPIにデプロイする方法・設定を共有します。個別のツールの記事はよく目にするのですが、開発ライフサイクル全体をカバーする記事がなかなか無かったので。 開発環境の整備 - pyenvで複数のPythonバージョンでの開発環境を整備 パッケージ管理 - poetry/pyproject.tomlでの一元的なパッケージ管理 静的
何年後かの自分へ こんにちは、のんピ(@non____97)です。 業務で使用する新しいMacが届きました。 新しいMacを初期セットアップするにあたって「今の設定どうだったっけ...」と調べる時間が結構かかってしまいました ということで何年後かの自分がまた新しいMacに乗り換える際に手間取らないように、設定した内容を書き記しておきます。 移行先のMacの情報は以下の通りです。M1 Max、嬉しい。 # OSのバージョンの確認 > sw_vers ProductName: macOS ProductVersion: 12.4 BuildVersion: 21F79 # カーネルのバージョン確認 > uname -r 21.5.0 # CPUのアーキテクチャの確認 > uname -m arm64 # CPUの詳細確認 > sysctl -a machdep.cpu machdep.cpu.
抜粋 : Release cadence - Amazon Linux 2023 メジャーリリースとマイナーリリースの内容は以下AWS公式ドキュメントに記載されています。メジャーリリース時には互換性があるか十分に検証した上でアップデートしましょう。 Major version release— Includes new features and improvements in security and performance across the stack. The improvements might include major changes to the kernel, toolchain, Glib C, OpenSSL, and any other system libraries and utilities. Major releases of Amazon Linux ar
はじめに 前提 ある日のこと ググってみる botocore、boto3 のバージョンを確認してみる 徐々に核心に なぜバージョン競合が発生するのか 原因まとめ 対応 おわりに はじめに サーバーワークスの宮本です。今回は本番運用していた AWS Lambda 関数が何も変更していないのに突然動かなくなった話を共有します。一見すると信じられない話ですが、最後までお読みいただけると幸いです。 前提 対象の Lambda 関数に関する基本情報（今回の話に関係ある部分のみ）は以下の通りです。 2023/01 に初回デプロイし、運用を続けていた ランタイムは Python3.9 依存ライブラリは Lambda Layer にまとめている 月に数回動かすようなバッチ処理 ある日のこと 4月某日のことです。当該 Lambda の実行でエラーが発生したことが通知されました。以下はエラー内容の抜粋です。
先日、LINE(現LINEヤフー)のNLP Foundation Devチームから日本語言語モデルが公開されました。(以降LINE LLMと表記します) 36億パラメータの日本語言語モデルを公開しました Instruction Tuningにより対話性能を向上させた3.6B日本語言語モデルを公開します でも「NVIDIAのGPUがないと動かないんでしょ」と、試していない人も多いんではないでしょうか。 そこでこのブログでは、MacでLINE LLMを動かす手順をまとめたいと思います。 Windowsや他のLLMでもほぼ同じ手順で動かせるはずです。 次のような手順で進めます。 pythonインストール ライブラリインストール 1.7Bのサンプルコードを動かす チャットインタフェースで1.7Bを動かす CTranslateによる3.6B llama.cppによる3.6B Pythonインストール
はじめに gRPCという言葉自体はよく聞いていたのですが、「RESTと同じような立ち位置なんだよね？何が違うの？」という状況だったので調べてまとめてみました。 モダンな技術を採用している企業では、既にサービスで当たり前のように活用されている技術ですので、gRPCの基本レベルで自信無い方は目を通してみてください。 gRPCとは gRPCはGoogle謹製のHTTP/2を利用したRPCフレームワークです。 Protocol Buffersを利用し、データをシリアライズして高速なRPCを実現します。 （Protocol Buffers以外も利用可能ですが、デファクトスタンダードとなっているため、本記事ではProtocol Buffersを前提に説明します。） protoファイルと呼ばれるIDL(Interface Definition Language)にAPI仕様を記述します。 また、IDLか
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
みなさま、こんばんわ。梶松です。 タスクに追われ、更新が不定期ですが、梶松は元気です。 最近は7payの1件などで世間は大騒ぎですね。 この件に限ったことではありませんが、セキュリティは仕事もプライベートも意識していきたいものです。 さて、前回の”pythonでsambaにアクセス！”の記事から24時間も立ってませんが、今回はansibleという構成管理ツールを使用して自動化を実施していきます。 Ansibleについて Ansibleとは? なんてググれば星の数ほど記事が出てきますが、簡単にどんなものか記載します 突然ですが、大量のサーバ群に対して多量の作業を短時間で実施する必要が出た場合、どうしますか? 量も時間的制約も関係ねぇ、気合いで乗り切るぜ！と人力で実施します? その場合オペミスはもちろん、作業にかける時間等も懸念点としてあげられます。 もちろん、俺はエンジニアだぜ?スクリプトを
はじめに データアナリティクス事業本部のkobayashiです。 Pythonを使って開発を行っていると、AWSのリソースを扱う際にはboto3でしたりデータ解析を行う場合はPnadas,Scipyなど様々なパッケージを使っているかと思います。 今回、その利用しているパッケージの依存関係やパッケージを調べる機会があったのでその方法をまとめたいと思います。 環境 Python 3.7.4 pipdeptree 1.0.0 pip-licenses 2.2.1 パッケージ依存関係とライセンスを調べるツール 今回使用したツールは以下になります。どちらのツールもきちんと継続的にメンテナンスされており、pipでインストールできるのでこれらを使いました。 パッケージ依存関係をツリーで表示するツール pipdeptree · PyPI pipでインストールしたPythonパッケージを依存関係ツリー形式で
序論 本稿は 元市役所職員がWEBプログラマに転職するまでのロードマップ の連載記事の一部です。 まだ、WEBプログラマに転職してから2年も経過していない素人であるため、色々と間違っていることを書いていたりするかと思います。 その際はお手数ではございますが、ご指摘いただければ幸いでございます。 仮想化技術 WSL2やDockerの開発環境を構築する前に、仮想化技術について簡單に触れておきます。 仮想化技術には大きく以下の3種類があり、いずれも「隔離されたアプリケーション実行環境」を提供するものです。 ホスト型 ホストOSの上に別のOS（ゲストOS）をインストールする仮想化技術 ゲストOSをそのまま仮想環境にインストールするため、ある程度の再現性が担保されている ディスク容量やメモリ使用量が大きい、動作が重い・不安定などの欠点がある ハイパーバイザ型 ハイパーバイザとはホストOSそのものを仮
WSL2 上の Ubuntu での NVIDIA CUDA ツールキット, NVIDIA cuDNN, PyTorch, TensorFlow 2.11 のインストールと動作確認（Windows 上）
WSL 2 の Ubuntu 22.04 で GPU, TensorFlow, PyTorch を動かすための準備を説明する． 内容は，次の公式ページによるが，一部変更などを行っている． https://docs.nvidia.com/cuda/wsl-user-guide/index.html#abstract GPU, TensorFlow, PyTorch を使いたい，そして，手元に Windows マシンはあるのだけど，Ubuntu で動かしたい（Ubuntu でしか動かない）というときに便利． （WSL 2 のインストールについては: 別ページ »で説明） ソフトウェア類の利用条件は各自で確認すること． 【目次】 前準備 PyTorch のインストール TensorFlow 2.11, numpy, pillow, pydot, matplotlib, keras, opencv
PandasやNumPyの並列処理だったり、メモリに乗り切らないデータを扱う際などによく見かけるDaskライブラリ。 ただ、細かいところまで触れている日本語の資料があまり無かったので、公式ドキュメントなどをしっかり読んでみてまとめてみました。 ※Daskのドキュメント既に読まれている方はご存知かと思いますが、ドキュメントがかなりのボリュームなのと、細かい所まで把握するのを目的とするため、本記事も長めです。仕事などの都合でさくっと使われたい方には向いておりませんので、そういった場合は別の記事をご参照ください。 どんなライブラリなのか Pythonで並列処理・分散処理などを簡単に扱ってくれる。 Pythonでよく使われるライブラリとかなり近いインターフェイスを提供している（NumPy、Pandas、Scikit-Learnを中心に、他にもTensorFlow・XGBoostなども）。 必要な場
いいものを見つけてしまいました。 " code-server " というオープンソースのアプリです。 Visual Studio Code のクローンで、サーバーサイドで動作して、Webブラウザ経由で使用できるコードエディタです。 なので、まんま Visual Studio Code なんです。 これが、LinuxをインストールできるChromebookと相性が良すぎた。 前回記事で、 Visual Studio Codeのインストールの仕方を紹介いたしましたが、使えないほどではないが、やや重いなと感じた方は、 " code-server " をオススメいたします。 Microsoft の クラウドサービス Visual Studio Codespaces (以前の Visual Studio Online) というのが存在しますが、これを自前のサーバーで実現できるイメージと考えて良さそう
テーブルデータを扱う上で押さえておきたいPythonライブラリの基礎をご紹介します。これからPythonを学びたいという方におすすめです。 今回は、テーブルデータを扱う上でのPythonライブラリをご紹介します。 本記事の読者は、以下のような方を想定しています。 ・Python初心者 ・Pythonでデータサイエンスをしたい方 ・RとPythonのコードの違いに興味があるという希有な方 当てはまる！と思われた方はぜひご覧ください。 ※本記事の関連記事として、後日「画像解析編」「自然言語処理編」を公開予定です。 (1)Pythonのライブラリとは Pythonを学び始めるとライブラリとパッケージという言葉が混在していますが、この二つを厳密に区分することは、あまり重要ではありません。 ライブラリ、パッケージいずれにしても、何かをするための関数の集合体として捉えたほうが混乱しません。例をあげると
AWS-CLIの初期設定のメモ - Qiita
# pythonのバージョン確認 (Python 2.6.5+ or Python 3.3+ ) $ python --version # pipインストール # ※ --user で、pipのスクリプトを ~/.local/bin にインストール $ curl -O https://bootstrap.pypa.io/get-pip.py $ python get-pip.py --user $ echo export PATH='~/.local/bin:$PATH' >> ~/.bash_profile $ source ~/.bash_profile $ pip --version # aws-cliインストール # ※ --user で、pipのスクリプトを ~/.local/bin にインストール $ pip install awscli --upgrade --user $
はじめに M5Stackを手に入れたはいいけど、そこからどうしたら良いかわからないという方を対象に環境構築の方法を簡単に説明したいと思います。 基本情報 開発言語 Python (pSRAMを使用可能なloboris版 MicroPythonベース) MicroPythonドキュメント LoBo_MicroPython Wiki Arduino / C / C++ Arduino 言語リファレンス ESP-IDF プログラミングガイド それ以外(Lua, mruby など) 本記事では割愛 開発環境 オンライン UiFlow (Python) M5Cloud (Python) オフライン PlatformIO (Python, Arduino, 他) Arduino IDE (Arduino) ESP-IDF (C言語) 全環境共通作業 まずシリアル通信用のドライバを入れる必要があります。
Amazon Web Services ブログ AWS Data Wrangler v1.0がリリースされました 2019年9月、当ブログでもご紹介したAWS Data Wrangler(以下、Data Wrangler)のv1.0がリリースされました。 以前紹介したときと比べて、主にAmazon Redshift(以下、Redshift)・AWS Glueデータカタログとの連携強化、その他Amazon EMR・Amazon CloudWatch Logsとの連携が追加されており、全体的により使いやすくなりました。v1.0になったことに伴い、改めて「AWS Data Wranglerとは？」および「簡単なチュートリアル」についてご紹介します。 (*)ブログ下段に、2019年9月のブログ投稿以降に追加された主要アップデートのサマリーを記載しています。 AWS Data Wranglerとは？
一つのOS上で複数バージョンのPythonを切り替えるためのツール、venv +pyenvのメモです。2020年の今、Pythonバージョン3.3以上しか使うことないだろうということで、個人的に venv +pyenvの組み合わせがシンプルで良いかと思います。本投稿では venv +pyenvの役割、導入手順および使い方を整理します。余裕があればpoetryについても触れたいと思います。 前置きが長くなっていますので、venv + pyenvでの仮想環境構築だけ見たい方は導入と使い方、もしくは最後だけ見ればいいかもしれません 実行環境： macOS Mojave モチベーションと用途の整理 1.パッケージ環境の切り替え 2.Pythonバージョンの切り替え venvとpyenvの用途 なぜvenv + pyenvか 導入と使い方 venvの導入 venvの使い方 1.プロジェクトごとに仮想
【プロキシ対応】Docker Desktop for Windowsを使わず、WSL2 / Ubuntu に apt で Docker を入れる - 砂漠の旅人(たびと)
こんにちは、たびとです。 Docker 初心者の頃、既存の WSL2/Ubuntu 環境に Docker Desktop for Windows をインストールし、Docker コンテナを構築するといったよくある使い方をしていました。 しかし、業務で使い込んでいるうちに思わぬ事故に何度も遭遇しました。このままでは実用には耐えられないなと思い、WSL2/Ubuntu 環境に直接 Dokcer をインストールしてみました。 この記事の対象者 Docker Desktop for Windowsを諦めた理由 Docker Desktop for Windows採用 トラブル連発 そして Docker Desktop for Windows を諦めた WSL2/Ubuntu の準備 (20.04 or 22.04) Ubuntu 版 Docker のインストール アップデート確認 Dockerに必
WSL2 Ubuntu に Docker 導入(Docker Desktop for Windows に変えて) - A Memorandum
はじめに Convenience Script を利用したインストール インストールに必要なパッケージ導入 docker パッケージリポジトリの登録 dockerEngineのインストール docker デーモンの起動 docker コンテナの実行 一般ユーザで docker コマンドを利用する docker-compose のインストール docker デーモンの起動 はじめに Docker Desktop for Windows の代替として、WSL2 上の Ubuntu-20.04 に docker を導入する手順です。 short version は以下となります。 # 事前準備 $ sudo apt update $ sudo apt install -y apt-transport-https # dockerパッケージリポジトリ追加 $ curl -fsSL https://
TLSv 1.3 に対応している curl を Mac にササッとインストールしてみた | DevelopersIO
コンバンハ、千葉（幸）です。 Mac プリインストールの curl で--tlsv1.3オプションを使おうとしたところ、以下のメッセージが表示されました。 かなしいメッセージ curl https://cafe.classmethod.jp/ --tlsv1.3 curl: (4) LibreSSL was built without TLS 1.3 support curl: (4) LibreSSL was built without TLS 1.3 support TLS 1.3 で確認を取りたい用途があったため、新たに curl をインストールして対応しました。 対応自体はすんなり終わったのですが、せっかくなのでメモを残しておきます。 先にまとめ ひと昔は大変そうだったが、今だったらbrew install curlを実行するだけでOK。 インストール前の状態 Mac の情報はこち
conda info 今自分が動かしている環境名とcondaやpythonのバージョンなどを確認することが出来ます。 # 動作例 conda info active environment : blog active env location : C:\Users\USERNAME\AppData\Local\Continuum\anaconda3\envs\blog shell level : 7 user config file : C:\Users\USERNAME\.condarc populated config files : C:\Users\USERNAME\.condarc conda version : 4.8.3 conda-build version : 3.18.9 python version : 3.7.4.final.0 virtual packages :
Ubuntu 16.04.6 LTS (GNU/Linux, x86_64) のGPUマシンの設定・TF1.13.1 / CUDA10.0 / cuDNN7.4.2 - 閃き- blog
- 最終更新：2019/11/07 クリーンブートしたUbuntu16.04LTS マシンに，NVIDIA GPUを導入し，CuDA・cuDNNをセットアップしました． おもにtensorflow-gpuを使うためです．導入過程で色々とつまづいたので，得た知識をこのポストにまとめておきます． 実行環境 1. OS 2. HDD 2.1. HDDデバイスの確認 3. メモリ 3.1. メモリデバイスの確認 3.2. 仮想メモリの状態確認 4. CPU 4.1. CPUデバイスの確認 5. GPU 5.1. GPUデバイスの確認 5.2. NVIDIA ドライバ 5.3. CUDA 10.0をマシンにインストール 5.4. cuDNN 7.4.2をマシンにインストール 5.5. cuDNNの動作確認 5.6. cuDNNの確認 5.7. cuDNNの保存場所 5.9. CUDA（/usr/lo
自宅のRaspberry Piを再構築したのでメモです。既存のRaspberry Piのスクリプト関連はGitHubにあったものの、環境関連の情報が何も残っていなかったので新規に記事に起こしています。（文章にした記憶はあるものの見つからず） 完全に自分用なので、本来ならば別の記事に分けたほうが良いものも多数あり、読みにくいと思いますがご了承ください。 また、そもそもGUIいらなかったのではないかとか、先にSSH設定して全部母艦からやればよかったのではないかとか、色々ありますがその辺りは次回構築時に改善していく予定、（いつ？） （GUIについては、以前CUIでWifi設定に手こずったのが、一瞬でできたのでそれだけでも入っていてよかったと思う。） ※随時更新予定（最終更新 : 2020/06/16） 環境 Raspberry Pi 3 Model B Raspberry Pi Imager v
【全CLIアプリGUI化計画】TauriでTypeScriptやRustからCLIアプリを呼び出す - Qiita
本記事は上司「オンプレでチャットAI作って」 - Qiitaの続きにあたる記事です！ 同記事では、PythonでRinna社提供のLLM rinna/japanese-gpt-neox-3.6b-instruction-sft を動かすことで、ローカルで動作する対話AIソフトを作成し、PyInstallerによって実行ファイル化した話までをしました。ここまではCLI (コマンドラインインターフェース)1 のお話でした。 本記事では下記GIFのように、CLIアプリをTauriから呼び出して使用することで、GUI (グラフィカルユーザーインターフェース) アプリへと変化させる方法を解説します！ リポジトリ: https://github.com/anotherhollow1125/rinna_gpt リリース: https://github.com/anotherhollow1125/rinn
Windows10でWindows Terminalを設定し、AWS CLIv2をインストールするまでの手順を公開します。 DA事業本部コンサルティングチームのnkhrです。入社して新しいPCの設定を行ったので、手順を公開します。 Windowsでの開発環境設定は、Microsoft公式ドキュメントに役割ごとの開発環境マニュアルがあるので参考になると思います。 このブログでは以下の設定を記載しています。 Windows Terminal設定 PowerShell7のインストール TerminalでのPowerShellの外観カスタマイズ (PowerLineの設定) WSL (Ubuntu)のインストール Pipenvの設定 (Pythonのパッケージ管理・仮想環境管理ライブラリ) vim for windowsのインストール AWS CLIのインストールと設定 Windows Termi
Google Cloud SDK をAmazon Linux 2環境にインストール(スクリプトベース＋検証コード利用) | DevelopersIO
個人的Google Cloud SDK導入備忘録 第2弾。当エントリではAmazon Linux 2環境にGoogle Cloud SDKを導入する手順について見ていきたいと思います。前エントリ同様、専用スクリプトを使って導入する方法です。 gcloud コマンドライン ツールの概要 | Cloud SDK のドキュメント | Google Cloud Google Cloud SDK のドキュメント | Cloud SDK | Google Cloud Google Cloud SDKインストール手順 in Amazon Linux 2(スクリプトベース＋検証コード利用)：実践 まずは導入環境を用意。Amazon Linux 2環境をサクッと構築しておきます。 $ ssh -i gcp-xxxxxxxxxx.pem ec2-user@xx.xxx.xxx.xx Last
【2023年10月】Ubuntu + Mirakurun + EDCB-Wine + KonomiTV (px4_drv + recisdb + ISDBScanner) でパパッと Linux 録画鯖構築の手引き
またまたお久しぶりです。録画関連の記事書いたのいつ以来だろう…。 訳あって、最近 Linux 環境の録画サーバー構築を手軽にできるような諸々の調整をいろいろ進めています。ただまとまった情報を書いていないこともあってかさほど使われていないようなので、ざっくりコマンドメモ程度にまとめておきます。 文章を懇切丁寧に書くのがだるかったのでビギナー向けになっているかは微妙ですが（さすがに Linux で録画鯖組もうなんて輩に PC 初心者レベルの人はいないやろ…）、大半のパッケージを Debian パッケージ化したりやチャンネルスキャンと設定ファイルの生成を完全自動化したことで、今まで一般的とされていた手順よりも大幅に簡略化されています。 インターネット上に数ある Linux での DTV 環境構築記事の中でも、今のところ一番無難で手軽でクリーンでミスらない手順になっているのではないでしょうか（私調
こんにちは、データアナリティクス事業本部インテグレーション部コンサルティングチーム・新納（にいの）です。 Pythonを使ったLambda開発環境をCloud9で構築する機会がありました。PythonのバージョンやAWS CLIでちょっとした躓きポイントがあったので備忘として対応手順を残します。 AWS Lambdaで使用されるPythonバージョン確認（2022/7/6時点） Cloud9で開発を行うにあたり、Lambda関数を作成するのに使用するPythonのバージョンと合わせておきます。まずはAWS Lambdaで使われているバージョンの確認を実施します。Lambda関数の作成時にランタイムをPython3.9に指定できますが、マイナーバージョンも含めた正確なバージョンを把握する目的で調査用のコードを実行します。 Lambda関数の作成 AWSマネジメントコンソールからAWS Lam
OpenSSL 1.1.1 が必須なPython 3.10.x をAmazon Linux 2 にインストールする - サーバーワークスエンジニアブログ
どうも! swx-ochiai です。 Python 3.10.x をAmazon Linux 2 にインストールします。 ただし、プリインストールのOpenSSLバージョンが 1.1.1 未満の場合、インストールに失敗します。 そのため、この記事では、ハマりやすいポイントを取り除くためインストール方法をまとめました。 なお、表示されるバージョンおよび手順は執筆時点（2022/5）時点のものです。 紹介するインストール方法 なぜこの方法を紹介するのか yum の場合 : Python 3.7.10 amazon-linux-extras の場合: Python 3.8.5 Python 3.10.x インストール手順 構築例の環境 事前準備 : OpenSSL 1.1.1 のインストール 1. OpenSSLのバージョン確認 2. OpenSSL 1.1.1 をインストール 3. Open
最近、AWSと合わせてGCPにも触れる機会が増えてきました。とは行っても弊部署内(データアナリティクス事業本部)でのお話なのですが、プラットフォームが変わってくるとサービス1つ、機能1つ、コマンド1つ取ってみても勝手が違うところが出てきますので実際に少しずつ触ってみないと分かりません。個人的にはGCPは全く触れていませんでしたが、違いを把握して手順を身に付けるための備忘録として基本的なところからインプット＆アウトプットして行こうと思います。 まずはGoogle Cloud Platform でのメインCLIツールとなるgcloud コマンドライン ツールの導入からやってみたいと思います。導入出来る環境は幾つか用意されており、当エントリではMac OSXへのインストール手順について実際にやった手順を紹介します。 gcloud コマンドライン ツールの概要 | Cloud SDK のドキュ
Pythonを使う方で、Anacondaを使う方は多いのではないでしょうか？ Anacondaとは、データサイエンス用のPythonパッケージをまとめたPythonディストリビューションです。Anacondaをインストールすると、「Python本体」+ 「データ分析に必要なパッケージ」がインストールされるので、面倒な環境構築を行う手間が省けます！ Anacondaをインストールするとcondaコマンドが使えるようになります。このcondaコマンドを使うとことで、パッケージのインストールや仮想環境の構築ができるようになり、とても便利です。 とても便利なcondaコマンドですが、色々なことができるが故に、使い方を全てを覚えるのがとても大変です。 そこで今回は、結構頻繁につかう(と個人的に思っている)condaコマンドを紹介していきたいと思いますので、辞書代わりに見てください！ Anaconda
WSL（Windows Subsystem for Linux）のターミナル比較とcygwin/Dockerとのベンチマーク
WSL（Windows Subsystem for Linux）のターミナル比較とcygwin/Dockerとのベンチマーク こんにちは。tocci3です。 Windows 7のサポート終了に伴い、会社のデスクトップマシンをWindows 10に移行しました。 最近移行された方も多いのではないでしょうか？ いままでは手元のUNIX系OSの実行環境としてcygwinを使ってきたのですが、Windows 10で対応したWSL（Windows Subsystem for Linux）をインストールしてみました。 導入に関し、少し悩んで試してみたこと、 WSL（とcygwin）を使うにはどのターミナルが使いやすいか？ Windows上のCUI・UNIX系OSの実行環境として、WSL/cygwin/docker（とWindows 10ネイティブも） のどれを使えばいいか？ （bash/python/
前書き お久しぶりでございます。Scalaでバックエンドを開発しているaxtstar(@axtstart)です。 ずいぶん昔になりますが、OracleDBでアプリ開発をしていたころ、DBの中でデータが（なぜか）バイナリで格納されていて、そのビット演算を行いながら検索するみたいな案件をやったことがあります。はじめはアプリサイドからSQLで頑張って演算していたのですが、あまりにも遅くて、結局OCI(Oracle Call Interface)を利用して、C++でバイナリを扱うように書き換えたら激的に速度が改善したことがありました。 今回ふと思い立ち、Postgresqlってそういうことができるのかしら？と思い至り今回のブログ担当を利用して検証してみることにしました。 なので、（確実に）プロダクション環境で実施するのははばかられるような内容ですのでご注意下さい。 使用できる言語は... ちなみに
はじめに こんにちは、検索基盤部 検索基盤ブロックの可児（@KanixT）とSRE部 ECプラットフォーム基盤SREブロックの大澤です。 本記事では、ZOZOTOWNの商品検索で利用しているElasticsearchをバージョンアップした知見と、その際に実施した検索基盤の改善についてご紹介します。 目次 はじめに 目次 背景 バージョンアップの流れ 主な作業 変更箇所の調査 新バージョンのMappingやQueryなどの調査 Deprecation logsが有効になっていることの確認 バージョン7.16.0でタイプ（type）を利用 Javaクライアント LTRプラグインのバージョンアップにともなうJavaのバージョンアップ 特徴量キャッシュの機能がマージされた Javaクラスファイルのバージョン確認方法 Elasticsearchクラスタのコード管理化 IaC方法の選択 Terrafo
pyenvを使おうと思って公式見たらpyenv-win使えと書いてあった。 If you're on Windows, consider using @kirankotari's pyenv-win fork. (pyenv does not work on windows outside the Windows Subsystem for Linux) 使い方も含めてメモ pyenvとは Pythonのバージョンを切り替えるツール それ以外の事をしないというのが混乱しないためのポイント。 ライブラリ管理的な事もできるようだが、そちらはPython公式がサポートしているvenvを使用する この記事の最後に書いた。 前提 python（pip）がインストール済み インストール 詳細はpyenv-winのGitHubをみてください。 install pip install pyenv-win
MkDocs+GitLab-CI+wkhtmltopdf でドキュメント更新作業の煩雑さから解き放たれる｜Mars
マニュアルの管理運用をやってるのですが、WORD だったり PPT だったり Sphinx だったりで作った資料をGドライブに格納して社外向けに配るときは PDF を zip してパスかけて BOX にあげて共有用 URL をメールで送って、解凍パスワードを別送するとかもう嫌だ！ と思ったので、これからのスタンダードはこれにすると決めたときにやったこと。 🍄 前提Windows 利用者向け 🍄 MkDocs を使える環境を整えるMkDocs は markdown 形式で簡単にドキュメントが作成できるツール。無料です。 python がいります。2.x 系でも 3.x 系でも。なければインストールを。 $ python --version Python 2.7.12pip で mkdocs をインストールするので、存在しているか確認。 $ pip --version pip 9.0.1
サイトマップ
金子研究室ホームページサイトマップ． 金子研究室ホームページでは，約2000ページを公開している．ページは，データベース関連技術，データの扱い，インストール，設定，利用，プログラミング，サポートページ，連絡先，業績に分けて構成している．サイトマップでは，ホームページ内の全てのページについてのサイトマップを示している． 【サイト構成】 人工知能 ３次元，地図 プログラミング 情報工学全般 インストール データ処理 支援 連絡先，業績など 金子邦彦研究室 ▶ サイトマップ ▶ サイト内検索 ▶ アクセスログ（直近28日分）, Google Search Console ▶ まとめページ（目次ページ） ▶ 人工知能応用，データ応用，３次元のまとめ ▶ Windows のまとめ ▶ Ubuntu の使い方 ▶ Python のまとめ（Google Colaboratory を含む） ▶ C/C++
はじめに（2022年1月アップデート版） Homebrew でPython３をインストールする。 実行環境 Homebrew で、Python３ をインストールする Pythonパスを確認する 次にやること・・・パスの優先度の変更 /opt/homebrew/binのエイリアス名を変える まとめ Python インストールの関連記事 はじめに（2022年1月アップデート版） Homebrewで、Python３をインストールする際の諸設定をまとめてみました。 この記事では、Anacondaを使わずに、 Homebrewでインストールして、ターミナル上から、Python3をPyhonコマンド、pip3をpipコマンドとして使うことを目指しています。 Python系のIDEは重たくて使いたくないという人や、非Anaconda派に向けて書いています。 実際、私は、PythonもRStudio上でコ
はじめに AWS Lambda を使ってサーバレスな環境での処理を実施出来るのは良いが、毎回 AWS マネジメントコンソール からメンテナンスするのも億劫だし、できれば Lambda 関数のコードは Git 等で管理したい。 というわけで、Lambda 関数のコードはローカルでメンテナンスを行い、AWS CLI を使ってデプロイする方法について見ていく。 前提条件 本記事における前提条件は以下の 4 点。 デプロイ対象の Lambda 関数がすでに存在していること つまり aws iam create-role でロール作成を事前に行うのではなく aws lambda create-function で Lambda 関数を作成するのでもない 既存の Lambda 関数に対する 更新 を行うことが目的となる AWS CLI がインストールされていること AWS CLI を実行するためのユー
![[AWS] Lambda 関数を AWS CLI を使ってデプロイする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bbbc123f28c6ed795e632d6e6bd01d7d2ec52207/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwTGFtYmRhJTIwJUU5JTk2JUEyJUU2JTk1JUIwJUUzJTgyJTkyJTIwQVdTJTIwQ0xJJTIwJUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgzJTg3JUUzJTgzJTk3JUUzJTgzJUFEJUUzJTgyJUE0JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1hYjU5ODhhNDg1Y2M2OWE2M2ExNzQ0ZThjMDIwZmU0MA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrc2gtZnRociZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NWNiYmU4YzBkNjRjZGNhMDdjM2NmOWE0Y2I3MDQ3ZTY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Db129e575478ccb548d6825498641b4a8)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでの開発・CI/CDの私的ベストプラクティス2022
ぼくのMac環境 ver.のんピ | DevelopersIO
Amazon Linux 2023がGAされました | DevelopersIO
Lambda関数が突然動かなくなった話 - サーバーワークスエンジニアブログ
LINE LLMをMacで動かす - きしだのHatena
いまさらだけどgRPCに入門したので分かりやすくまとめてみた - Qiita
全部めんどいけんAnsibleで自動化しよ？❤️ | 奴隷インフラエンジニアの日常
Pythonパッケージの依存関係とライセンスを確認する | DevelopersIO
WSL2 + Ubuntu 20.04 + Docker 開発環境構築 - Qiita
PythonのDaskをしっかり調べてみた（大きなデータセットを快適に扱う） - Qiita
Chromebookには、VS Code より code-server がオススメ｜DigZero
【データサイエンス入門】Pythonでテーブルデータを扱いたい人のためのライブラリまとめ | 宙畑
M5Stack 入門 環境構築編 (主にMac向け) - Qiita
AWS Data Wrangler v1.0がリリースされました | Amazon Web Services
Python:venv + pyenvでの環境構築 - 無粋な日々に
condaでバージョン確認、インストール、アップデート - deepblue
自宅Raspberry Pi再構築メモ - 山ｐの楽しいお勉強生活
WindowsPC開発用の初期設定～AWS CLIインストールまで～ | DevelopersIO
Cloud9でPythonを使ったLambda開発環境の構築をする | DevelopersIO
Google Cloud SDK をMac OS X環境にインストール | DevelopersIO
【Anacondaの使い方】よく使うcondaコマンド一覧【チートシート】
SQLからC言語を呼ぶ方法 ～MeCab編～ - astamuse Lab
Elasticsearchのバージョンアップと検索基盤の改善 - ZOZO TECH BLOG
Windowsでpyenv（pyenv-win） - 山ｐの楽しいお勉強生活
Homebrew を使って、Python 3.9 をインストールしたときの設定諸々 〜インストール先が「/opt/homebrew/bin」になってるよ！！〜 - 京橋のバイオインフォマティシャンの日常
[AWS] Lambda 関数を AWS CLI を使ってデプロイする - Qiita