Contents Command Line Interface Guidelines An open-source guide to help you write better command-line programs, taking traditional UNIX principles and updating them for the modern day. Authors Aanand Prasad Engineer at Squarespace, co-creator of Docker Compose. @aanandprasad Ben Firshman Co-creator Replicate, co-creator of Docker Compose. @bfirsh Carl Tashian Offroad Engineer at Smallstep, first e
PCで再生中の音声をWhisperでリアルタイムに文字起こしする - TadaoYamaokaの開発日記
PCで再生中の音声をリアルタイムで文字起こしできると、字幕機能がない動画の再生や、外国とのオンライン会議で便利である。 先日、OpenAIが公開したWhisperは、音声ファイルから文字起こしするするツールが提供されているが、リアルタイムで処理するツールは提供されていない。 そこで、Pythonスクリプトで、リアルタイムで文字起こしするツールを作成した。 ループバック録音 SoundCardを使うと、PCで再生されている音声を録音することができる。 pip install SoundCardでインストールする。 import soundcard as sc with sc.get_microphone(id=str(sc.default_speaker().name), include_loopback=True).recorder(samplerate=SAMPLE_RATE, chan
はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
日々のExcel管理を効率化するPythonスクリプトをChatGPTに作ってもらう - Taste of Tech Topics
最近は朝型にシフトしてウォーキングを始めました。菅野です。 皆さんは日々の業務でどれぐらいExcelを用いているでしょうか？ 表計算ソフトであるExcelですが、計算のみならず、グラフ描画や、文章を表形式でまとめたり、マニアックな使い方ではアニメーションの作成までできてしまいます。 エンジニア以外の方も業務で使用することが多いのではないでしょうか？ しかしながら、業務上でExcelを用いると、日々の煩雑な作業が多くなりやすい印象です。 エンジニアであればVBA等を調べてマクロを作るといったことも可能ですが、一般の人にはハードルが高くなってしまいがちです。 今回はそんなExcelを用いた業務をChatGPTにPythonスクリプトを作ってもらうことで効率化してみましょう。 今回のテーマではGPT-4のモデルを使用します。 また、CodeInterpreterで対象のExcelファイルを読み込
【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】 - Qiita
【誰でも簡単ChatGPT、GPT-4 利用】Azure OpenAI Serviceを使ってみた with LINE Bot【Azureでより安心・安全にAI機能が使える】ChatGPTAzureOpenAIServiceGPT-4MicrosoftAIAOAI こんにちは、もっちゃんと申します。 今AIの快進撃が続いておりますね！2000年代に第三次AIブームが始まってからはや十数年、ここ数年の進化のスピードは眼を見張るものがあるのではないでしょうか。そしてその話題の中心となっているのがOpenAIやMicrosoftなどが開発を行っているChatGPT,GPT-4といった大規模言語モデルです。 特に今年に入ってからは本当にあまりにも各所でアップデートが巻き起こっていてついていくのに必死な状態ですよね（笑） また、情報を追うのと同時に実際に触っていくことも大事ですので、今回はAzure
背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどのモデルがJOINできて、JOINする際のキーはこれを使って」というER図で扱うような可視化はディフォルトではできません。 DWHを作っている側からすると「このテーブルはあの辺のテーブルと一緒に使うと便利で、いつもあのキーでJOINして」というのが頭の中に入っていることが多いため、ER図がなくてもどうにかなることも多いでしょう。しかし、分析に慣れていない人や分析に慣れている人であっても、普段と異なるドメインのテーブルを触るときはER図が提供してくれる情報は有用です。ちなみに
前回の記事から約4年3ヶ月ぶりの投稿です... 定期的に文章を書かないと書けなくなってしまうので何か書かなければ...と思っていたら、ちょうどタイミングよくアドベントカレンダーの季節だったので 防災アプリ Advent Calendar 2022の7日目として参加させていただきます。 現在、日本からオーストラリアにかけての上空に「みちびき（初号機〜4号機、初号機後継機）」と命名された準天頂衛星(quasi-zenith satellites)が4機（待機運用中の初号機も合わせると5機）飛んでいます。 この衛星を利用した準天頂衛星システムみちびき(QZSS)は既存のGPSやGLONASSといった衛星測位システムを補完し、常時1機は日本から高仰角で見通せる位置に滞空するように設計されています。 高層ビルの多い都市部や山間部において低仰角を飛んでいるGPSをうまく捕捉できない場合でも高仰角を飛ぶ
ソーシャル経済メディア「NewsPicks」で推薦や検索などのアルゴリズム開発をしている北内です。Pythonは頻繁に新機能や便利なライブラリが登場し、ベストプラクティスの変化が激しい言語です。そこで、2024年2月時点で利用頻度の高そうな新機能、ライブラリ、ツールなどを紹介したいと思います。 この記事では広く浅く紹介することに重点を置き、各トピックについては概要のみを紹介します。詳細な使用方法に関しては各公式サイト等での確認をおすすめします。なお、本記事ではOSとしてmacOSを前提としています。 環境構築 Pythonの環境構築はpyenvとPoetryの組み合わせがもっとも標準的でしょう。 以下の手順でpyenvとPythonをインストールできます。 brew install pyenv # Bashの場合 echo 'eval "$(pyenv init -)"' >> ~/.ba
1.はじめに 最近、Twitterで「謎の技術で高画質化された画像」なるものがタイムラインにいくつか流れてきて興味が湧いたので、機械学習の勉強がてら画像の高画質化の方法を、僕のように「理屈無しで手っ取り早く機械学習に触れたい！」という人に向けて備忘録としてここに残しておくことにしました。 謎の技術でこれを高画質にするのは草 pic.twitter.com/HeBB7J8Q7D — koboのようなもの (@cinnamon_kobot) February 14, 2020 謎の解像度をあげる技術で僕らのぼっさんが高解像度に！！！ pic.twitter.com/cjB0MM8Oqu — ろありす (@roaris) February 15, 2020 2.実行環境の構築 今回、この手の機械学習でよく用いられる「pix2pix」を使用しました。pix2pixはGANを用いた画像生成アルゴリズ
概要 Google翻訳APIをPythonで実行するでは、四苦八苦しながらも、Google翻訳APIにより、テキストファイルに書かれた英文を日本語に翻訳するPythonスクリプトを書いた。 元々の動機は論文の翻訳する際に、ちまちまGoogle翻訳にコピペするのが面倒くさいということであった。 そこで今回は、Pythonスクリプトを拡張し、PDFの論文を一気に翻訳するようにしたので共有したい。 そもそもなんで日本語に翻訳して論文を読むの？ もちろん、細かい内容は原文を精読する必要がある。そりゃそうだ。 日本語で読む理由はなんといっても、論文の内容を俯瞰的に把握できるということに尽きる。 俯瞰的に把握できることで、以下のメリットがある。 俯瞰的に把握した上で原文を読むことになるため、より早く理解することができる。 俯瞰的に把握できるため、原文を読む前に、自分にとって読む必要がある論文かどうかか
ChatGPTプログラミングのすすめ
ChatGPTなどの大規模言語モデル (Large Language Model; LLM) にプログラミングやリファクタリングをさせる場合、目的に合ったものが作られているかを何らかの方法で検証する必要がある。 プログラムの正しさを完全に保証する方法はないが、ある程度の正しさを継続して担保するための方法を探ってみたので以下にまとめた。 ポイントは、ChatGPTの生成したプログラムの検証にもやはりChatGPTの力を借りることである。 実行可能性と入出力のチェック プログラムを生成するタスクである場合、いつでも「実行できるか？」というチェックが可能である。これは自然言語の生成と大きく異なる点だろう。実行可能性を確かめることは最低限のチェック項目になる。 エラーが出力された場合、自力で修正するか、もしくは、エラーの内容をChatGPTに提示して修正を依頼し、再度実行可能かを確かめる。 入力・
こんにちは、どんな作業もターミナルで行うことが多めの平野です。 最近はパイプに流すようなCLIアプリもPythonで作ることが多いので、 そこで必要になったいくつかの要素をまとめてみます。 パイプライン処理として実装しよう BrokenPipeの表示を消す argparseによる引数とオプションのパース この辺を考慮すれば、あとは文字列変換の主要なロジックだけを実装すればOKかと思います。 パイプライン処理として実装しよう パイプライン処理とだけ言うと色々な意味がありそうですが、ここで言っている意味は データの先頭行の処理の結果は最終行が入力される前でも取り出せるようにしよう ということです。 パイプ (コンピュータ)#シェルからの使用 - Wikipedia 複数行のテキストが入力されてきた時に、 それぞれの行の文字数をカウントするアプリケーションを作ったとします。 この時、以下のような
![[テンプレ付き]PythonでCLIツールを作るときのTips | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/47371cd63121a4cc67ed74841e706530c7e548f8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Fpython.png)
機械学習研究者＆エンジニアが頭を抱える実験管理に役立つツールを比較した - のんびりしているエンジニアの日記
皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いているので、参考にしてみてください。 実験管理ツール 実験管理の必要性 実験管理ツールの要件 実験管理ツールの紹介 Excel Excelとは 良い点 欠点 mag magとは サンプル実装 良い点 ここが少し残念 Weights and Biases Weights and Biasesとは サンプル実装 良い点 ここが少し残念 MLFlow サンプル実装 良い点 ここが少し残念 まとめ 最後に 実験管理ツール 実験管理の必要性 コンペティションや研究では多くのハイパーパラメータや構造などに対して様々な変更を加えます。 私の場合の例ですが、
最近 Twitter を見ていたら Diagrams という Python 書いたら良い感じのシステム構成図ができるサービスが流れてきた。 diagrams.mingrammer.com プライベートのインフラ構成図は今まで Cacoo で描いていたけど、今回 Diagrams に移行した。 なぜ Diagrams で書くのか プライベートでは terraform だったり Kubernetes のマニフェストを1つのリポジトリで管理している。 AWS の構成や Kubernetes に変更を加える時はいつもそのリポジトリにコミットしてもろもろ終わった後に Cacoo の図を更新していた。 Cacoo は書きやすくて好きなのですが、自分としては図を更新する前の時点で達成感に満たされていつも終わっていました。 そしてどんどん実態と差分が広がり更新しなくなりました。 Diagrams を使うこ
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
ハイパラ管理のすすめ -ハイパーパラメータをHydra+MLflowで管理しよう- - やむやむもやむなし
機械学習をやっている人なら誰もが遭遇したであろうこの光景 (※写真はPyTorchのLanguage ModelのExampleより) Pythonのargparseでシェルから引数を受け取りPythonスクリプト内でパラメータに設定するパターンは、記述が長くなりがちな上、どのパラメータがmodel/preprocess/optimizerのものなのか区別がつきにくく見通しが悪いといった課題があります。 私は実験用のパラメータ類は全てYAMLに記述して管理しています。 YAMLで記述することでパラメータを階層立てて構造的に記述することができ、パラメータの見通しがぐっとよくなります。 preprocess: min_df: 3 max_df: 1 replace_pattern: \d+ model: hidden_size: 256 dropout: 0.1 optimizer: algo
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
Python in Visual Studio Code – February 2021 Release - Python
We are pleased to announce that the February 2021 release of the Python Extension for Visual Studio Code is now available. You can download the Python extension from the Marketplace, or install it directly from the extension gallery in Visual Studio Code. If you already have the Python extension installed, you can also get the latest update by restarting Visual Studio Code. You can learn more abou
Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
nerman: AllenNLP と Optuna で作る固有表現抽出システム - クックパッド開発者ブログ
事業開発部の @himkt です．好きなニューラルネットは BiLSTM-CRF です． 普段はクックパッドアプリのつくれぽ検索機能の開発チームで自然言語処理をしています． 本稿では，レシピテキストからの料理用語抽出システム nerman について紹介します． nerman の由来は ner (固有表現抽出 = Named Entity Recognition) + man (する太郎) です． クックパッドに投稿されたレシピから料理に関する用語を自動抽出するシステムであり，AllenNLP と Optuna を組み合わせて作られています． （コードについてすべてを説明するのは難しいため，実際のコードを簡略化している箇所があります） 料理用語の自動抽出 料理レシピには様々な料理用語が出現します． 食材や調理器具はもちろん，調理動作や食材の分量なども料理用語とみなせます． 「切る」という調理
概要 ラズパイ4を購入したので、流れ星の電波観測システムをラズパイで作る話をします。 また、毎年12/12~15がふたご座流星群の時期なので、実際に観測できるかやってみました。 原理からの説明になるので話長くなります。 観測原理 流れ星は宇宙を漂う塵が地球大気に飛び込んできて激しく衝突し、プラズマ発光することで出現します。 その時に発生する電離柱というガスが電波を反射する特性があり、その現象を利用することで流星が流れたことを知ることができます。 上図のように、普段は物理的に届かない遠方からの電波が流星が流れた瞬間だけ、大気中で反射して届きます。 システム 今回は福井県立大から出ている53.755MHzのビーコン波をSDR(ソフトウエアラジオ)で受けます。 アンテナから入ってきた電波が、SDRで音に変換され、その音をUSBオーディオから出力して、さらにそのままマイク入力に入れて、FFTして流
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
拡散モデルで、将棋の方策を学習できないか試してみた。 拡散モデル 拡散モデルは、高品質で多様なサンプルを生成できる生成モデルである。 昨年8月にStable Diffusionが公開されたことで注目を集めている。 拡散モデルは、確率微分方程式によって表される確率分布を近似するモデルで、モード崩壊を起こさず多様な分布を学習できるという特徴がある。 また、プロンプトと呼ばれるテキストにより条件付けを行い、テキストに従った画像を生成できる。 将棋の方策 将棋の方策は、座標と移動方向の組み合わせで表現でき、dlshogiで採用している表現方法では2187次元になる。 つまり、指し手は、局面によって条件づけられた2187次元の確率分布からサンプリングを行っていることになる。 拡散モデルの可能性 条件付けを行い高次元の確率分布からサンプリングを行うという仕組みは、将棋の方策においても適用できると考える
Pythonにはclickというコマンドラインパーサとして使えるライブラリがあります。同様のライブラリとして以前からargparseがありますが、clickはargparseよりももっと簡単に使えるライブラリです。 clickでコマンドラインパーサを書く例は以下になります。 # main.py import click @click.command() @click.option( "--count", type=int, default=1, required=True, help="Number of greetings.", ) @click.option( "--name", type=str, default="Your name", required=True, help="The person to greet.", ) def hello( count: int, name
Optuna™は、オープンソースのハイパーパラメーター自動最適化フレームワークです。 「Optuna Meetup #1」では、Optunaのユーザー、導入を検討している方、また開発者を中心に、Optunaの様々な活用方法が共有されました。中村氏は、Hydra・MLflow・Optunaを組み合わせたハイパーパラメーター管理について発表しました。 ふだんは音声合成と声質変換技術などの音声を用いる技術を研究 中村泰貴氏（以下、中村）：「HydraとMLflowとOptunaの組み合わせで手軽に始めるハイパーパラメータ管理」というタイトルで、東京大学大学院情報理工学系研究科の修士課程2年の中村が発表します。 軽く自己紹介ですが、先ほど述べたように情報理工学系研究科の、猿渡・小山研究室の修士課程2年です。音声合成に関する技術をふだん研究しています。「Twitter」をやっているので、ぜひフォロー
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります． ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい． tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので，前編と後編の2つに分けて紹介することにします． 前編：SageMaker TrainingJobを用いたモデル学習を行い，SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak
Hugging Face Pipelineを使ったお手軽AIプログラミング | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 Hugging Faceってご存じですか？ AIを使用したプログラム・スクリプトを作る際、ゼロから起こす場合は以下のような部分を作り込んだり、Githubなどのリポジトリサイトからソースを入手したりする必要があったりします。 AIモデル トレーニングのためのロジック 評価・テストのためのロジック データローダ トレーニング・評価データを読み込むためのフォーマット、読み込み処理・変換処理など チェックポイントの書き出し Hugging Faceというサイトは、学習済みモデルやデータセッ
Wiki - RustStarterKit2020
People were arguing about Rust’s std lib recently, so I went through the Cargo.toml of all the Rust projects I’ve written since 2015 and picked out the choice tools that get used over and over again. Up to date as of October 2020. Also see RustCrates, though that’s old. There’s also this, which is narrower but deeper, and awesome-rust, which is shallower and broader, and the various more specific
February 05, 2024 · 26 mins · 4728 words Discussion on HackerNews. Last September I hopped on board with Wallapop as a Search Data Scientist and since then part of my work has been working with Solr, an open source search engine based on Lucene. I’ve got the basics of how a search engine works, but I had this itch to understand it even better. So, I rolled up my sleeves and decided to build one fr
Flutterアプリの定期リリースを支える自動化 - Fast DOCTOR Technologies TECH BLOG
本稿では、ファストドクターのモバイルアプリのリリースフローを整備した取り組みについてご紹介します。 モチベーション ファストドクターのモバイルアプリは、2022年夏にFlutterでのフルリプレースを実施し、それ以降は機能の開発が完了次第随時リリースをするという戦略を取っていました。 この戦略はシンプルであり、開発に関わっているステークホルダーが少ない状況下でうまく機能していました。しかし、組織の拡大に伴い以下のような問題が発生するようになりました。 複数機能の開発スケジュールの調整をしたり、バックエンドのリリース・QAとの整合性を取ったりという必要性が増し、調整コストが肥大化 リリースが不定期なため、いつPull Requestをマージすれば良いか分からずopenされたままのPull Requestが多数 この状況を改善するために、以下の要件を念頭に定期的なリリースとそれを支える仕組みを
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
「進化的モデルマージにより日本語数学LLMとして構築したEvoLLM-JPは、数学のみならず、日本語の全般的な能力に長けている」らしいEvoLLM-JPを試してみます。 追記（2024/3/22） 10Bのモデルですが、torch_dtypeを"auto"からtorch.bfloat16に変更すると、推論のスピードが改善しました。 モデルEvoLLM-JPは、3種提供されています。今回は３つとも試します。 - 大規模言語モデル SakanaAI/EvoLLM-JP-v1-10B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-v1-7B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-A-v1-7B : Apache License, Version 2.0 ※画像言語
1. はじめに 本記事は、ChatGPTを活用してみたいけれど、どうやって使うの？という方向けの、「ChatGPTと始める」シリーズ第3弾として、機械学習アプリの開発に取り組みます！ （「ChatGPTと始める」シリーズ第1弾, 第2弾はこちらです。どちらもたくさんのいいねをありがとうございます。） 今回は「猫の品種判別アプリ」を題材に、ChatGPT-4 にどのように機械学習アプリの開発を手伝ってもらうかについて順を追って説明します。 ChatGPTのおかげで、機械学習に対するハードルが大幅に下がったため、機械学習に挑戦したいと思っていたエンジニアの方々にも、ぜひトライしていただきたいです！ 2. アプリの仕様を相談しよう！ 2.1. 転移学習について 今回は「猫の品種判別アプリ」を作ってみようと思います。 先に完成品のキャプチャ動画を貼っておきます。 一例として「猫の品種判別アプリ」を
Python で RDS に格納されている各種ログをダウンロードする - 継続は力なり
タダです. AWS 利用料のうち CloudWatch Logs への取り込みが高くかかっていました( DataProcessing-Bytes という項目).そこで,下記のページを参照して調べてみたところ一番容量があったのが Aurora のログでした.そのログを CloudWatch Logs に出力せずダウンロードし,S3 などにアップロードしていけばコスト削減に繋がりそうです.この記事では,ダウンロードを Python でやってみた内容をまとめていきます. aws.amazon.com Python で RDS ログダウンロードのための手段 DownloadCompleteLogFile でのログダウンロードを試してみる まとめ Python で RDS ログダウンロードのための手段 boto3 のドキュメントを見てみたらログダウンロードをするのに, download_db_log
DDDとかドメインオブジェクトとかよくわからないけど、実際にコードに適用するとこうかな？ - 技ビス ： 技術、ビジネス、スタートアップ
最近DDDや値オブジェクトやドメインオブジェクトの定義が一部界隈で話題です。kumagi sanとかとじゅんさんの間で熱い議論が何日にも渡って繰り広げられています。 kumagi.hatenablog.com blog.j5ik2o.me kumagi.hatenablog.com kumagiさん眠たいんですが…。続きは明日でもいいですか。 — かとじゅん (@j5ik2o) 2022年5月19日 大変ですね！ ぼくも違うチャネルでkumagi sanに色々理解をぶつけてみたものの全然違うようで色々と教えてもらったりしました。 しかしながら、これ実際どこでどう使うのかなと。大先生がこんな事を言ってました。 言葉遊びしてるんじゃねえんだぞ、動くものを作れ — Yoshi Yamaguchi (@ymotongpoo) 2022年5月19日 というわけで、最近書いたコードを題材にちょっとリフ
こんにちは。研究開発部の深澤(@fukkaa1225)と申します。 クックパッドでは、顧客のロイヤルティを測る指標であるNPS(ネットプロモータースコア)のアンケートを毎月実施しています。 このNPSアンケートで集まってきたユーザの声(フリーコメント)は、クックパッドにとって大変貴重なものです。しかし、毎月多くの声が届くこともあり、担当者だけで目を通して集計するというのは難しくなってきました。そこで昨年、予め定義したカテゴリにコメントを自動で分類するシステムを構築し、既に稼働させています。 NPSアンケートを自動分類した話 - クックパッド開発者ブログ このシステムによって「いただいたコメントが何を話題にしているか」はある程度自動的に把握できるようになりました。次に課題となったのは、例えば「このコメントはレシピの多さに関するものである。でもその中にはポジティブな部分とネガティブな部分が混じ
Python: Streamlit を使って手早く WebUI 付きのプロトタイプを作る - CUBE SUGAR CONTAINER
Streamlit は、ざっくり言うと主にデータサイエンス領域において WebUI 付きのアプリケーションを手早く作るためのソフトウェア。 使い所としては、ひとまず動くものを見せたかったり、少人数で試しに使うレベルのプロトタイプを作るフェーズに適していると思う。 たとえば、Jupyter で提供すると複数人で使うのに難があるし、かといって Flask や Django を使って真面目に作るほどではない、くらいのとき。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.3.1 BuildVersion: 20E241 $ python -V Python 3.8.9 もくじ もくじ 下準備 基本的な使い方 基本的な書式 プレースホルダー プログレスバーを使った処理の進捗の可視化 基本的な可視化 組み込みのグラフ描画機能
はじめに 背景 方針 uroboros 名前の由来 インストール 使い方 オプション引数の共有 注意点 今後の展望 まとめ はじめに Pythonの全てのCLIアプリケーションフレームワークに習熟してるわけではないです． 自分が必要だと思ったものから優先的に実装しています．こうした方がいいとかあれば，リポジトリのIssueにお願いします． 背景 2019年現在，ソフトウェア系の研究をする人が避けて通れない言語がPythonと言っても過言では無くなってきました（炎上）．実験でスクリプトを回すとき，パラメータ変更のために毎回ソースコードを書き換えるなんていう真似をしている人はおそらく居ないと思いますが，皆様どのようにCLIアプリケーションを構築されていますでしょうか． Pythonの有名なCLIアプリケーションフレームワークはいくつかあります．僕の個人的な感想を併記します． Click ○：関
Python Clickユニットテスト・レシピ集 - CLIではじめるテスト駆動開発（その１） - JX通信社エンジニアブログ
「JX通信社Advent Calendar 2019」20日目の記事です。 こんにちは。2019年9月からJX通信社のエンジニアとなった鈴木（泰）です。好きな食べ物はオムライスです。 本日は、Python Clickユニットテスト・レシピ集 - CLIではじめるテスト駆動開発（その１）と題して、CLIのユニットテストのスニペットを書いてみたいと思います！ "その１"とした理由は、アドカレに間に合わな（小声）・・・じゃなかった・・・この記事だけで全ての備忘録を列挙すると長くなりすぎてしまい、記事が読み難くなると判断したからです。 今後も引き続き少しづつ備忘録を紹介していければと思います。 はじめに 私はCLIをよく書きます。その理由は、バックエンドシステムの運用業務に携わっていることにあります。運用業務では様々な場面でCLIを作成します。私の場合、運用業務における手作業を自動化するため、バッ
分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Command Line Interface Guidelines
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
dbtで見やすいER図を生成する - yasuhisa's blog
みちびき災危通報を受信するためにGNSS受信機を作った話
2024年のPythonプログラミング - Uzabase for Engineers
機械学習で画像の高画質化を試みる（備忘録）- Python3 - Qiita
Google翻訳とPythonを使ってPDF論文を一発で翻訳する - Qiita
[テンプレ付き]PythonでCLIツールを作るときのTips | DevelopersIO
Diagramsを使ってsystem architecture図をアップデートし続ける - hatappi.blog
Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
RaspberryPi4でふたご座流星群を観測する - Qiita
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z
拡散モデルで将棋の方策を学習する - TadaoYamaokaの開発日記
Python clickの案外知られていない機能 - Qiita
機械学習の煩雑なパラメーター管理の決定版 「Hydra」「MLflow」「Optuna」の組み合わせで手軽にはじめる一元管理
A search engine in 80 lines of Python
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
WSL2でSakana AIを試してみる｜ngc-shj
ChatGPT-4 と始める機械学習アプリ開発入門！ - Qiita
系列ラベリングによる NPS コメントのポジティブ・ネガティブ部分の抽出 - クックパッド開発者ブログ
Pythonの新しいCLIアプリケーションフレームワークuroborosを公開した - ぽよメモ