西川氏の自己紹介西川大亮氏（以下、西川）：ここからはPython編の「ちょっとしたデータ分析の並列化」というタイトルで、西川から話します。 GOに勤める西川です。今やっているのは、タクシーやハイヤーの営業支援。「お客さんを乗っけていない時間、どこを走ったらいいの？」とか「どういうところで待っていたら注文来やすいの？」というところのナビをする、「お客様探索ナビ」というサービスのいろいろなことをしています。小さなサービスなのでいろいろやっている感じですね。 Pythonはバックエンドのデータ分析で使っているのですが、一番よく使うのはアドホックなデータ分析です。「こんなことを知りたいんだけど」とか、「調べたいんだけど」みたいな時、パパッと調べる時に使っています。 そして、それを定型のレポート化にしたいとか、定型データのテーブルを作りたいという時は、そのままデータ加工で使うようなかたちでよく使って
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
Claude Code×Obsidianで作るナレッジベース開発環境 - YOUTRUST Tech Blog
この記事で得られること ✅ 30分の会議を5分で議事録化する自動化フロー ✅ 開発量を2.5倍に増やした具体的な環境構築方法 ✅ 情報検索を30秒以内に短縮するナレッジ管理術 ✅ PRレビューを10点満点で自動評価する設定 ✅ すぐに使えるCLAUDE.md設定テンプレートとスクリプト TL;DR Claude CodeとObsidianを組み合わせることで、議事録作成時間を66%削減、開発コントリビューションを2.5倍に増加させました。Tactiq→Google Drive→Obsidianの自動化フローと、AIに最適化されたナレッジベース構築により、マネジメント業務をこなしながらも効率的な開発を実現。本記事では実際の設定ファイルとワークフローを公開します。 こんにちは、YOUTRUSTでエンジニアリングマネージャーをしている須藤（YOUTRUST/X）です。AI爆速普及委員会の委員長と
Effective Python 第3版
GoogleでPythonを使ったさまざまなサービスを立ち上げ、Pythonを知り尽くした著者による、Pythonエキスパート必携書の最新版です。第3版では、Python 3.13までの最新機能に対応し、第2版から新たに35項目を追加し、既存項目も時代に合わせて大幅に改訂されています。各項目では、優れたPythonコードを書くために何をすべきか、何を避けるべきか、そしてその理由をPythonの流儀に従って明確に解説。効率的でロバストであるだけでなく、読みやすく、保守しやすく、改善しやすいPythonicなコードを書く秘訣を学べます。Web開発、データ分析、自動化スクリプト、AI訓練まで、あらゆる分野でPythonの真の力を発揮したい開発者にとって、必読の一冊です。 はじめに 1章 Pythonicな考え方 項目1 使用するPythonのバージョンを把握する 項目2 PEP 8スタイルガイド
巨人の肩に乗る
本記事は 仮想通貨 Advent Calendar 2025 の24日目の記事です。 はじめに はじめまして、ymdと申します。普段は、株や暗号資産の分析をし、マーケットが盛り上がったときに落ちているお金を拾っています。 今年のAdvent Calendarを眺めていると、DEXの分析やLLMを活用した自動トレード戦略作成など、非常に有益な記事が目白押しです。 これらを見て思い出したのが、ニュートンの「巨人の肩に乗る」という言葉。本記事では、この精神に倣い、AIの力と先人の知見という2つの「肩」を借りながら、お金拾いの方法を探っていきます。 AIの肩に乗る AI駆動開発の3つのアプローチ AIを活用した開発には、大きく3つの方向性があります： 情報収集の自動化：論文や API ドキュメントの要約 戦略生成の自動化：複数のアプローチを並行生成 コーディングの自動化：コードそのものを AI に
Rust製パターンマッチングマシンDaachorseを使ってPythonパイプラインを高速化する話 - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 今回は文字列界隈を賑わせている高速なRust製パターンマッチングマシンDaachorseをPythonで呼び出して既存の文字列パターンマッチロジックを高速化したお話をします。 Daachorseとは なぜPythonから呼び出したいのか パターンマッチングのみのベンチマーク python-daachorseだけオートマトン構築込みのベンチマーク まとめ We are Hiring! その他 Daachorseとは DaachorseはLegalForceさんで開発運用されている文字列パターンマッチを行うRust製ライブラリです。 github.com 技術的なトピックに関してはLegalForceさんの記事が全て解説しているののでそちらを参照してくだ
実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt（テックテクト） | パーソルキャリアのエンジニアブログ
データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
はじめての自然言語処理 Fusion-In-Decoder でクイズに答えるモデルを作る | オブジェクトの広場
今回は Fusion-In-Decoder を使ってクイズに答えるモデルを作ります。以前から Wikipedia 等の外部情報を参照できるテキスト生成モデルを試してみたいと思っていました。Fusion-In-Decoder の発表は 2020 年なので少し前のモデルですが、T5 ベースで手軽に試せるサイズ感ですので、日本語で試してみましょう。 1. はじめに 今回紹介する Fusion-In-Decoder（以下、FiD ）1 は Meta AI (当時は Facebook AI Research) が発表した Open Domain question Answering タスクを解くテキスト生成モデルです。 じつは、以前から外部情報を参照できるテキスト生成モデルを試してみたくて2、 Google の RETRO3 の論文を読んでたんです。 なのですが、外部情報のサイズ感が 1000 B
Pythonクイックリファレンス 第4版
本書はPythonの機能を十分に活用するためのリファレンスです。チュートリアルとしての「Pythonを使ってみる」、型アノテーションや文字列といった「Python言語と組み込み機能」、ファイルやテキスト、時間の操作、数値処理などをまとめた「Pythonの標準ライブラリと拡張モジュール」、HTTPの処理や構造化テキストを学ぶ「ネットワークとWebプログラミング」、バージョン移行などに関する「拡張、配布、バージョンのアップグレードと移行」という5部構成となっています。Pythonを本格的に学びたい人から、さらなるスキルアップを目指したい人まで、Pythonを最大限に活用するための有益な情報がぎっちり詰まった1冊です。Python 3.11対応。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷
今回は DeepSpeed-Chat による RLHF のご紹介です。正直、データセットや計算資源の都合もあり、とりあえず動かしてみました！的な話にはなりますが、RLHF の効果が実際に確認できるか見てみたいと思います。 1. はじめに 今回は DeepSpeed-Chat1 を使って RLHF を試してみたいと思います。RLHF は Reinforcement Learning from Human Feedback の略で文字通り「人からのフィードバックを用いた強化学習」ということですね。OpenAI が InstructGPT(ChatGPT の元になったモデル)2 で使ったことで注目された手法になります。 LLM がらみで何か記事にしたいと思いつつ、日々新たな LLM が発表されている昨今に、隔月＆内容が実時間から月単位で遅れ気味wの本連載です。 「どうしたもんかな。。。」と悩みに
宣伝こちらの記事は合成生物学大会iGEMの強豪校であるiGEM-Wasedaさん協力のもと執筆されました。ご協力誠にありがとうございます！ 【iGEM-Waseda】は合成生物学の研究を行う早稲田大学の学術サークルです。iGEMと呼ばれる合成生物学の世界大会の世界大会に出場するために日々研究に励んでいらっしゃいます。 本記事では、iGEM2024で日本Undergrad部門で史上初のTOP10に選ばれたプロジェクトの一環として、特にIn Silicoシミュレーションに関わる部分のツールの一部を紹介しています。プロジェクトの詳細については、iGEM-Wasedaの成果報告サイトをご覧いただければ幸いです。 MACEとはMACEは、機械学習ポテンシャル（Machine Learning Potential）の一種として開発されたツールで、材料内の原子間相互作用を高精度かつ高速に予測できるのが特
はじめに とある案件で一部処理をマルチスレッドを使って実装したが、マルチスレッドとマルチプロセスの違いもよく分かってないし、なんで処理が速くなるのかもなんとなくでしか理解してなかったので色々調べてみる。 マルチスレッドとマルチスレッド とりあえず以下の図から シングルスレッド(逐次処理)とマルチスレッド(並行処理)とマルチプロセス(並列処理)での処理の違いはこんな感じです。 そもそも PythonにはGIL(グローバルインタプリタロック)という仕組みがあり、複数スレッド下でもロックを持つ単一スレッドでしかバイトコードが実行できず、その他のスレッドは待機状態になる。 そのため複数のスレッドが同時に動作出来ないようになっており、Pythonにおけるマルチスレッド処理は基本的に複数の CPU コアを効率よく使って計算をすることが出来ない。 一方、マルチプロセスの場合はプロセスそれぞれにGILが存
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
Pythonでファイルパスってどう扱えばいいの？ そんなときにはos.path／pathlibモジュールを使いましょう！ 無料の電子書籍『解決！Python ファイルパス操作編』
eBookシリーズの第136弾『解決！Python ファイル操作編』ではopen関数やpathlibモジュールのPathクラスとそのメソッドの使い方、エンコードの指定の方法、struct／pickle／shelveモジュールを紹介しました。でも、ファイルを扱うときには「ファイルパス」を扱わなければならないこともありますよね。 Pythonでファイルパスを扱うには大きく2つの方法があります（他にもあればHPかわさきまでお知らせください）。一つは伝統的なos.pathモジュールを使うもの。他にはPython 3.4で追加されたpathlibモジュールを使う方法。そして、Python 3.4で追加されたpathlibモジュールを使う方法。後者の方がより高水準（抽象的）なインタフェースを提供してくれます。が、まあどちらを使うかは人によるでしょう。そこで、2つのモジュールを使ってファイルパスを操作す
はじめに 5倍が 20倍に!?!?! こんにちは｡ jodaと申します｡ 機械学習を使用した仮想通貨botをつくってみた(い) ということで､ まずは機械学習を利用して､勝てるロジックを見つけていこうと思います｡ 簡単な自己紹介をさせていただきますと､ 自分はここ2年ほど､C++をベースとした為替の自動売買システム(EA)を作って稼働させておりました｡ (結果は微妙です) 心機一転､世を賑わせる仮想通貨にも手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 今回は､まずpnadasを使って検証を行います｡ その後､冒頭の画像のように､ 機械学習を使ってトレードロジックを改善したいと思います｡ (実際の執行が冒頭の画像の様になるとは限りません) 概要 こちらの記事は､ jodawithforce.hatena
uncorrelated ソフトウェア・エンジニア。Java JavaScript PostgreSQL Oracle 等を使っています。Oracle Certified Professional。Sun Certified Programmer。 詳細プロフィールを表示 COVID-19 (39) MMT (12) ゲーム (7) ジェンダー (192) ソフトウェア (152) デザイン (17) 医療 (132) 英語 (23) 科学 (165) 確率・統計 (155) 環境問題 (136) 企業 (73) 記事整理 (5) 技術 (256) 金融 (263) 軍事 (99) 携帯電話 (94) 芸術 (11) 言葉 (17) 広告 (34) 航空 (112) 災害 (19) 財政問題 (71) 資源 (72) 事故 (34) 写真 (16) 社会 (586) 書評 (221) 冗談
pickleモジュールを使用して、Pythonのオブジェクトを直列化／復元（pickle化／非pickle化、シリアライズ／デシリアライズ）する方法と、その際の注意点を紹介する。 import pickle favs = ['beer', 'sake'] mydata = {'name': 'かわさき', 'age': 999, 'weight': 123.4, 'favs': favs} # pickle化してファイルに書き込み with open('pickled.pkl', 'wb') as f: pickle.dump(mydata, f) # 非pickle化 with open('pickled.pkl', 'rb') as f: mydata2 = pickle.load(f) favs2 = mydata['favs'] print(mydata2) # 出力結果 # {'
Python + Selenium (Chromedriver)を使って、Webを巡回する仕組みを作ったりしています。 Webサイトにログイン、情報を読み取って保存、属性も併せて保存など、ひととおり自動化できて便利です。 しかしSeleniumは起動したその都度初期化され、状態は保存されません。 次の起動時にはログイン状態も初期化され、何度も繰り返しログインすることになるのです。 サイト側に不審なアクセスと判断されないかとか、心配になったりするわけです。 今回、TweetDeckで流れていくタイムラインの情報を保存、クラスタリングして遊べないかなと試行錯誤していたのですが、TweetDeckってログインするたびに「新しい環境からのログインがありました」とスマホに通知がくるので、心配になりました。その流れで、pickleを使うと簡単にcookieを保存しておくことができ、またそれをリストアす
申し訳ありません間違えてckpt設置前に実行してしまいました 正しくは以下エラーです Global seed set to 23 Running on GPUs 0, Loading model from ./checkpoint/sd-v1-4-full-ema.ckpt Traceback (most recent call last): File "main.py", line 614, in <module> model = load_model_from_config(config, opt.actual_resume) File "main.py", line 26, in load_model_from_config pl_sd = torch.load(ckpt, map_location="cpu") File "/usr/local/lib/python3.7/dist
Pythonのpickleの「遅い」「デカい」「バージョン依存ツラい」を解消してくれるPyfory #こまPy｜Atsushi Shibata
Pythonでオブジェクトのシリアライズを行う時、たいていpickleを使おう、と思いますよね。cloudpickleもあるか。最近だと機械学習のタスクで大きめのnumpy行列やpandasのDataFrameをピクルス化して各所に保存したりもするんですよね。で、使っていると直面するのが「遅い」「(サイズが無駄に)デカい」、そして「バージョン依存ツラい」という問題なのです。それをマルっと解消してくれるライブラリとしてPyforyを紹介しよう、というのが今回の試みです。細かくて伝わりづらいけど、みなさんに届くといいな:-D。 Pyforyとはなにか？Apache ForyのPython実装「Pyfory」は、従来のpickleやcloudpickleの代替として動作する新しいシリアライザです。速度・サイズ・安全性のすべてを大幅に強化しているのが特徴です。NumPyやPandasの巨大データに
HIGH OUTPUT MANAGEMENT
Technical Notes ▼ IDE ▼ IntelliJ PhysicalSimulation ▼ mechanics ▼ 質点の運動 DataMining ▼ 時系列データ分析 ▼ ホワイトノイズ（白色雑音） models ▼ GARCH モデル 自己回帰モデル（AR モデル） ARCH モデル DTW 見せかけの回帰 特異スペクトル変換 単位根過程 Shape-Based Distance (SBD) Piecewise Aggregate Approximation (PAA) 定常過程 ウェーブレット変換 geolocation ▼ GeoJSON Network ▼ ssl-server-certificate ▼ CSR ルート証明書 ネットワーク用語 Management ▼ 心理的安全性 オートクライン効果 QC 7つ道具 external-and-internal
アジャイルサムライ
Technical Notes ▼ IDE ▼ IntelliJ PhysicalSimulation ▼ mechanics ▼ 質点の運動 DataMining ▼ 時系列データ分析 ▼ ホワイトノイズ（白色雑音） models ▼ GARCH モデル 自己回帰モデル（AR モデル） ARCH モデル DTW 見せかけの回帰 特異スペクトル変換 単位根過程 Shape-Based Distance (SBD) Piecewise Aggregate Approximation (PAA) 定常過程 ウェーブレット変換 geolocation ▼ GeoJSON Network ▼ ssl-server-certificate ▼ CSR ルート証明書 ネットワーク用語 Management ▼ 心理的安全性 オートクライン効果 QC 7つ道具 external-and-internal
ハイパーパラメータの自動最適化フレームワークである Optuna は目的関数を書くと自動で最適なハイパーパラメータを探索してくれます． 基本的にはアルゴリズムに任せるのが良いですが，ユーザー側でパラメータをいじるなど変なことをしようとすると少々面倒なのでまとめておきます． 使用環境は Python 3.9.16 Optuna 3.1.0 例：LightGBM モデルのハイパーパラメータ調整（探索のターゲットや数値は適当です） import optuna import lightgbm as lgb from sklearn.model_selection import train_test_split # データ読み込み train_X = pd.read_pickle("../data/train_X.pkl").values train_y = pd.read_pickle("../d
Version 1.0
Version 1.0# For a short description of the main highlights of the release, please refer to Release Highlights for scikit-learn 1.0. Legend for changelogs Major Feature something big that you couldn’t do before. Feature something that you couldn’t do before. Efficiency an existing feature now may not require as much computation or memory. Enhancement a miscellaneous minor improvement. Fix somethin
1. はじめに こんにちは、morioka12 です。 本稿では、CTFtime のイベントに記載されている2022年に開催された CTF のイベントで、Cloud に関する問題をピックアップして攻撃手法やセキュリティ視点での特徴について紹介します。 また、昨年の2021年版は以下で紹介していますので、良ければこちらもご覧ください。 昨年のブログでは、各サービスにセキュリティ的な視点で紹介しましたが、今回は説明が重複するため、各問題に焦点を当てて大まかに紹介します。 scgajge12.hatenablog.com 1. はじめに 1.1 調査対象 2. Cloud 環境におけるセキュリティ視点 2.1 脆弱性攻撃によるクレデンシャルの取得 Amazon EC2 AWS Lambda 2.2 設定不備やハードコーディングによるクレデンシャルの取得 Amazon S3 Amazon RDS
【Network pharmacology】化合物からの標的タンパク質予測【in silico 創薬】 - LabCode
Network pharmacologyとは？Network pharmacology（ネットワーク薬理学）は、漢方薬や機能性食品に含まれる複数の成分が、体内のさまざまな標的（タンパク質、遺伝子など）に同時に作用し、複雑な生理的効果をもたらす仕組みを「ネットワーク」として解析する手法です。 従来の薬理学が「1成分＝1標的」の考え方に基づいていたのに対し、ネットワーク薬理学は「多成分＝多標的＝多経路」の全体像をとらえます。たとえば、漢方薬「黄芩」に含まれるバイカリンなどの成分が、乳がんに関与する複数の遺伝子やシグナル経路に作用している可能性を、各種データベースを用いて可視化できます。 これにより、伝統的処方の有効性を科学的に裏付けたり、新たな疾病への応用可能性を探索したりすることができます。 Network pharmacologyの流れ成分取得：PubChemなど各種データベースを使って、
I decided to take a sniff around the standard library and see what I can find. Jim Crist-Harif pointed me to python -m site, which outputs useful information about your installation: sys.path = [ '/opt/homebrew/Cellar/python@3.11/3.11.4_1/Frameworks/Python.framework/Versions/3.11/lib/python3.11', '/opt/homebrew/Cellar/python@3.11/3.11.4_1/Frameworks/Python.framework/Versions/3.11/lib/python311.zip
Technical Notes ▼ IDE ▼ IntelliJ PhysicalSimulation ▼ mechanics ▼ 質点の運動 DataMining ▼ 時系列データ分析 ▼ ホワイトノイズ（白色雑音） models ▼ GARCH モデル 自己回帰モデル（AR モデル） ARCH モデル DTW 見せかけの回帰 特異スペクトル変換 単位根過程 Shape-Based Distance (SBD) Piecewise Aggregate Approximation (PAA) 定常過程 ウェーブレット変換 geolocation ▼ GeoJSON Network ▼ ssl-server-certificate ▼ CSR ルート証明書 ネットワーク用語 Management ▼ 心理的安全性 オートクライン効果 QC 7つ道具 external-and-internal
Spotify で再生中の曲を定期的に YouTube Live のチャットに書き込む Now Playing Bot を作ってみた | DevelopersIO
はじめに テントの中から失礼します、CX 事業本部のてんとタカハシです！ YouTube Live で配信を行うことが私の日常なのですが、そんなに視聴してくれる方が多いわけでもないので、チャット欄が結構寂しいです。 そこで、Spotify で再生中の曲を定期的に書き込んでくれる Now Playing Bot を作ってチャット欄を賑わせてみました。 ソースコードは下記リポジトリに置いています。 GitHub - iam326/now-playing-bot-on-youtube-live デモ チャット欄がこんな感じになります。 前提条件 この Bot を動かすための前提条件は下記の通りです。 YouTube Live を配信可能なアカウントを所持していること YouTube Data API を使用するために必要な認証情報が作成済みであること Spotify Web API を使用するた
Windows のパソコンとIntelのGPUしか持ってない人がGPUで深層学習するにはどうしたらよいか【MATLABからTensorFlow/Kerasへ移行したい人必見】｜17ec084 平田智剛
Windows のパソコンとIntelのGPUしか持ってない人がGPUで深層学習するにはどうしたらよいか【MATLABからTensorFlow/Kerasへ移行したい人必見】 matlabのdeep learning toolboxを使って機械学習を始めてみたはいいが、 単一CPUで学習させるとどうしても時間がかかる。 具体的には、Inter(R) Core(TM) i5-10210U CPU @ 1.60GHzにてvgg16モデルを利用したCAEに、240x240x3の24bit bmp画像8枚分を学習させるのに1分弱かかる) 大学の先生に相談したところ、GPUを利用するとかしないと卒論間に合わないんじゃないの？ってことになったので、そのための道筋を考えてみた。 1. GPUとはCPUとは別の、画像処理に特化した演算装置。深層学習も画像処理も共に行列演算であるから、GPUは深層学習に相性
0. はじめに こんにちは、株式会社D2Cデータサイエンティストの董です。 D2Cでは、広告配信を効率よく効果よく行うために様々な機械学習モデルを活用しています。 今回の記事では、大規模テキストコーパスを用いた言語モデルの学習にあたり、学習データにある準重複文書の除外テクニックについてご紹介します。 1. 開発環境 AWS EC2 (インスタンスタイプ: r5.8xlarge) Python 3.10系 2. Pythonパッケージ transformers scikit-learn 3. 広告文の準重複問題 テキスト広告では、キャッチコピーや宣伝文を少しだけ修正して複数回配信し、その効果を測定することがよくあります。また、シリーズ商品の説明文を同じテンプレートに従って大量に作成することも一般的です。 それゆえに、広告文を収集してテキストコーパスを作ると、準重複サンプル、つまり完全には重複
はじめに 現在この記事は作成中です! 年内に完成を目指して更新していきます! はじめまして｡ jodaと申します｡ 今回､アイデミー様の「実践データサイエンス講座」における成果物を作成していきます｡ 成果物として選んだものは､ 機械学習を使用した仮想通貨botとなっております｡ 自分はここ2年ほど､C++をベースとした 為替の自動売買システム(EA)を作って稼働させておりました｡ (結果はお察しください) 心機一転､世を賑わせる仮想通貨に手を出そう! ということで､仮想通貨botをつくっていこうと思ったのですが､ 肝心のトレードロジックの検証方法がわからない状況でした｡ 検証方法としては､pandasを使ったり､ エクセルを使ったりいろいろな方法がある模様ですが､ どうせなら機械学習をやりたい､ ということで､アイデミー様のお世話になっている次第です｡ チャレンジな内容になって来ると思いま
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
並列処理がとても苦手なPythonはプロセスを分けよう コードを書く時に意識したい2つのTipsと2つの落とし穴 | ログミーBusiness
はじめての自然言語処理 DeepSpeed-Chat による RLHF の紹介 | オブジェクトの広場
MACEによる機械学習を用いた分子動力学計算【MD simulation】 - LabCode
python マルチスレッド マルチプロセス - Qiita
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
仮想通貨MLBot つくってみた い ② テンプレートコード - joda!!
データサイエンティストになるのにRとPythonのどちらを勉強したら良いですか？
［解決！Python］バイナリファイルを読み書きするには：pickle編
Python + Seleniumで何度もログインするのを避けたい - 日記とか、工作記録とか
Stable Diffusionファインチューニング用のColab
Optunaでパラメータを指定して実行する，studyを継ぎ足す - Qiita
CTF Cloud 問題の攻撃手法まとめ(2022年版) - blog of morioka12
CLI tools hidden in the Python standard library
mat - Eclipse Memory Analyzer
Locality Sensitive Hashingを用いた大規模コーパスの準重複文書排除
機械学習を利用した仮想通貨Bot作ってみた い BaseCode - joda!!
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場