追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
Pythonでリトライ処理を簡単に追加できる「tenacity」を使ってみる | DevelopersIO
今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 pip install tenacity 使い方 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!") else: retur
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。 こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を解説した記事になります。間違いがあれば、コメントいただけたら嬉しいです。 bookclub.kodansha.co.jp 強化学習とは 強化学習とは、行動から報酬が得られる環境において、各状況で報酬に繋がるような行動を出力するように、モデルを作成すること。 教師あり学習との違いは連続した行動によって得られる報酬を最大化させるという点です。囲碁を考えた時、ある局面で悪手に見えた一手が、先々進めると実は良い手だった、といった場合のその一手を選択できるようにするのが強化学習になります。 Connect X と強化学
クラスタリングタスクで機械学習の流れを体験
はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は機械学習への足がかりとなるような記事を書きたいと思ったので、クラスタリングタスクを通して機械学習の流れを大雑把に書いていこうと思います。 機械学習における基本的な データ分析 -> 予測 -> 評価の流れを体験しつつ、読んでいる間に気になるところがあればそこを深掘りしていくなど、機械学習への興味/勉強の第一歩としていただければと思います。 クラスタリングとは クラスタリングは機械学習における教師なし学習の一種で、データの類似度でデータをグループ(クラスタ)分けする手法のことを指します。 データに対して答えが存在する教師あり学習とは異なり、各データに答えがない状態で学習されるので、クラスタリングによってまとめられたデータのグループが何を示しているのかは解釈が必要となります。 しかしその分、ク
wav2vec 2.0 を使って 手軽に音声認識モデルを触れるようになろう - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2021 の20日目の記事です。 はじめに こんにちは。プラットフォームサービス本部アプリケーションサービス部の是松です。 NTTコミュニケーションズでは自然言語処理、機械翻訳、音声認識・合成、要約、映像解析などのAI関連技術を活用した法人向けサービスを提供しています。（COTOHA シリーズ） NTTコミュニケーションズがこのようなAI関連技術を活用したサービスを展開する強みとして、 NTT研究所の研究成果が利用可能であること 自社の他サービスを利用しているお客様に対してシナジーのあるサービスを提案できること この2点が挙げられると思います。 実際に、私が担当している COTOHA Voice Insight は 通話音声テキスト化によってコンタクトセンターの業務効率化・高度化を実現するサービスなのですが、 NTT研
数理最適化の練習問題をLLMを使って自動生成する
この記事は、数理最適化 Advent Calendar 2023 23日目の記事です。LLMと数理最適化を組み合わせた何かをつくろうということで、数理最適化の練習問題を生成する GPTs、Optima Practiceを作りました。 数理最適化のコミュニティCasual Optimizationを運営していく中で、「数理最適化が世の中に広まらない要因の一つに実践的な練習問題の不足があるのではないか？」という意見を知りました。数理最適化を実ビジネスで利用していく上で必須のスキルとして定式化がありますが、たしかに定式化の力をつけるのにちょうど良い、程よく実践的で複雑な練習問題は案外少ないです。しかし、練習問題を作成するのは結構大変です。そこで、LLMを使って自動化できないか、というのが本取り組みの趣旨になります。 作ったもの Optima Practice は、数理最適化の練習問題を生成する
DALL-E in Pytorch の使い方｜npaka
以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の
機械学習を利用するコンポーネントの継続的な性能検証と Locust を利用した負荷テストの実施方法 - DATAFLUCT Tech Blog
こんにちは。本稿では機械学習を利用したコンポーネントの処理速度の計測方法、および負荷テストのやり方について解説してゆきます。 機械学習を利用するコンポーネントの処理速度を計測する必要性 機械学習アルゴリズムを適用する関数の処理速度を検証 実行時間を測定 関数の実行時間を算出するデコレーター 性能評価テストと継続的な性能チェック 機械学習 API の性能を評価する Locust：インストールと負荷テスト設定追加 Locsutを使った測定測定 もうすこし高度な使い方 分散実行 コマンドラインから実行 まとめ 機械学習を利用するコンポーネントの処理速度を計測する必要性 機械学習を利用したタスクでは、モデルの精度に注意が行きがちです。しかし、一般的なWebアプリケーションでは入力はリソースID（ユーザIDなど）やシンプルなJSONである場合が多いのに対し、機械学習は入データ（自然言語や画像など）や
【スターターキットNo.1】Scrapy&MariaDB&Django&Dockerでデータ自動収集ボットシステムを構築する - Qiita
【スターターキットNo.1】Scrapy&MariaDB&Django&Dockerでデータ自動収集ボットシステムを構築するPythonDjangomariadbDockerScrapy 背景 世の中にあるWebサービスのデータベースを自動で同期して、本家にはない付加価値をつけることによって、手軽にニーズのあるWebサービスを作ることができます。 例えばECサイトのデータをスクレイピングして自前でデータベースとして持っておき、それに対して本家にはない検索方法を提供して、リンクを貼り、アフィリエイトで稼ぐみたいな軽量なビジネスモデルが個人事業のレベルで可能です。 このようなパターンはいくらでも考えられるのですが、とにかくまずはスクレイピングスクリプトを書いて、自動でデータ収集して、きちんと構造化して、それをなるべく最新の状態に保てるようなボットとインフラが必要になるわけです。今回はどのような
前回はグラフベースのキーフレーズ抽出手法と pke での実験結果を紹介しました。今回は、spaCy, scattertext, ... 等々の OSS を用い各種のテキストマイニング手法についてコード例とサンプルプロットを交えながら説明したいと思います。 1. はじめに 本記事ではテキストマイニングの概要と代表的な手法について、コード例とサンプルプロットを交えて説明します。分析対象には、この連載で何度か用いている livedoor ニュースコーパスを用い、Google Colaboratory で動かすことを想定したコードスニペットを入れていきますので、実際に動かしたり対象を変えてみたりして試して頂けると良いかと思います。 2. テキストマイニングとは テキストマイニングとは、ざっくり言うと「自然言語の文書データを対象に使用される単語の出現傾向等を分析して何らかの有益な情報を取り出すこと」
はじめに Fuzzingの概念 なぜ自分でFuzzerを書くのか 実際に問題を解く dual - ユーザーランドプログラムのFuzzing Step 1. Fuzzerの方針を立てる Step 2. テストケースを最適化する Step 3. 問題を解く spark - カーネルドライバのFuzzing Step 1. Fuzzerの方針を立てる Step 2. 再現性のあるテストケースを見つける Step 3. 問題を解く atoms - カーネルドライバのFuzzing（マルチスレッド） Step 1. Fuzzerの方針を立てる Step 2. 問題を解く cgi - CGIのFuzzing Step 1. Fuzzerの方針を立てる Step 2. 解きたい telescope - Fuzzingの結果から攻略法を考え直す Step 1. Fuzzerの方針を立てる Step 2.
はじめに コード上では変数名としてNDPであったりNextDPと名付けられやすいものです。 正式な名称はよく分かっていないですし、解説されたことがあるのかすら分かっていないテクニックなのですが、どの層でも役に立つもので、使い方やメリットを整理しておこうと思いました。 説明はPythonで行います。ChatGPT-4を使用してC++やRustに置き換えてもらっても動作したので、基本的には別の言語でも使用できるテクニックのはずです。 使い方について まずは基本的なナップサック問題とそのコードを記載します。 実行速度の差をみたいため制約はすこし大きめです。 問題 $N$ 個の品物があります。それぞれ重さが $w_i$, 価値が $v_i$ です。 重さの総和が $W$ を超えないように選んだ時の価値の総和の最大値を求めなさい。 制約 $1 \le N \le 10000$ $1 \le W \l
TFRecord フォーマットは、TensorFlow がサポートしているデータセットの表現形式の一つ。 このフォーマットは、一言で表すと TensorFlow で扱うデータを Protocol Buffers でシリアライズしたものになっている。 特に、Dataset API との親和性に優れていたり、Cloud TPU を扱う上で実用上はほぼ必須といった特徴がある。 今回は、そんな TFRecord の扱い方について見ていくことにする。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.5 BuildVersion: 20G71 $ python -V Python 3.9.6 $ pip list | grep -i tensorflow tensorflow 2.5.0 tensorflow-datasets
Pytorch tensor から numpy ndarray への変換とその逆変換についてまとめる。単純にtorch.from_numpy(x)とx.detach().numpy()を覚えておけばよいので、その使い方を示しておく。 すぐ使いたい場合は以下 numpy to tensor x = torch.from_numpy(x.astype(np.float32)).clone() tensor to numpy x = x.to('cpu').detach().numpy().copy() pytorchでは変数の型としてほとんどtorch.floatを使うので、基本的にはnumpyでnp.float32にキャストしてからtorch tensorへ変換する。また、torch tensor と numpy ndarray はメモリを共有しているようなので、clone()やcopy()
子問題に連続変数が現れる問題における列生成法的アプローチ - Insight Edge Tech Blog
$\def\R{{\mathbb R}}$ $\def\N{{\mathbb N}}$ $\def\B{\{0, 1\}}$ Insight Edgeのデータサイエンティストのki_ieです。今日は最近勉強した数理最適化関連の技術を紹介します。 はじめに 本記事では、混合整数計画(MIP)問題に対する列生成法の発展的な使い方を紹介します。列生成法は巨大な線形計画(LP)問題を解くための厳密解法です。列生成法の有名な応用先として、多数の子問題と少数の子問題をまたぐ制約とに分解できるMIP問題のヒューリスティック解法があります。本記事では、このヒューリスティック解法を典型的なユースケースから少し拡張して利用する(具体的には、子問題に連続変数が登場するような場合でも利用できるように拡張する)方法を考えます。 本記事の構成は以下の通りです。 列生成法 : 列生成法について簡単に説明します。 列生成
じゃんけんゲームの作り方① （リスト・乱数・モジュールインポート） Let's Python ６（初級編） - Pythonでレトロゲームをつろう！！（佐藤 誠 の あくまでも独り言）
こんにちは〜 Python誠です。 前回、IDLE・エディタウィンドウの使い方（新規ファイル保存・実行）の最後に「モンスターじゃんけん①」という５行ほどのPythonプログラムを打ち込んで、ファイルに保存・実行しました。 今回はまず、「モンスターじゃんけん①」のPythonコードについてかんたんに解説します。 その後、じゃんけんプログラムをバージョンアップしていきたいと思います。 「じゃんけん」プログラムの解説 「モンスターじゃんけん①」 import random jan = ["グー", "チョキ", "パー"] m = random.randint(0, 2) monster = jan[m] print("モンスター： " + monster) １行目をから順番に確認していきましょう。 1行目： モジュールをインポート import random import は、Pythonに足
以下の動画内で高速でパズルゲームを作り上げていることに触発されて、 私もPython3の標準ライブラリのみを使ってぷよぷよもどきを作ってみました。 パズドラを小一時間で作ってみた【プログラミング実況】Programming Match-Three Game - YouTube ロジックをとてもとてもとても参考にさせてもらっています。（一部まんま同じ箇所があります） 動画内ではC++でコーディングしていたのですが、 私が好きなPythonならもっと簡単に書けるのではないかと思い作ってみました。 記事の後半でコードを全て公開しています。 どんなゲーム作ったの？？ とりあえず動いているところを見てもらいましょう。 このゲームの特徴は以下です。 ボード内の二箇所を選択すると選択された箇所のブロックが交換される 交換された結果、3つ以上同じ色でつながっているブロックは削除する 削除されたブロックの箇
じゃんけんゲームの作り方② （引数・戻り値・整数変換） Let's Python ７（初級編） - Pythonでレトロゲームをつろう！！（佐藤 誠 の あくまでも独り言）
こんにちは〜 Python誠です。 前回に続いてじゃんけんゲームを解説していきます。 「じゃんけんプログラムの解説」 # 「モンスターじゃんけん②」 import random jan = ["グー", "チョキ", "パー"] # プレーヤー print("0:グー 1:チョキ 2:パー") p = int(input("じゃんけん・・・")) player = jan[p] print("プレーヤー： " + player) # モンスター m = random.randint(0, 2) monster = jan[m] print("モンスター： " + monster) まず、１行目をみてください。 1行目: コメント欄の挿入 # 「モンスターじゃんけん②」 半角のシャープ # はコメント欄なので、# より右の文字は実行されません。 ７行目からを # プレーヤー 部分 と １３行
設備機器の稼働データを SiteWise ゲートウェイを使って OPC UAプロトコルで AWS IoT SiteWise へ送ってみた | DevelopersIO
設備機器の稼働データを SiteWise ゲートウェイを使って OPC UAプロトコルで AWS IoT SiteWise へ送ってみた 今回は、AWS IoT SiteWise の基本的な使い方を確認してみました。 AWS IoT SiteWise を使うと、OPC-UA や Modbus TCP、Ethernet/IP といった製造機器間の通信に使われる産業用プロトコルで機器のデータを AWS に送信したり、データを蓄積・分析・可視化することができるようになります。 全体の構成 想定する環境 今回作成する環境は、以下のような製造現場の環境を模したものになります。 作成する環境構成 上記の環境を次のような構成で AWS 上に作成します。 実機としての PLC などは無いので 「仮想 OPC UA サーバ」 上で擬似的にデータを生成します。「仮想 OPC UA サーバ」は IoT ゲートウ
最近、生成系AIと呼ばれる技術が話題となっている。ChatGPTやStable DiffusionなどのAIでは文章で指示を入力することで、指示に沿った画像、文章、プログラムなどを生成することができる。そこで、今回はGitHub Copilotを利用して、迷路ゲーム作りに挑戦してみよう。どれだけ楽ができたか楽しみにして欲しい。 GitHub Copilotで作成した迷路ゲーム 果たしてAIはプログラマーの相棒となり得るか？ - GitHub Copilotを使ってみよう 先日、姉妹連載のJavaScript連載(こちら)にて、ChatGPTを利用して電卓アプリを作ってみた。ChatGPTは汎用用途で利用できるAIであるが、それなりに質の良い精度のプログラムを作成することができた。そこで今回は、よりプログラミングに特化したAIを使ってみたいと思う。果たしてAIはプログラマーの相棒となり得るの
この記事についての注意 この記事は、下記のブログにリライト中なのでできればそちらを見ていただければと思います。 前処理とは？ 蓄積したデータを、目的の作業（機械学習など）をするために、綺麗にしたり、加工したりすること。 機械学習を行う方々は、データ収集作業とあわせて この作業に1番の作業時間を使っているらしい。 前処理を学習する上で登場する言葉 データクレンジング データクリーニングと同義。多分「前処理」の中の一部の作業を指す。 データクリーニング データクレンジングと同義。 データラングリング 上の２つよりは広義。多分「前処理と同義」か、「前処理を内包」している。 前処理のフロー 下記のようなことを行う。もっと効率的な順序があるかもしれないし、もっと細かい作業もある。 事前分析 データの情報量、状態などをチェックする。 クリーニング 列名の変更 表記揺らぎのチェック 重複行のチェック 欠
普段、筆者がデータの前処理で使っているpandasやNumPy、scikit-learnなどのモジュールの使い方を逆引きのリファレンス形式でまとめました。 一部のサンプルデータや前処理の手法については、データサイエンティスト協会の100本ノック(構造化データ加工編)を参考にさせていただきました。素晴らしいコンテンツをご用意頂いたこと本当に感謝します。 それでは、以下のモジュールをインポートして、この記事をデータ前処理時の辞書代わりにして利用してください。 モジュールのインポート import numpy as np import pandas as pd from sklearn import preprocessing as pp from sklearn.model_selection import train_test_split from imblearn.under_sampli
IDLE・エディタウィンドウの使い方【2020年版】（新規ファイル作成・保存・実行方法） Let's Python ５（初級編） - Pythonでレトロゲームをつろう！！（佐藤 誠 の あくまでも独り言）
こんにちは〜 Python誠です。 前回までは Pythonのインストール方法 統合開発環境・IDLEの環境設定方法 IDLE・シェルウィンドウの使い方 をみてきました。 今回は、IDLEのエディタウィンドウを使ってPythonプのログラムファイルを作成し、実行する方法を説明します。 新規ファイルを作成 まずは、Pythonコードを記述する為の新規ファイルを作成しましょう。 メニューの[ File ] → [ New File ] をクリックしてください。 （ショートカットは「 command + N 」です。） すると、画面いっぱいに黒いウィンドウが現れます。 これが、エディタウィンドウといってPythonコードを書いていく画面です。 ウィンドウ名が「 Untitled（無題） 」になっているので、ファイル名を新たにつけていきましょう。 ファイルに名前をつけて保存 メニューの[ File
作者: とりすたー ランキング参加中GPT 目次 テーブルのデータを処理したい ChatGPT はCSVデータの処理ができるのか Pythonを経由しないで処理したい CSVデータのテキストを処理してもらう 年齢順に出力して テキストを送信する場合、何件くらいまで処理できるのか 20歳以下を出力して テスト用CSVデータを作る 今回わかったこと 同姓同名対策 テーブルのデータを処理したい ちょっとしたテーブルのデータを処理したい。 手作業は面倒です。少し件数が多くなったら手に負えません。 テキストに grep を掛けて探すとか、もうちょっと面倒な作業があったらどんなツールを使えばいいだろうか？ PostgreSQL は昔使っていたからなんとかなるかも・・・とMacBook Air にPostgreSQLをインストールしました。 しかし、風呂に入っている間に、ChatGPT はCSVデータの
JPEG画像を何回も保存し直すとどんどん劣化していく……のか、ChatGPTと試す - nomolkのブログ
JPEGは画像を小さい容量で保存できるファイル形式ですが、非可逆圧縮といって圧縮前の状態に戻せない性質を持つため、保存した画像を開くと画質が劣化しています。 ということは、画像をJPEGで保存→開く→新しく保存→開く→新しく保存…を繰り返すとどんどん劣化していくのではないかと思って、調べてみました。 実は検索してみると同様の検証はすでにたくさんされているのですが、最近ChatGPTを有料版にして使い道に飢えていたので、一緒に検証してみたいと思います。 ChatGPTにやり方を訊く JPEGを何度も保存し直し、できた画像を動画で見られると面白いのではないかと思いました。初手からChatGPTに訊いてみます。 ※自分が使っているChatGPTと違う……と思った方はこちらをご覧ください。→AIお姉ちゃんへの道 - nomolkのブログ 動画化はffmpegでやればいいそうです。たしかに。 でも画
! git clone https://github.com/lightaime/camel.git %cd camel/ ! pip install -e .このコードは、GitHub上にある"lightaime/camel"というリポジトリ（プログラムの置き場所）から、プログラムをダウンロードして、ローカルのコンピューターにインストールするためのコマンドです。 具体的には、"git clone"というコマンドを使い、"https://github.com/lightaime/camel.git"というリポジトリをクローン（ダウンロード）します。そして、"cd camel/"というコマンドで、クローンしたプログラムが保存された"camel"というディレクトリに移動します。 次に、"pip install"というコマンドを使い、"."（カレントディレクトリ）にあるプログラムをインストールし
みなさんこんにちは。夏ですね。 僕もついに部活動が再開し、ワクワクドキドキな訳ですが、一昨日の夜顧問からこんな連絡がきました。 そもそも朝練が6時半から始まる時点でトチ狂っているので5時20分に連絡しろと言われてもさほど驚かなかったのですが、ここで一つ問題が発生しました。 というのも僕は普段朝5時に起き、そのままパンをかじりながら自転車で駅に向かうので、検温をする時間がないのです。もう少し早起きすれば済む話なのですが、4時起きは流石にきついし体がもたないのでやりたくない。かといって5時に起きて検温なんかしていたら朝練そのものに遅れてしまう。 というわけで、朝5時くらいに、心配されない程度の体温をよしなに指定のFormに入力して送信してくれるプログラムを作りたいと思います。 Seleniumでフォームを送信する 本物のフォームを使ってやると僕の身元がバレてしまうので、今回はテスト用に僕が作成
この記事を読んでできるもの PySimpleGUIで以下のことができるようになります。 棒グラフ、折れ線グラフなどが描画できるようになります。 定期的に表示を更新するグラフ PySimpleGUIの基本的な操作についてはTkinterを使うのであればPySimpleGUIを使ってみたらという話を参考にしてください。 概要 Pythonの利用方法としてデータ解析を行う人は多いと思います。 また解析した結果を折れ線グラフや棒グラフなどで可視化したいという人もいるかと思います。 PySimpleGUIでグラフを利用する場合は大まかに言って２通りあります graph-elementを使って描画する matplotlibを埋め込んで描画する 今回はgraph-elementを使って作成する方法を説明します。 graph-elementについて graph-elementは描画に使うクラスです。tki
たまこんブログ
前に作ったプログラムの迷路プログラムの床パターンを作る新たなエディタを作ってみました。Excelで作り、Pythonに貼り付けるということをできるようにしました。 メリット 実行結果 プログラム 使い方 Point ダウンロード 前回の迷路 tamakon3.hatenablog.com メリット Excelで作るため""を削除する手間がありますが、視覚的に作れるので見やすい 貼り付けるのがそこそこ簡単にできる 色んなパターンが作れる ただし、全てTkinterで表せるのですが第一段階としてExcelでつくってみました。 実行結果 Excelで書いたものが、Pythonで簡単に表現できます プログラム import tkinter import tkinter.messagebox key = "" def key_down(e): #キーが押された時に行う処理 global key ke
Pythonでいかにして暗号を破るか古典暗号解読プログラムを自作する本（Al Sweigart／翻訳：IPUSIRON） | 書籍 | ソシム
『退屈なことはPythonにやらせよう』の著者Al Sweigart氏による、Pythonと暗号の超実践的入門書！ 暗号を用いた秘密のメッセージの作り方を指南する、初心者向けの書籍はたくさんあります。また、暗号の解読法を指南する、初心者向けの書籍はいくつか存在します。しかし、暗号を解読するためのプログラミングを指南する、初心者向けの書籍は皆無といえるでしょう。本書はそのギャップを埋めるためのものです。 本書は、暗号、暗号解読、暗号学について興味を持っている人のためのものです。本書の暗号（23章と24章の公開鍵暗号を除く）はすべて古典的なものであり、ノートPCの計算能力でも解読できます。現在の組織や個人はこうした古典暗号を使用しません。しかし、古典暗号を通じて、暗号を構成する土台や、脆弱な暗号の解読法について学べます。 追加のオンラインリソース 原文：Additional Online Re
構築 RDS(MySQL) 詳細は省きます。 MySQL を RDSで構築し、VPCに足を出しています。 また、自宅からつなげるためパブリックアクセス可能とし、サブネットのルートテーブルにもインターネットゲートウェイが設定されています。 データベース名は「mydb」としています。マスターユーザー名は「admin」です。 SecurityGroupは、同一VPCからのインバウンドをすべて許容しています。 また、SQLクライアントソフトからDDL文を叩くため、自宅のグローバルIPも許可しています。 起動後、適当なテーブルを作成しておきます。 idのほかに、int型のカラム(author_id)と、timestamp型のカラム(time)を作っておきます。 ※mysqlの場合、timestamp型（「2038-01-19」まで）よりもdatetime型（「9999-12-31」まで）のほうがよい
こんにちは！内藤です！ pythonを触り始めて3年くらい経つのですが、ようやくユニットテストのプラクティスがたまってきました。 その中でも劇的な威力を発揮したのが標準モジュールのmockなので、備考録を兼ねて、ブログにしておきます。 TL;DR メンバとして持っているオブジェクトのふるまいを切り替える メソッド自体をmockに置き換え 乱数を使用したメソッドのユニットテスト デコレータで標準関数をmockに置き換え 親クラスの特定のメソッドが呼び出されていることを確認する デコレータで特定クラスのメソッド呼び出しをmockに置き換え unittest.mock の概要 unittest.mockは python 3.3 より標準ライブラリとなった、テスト用のモジュールです。 どんなことができるのかについては優良な記事がたくさんあるので、そちらをご覧ください。 いくつか挙げておきます。 m
ComfyUIでAPIを酷使する｜みし
完全に上級者向けのComfyUIのAPIの使い方 ComfyUIのAPIは、基本的にワークフローの自動実行に使うもの。サンプルはあるがマニュアルがない。そこでコードを解析してみた。このAPI実行用ワークフローを保存するには、メニューのSettingsのEnable Dev mode Optionにチェックしないと出てこない。ぶっちゃけ自作しても良いけど。 Enave Dev mode Optionsをチェックする SAVE(API Format)が出てくるcurl -X POST http://localhost:8188/settings/Comfy.DevMode -d 'true' 今回は、APIの話だからコレだろ（違う） user manager（共有用か？） 起動時に--multi-userを入れていないとおそらく無意味GET /users // ユーザー情報
この記事はなに この記事は、PyTorch で LSTM を使ってみようという入門記事になります。 pytorch で LSTM を使おうと思った時に、英語のドキュメントは無理。 加えて、巷に転がってるチュートリアルや入門記事はいきなり言語処理の実装をしていて、ただpytorchでLSTMを使ってみたい人にとってはハードルが高い。 さらにさらに、落ちているプログラムが動かないこともザラ。 ということで、分かりやすく、サンプルプログラムが動く、かつ例がミニマムであることを心がけて本記事を書きました。 本記事ではガッツリLSTMの解説をすることはしません。期待していた人はごめんなさい。あくまで pytorch で LSTM を扱えるようにすることが主目的です。 2021.2 追記：加筆や内容の修正を行いました。 この記事で分かること、分からないこと 分かること pytorch での LSTM
はじめに 普段、深層学習のフレームワークとしてはPyTorchをよく使っていますが、そのPyTorchがベースとなっている「Kornia」という画像処理ライブラリについて最近知りました。 そこで基本的な機能や使い方を調べてみたので、備忘録として残しておきます。 Korniaとは Korniaは、PyTorchをバックエンドとして実装されているオープンソースのコンピュータービジョンライブラリです。 (Kornia GitHub) It consists of a set of routines and differentiable modules to solve generic computer vision problems. At its core, the package uses PyTorch as its main backend both for efficiency and
20220530 変更 広範囲を見ているときでもドラッグが素早くできるよう改良 はじめに 同じサイズの複数の画像を同期させて見たいことがよくある。 間違い探し トレパクの検証 撮影時期の異なる定点撮影写真を見比べる AEやGANなど生成モデルのAIで元画像と生成された画像を比較 など。 単に並べるだけでは駄目だ。大きい画像の注目すべきエリアのみを並べて比較したい、もちろんそのエリアは動かしたいし拡大縮小もしたい。 そんなビューアがあるといいなと以前から思っていたのだが、個人的に本格的なニーズが発生したので満を持して作ってみた。 完成品 みんな大好きサイゼリヤの間違い探しを今回のアプリでやってみた。 我がGUIアプリの歴史 これまで何度かOpenCVのマウスイベントでGUIアプリを作ってきている。 こうやって見ると、少しずつレベルアップしているのを実感する。 OpenCVでマウスイベントを取
1.はじめに 友人と応用情報の勉強会を始めたのでそれ用のまとめです． 各個人が気になったところ，もう少し知りたいなと思ったところを勝手にまとめて共有する方式の勉強会です．（毎回記事にするかは怪しい） 記事としては既出もいいところでしょうが，今回の僕のテーマは探索アルゴリズム（ハッシュ探索）です． （綺麗にまとまっていませんが後日時間があれば追記したり整理します...） アルゴリズムについて まず僕がこれをテーマに選んだのは，今までハッシュは全単射じゃないと意味がない（完全に全単射は無理でしょうが，それに近いもの）と思っていたのですが，このハッシュ探索では，全単射が理想ではあるものの，そうでなくとも探索対象の集合を分割できるだけでも意味があるんだ，というもので賢いなと感動したからです． ハッシュはあくまでも道具であって，目的（解きたい問題）によっては使い方も変わるんだなと． 図にするとこんな
各種参考リンク 表形式のデータの構成要素 Pandas の主要なデータ型：pd.Series と pd.DataFrame 基本 Pandas を用いてデータを作る pd.Series 基本 リスト，辞書，np.ndarray から pd.Series を作る pd.DataFrame 基本 np.ndarray から作る 辞書から作る columns と index を指定して DataFrame を作る （重要）外部ファイルからデータを読み込む pd.DataFrame の基本的な操作 DataFrame の基本情報を取得する 行数，列数を取得：DataFrame.shape 最初，最後の数行を取得：DataFrame.head()，DataFrame.tail() インデックス，カラムを取得：DataFrame.index，DataFrame.columns 行列を np.ndarr
KinesisDataStreamsのデータ処理用Lambda作成｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.05.26 ｜ Writer：ちばちゃん KinesisDataStreamsのデータ処理用Lambda作成 AWS Lambdaの一般的な利用方法の中から１つを取り上げ、環境構築からLambda関数の作成および動作確認までの一連の作業手順を詳細に解説しています。 今回はAmazon Kinesis Data Streamsのストリーミングデータを処理するLambdaの作成手順をAmazon Kinesis Data Streamsの構築手順と併せて解説します。 Amazon Kinesis Data StreamsはAmazon Kinesisの機能の一つで、センサーやコンピュータ等から次々に送られてくる大量のデータを独自アプリケーションやS3、DynamoDBなどAWSの他のサービスへ高速に転送するためのサービスです。シャードと呼ばれる単位で並列処理することで大量のストリーミ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
kaggleで強化学習をやってみた - 機械学習 Memo φ(・ω・ )
はじめての自然言語処理 OSS によるテキストマイニング | オブジェクトの広場
オレオレFuzzerもどきを利用してCTFのpwnableを解こう - CTFするぞ
知名度がいまいち分かってないNextDPというテクニックについて - Qiita
Python: TFRecord フォーマットについて - CUBE SUGAR CONTAINER
Pytorch tensor と numpy ndarray の変換 - Pythonいぬ
Pythonの標準ライブラリ3つだけでぷよぷよもどきを作ってみた - Qiita
ゼロからはじめるPython(100) AI頼みで作る迷路ゲーム - GPT搭載のCopilotを試した件
Python Pandas データ前処理 個人メモ - Qiita
Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全
ChatGPTの面白い使い方：CSVデータの処理をしてもらう（1） - シロッコの青空ぶろぐ
【勉強メモ】AutoGPTはもう古い！？AIとAIを会話させるCAMELが超便利。使い方や設定｜だいち
毎朝5時にGoogle Formに自動回答したい - Qiita
PySimpleGUIでグラフを描く - Qiita
Amazon Managed GrafanaからRDSの時系列データをリアルタイムに表示してみる - Qiita
pythonのユニットテストにおけるmockのケーススタディ
pytorch で LSTM に入門したい...したくない？ - どやの情弱克服ブログ
PyTorchベースの画像処理ライブラリ「Kornia」の使い方 - Qiita
OpenCVでシンクロビューアを作り間違い探しに活用する - Qiita
ハッシュ探索について（個人用メモに近い） - Qiita
Python：Pandas チートシート - pyてよn日記