退屈なことはPythonにやらせよう 第2版
一歩先行くハイパフォーマンスなビジネスパーソンからの圧倒的な支持を獲得し、自作RPA本の草分けとして大ヒットしたベストセラー書の改訂版。劇的な「業務効率化」「コスト削減」「生産性向上」を達成するには、単純な繰り返し作業の自動化は必須です。本書ではWordやExcel、PDF文書の一括処理、Webサイトからのダウンロード、メールやSMSの送受信、画像処理、GUI操作といった日常業務でよく直面する面倒で退屈な作業を、Pythonと豊富なモジュールを使って自動化します。今回の改訂では、GmailやGoogleスプレッドシートの操作、Pythonと各種モジュールの最新版への対応、演習等を増補しています。日本語版では、PyInstallerによるEXEファイルの作成方法を巻末付録として収録しました。 訳者まえがき まえがき 第I部 Pythonプログラミングの基礎 1章 Pythonの基本 1.1
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
この記事はOpenCV Advent Calendar 2020の12日目の記事です。 他の記事は目次にまとめられています。 対象者 以下みたいな作業依頼を受けることのある人。 つまり、デザインに予算はつかないけど、ある程度の工夫を求められるやつ。。。 上長「部内とかで見せるちょっとしたデモをパパッと作って欲しい」 高橋「デザインは○○さんか、△△社さんにお願いします？」 ※○○さん：デザイン会社から派遣で来ているデザイナーさん ※△△社：デザイン会社 上長「今回、デザインに出すお金は無い」 高橋「What？」 高橋「それじゃ、見た目は気にしな」 上長「偉い人も見る可能性あるからソレっぽくしといてもらわないと困る」 高橋「短い間ですが、お世話になりました」 Flaskとか立てて、UI作る人とデザイナーと役割分担出来るようなプロジェクトは対象外 はじめに OpenCVとかPillowで出来る
Programming Kubernetesの紹介 「Programming Kubernetes」はO’Reilly社から出版されているKuberntesのアーキテクチャやCustom Controllerの実装、Custom API Serverの実装などについて掘り下げている本です。 Kubernetesのハイレベルアーキテクチャに触れている本は、日本語でもいくつかありますが、ソースベースのローレベルアーキテクチャで触れている本は本書しかないのではないかと思います(私が知らないだけかもしれません)。 著者は元Red Hat → AWSのDeveloper AdvocateのMichael HausenblasさんとRed Hatのprincipal engineerのStefan Schimanskiさんです。 www.oreilly.com 2019/07/21に購入し、2019/
【TypeScript】TS初心者の、TS初心者による、TS初心者のためのTS入門 - ecbeing labs（イーシービーイング・ラボ）
はじめに ブンブン Hello world. どうもこんにちは。開発です。 前回「もし新人プログラマが「プリンシプル・オブ・プログラミング」を読んだら」の記事を書かせて頂いたあの開発です。 プログラマ界隈では「1年に1言語」とは言いますが、かくいう私も一念発起して新しい言語を学ぼうと思った次第でございます。 しかし、ただ学ぶだけではペースも落ちますし、やる気の上下も大きいと考えました。 そこで、”学んだ内容を記事にする”というタスクを自分に課すことで学習効率を無理やり持ち上げようと画策致しました 。 そんなわけで今回は、「新人プログラマがどのように未収得の言語を学習するか」について津々浦々と文字列を列挙したいと思います。 はじめに What's TypeScript 概要 JavaScriptとの違い 詳細 文法 型宣言 型推論 実際にやってみた 何はともあれ書いてみましょう 差分進化(D
Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
はじめに トレーニー（筋トレを愛している人）の多くが習慣化している「自撮り（肉体）」。トレーニング後にパンプした肉体を撮りためて、後で見返すのが至福のときですよね。さらに、撮りためた画像をタイムラプスのようにアニメーションで表示させたら、より筋肉の成長が手に取るようにわかりますよね！ この記事はディープラーニングを使って、肉体のタイムラプスを劇的に見やすくした話を書いています。 まずは結果から 2017/12～2020/3の体の変化 ※データサイズの都合上、画像をクロップ&圧縮しています。 目次 1.手作業での補正 1-1.そのまま表示 1-2.位置の固定 1-2-1.乳首おへそ座標付与ツール 1-2-2.動画作成 2.ディープラーニングを用いた自動補正 2-1.アノテーションデータ作成 2-2.学習 2-3.未知画像への適用 2-4.後処理 2-4-1.各ピクセルの出力値が閾値以下のもの
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編
はじめに こんにちは。ELYZAの研究開発チームの佐々木 (@hikomimo)、中村 (@tyo_yo_)、堀江 (@eemon18)、平川 (@h__must__) です。 先日弊社株式会社ELYZAでは以下のようなリリースをさせていただきました。 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 上記のリリースには、Metaの「Llama 2」をベースとした以下のモデルが含まれます。 日本語追加事前学習済みモデル ELYZA-japanese-Llama-2-7b ELYZA-japanese-Llama-2-7b-fast 上記の事前学習済みモデルに事後学習 (instruction tuning) を実施したモデル ELYZA-japanese-Llama-2-7b-instruct (デモ)
この投稿では、JavaScript(Node.js)でディープコピーするにあたって使えるコードスニペットやライブラリの処理速度を比較した結果をお見せします。 比較対象 JSON.stringify/JSON.parse Nodeビルトインモジュールv8のserialize/deserialize lodashのcloneDeep deepcopy - deep copy data clone - offers foolproof deep cloning of objects, arrays, numbers, strings, maps, sets, promises, etc. in JavaScript. clone-deep - Recursively (deep) clone JavaScript native types, like Object, Array, RegExp,
特徴量エンジニアリングのライブラリ xfeat を使ってみて便利だったこと - Taste of Tech Topics
こんにちは。機械学習エンジニアをしている古賀です。 最近は愉快な上司@tereka114 のもと、精度の上がらないモデルに四苦八苦しています。 そんな私が普段データ分析をする際に難しいことの一つとして、特徴量エンジニアリングがあります。 特徴量エンジニアリングとは、元のデータに新たな特徴量を追加することでモデルの精度を向上させるプロセスのことです。 この結果によってモデルの精度が大きく変わりますが、正しく実行するにはデータへの深い理解やデータ分析力が必要になります。 私もあまり得意ではないのですが、これを簡単にする xfeat という便利なライブラリがあると上司が教えてくれたので、実際に使ってみて便利だったことをまとめました。 ※本記事は、Pythonその3 Advent Calendar 2020 の15日目の内容になります。 目次は以下です。 xfeat とは 準備 実行環境 xfea
前回は BERT についてその概要と使い方を紹介しました。今回は自然言語処理ライブラリである spaCy と spaCy をフロントエンドとする日本語NLPライブラリの GiNZA について紹介します。 1. 始めに 本記事では欧米で有名な自然言語処理ライブラリである spaCy とリクルートと国立国語研究所の共同研究成果である日本語NLPライブラリ GiNZA について紹介します。記事の前半では、spaCy と GiNZA の概要と日本語を処理する際の基本的な機能／操作について説明します。後半では、spaCy で提供される文章分類機能について、前回までに紹介した手法も含めて精度を比較してみます。 2. spaCy と GiNZA の概要 spaCy は Explosion AI 社の開発する Python/Cython で実装されたオープンソースの自然言語処理ライブラリで MIT ライセ
[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる
はじめに こんにちは。なんかです。 早速本題に入ります。 [2023/01/20追記] この記事で説明しているDepth-to-Imageモデルのドメイン適応と、適応したモデルのAUTOMATIC1111さんのWebUIでの使用が行えるColab Notebookを公開しました。 こんな感じで使えます Depth-to-Imageモデルの説明 StabilityAIが公開したStable Diffusion V2系のモデルの中に、depthモデルというものがあります。 このモデルができることは、一般的なStable Diffusionのimg2imgができることと基本的には同じで、画像とテキストを入力とし、入力された画像スタイルをテキストの指示に従って変換する、というものです。 まずは、一般的なモデル（ここではWaifu Diffusion V1.4 Epoch1を使用しています）のimg
![[Stable Diffusion] Depth-to-Imageモデルを学習なしで特定のドメインに適応させる](https://cdn-ak-scissors.b.st-hatena.com/image/square/557803d2f73ed08279c214c042240feb7a85e731/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--L-Kt5bdX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BStable%252520Diffusion%25255D%252520Depth-to-Image%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%2525E3%252582%252592%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AA%2525E3%252581%252597%2525E3%252581%2525A7%2525E7%252589%2525B9%2525E5%2525AE%25259A%2525E3%252581%2525AE%2525E3%252583%252589%2525E3%252583%2525A1%2525E3%252582%2525A4%2525E3%252583%2525B3%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E5%2525BF%25259C%2525E3%252581%252595%2525E3%252581%25259B%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%2525AA%2525E3%252582%252593%2525E3%252581%25258B%252Cx_203%252Cy_98%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2IxYzFjNmI4ZGUuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_72%2Fog-base.png)
Actions Runner Controller Deep Dive！- コード解説 後編 - - APC 技術ブログ
こんにちは！ACS事業部の谷合です。 皆大好きGitHub Actionsにおける、GitHub社公式のSelf-hosted runnerであるActions Runner Controller(以降ARC)の紹介をシリーズでお送りしております。 前回までに以下の記事を書いておりました。 Actions Runner Controller Deep Dive！- アーキテクチャ編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- 動作解説編 - - APC 技術ブログ Actions Runner Controller Deep Dive！- コード解説 前編 - - APC 技術ブログ 前回に引き続き、Actions Runner Controllerのコード解説をしていきます。 はじめに この記事のこと コード解説 AutoSca
追記：マリオの全ステージクリアを目指します！(2021/12/30) 深層強化学習で学習したAIマリオで全ステージクリアを目指すプロジェクトをGitHub Pagesで立ち上げました！参加者募集中です！ 詳細は以下参照ください 深層強化学習のPyTorchチュートリアルが日本語訳されて…ない！ PyTorch勉強中の人にとって助けになるのが公式のチュートリアルです。そんな公式チュートリアル @sugulu_Ogawa_ISID さんが日本語訳して公開してくださっています。 今、深層強化学習に興味津々丸なので、早速確認してみました。 すると… ない！ PyTorchのチュートリアル、マリオをプレイするものあって、めっちゃ面白そうなんですよね。というわけで、訳される前のPyTorchの深層強化学習のマリオチュートリアルをやってみました。 ちなみに、PyTorchチュートリアル（日本語翻訳版）の
Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI
February 14, 2023 Replicate ChatGPT Training Quickly and Affordable with Open Source Colossal-AI We recently released new open source code for Colossal-AI, which enables you to use it as a framework for replicating the training process of OpenAI’s popular ChatGPT application optimized for speed and efficiency. With Colossal-AI's efficient implementation of RLHF (Reinforcement Learning with Human F
はじめに インターネット上から収集した画像をもとに機械学習のデータセットを作成するとき、重複した画像の削除が必要です。訓練データに重複した画像があるならまだ良いですが、訓練データ・テストデータの間で重複した画像があると、いわゆるleakageが起きてしまいます。 画像の重複を検出する方法として最も単純なものは、MD5などのファイルのハッシュ値を利用することです。しかしながら、ファイルのハッシュ値は、あくまでも画像ファイルのバイナリ列をハッシュ化したものであり、同じ画像でも保存形式や圧縮パラメータを変えただけでも変化してしまい、検出漏れにつながります。 そこで本記事では、画像の特徴そのものをハッシュ化するアルゴリズムを紹介するとともに、簡単な実験を通してそれらハッシュ化アルゴリズムの特性を見ていきます。 画像のハッシュ化アルゴリズム Average Hash (aHash) 画像の特徴（輝度
Python学習初心者の方で、GUIアプリケーションを作る時にオススメのライブラリ5つをご紹介しています。今回は、Tkinter、PySimpleGUI 、Kivy、PyQt、wxPythonをご紹介していますが、PythonでGUIライブラリには、それぞれ特徴があるので注意が必要です。 Pythonは、主に機械学習のイメージが強いですが、実際にはWebアプリケーションの作成、データのスクレイピング、GUIアプリケーションの作成など、様々なタスクを行うことができます。 これらのタスクを簡単かつ効率的に行うには、適切なライブラリが不可欠です。 今回は、Pythonを使ったGUIアプリケーションを作成する際におすすめのライブラリをご紹介します。 GUIとは GUIは「Graphical User Interface」の略で視覚的に操作することが出来るUIのことです。 対して、CUI「Chara
これはVim Advent Calendar 2021の14日目の記事です。 NeovimにFloating Windowが実装されて以来、様々なプラグインが開発、リプレイスされてきました。 有名所でいうとgit-messenger.vimでしょうか。Floating Windowの良い使い方だなあと感動した覚えがあります。 今日は僕が今まで開発してきたプラグインの中で、Floating Windowを変態的に使ったものを紹介したいと思います。 はじめに 矩形選択＆ペーストを可視化して直感化 テトリスペースト ボタンを作って発射する 行飛ばしで選択してコピー Vimでビートマニア(@skanehiraさん作) 最後に はじめに 記事内に折りたたまれているコードはダブルクリックでコピーが可能で、 test.vimとして保存 ->:source % -> Shift+T で実行できるようになっ
入門 Python 3 第2版
データサイエンスやウェブ開発、セキュリティなど、さまざまな分野で人気を獲得してきているPython。本書は、ベストセラー『入門 Python 3』の6年ぶりの改訂版で、プログラミング初級者を対象としたPythonの入門書です。プログラミングおよびPythonの基礎から、ウェブ、データベース、ネットワーク、並行処理といった応用まで、実践を見据えたPythonプログラミングをわかりやすく丁寧に説明します。Python 3.9に対応し、f文字列などの新機能も追加され大幅にボリュームアップしました。Pythonの機能をひと通り網羅し、リファレンスとしても便利です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ペ
インターネットの世界にニュースが溢れる昨今、満足度が高いものを的確に読みたいという方も多いかと思います。そのためには、見るニュースをどれにするか判断することが必要になります。そこで、ニュース全体の主旨を短い文章で表す要約の価値が高まっています。 自然言語処理における要約は、大きく２つに分けられます。それは、抽出型と抽象型です。抽出型は、文章の中から重要な文を抜き出すことで要約を作ります。要約として選ばれた文は元の文章にあるものなので、方向性が大きく異ることや誤字脱字がうまれる可能性は低いです。しかし、要約として選ばれた文のそれぞれは関係があるわけではないので、流暢な要約にならないことも多いです。それに対して、抽象型は人間が作るように要約としての文章の流暢さを考慮しながら作ります。本来人間がほしい要約はこちらになりますが、抽出型に比べると難易度が上がり、全く意味がわからない文章になる可能性も
この記事はLayerX Tech Advent Calendar 2022 の14日目の記事です。 LayerXのバクラク事業部でエンジニアをしている @upamune です。現在はバクラク申請・経費精算チームの開発に携わっています。 今回の記事では、Goで書かれているバックエンドアプリケーションのテストが遅かったのを、どのようにして改善したかについてご紹介します。 背景 LayerXでのサービスのバックエンドはGo言語で記述されています。マルチテナント構成で一つのDBに複数のテナント（会社）のデータが入っている状態です。 入社してバックエンド開発をしていると、テストを走らせてみると結構時間がかかることに気づきました。その時のテストケースの数を考えても遅いと感じ、今後テストを拡充していくことを考慮すると今のうちに対処しておかないとテストの時間の増加に繋がってしまうため、この問題を解消するべ
Gerd AltmannによるPixabayからの画像 秋山です。Python好きのエンジニアです。 プログラミングにおけるアルゴリズムというと「正確に計算し、正しい結果を得るための効率のよい方法」といったイメージがありますよね。 このブログでもアルゴリズムに関する記事はいくつか書いてきましたが、単純ループだと時間がかかる処理をアルゴリズムを用いて計算量を減らそうとか、目的の値を効率よく探索しようとかそういった話が多かったと思います。 今回はこれまでとは少し違ったタイプの「乱択アルゴリズム」（ランダム・アルゴリズム、確率的アルゴリズムとも）というものを紹介したいと思います。 乱択アルゴリズムとは大雑把に言うと、乱数を使って平均するとよい結果を出せることを狙ったアルゴリズムを指します。 といってもこれだけでは分かりづらいので、数学や情報の授業などでもよく取り上げられる「モンテカルロ法」で具体
前回は BERT についてその概要と使い方を紹介しました。今回は自然言語処理ライブラリである spaCy と spaCy をフロントエンドとする日本語NLPライブラリの GiNZA について紹介します。 1. 始めに 本記事では欧米で有名な自然言語処理ライブラリである spaCy とリクルートと国立国語研究所の共同研究成果である日本語NLPライブラリ GiNZA について紹介します。記事の前半では、spaCy と GiNZA の概要と日本語を処理する際の基本的な機能／操作について説明します。後半では、spaCy で提供される文章分類機能について、前回までに紹介した手法も含めて精度を比較してみます。 2. spaCy と GiNZA の概要 spaCy は Explosion AI 社の開発する Python/Cython で実装されたオープンソースの自然言語処理ライブラリで MIT ライセ
［解決！Python］Excelワークシートに株価チャートを作成するには（OpenPyXL）：解決！Python OpenPyXLが提供するStockChartクラスとBarChartクラスを使って、各種の株価チャート（ローソク足など、と棒グラフの組み合わせ）を作成する方法を紹介する。 from openpyxl import Workbook wb = Workbook() ws = wb.active values = [ ['日付', '出来高', '始値', '高値', '安値', '終値'], ['2022年4月1日', 100300, 2289, 2289, 2212, 2263], ['2022年4月4日', 146700, 2299, 2375, 2265, 2375], ['2022年4月5日', 119400, 2398, 2434, 2376, 2390], ['20
データサイエンティストの山本(@hayata_yamamoto)です。 レアジョブでは、EdTech Labという研究開発の部署で、主にスピーキングテストの自動化プロジェクトに関わっています。弊社全体としては、PHP, Go, TypeScriptなどがメイン言語ですが、私たちのチームはPythonで開発をしています。 今回は、Pythonを用いた分析チームの開発スタイルの話をします。 www.rarejob.co.jp 分析チームでの開発スタイル このスタイルに至った背景 どのようにやっているか 特徴量エンジニアリングとトレーニングの切り分け、最適化処理の簡略化 jupyterlab_templatesを利用したNotebookスタイルの統一 コア部分の単体テスト mypyでの型チェック flake8でのLintと、autoflake, black, isortを用いたコード整形 おわり
こんにちは。サービスグループの武田です。 最近Rust勉強会が定期的に開催されていて、社内のRust熱（Rust愛？）が上がっています。 『The Rust Programming Language』勉強会 ｜ シリーズ ｜ DevelopersIO Rustの特徴的なメモリ管理モデルとして所有権があります。正直まだ勉強し始めなので、はっきり理解したと自信をもって言えませんが、所有権については完全に理解した *1といっても過言ではないでしょう。 ムーブセマンティクスとコピーセマンティクス Rustの値には所有権があり、その所有権をもっている変数を所有者と呼びます。ある値の所有者はただひとつの変数という制限があり、言い換えると同時に2つ以上の変数がある値の所有権をもつことはできない、ということになります。この制限によって、所有者がスコープから外れる際にメモリを安全に破棄できます。 ではこの所
※書きかけです、少しずつ追記・修正します。 C++のデータ型は値のセマンティクスらしいです。 つまり 変数 = 変数をすると、C++では中の値もすべてコピーされる...というのがデフォルトの動作でありC++の各種クラスやデータ型（st::stringやstd::vector、std::array）も標準でそうなるようになっているらしいです。このような動作や処理 のことを セマンティクス と言い、とりわけコピーされる動作を ○ コピーセマンティクス （値のセマンティクス） と言います。 PCで言うと、ファイルやフォルダのコピーでしょうか？ 一方、他の言語（例えばPythonなど）では、デフォルトでは値そのものはコピーされずに、値への参照のみコピーされる ことが多いです。 これを ○ 参照のセマンティクス と言います。 イメージ的にはファイルやフォルダへのショートカットやシンボリックリンクの作
vim9script4pythondevelopers.md Vim9 script for Python Developers Vim9 script�Vim script��������������������������������������������������系��� def������義����������Vim script��vim9script�����使����������(vim9script���
Turing株式会社の自動運転・AIモデル開発チームの岩政(@colum2131)です。 Turingは2030年までに完全自動運転の達成を目指しており、自動運転AI開発から車両開発など、取り組むことは多岐に渡っています。 今回の話は、自動運転AI開発中に出た問題と、ひとまずの解決方法になります。より良い解決策があれば、教えてもらいたいです🙏 Transfomer-EncoderをONNXに変換したい ONNX（Open Neural Network eXchange）は、機械学習・深層学習モデルを表現するために構築されたオープンフォーマットです。 PyTorchやTensorFlow、scikit-learnなどのフレームワークで学習されたモデルをONNXに変換することでサーバーやエッジデバイスなど多様なハードウェアで運用が可能です。各ハードウェアごとに最適化されたフォーマットにも変換
PythonのAWSライブラリBoto3のSessionはスレッドセーフではないよという話 | DevelopersIO
こんにちは。サービスグループの武田です。 AWSのリソースを操作する方法としてマネジメントコンソールやAWS CLI、そして各プログラミング言語に用意されているSDKが利用できます。人気の高いPythonでは、Boto3というライブラリが提供されています。 さてそのBoto3ですが、基本的な使い方は次のような流れになります。 first_test.py import boto3 session = boto3.Session() client = session.client("sts") r = client.get_caller_identity() print(r) セッション作成 各サービス用のクライアント作成 API呼び出し 通常であれば、これ以上言及することは特にないのですが、マルチスレッドと組み合わせる際に少し注意が必要です。一連の流れで作成しているSessionオブジェクト
現在(2020/05/05)使用している AtCoderなどの競プロ(Python用)のテンプレ！ よかったら使ってください〜 （万が一間違いがあったらすいません！） 1行目は削除して提出することが多いと思うので、 (入力時で)必ず使用するsysとそれ以外のライブラリ の2行に分けている！ また、input()よりsys.stdin.readline().rstrip()の方が明らかに早い！！！ 参考記事 Pythonの知っておくと良い細かい処理速度の違い8個 (2020/05/17追記) S()の位置をLS()の上に移動(見栄えがよくなかったため) import bisect,collections,copy,heapq,itertools,math,numpy,string import sys def I(): return int(sys.stdin.readline().rstr
Solving Every Sudoku Puzzle
by Peter Norvig Note: This page is the original 2006 essay; an updated Python 3 Jupyter notebook is available here and should probably be read instead of this page. In this essay I tackle the problem of solving every Sudoku puzzle. It turns out to be quite easy (about one page of code for the main idea and two pages for embellishments) using two ideas: constraint propagation and search. Sudoku Not
はじめに 書籍「きれいなPythonプログラミング」を読みました。非常に参考にり、そして「感動」した書籍でしたので、面白かったトピックを記載します 作者 Al Sweigart（アル・スウェイガート）さんという方で、この書籍以外にも「退屈なことはPythonにやらせよう」なども書いている方です。また、「きれいなPythonプログラミング」も含め無料の英語版をクリエイティブ・コモンズ・ライセンスのもとwww.inventwithpython.comで公開されています。 基本的なことは理解したが、次は何をしようと考えている人向け 原題は「Python で基本的なことを超えて(Beyond the Basic Stuff with Python)」となっており、書籍の「はじめに」の部分にもありましたが、pythonのチュートリアルを読み終えて、次は何をしようと考えている人向けです。また、ある程度
Pythonスクリプトをexe化する方法について解説しています。今回はライブラリとして「Pyinstaller」を使用します。具体的な方法やexe化することのメリットとデメリットについても説明していきます。（本記事はWindows環境を前提としています。） 通常Pythonスクリプトを実行するにはPythonをインストールして環境構築をする必要がありますが、exe化することによって環境構築無しでも実行することができるようになります。 Pythonスクリプトをexe化するためのライブラリにはPyinstaller、py2exe、Nuitkaなどがあります。今回はPyinstallerを使ったexe化を説明していきます。 Pythonスクリプトのexeファイル化とは exeファイルとは開発言語に依存することなくプログラムを実行できるようにしたもので、主にWindows環境で使用されます。 Py
Tiltでカスタムコントローラーの開発を効率化しよう
みなさん、Kubernetesのカスタムコントローラーを開発するとき、どのように動作確認してますか？ 多少の違いはあれど、おそらく以下のような手順を踏んでいるのではないでしょうか？ ソースコードやマニフェストを書き換える。 コード生成ツール（controller-genなど）を実行してマニフェストやソースコードを生成する。 コンテナイメージをビルドする。 コンテナイメージをローカルレジストリにpushする。 マニフェストをKubernetesクラスタに適用する。 Podを再起動する。 ソースコードをちょっと書き換えるたびにこれらを実行していると、時間もかかるしとても面倒ですよね。 そこで本記事ではTiltというツールを利用して、カスタムコントローラーの開発を効率化する方法について紹介したいと思います。 Tiltとは Tiltは、Kubernetes上でのアプリケーション開発をサポートするた
主にWebアプリケーションスキャナを開発している寺田です。 本日はJavaのWebアプリケーションにおけるセッションのレースコンディションについて書きます。StrutsやSpringのセッションスコープのフォームを使用しているアプリケーションに影響しうる問題ですので、該当する方は参照ください。 要約 Java Servletのセッションは、同じセッションIDのリクエストを複数同時に処理する際にレースコンディション問題を起こしうる仕組みになっている。 Struts1/2, Springのセッションスコープのフォームを使っていると、レースコンディションによりフレームワークやアプリケーションによるチェックをバイパスされるおそれがある。 Synchronizedブロックによるロック等の回避策がある。 Java Servletのセッションが持つ特性 Java Servletのセッションは、他の処理系
GPT-4/ChatGPTと画像生成（Stable Diffusion）の組み合わせを試したら、とんでもないクォリティのイラストができたので記事にしました。GPT-4に情景描写をさせてプロンプトに変換するものですが、あまりにGPTの描写能力が強いです。もう人間が1からプロンプトを作る時代は終わったのではないでしょうか。 はじめに あまりにやばい画像ができたので公開するかどうか迷っていたのですが、そのうち誰か公開しそうだったので公開します。 GPTを使って画像生成のプロンプトを生成するのは誰でも思いつきそうなものなのですが、特に最近出たGPT-4では得意な内容がある程度明らかになってきました。 エンジニア兼SF作家がGPT-4執筆支援を実戦投入できないか実験してわかったこと これを見ると、 文章構成 情景描写や人物描写 どこかに当てはまる言葉を探索したい このへんが強いそうですね。あれ、ちょ
Chrome98 で structuredCloneが来ました。 すでに Firefox では導入済みで、 Safari もプレビュー版で導入されているので、近い将来にメジャーブラウザでディープコピーが簡単にできるようになりそうです。 Safari 15.4 で実装されました。 structuredClone API | Can I use... Support tables for HTML5, CSS3, etc const original = { x: 0, arr: [1, 2], } // 共有渡し const sharing = original //「浅い」コピー const shallowCopy = {...original} // ディープコピー const deepCopy = structuredClone(original) original.x = "x" o
【CFR】不完全情報ゲームを学習するAIを実装してみる【KuhnPoker】 - Morikatron Engineer Blog
こんにちは、エンジニアの竹内です。 これまでの記事ではDQfD、PPOといった深層強化学習のアルゴリズムを紹介してきましたが、今回は少し趣向を変えて、ニューラルネットを使わずに不完全情報ゲームの戦略を求めるアルゴリズムを扱いたいと思います。 不完全情報ゲームのAI KuhnPokerのルール 記号の定義と説明 ナッシュ均衡 Counterfactual Regret Minimization 実装 ゲームのルール部分 CFRアルゴリズム 結果 まとめ References 不完全情報ゲームのAI 不完全情報ゲームとは文字通り、プレイヤーが行動を決定する際に結果を左右する情報の一部が得られないようなゲームのことであり、ポーカーや麻雀、ガイスターなどが該当します。それに対して、ゲームに関する情報がすべて得られるものは完全情報ゲームと呼ばれ、将棋やチェス、囲碁やオセロなどが該当します。 トップレ
はじめに Pythonと強化学習の勉強を兼ねて，ブラックジャックの戦略作りをやってみました． ベーシックストラテジーという確率に基づいた戦略がありますが，それに追いつけるか試してみます． こんな感じで進めていきます 1. ブラックジャック実装 ← 今回はここ 2. OpenAI gymの環境に登録 3. 強化学習でブラックジャックの戦略を学習 なぜブラックジャック？ プログラミングの勉強によさそう（プログラミング入門者からの卒業試験は『ブラックジャック』を開発すべし） 学習後の戦略をベーシックストラテジーと比較できる（ベンチマークがある） ブラックジャックうまくなりたい 開発環境 Windows 10 Python 3.6.9 Anaconda 4.3.0 (64-bit) ブラックジャックのルール ブラックジャックはカジノの中でも人気のテーブルゲームです． 簡単にルールを紹介します． 基
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
OpenCVでのデモの見栄えを工夫したまとめ(ディープラーニング系) - Qiita
Programming Kubernetesを読んで学んだこと - go_vargoのブログ
ディープラーニングで肉体変化のタイムラプスを劇的に見やすくした - Qiita
JavaScriptのディープコピー速さ比較 〜7つの手法/ライブラリを比べてみた〜 - Qiita
はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理 | オブジェクトの広場
深層強化学習でAIマリオのクリアにチャレンジしてみた - Qiita
同一画像を判定するためのハッシュ化アルゴリズム - Qiita
PythonでGUIライブラリはどれがおすすめ？ - TECH PLAY Magazine
Floating Windowの変態的な使い方 - ハイパーマッスルエンジニア
PytorchのTransformersのT5を使って要約モデルを作る - 見習いデータサイエンティストの隠れ家
マルチテナントSaaSにおけるGoのテスト高速化 - LayerX エンジニアブログ
乱択アルゴリズムって何？「モンテカルロ法」をPythonで学ぼう - paiza times
はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理 | オブジェクトの広場
［解決！Python］Excelワークシートに株価チャートを作成するには（OpenPyXL）
分析チームの開発スタイルについて - RareJob Tech Blog
RustのコピーセマンティクスをCopyトレイトを実装して確認する | DevelopersIO
C++のコピー・ムーブ・参照・右辺値参照を私なりにまとめてみました
Vim9 script for Python Developers · GitHub
ONNXモデルの変換エラーを解決: PyTorchのTransformerモデルの再実装方法
【Python】競プロテンプレ【AtCoder】 - Qiita
「きれいなPythonプログラミング」を読んで - Qiita
PythonのスクリプトをPyinstallerでexe化する方法 - TECH PLAY Magazine
セッションのレースコンディション(1) | 技術者ブログ | 三井物産セキュアディレクション株式会社
GPT-4と画像生成を組み合わせたらヤバすぎた | Shikoan's ML Blog
ブラウザでディープコピーができるようになった - Qiita
ブラックジャックの戦略を強化学習で作ってみる（①ブラックジャックの実装） - Qiita