前回、おそ松さんたちをディープラーニングで見分けるため、準備編としておそ松さんたちの顔画像を5644枚集めました。 今回はそれを用いて、ディープラーニングで学習させ、判別器を作って検証します。 集めた画像 人物 枚数 例 おそ松 1126 から松 769 チョロ松 1047 一松 736 十四松 855 とど松 729 その他 383 使用フレームワーク 最近GoogleからTensorFlowという新しいディープラーニングのフレームワークが発表されました。 会社のブログに使い方書いたのですが、まだ慣れていないので、今回はchainerを使います。こちらだとすぐに高い成果を上げているImageNetのNINモデル、４層畳み込みニューラルネットワークがサンプルで入っていますので、こちらを改良して使います。 imageNetの使い方は、こちらやこちらを参考にしています。 訓練データセット Im
追記: U-Netの中間層は常にSelf-Attentionとなります。ご指摘いただきました。ありがとうございます。（コード） オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ 未来都市にたたずむサンタクロース（Stable Diffusionで生成） 2022年8月、世界に大きな衝撃が走りました。それは、Stable Diffusionの公開です。Stable Diffusionは、テキストを受け取るとそれに沿った画像を出力してくれるモデルです1。Stable Diffsuionは10億個近いパラメータ数をもち、およそ20億個の画像とテキストのペア（LAION-2B）で学習されています。これにより、Stable Diffusionは入
Python文法のチートシート風まとめ（BOKU用） - SE_BOKUのまとめノート的ブログ
複数言語をいったりきたりするので、久々にpythonを使うと度忘れしていることがたまにあります。そんな時、カンニングペーパー（チートシート）的に一か所にまとめたものがあると助かるなと思って（自分用に）まとめてみました。 目次 （１）スタイル （２）命名規則 （３）モジュール・パッケージ・import （４）初期化 （５）内包表記とジェネレータ （６）ループ・繰り返し処理 （７）データの取り出し・並び替えなど （８）条件式と比較演算子など （９）文字列の検索・置換・正規表現 （１０）クラス定義と関数の引数 （１１）例外 （１２）ファイル読み書き・直列化 （１２）スレッド・並列処理など （１３）その他もろもろ （１）スタイル 他の言語と記憶が混同しやすいものだけ、とりあえず。 項目 説明 インデント TABではなく「空白４個」を使う クラス内のメソッド定義 1行あける 各行の長さ 80文字未満
人工知能に関する断想録
Deep Learningの訓練終了など任意のメッセージを特定のSlackチャネルに投稿できるボットを作りました。 Yatta Kun プログラミングは不要で curl というコマンドラインツールから簡単に投稿できるので非常に便利です。可愛いくて便利なので作り方を紹介します。 職場などでみんなが使っているワークスペースで実験すると迷惑がかかる可能性があるので、最初は個人の実験用ワークスペースを作ってしまうのが良いと思います。無料でできます。 1. Incoming Webhookをインストール SlackアプリのページからIncoming Webhookをインストールします。Slackアプリページは、 https://[workspace name].slack.com/apps/ から行けます。 workspace name はワークスペース名です。 Incoming Webhook で
Pythonでリトライ処理を簡単に追加できる「tenacity」を使ってみる | DevelopersIO
今回はPythonで簡単にリトライ処理を追加できる「tenacity」を使ってみます。 デコレータ形式で簡単にリトライ処理を追加できるので便利です。 tenacityについて プログラムを書いていて、HTTPの通信などでリトライ処理を実装する機会は多いと思います。 今回はそんなリトライ処理を簡潔に書けるtenacityの使い方を説明します。 インストール インストールはpipで可能です。 pip install tenacity 使い方 シンプルな例 import random from tenacity import retry @retry def random_error(): num = random.randint(0, 10) if num > 4: print(f"Error: num={num}") raise Exception("Error!") else: retur
はじめに Kaggleで使えるPandasの使い方を備忘録として残します。 随時更新していく予定です。 更新：2019年1月29日15時 様々なコンペで使える便利な関数を追記しました。 Pandas Basics Cheat Sheet(基本的な使い方) [引用]https://becominghuman.ai/cheat-sheets-for-ai-neural-networks-machine-learning-deep-learning-big-data-678c51b4b463 プログレスバーを表示する df.apply()やdf.map()の進捗を見たい時に、 tqdmというライブラリを使うことでプログレスバーを表示することができます。 import pandas as pd import numpy as np from tqdm._tqdm_notebook import t
秋山です。 サービスを運営していると、いろいろなデータから必要な情報だけを取得して分析するような機会もたくさんあるかと思います。 分析に使えるツールは世の中にたくさんあるので、どれが使いやすいかは人それぞれですが、今回は「分析を始めたばかりで何をどうすればいいのかわからない…！」という方のために、Pythonを使って初心者向けのデータ分析のやり方を紹介します。 ■使用する環境 paizaでは、Pythonを使ってスキルチェック問題の回答データや、ユーザーの情報等の分析をしています。（R言語を使っていたときもありましたが、私がPythonのライブラリにある便利機能を使いたかったのと、R言語があまり得意ではなかったので移行しました） 今回は、Python3がインストール済みの環境を想定しています。これから出てくるコードもPython3を推奨しています。 下記のライブラリを使用します。 Jupy
【Edward】MCMCの数学的基礎からStochastic Gradient Langevin Dynamicsの実装まで - Gunosyデータ分析ブログ
こんにちは。初めまして。 データ分析部新入りのmathetake(@mathetake)と申します。 先日個人ブログでこんなエントリを書いた人です: mathetake.hatenablog.com そんなこんなでTwitter就活芸人(?)として活動(?)してましたが、これからは真面目に頑張っていこうと思います。 今日はみんな大好きベイズモデリングおいて、事後分布推定に欠かせないアルゴリズム(群)の一つである*1 マルコフ連鎖モンテカルロ法(Markov chain Monte Carlo) 通称MCMCに関するエントリです。より具体的に、 MCMCの意義(§1.)から始め、マルコフ連鎖の数学的な基礎(§2.,3.,4.)、MCMCの代表的なアルゴリズムであるMetropolis-Hastings法(§5.)、その例の１つである*2Langevin Dynamics(§6.)、そして(僕
Python のコマンドラインパーサといえば、標準ライブラリに組み込まれている argparse が基本。 蛇足になるけど、バージョン 2.7 以前で使われていた optparse は将来的に廃止予定なので新たに使うことは避けた方が良い。 そして、今回紹介する Python のサードパーティ製コマンドラインパーサ Click は、既存のパッケージと比較すると最小限のコードで美しくコマンドラインインターフェースを実装できるように作られている。 どれくらい楽になるかといえば、もう argparse を使っている場合じゃないな、と思えるレベル。 Welcome to Click — Click Documentation (8.0.x) もくじ もくじ Click をインストールする 基本的な使い方 コマンドを定義する オプションを追加する 引数を追加する サブコマンドを作る オプションについて
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
外資系コンサルが実践する 資料作成の基本 パワーポイント、ワード、エクセルを使い分けて「伝える」→「動かす」王道70posted with カエレバ吉澤 準特 日本能率協会マネジメントセンター 2014-08-20 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに PyCoolPlot 必要なもの ダウンロードの仕方 使い方 Horizontal bar plot Line graph Time bar chart 参考資料 MyEnigma Supporters はじめに いつもグラフを書く時にデザインに迷うのですが、 下記の記事を見て、すぐにmaplotlibで実装したくなりました。 note.mu しかし、 もたもたしているうちに先を越されてしまったのですが、 「データ視覚化のデザイン #1」をmatplotlibで実装する
アクターモデルというのは、並行処理のプログラミングモデルの一つだ。 並行処理という言葉からは、まずマルチスレッドとかをイメージすると思うけど、それよりも抽象度の高い概念となっている。 つまり、アクターモデルというのはマルチスレッドなどを用いて構築することになる。 どちらかといえばプロセス間通信 (IPC) の技法であって、共有メモリやロック、RPC と比較するものかもしれない。 そんなアクターモデルは、概念とか使ったときの嬉しさを理解・実感するのがなかなか難しいモデルだとも思う。 理由としては、使い始めるまでに必要なコード量が多かったり、それなりの規模のアプリケーションで使わないとメリットが分かりづらい点が挙げられる。 ただ、これはあくまで主観的なものだけど、アクターモデルをベースに組まれたアプリケーションは規模が大きくなっても並行処理をしているコードが読みやすい。 共有メモリやロックを使
2012 Pythonアドベントカレンダー(Webフレームワーク) #python_adv の5日目の記事です。 明日は @altnight にお願いします。 Flaskはオモチャじゃないよ PyCharmなどのIDEがFlaskに対応を始めたり、Flask はそろそろ Django に続く Python の Web フレームワーク No.2 と名乗れそうなほど広まってきています。(その割にPython3対応遅いけど) Flaskと言えばマイクロフレームワーク、Hello World が簡単に書けるヤツで有名ですよね。 import flask app = flask.Flask(__name__) @app.route('/') def index(): return "Hello, World." app.run(debug=True) これを見るとオモチャっぽく見えるんですが、Fla
データ分析ガチ勉強アドベントカレンダー 16日目。 今日からは少しディープラーニングの勉強。 ここ数年間、深層学習用ライブラリも猛烈に整備され、誰でも簡単にディープラーニングを使えるようになりました。 その一方で、整備されすぎて、魔法の箱だという認識も多いですよね。 けれど、深層学習と言えど、しているのはほとんど線形代数と微積分を組み合わせた数値計算です。 だったら自分で作れるのでは？ というわけで、仕組みを理解するために、0からスクラッチで作ることにしました。 尚、勉強にはプロフェッショナルシリーズの深層学習を利用しています。 爆速で技術が進む深層学習界隈では少々obsoleteかもしれませんが*1、きちんと基礎の基礎を知るにはいい本だと思います。詳しい計算方法を学びたい人は、どうぞ。(線形代数と偏微分の知識が必要です。) 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴
Python関連記事まとめ | note.nkmk.me
環境情報・設定 Pythonのバージョンを確認、表示（sys.versionなど） Pythonが実行されている環境のOSやバージョン情報などを取得 カレントディレクトリを取得、変更（移動） 実行中のファイルの場所（パス）を取得する__file__ 環境変数を取得・追加・上書き・削除（os.environ） 再帰回数の上限を確認・変更（sys.setrecursionlimitなど） コードの書き方・ルール Pythonはインデント（スペース4文字）でブロックを表す 識別子（変数名など）として有効・無効な名前、命名規則 キーワード（予約語）一覧を確認するkeyword 長い文字列を複数行に分けて書く メソッドチェーンを改行して書く pip（パッケージ管理） パッケージ管理システムpipの使い方 pipでrequirements.txtを使ってパッケージ一括インストール pip list /
tqdm インストール 使い方 イテラブルオブジェクト 手動 ネスト Pandas tqdm github.com tqdmを使用すると処理の進捗をプログレスバーで表示することができるようになる。時間のかかる処理で進捗を確認したいときなどに便利。 ちなみに例ではREPLとしてptpythonを使用している。 wonderwall.hatenablog.com インストール pipでインストールできるので下記コマンドを実行。 $ pip install tqdm$ tqdm --help Usage: tqdm [--help | options] Options: -h, --help Print this help and exit -v, --version Print version and exit --desc=<desc> : str, optional Prefix for
記事の内容に一区切りついたので、演習に加えて本コラムを挟むこととしました。今まではPythonを、順番に命令を並べて制御する「手続き型言語」として使ってきましたが、以後は「オブジェクト指向言語」として使いはじめます。 オブジェクト指向型言語とはなんぞやという話は次回以降に譲り、今回は手続き型言語、オブジェクト型指向言語に並んでよく使われる「関数型言語」について取り扱いたいと思います。 Pythonも関数型言語の思想を一部取り込んでいるので、関数型がどのようなものか学ぶことで、新しい「関数型に近いPythonの文法」を理解しやすくなるでしょう。また、Pythonに限らずさまざまな言語で「関数型のメリット」を強く意識して自分のコーディングにルールを課すことで、コードがより頑丈なものとなるかもしれません。 いずれにせよ、関数型を知って損することはないと思いますので、気軽に読んでいただけたら幸いで
概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。 こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を解説した記事になります。間違いがあれば、コメントいただけたら嬉しいです。 bookclub.kodansha.co.jp 強化学習とは 強化学習とは、行動から報酬が得られる環境において、各状況で報酬に繋がるような行動を出力するように、モデルを作成すること。 教師あり学習との違いは連続した行動によって得られる報酬を最大化させるという点です。囲碁を考えた時、ある局面で悪手に見えた一手が、先々進めると実は良い手だった、といった場合のその一手を選択できるようにするのが強化学習になります。 Connect X と強化学
前回より、オンラインストレージの「Googleドライブ」をPythonから操作する方法について紹介している。PythonからGoogleドライブにアクセスできれば、アイデア次第でいろいろ活用できるだろう。今回は、より詳しい使い方を紹介する。 前回のおさらい 前回は、GoogleドライブをPythonから利用するために、GoogleからOAuthクライアントIDを取得したり、Google Drive APIを有効にするなどして準備を整えた後で、テキストファイルをGoogleドライブ上に作成するという簡単なプログラムを紹介した。OAuthの仕組みがちょっと複雑なので、前回はOAuth認証で終わってしまった感があった。 そこで、今回は、ファイルの一覧を得る方法や、任意のフォルダにファイルをアップロードする方法など、より突っ込んだプログラムを紹介しよう。 ユーザ認証だけを行うプログラム 既に、前回
Python3系 基礎文法 - Qiita
# Python 最速文法 # 参考 # みんなのPython 第3版 # [python] 年末大感謝祭！初心者脱出のためのPythonTipsを50個紹介 # http://kwatch.houkagoteatime.net/blog/2013/12/07/python-tips/ # エンコード指定 # -*- coding: utf-8 -*- # コードの区切り＝;（セミコロン） # モジュールのインポート import moduleName from moduleName import functionName from math import * # import all functions from math import e from math import e as newName from math import (e, pi) # 複数インポートするなら括弧で囲む
2015-08-08 xgboost package のR とpython の違い - puyokwの日記 puyokwさんの記事に触発されて，私もPythonでXgboost使う人のための導入記事的なものを書きます．ちなみに，xgboost のパラメータ - puyokwの日記にはだいぶお世話になりました．ありがとうございました． Xgboostとは dmlc/xgboost Xgboostは言わずと知れた最近流行りのGradient Boosting系のライブラリで，独立したバイナリとしてコマンドラインから実行できるほか，RやPythonからもライブラリとして利用することができる．詳しくい情報は以下の記事を参照していただきたい． 勾配ブースティングについてざっくりと説明する - About connecting the dots. xgboostとgbmのパラメータ対応一覧をつくる -
SCOOPとは ssh とPython の設定を適切にするだけで、簡単にネットワーク間での分散処理が実行できる。 ネットワーク分散に対応していないライブラリに便利。 関数の処理を分散して行い、返り値をまとめて返してくれる。 Core 数に応じた Worker 数の設定が可能 Docker との相性が抜群 基本動作 python 標準の map 関数の使い方で ssh で繋いだ先(ノード)でも分散処理してくれる。multiprocessing.Pool.map のネットワーク処理に対応した版。 map 関数に配列を渡すと配列の各要素を引数に関数を実行する。その際の各処理を各ノードでマルチプロセスで実行して、ホストPCに変数を返す。 通信には pickle 化された情報を送信している。 ssh で接続先の通信用ポートを開けて、ポートの情報をホストに送って通信。--tunnelオプションを使えば
今回は第3回の冒頭で紹介した、Numpyの導入方法と簡単な使い方について説明します。次回で様々な分布を扱うためにNumpyの準備をしておきましょう。 Numpyの導入 Numpyはオープンソースの拡張モジュールで行列や多次元配列と、それらを操作するための数学関数ライブラリを提供しています。Numpyの内部はC言語で実装されているため、普通にPythonで実装した時と比較するとはるかに高速に実行することが可能です。 ここではインストールの仕方とNumpyの簡単な実行例を確認しておきましょう。 インストール WindowsとMacOSXのPCにNumpyをインストールする場合は、NumpyのサイトのDownloadのページの上の方にあるNumPyのProjectからインストール先のマシンのOSに対応したファイルをダウンロードして実行してください。 しかし、MacOSXにデフォルトでバインドされ
print文を仕込んで実行時間を出力していくパフォーマンスチューニング作業は辛いのでもう止めにしようってお話です。 プログラムで実行速度が遅いロジックを特定できれば改善は容易です。profilerを利用すると簡単に原因が特定できるので使い方を紹介します。前半はline_profilerを利用した実行速度が遅いロジックの特定方法、後半はPythonでの高速化テクニックです。 どの行が重いかprofilerで特定する ローカル環境でprofilerを使いどの行が重いのかを特定していきます。Pythonには様々なprofilerが存在しますが、個人的にはline_profilerが必要十分な機能を持っていてよく利用しています。ここで特定するのは『どの行がN回実行されていて、全体でM%の実行時間が掛かっている』という点です。 line_profilerの使用例 実行に10秒くらい掛かるサンプルコー
MongoDB - Tech Note
このページではドキュメント指向データベースのMongoDBに関するメモを書いています。また、ここに記載するサンプルコードはPythonで書かれており(一部はC++)、MongoDBドライバのPyMongo(バージョン2.0未満だとサポートされていない機能も多いので2.0以上を推奨)を利用しています。 C++ドライバについてはブログでも紹介しています(MongoDB C++クライアント)。 環境 CentOS 5.8 (x86_64) MongoDB 2.0.7 C++ Driver v2.0-latest PyMongo 2.2 概要 スキーマレス ドキュメント指向データベースはRDBMSと違ってスキーマを定義する必要がない。データは''BSON''(Binary jSON)と呼ばれるフォーマットで保存される。ドキュメントの集まりは''コレクション''と呼ばれるが、これはRDBに置き換える
クラスタリングタスクで機械学習の流れを体験
はじめに おはようございます。こんにちは。こんばんは。 GMOアドマーケティングのY-Kです。 今回は機械学習への足がかりとなるような記事を書きたいと思ったので、クラスタリングタスクを通して機械学習の流れを大雑把に書いていこうと思います。 機械学習における基本的な データ分析 -> 予測 -> 評価の流れを体験しつつ、読んでいる間に気になるところがあればそこを深掘りしていくなど、機械学習への興味/勉強の第一歩としていただければと思います。 クラスタリングとは クラスタリングは機械学習における教師なし学習の一種で、データの類似度でデータをグループ(クラスタ)分けする手法のことを指します。 データに対して答えが存在する教師あり学習とは異なり、各データに答えがない状態で学習されるので、クラスタリングによってまとめられたデータのグループが何を示しているのかは解釈が必要となります。 しかしその分、ク
examples\word2vecに用意してあるコードを読んでいきたいと思います。 word2vecとは いろんな意味で使われているような気がしますが、正確には word2vec - Tool for computing continuous distributed representations of words. - Google Project Hosting のプログラムのことを指すと思います。 Mikolovら(2013)によって、単語の分散表現(複数の計算要素で表現するもの。ベクトルとか)を高速に得る手法が提案、ツールが公開され、得られた分散表現で単語の足し算・引き算ができたり、単語の類似性があったりで話題になっていました。 岡崎先生の分散表現に関する資料：単語の分散表現と構成性の計算モデルの発展 word2vecでは、ネットワークの形として「Continuous Bag of
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 今のところ、Webブラウザで適切に動作が保証されているプログラミング言語はJavaScriptしかありません。そのため、Webアプリケーションを開発する上でJavaScriptの習得は必須なのですが、なるべくなら書きたくないという方も多いです。 もしあなたがPythonプログラマーであれば使ってみたいのがJavaScripthonです。PythonコードからECMAScript2016（ES6）へ変換してくれるソフトウェアです。 JavaScripthonの使い方 コード例です。普通にPythonのコードに見えます。 # -*- coding: utf-8 -*- # :Project: metapensiero.pj # :Author: Andrew Schaaf <andre
wav2vec 2.0 を使って 手軽に音声認識モデルを触れるようになろう - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2021 の20日目の記事です。 はじめに こんにちは。プラットフォームサービス本部アプリケーションサービス部の是松です。 NTTコミュニケーションズでは自然言語処理、機械翻訳、音声認識・合成、要約、映像解析などのAI関連技術を活用した法人向けサービスを提供しています。（COTOHA シリーズ） NTTコミュニケーションズがこのようなAI関連技術を活用したサービスを展開する強みとして、 NTT研究所の研究成果が利用可能であること 自社の他サービスを利用しているお客様に対してシナジーのあるサービスを提案できること この2点が挙げられると思います。 実際に、私が担当している COTOHA Voice Insight は 通話音声テキスト化によってコンタクトセンターの業務効率化・高度化を実現するサービスなのですが、 NTT研
人工知能に関する断創録
Deep Learningの訓練終了など任意のメッセージを特定のSlackチャネルに投稿できるボットを作りました。 Yatta Kun プログラミングは不要で curl というコマンドラインツールから簡単に投稿できるので非常に便利です。可愛いくて便利なので作り方を紹介します。 職場などでみんなが使っているワークスペースで実験すると迷惑がかかる可能性があるので、最初は個人の実験用ワークスペースを作ってしまうのが良いと思います。無料でできます。 1. Incoming Webhookをインストール SlackアプリのページからIncoming Webhookをインストールします。Slackアプリページは、 https://[workspace name].slack.com/apps/ から行けます。 workspace name はワークスペース名です。 Incoming Webhook で
これからはPandas-Bokehを使おうぜ
Bokeh Plotting Backend for Pandas and GeoPandas. Contribute to PatrikHlobil/Pandas-Bokeh development by creating an account on GitHub. インストール pip install pandas-bokeh 使い方 最初にpandas_bokehの読み込みコマンドを実行します。今回はjupyter notebook上で使いたいので、ouutput_notebook としました。 import pandas_bokeh pandas_bokeh.output_notebook() plotをplot_bokehに変えるだけ Pandasをよく使っている人は、DataFrame.plot.bar()でチャートを書くことができることは知っていると思います。Pandas-B
数理最適化の練習問題をLLMを使って自動生成する
この記事は、数理最適化 Advent Calendar 2023 23日目の記事です。LLMと数理最適化を組み合わせた何かをつくろうということで、数理最適化の練習問題を生成する GPTs、Optima Practiceを作りました。 数理最適化のコミュニティCasual Optimizationを運営していく中で、「数理最適化が世の中に広まらない要因の一つに実践的な練習問題の不足があるのではないか？」という意見を知りました。数理最適化を実ビジネスで利用していく上で必須のスキルとして定式化がありますが、たしかに定式化の力をつけるのにちょうど良い、程よく実践的で複雑な練習問題は案外少ないです。しかし、練習問題を作成するのは結構大変です。そこで、LLMを使って自動化できないか、というのが本取り組みの趣旨になります。 作ったもの Optima Practice は、数理最適化の練習問題を生成する
DALL-E in Pytorch の使い方｜npaka
以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の
C++17の標準ライブラリ
発表者：江添亮 言語：C++ 仕事：ドワンゴ 趣味：ボルダリング、factorio C++17 2017年に発行される予定の標準規格 変更点 多数のマイナーな問題の修正 コア言語の新機能は少ない 新しいライブラリが多い C++17の標準ライブラリの紹介 正式な規格はまだ変わる可能性がある 文字列検索 みんな文字列検索してますか？ boyer moore search Robert S. BoyerとJ Strother Mooreが1977に発表した 高速な文字列検索アルゴリズム みんな知ってるよね？ 知らない方に朗報 Donald Knuth著 The Art of Computer Programming Vol.4A アスキードワンゴから今秋発売予定 コード例 auto pattern = "..."s ; auto text = "..."s ; auto bm_search =
機械学習を利用するコンポーネントの継続的な性能検証と Locust を利用した負荷テストの実施方法 - DATAFLUCT Tech Blog
こんにちは。本稿では機械学習を利用したコンポーネントの処理速度の計測方法、および負荷テストのやり方について解説してゆきます。 機械学習を利用するコンポーネントの処理速度を計測する必要性 機械学習アルゴリズムを適用する関数の処理速度を検証 実行時間を測定 関数の実行時間を算出するデコレーター 性能評価テストと継続的な性能チェック 機械学習 API の性能を評価する Locust：インストールと負荷テスト設定追加 Locsutを使った測定測定 もうすこし高度な使い方 分散実行 コマンドラインから実行 まとめ 機械学習を利用するコンポーネントの処理速度を計測する必要性 機械学習を利用したタスクでは、モデルの精度に注意が行きがちです。しかし、一般的なWebアプリケーションでは入力はリソースID（ユーザIDなど）やシンプルなJSONである場合が多いのに対し、機械学習は入データ（自然言語や画像など）や
文章をBlockChainで管理する 今更感がありますが、BlockChainについて、技術的な点について結構曖昧であったので、調べなおしたりしました。 P2Pの多数決の理屈ばかり強調されますが、実際のところどうなっているのか、自分で実際に実装を行いながら、ブロックチェーンを組んでみて確認してみました。 BlockChainとは BitCoinに代表される仮想通貨の分散データベースシステム ハッシュアルゴリズムにより、事実上の改竄が不可能 ドキュメントによっては、合意形成や、ブロックチェーンが意図しない方向にチェーンが伸びてしまった場合の取扱まで含んだりする （今回のスコープはp2pは含まず、オフラインで検証しました） BlockChainを理解するには何を知っていると便利か hash関数 hash関数を使った応用例各種 簡単なP2P コンピュータにおけるhashの使い方 hashはいろい
始めに chainerと似て抽象化がされている。 違いの一例としてはネットワークの定義でユニット数の書き方がchainerと逆になってる。Dense(1, input_dim=784,... 出力ユニット数,入力ユニット数の順になってる。 この記事では関数の紹介、使い方、どこで使われてるかを説明できる範囲で紹介します。 ※layer_testというサンプルが多用されてますが、ただのテストコードなことに後で気づきましたので、そのうち直します。 継承関係 Layer ↑ Container ↑ Model ↑ Sequential Keras v2では名前が変わったりしてます。 今はv1を元に書いています。 http://qiita.com/miyamotok0105/items/322b29339e1771184b9e from keras.models import Sequential
Pylearn2を使ってDeep Learningしてみました。 まともなデータを使ってテストはしていないし、まともなアウトプットが出ていないので、"ふ〜ん、Pylearn2ってこんな感じか"、っていうPylearn2の雰囲気をつかむ目的で読んで頂けますと助かります。 Pylearn2のインストール とりあえず公式のドキュメントを参考にしてください。 theanoのバージョンによってはエラーが出るため、その場合は下のstackoverflowを参考にして下さい。 Pylearn2 dev documentation psycopg2, pymc, theano and DYLD_FALLBACK_LIBRARY_PATH 参考資料 とりあえず、下のコンピュータビジョン最先端ガイド6を一読して、Deep Learning Tutorialsを読みつつtheanoで実装しながら動かすと、なんと
Pyevolveとは、Pythonで書かれた遺伝的アルゴリズムのフレームワークです。公式サイトによれば、Pyevolveの方針は、 ・ pure python で書く ・ APIを簡単に使えるようにする ・ 進化過程をグラフ等で見れる ・ 拡張性をもたせる ・ パフォーマンスを第一にデザインする ・ 一般的な特徴を持つ ・ 全てのオプションにデフォルト値がある ・ open-source (GPL) …とのこと。遺伝的アルゴリズムは前から少し興味があったので、これを使って勉強してみたいと思います。 Pyevolveは日本語はおろか英語での情報もあまりありません。以下に参考になるサイトを挙げておきます。 公式サイト Welcome to Pyevolve documentation ! — Pyevolve v0.5 documentation 日本語でPyevolveについて書かれた唯一(
【スターターキットNo.1】Scrapy&MariaDB&Django&Dockerでデータ自動収集ボットシステムを構築する - Qiita
【スターターキットNo.1】Scrapy&MariaDB&Django&Dockerでデータ自動収集ボットシステムを構築するPythonDjangomariadbDockerScrapy 背景 世の中にあるWebサービスのデータベースを自動で同期して、本家にはない付加価値をつけることによって、手軽にニーズのあるWebサービスを作ることができます。 例えばECサイトのデータをスクレイピングして自前でデータベースとして持っておき、それに対して本家にはない検索方法を提供して、リンクを貼り、アフィリエイトで稼ぐみたいな軽量なビジネスモデルが個人事業のレベルで可能です。 このようなパターンはいくらでも考えられるのですが、とにかくまずはスクレイピングスクリプトを書いて、自動でデータ収集して、きちんと構造化して、それをなるべく最新の状態に保てるようなボットとインフラが必要になるわけです。今回はどのような
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ディープラーニングでおそ松さんの六つ子は見分けられるのか 〜実施編〜 - bohemia日記
世界に衝撃を与えた画像生成AI「Stable Diffusion」を徹底解説！ - Qiita
Kaggleで使える！Pandasテクニック集 - Qiita
データ分析初心者向け、Pythonでデータ取得＆グラフ描画する方法 - paiza times
Python: コマンドラインパーサの Click が便利すぎた - CUBE SUGAR CONTAINER
かっこいいグラフを作るPythonモジュールPyCoolPlotを作った - MyEnigma
Python: Pykka でアクターモデルについて学ぶ - CUBE SUGAR CONTAINER
Flaskのカスタマイズについて - methaneのブログ
【Day-16】ニューラルネットを0から作り、仕組みを基礎から理解する - プロクラシスト
Pythonメモ : tqdmで処理の進捗（プログレスバー）を表示 - もた日記
Pythonで学ぶ 基礎からのプログラミング入門(18) 【番外編コラム】関数型プログラミングとPython
kaggleで強化学習をやってみた - 機械学習 Memo φ(・ω・ )
ゼロからはじめるPython(17) PythonからGoogleドライブを操作しよう(その2)
PythonでXgboost - Yuki Okuda
Python の超お手軽のネットワーク分散コンピューティングライブラリSCOOP
第6回 Numpyの導入 | gihyo.jp
パフォーマンスチューニングでprofiler使わないのは損してると思う - Qiita
examples\word2vecを読む - chainerで自然言語処理できるかマン
JavaScripthon - Pythonで書いてES6のコードを生成
文章をBlockChainで管理する - にほんごのれんしゅう
keras-1チュートリアル流し読み - Qiita
人工データを使ってPylearn2でDBMを試してみた - Qiita
Pyevolveで学ぶ遺伝的アルゴリズム - mfumiの日記