今更だけど、手っ取り早くPowershellで並列処理をする方法 - Qiita
はじめに 本記事で扱うPowershellの並列処理は「マルチプロセス」ではないです。 同一プロセス中で - Copy-Item - Move-Item といったシーケンシャルな動作をするコマンドや、 function Start-MyFunc{...} c:\work\Start-MyFunc.ps1 といった自作関数などを並列に動作させたい場合について記載します。 また、本記事でのPowershellはv4.0を利用しています。 単純な並列処理 workflow Copy-AllItem { ForEach -parallel ($count in @(0..99)){ Copy-Item -path "hogehoge" -destination "fugafuga$count" } } # 実行 Copy-AllItem これで100件のコピー処理が並列に動作し（たように見え）ます
クロージャってどんなときに使うの？ ～ 利用場面を ３つ 挙げてみる - Qiita
結論を先にまとめると、以下の３つです。 1. グローバル変数の宣言をなるべく減らしたい場合 2. ユーザが引数を与えてカスタマイズ可能な自由度の高い「関数」を生成したい場合 3. 前回、呼び出されて実行されたときの演算結果（値）を内部で保存して、次に呼び出されたときに、前回の結果（値）に対して、さらに同じ処理（演算）を行う関数を生成したい場合 以下、「クロージャ」の定義から、頭の整理まで、分かりやすい参考ウェブサイトへのリンクを張りつつ、見ていきます。 【 定義 】クロージャ takeharuさん Qiita記事（2013/07/22）「JavaScriptでクロージャ入門」 「自分を囲むスコープにある変数を参照できる関数」 Wikipedia 「クロージャ」 引数以外の変数を実行時の環境ではなく、自身が定義された環境（静的スコープ）において解決することを特徴とする。関数とそれを評価する環
Python のリファクタリングでイケてないコードを別に美しいオブジェクト指向設計ではない普通のコードにする方法 - Qiita
Rubyのリファクタリングでイケてないコードを美しいオブジェクト指向設計のコードへ改良するための方法 - その１ その2 その3 これを Python でやってみます 元のコード 元の Ruby 版をできるだけ真似してみます。テストは py.test を使います。 #ordersreport.py from collections import namedtuple Order = namedtuple("Order", "amount placed_at") class OrdersReport: def __init__(self, orders, start_date, end_date): self.orders = orders self.start_date = start_date self.end_date = end_date def total_sales_within
Rubyのリファクタリングでイケてないコードを美しいオブジェクト指向設計のコードへ改良するための方法 - Qiita
まず以下にあるのがイケてないコード。一応動くし、テストもパスしている。でもそのコード品質は平均よりちょっと下という設定。 【範囲を指定してその期間の売上総合計を出すコード】 class OrdersReport def initialize(orders, start_date, end_date) @orders = orders @start_date = start_date @end_date = end_date end def total_sales_within_date_range orders_within_range = [] @orders.each do |order| if order.placed_at >= @start_date && order.placed_at <= @end_date orders_within_range << order end
Lua版 ゼロから作るDeep Learning まとめ - Qiita
はじめに この記事は斎藤康毅先生著のゼロから作るDeep Learning ――Pythonで学ぶディープラーニングの理論と実装で掲載されているスクリプトをLuaの機械学習計算ライブラリTorchで実装した記事のリンクを掲載しています。 定期的に参照したい方はこちらをストックしていただけたら便利かと思われます。 記事一覧（更新中） Lua版 ゼロから作るDeep Learning その１[パーセプトロンの実装] Lua版 ゼロから作るDeep Learning その２［活性化関数］ Lua版 ゼロから作るDeep Learning その３［３層ニューラルネットワークの実装］ Lua版 ゼロから作るDeep Learning その４［ソフトマックス関数の実装］ Lua版 ゼロから作るDeep Learning その５［MNIST画像の表示］ Lua版 ゼロから作るDeep Learning
ExcelでCSVをそのまま開く - @jitteの日記
ExcelでCSVファイルを開くと、0で始まる数値や日付形式と解釈可能なデータが自動変換されてしまい、うっかり保存すると元の情報が失われてしまうことがあります。例えば sample.csv 001,1/2/3,03-14,01234567890 をExcelで開いて保存すると 1,2001/2/3,3月14日,1234567890 となってしまいます。 これに対し、自動変換させずに開く方法としては、テキストインポートウィザードを使う方法が知られていますが、意外と手順が面倒です。 拡張子が.txtの場合はファイルを開くだけで自動的にウィザードが起動するのですが、.csvの場合はいったん.txtにリネームするか、「データ→外部データの取り込み→テキストファイルのインポート」を使って取り込む必要があります*1。前者の拡張子を変更する方法は単純に考えて面倒なだけでなく、エクスプローラの設定で「登録
RubyでExcel
概要 会社では何かとExcelを使う羽目になる。ソフトのチェックシートを作ることもあるし、何かの集計結果を別の人に渡すときにはExcelでの提出が要求される。 といっても、Excel上で手入力でデータを入れるのは避けたほうがよい。そんなことをしてしまうと、後でデザインを変えなきゃいけなくなったときに 地獄を見ることになる。 そういう自体を避けるために、ExcelにもVisual Basicでデータの入力などを自動化する機構があるが、いかんせん言語がVisual Basicである。 VBでのプログラミングはあまり幸せとは思えない。 WIN32OLEを使うと、RubyからExcelの各オブジェクトにアクセスできるため、RubyでExcelを自由自在にコントロールできる。 これなら、楽しくプログラミングできるというものだ。例えば、以下のコードは1番目のワークシートのB5セルに"Hello"と書く
Ruby標準添付ライブラリcsvのCSV.tableメソッドが最強な件について
─ 問題１ ─ data.csvファイルには、５人のプレイヤー（Alice, Bob, Jimmy, Kent, Ross）が二種類のゲーム（gameA, gameB）をプレイした結果が次のような形で格納されている。各ゲームの平均点を求めよ。 data.csv player,gameA,gameB Alice,84.0,79.5 Bob,20.0,56.5 Jimmy,80.0,31.0 Kent,90.5,15.5 Ross,68.0,33.0 data = File.read('data.csv') headers, *scores = data.lines.map { |line| line.chomp.split(',') } scores # => [["Alice", "84.0", "79.5"], ["Bob", "20.0", "56.5"], ["Jimmy", "80
RubyでCSV.tableを使うことに関して - Qiita
time,text,user 10:00,Hello,tarou 20:10,GOODNIGHT,miki 03:00,SINTYOKUDAME,se require 'csv' csv = CSV.table('data.csv') time = csv[:time] #ヘッダーを指定する場合 puts time.class # => array puts time # => 10:00 # 20:00 # 03:00 one = csv[1] #行を指定する場合 puts one.class # => CSV::Row puts one # => 20:10,GOODNIGHT,miki puts one[:time] # => 20:10 CSVライブラリで.tableした際、ヘッダーを指定した場合は配列として扱うことが出来る。一方、行を指定した場合はCSV::Rowとして扱われる。
CSV.table が CSV.read に比べて非常に遅い理由
タブ区切りの3,000行ほどのCSVファイルを CSV.table で読み込もうとすると非常に遅かったので CSV.read を試してみたところ100分の1程度で処理できました。 Benchmark.bm 10 do |r| r.report "read" do CSV.read(filename, col_sep: "\t", headers: true, header_converters: :symbol) end r.report "table" do CSV.table(filename, col_sep: "\t") end end user system total real read 0.050000 0.000000 0.050000 ( 0.046571) table 4.790000 0.010000 4.800000 ( 4.814375) CSV.tableは常に
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Ruby標準添付CSVライブラリのCSV::Convertersについて調べてみた - tech-kazuhisa's blog
CSVの書き出しでちょっとやりたいことがあって標準添付のCSVライブラリについて調べてたんだけど、結局標準のままだと出来なそうという結論に至りました。その際にCSV::Convertersについて色々ほじったのでメモがわりに残しておきます。 CSV::Convertersって何？ ドキュメントを読むと「このハッシュは名前でアクセスできる組み込みの変換器を保持しています。」と書かれています。変換器と言われてもどう使えばいいのかピンと来ませんでした。ググッてもサンプルとかあんまり無いし。 とりあえず使ってみる まぁ、こんな感じで使えます。 require 'csv' CSV.parse("2011-11-23,123,456",:converters => :date) do |csv| p csv end 実行すると [#<Date: 2011-11-23 (4911777/2,0,2299
Ruby - CSV ファイルを HTML table タグに変換！
mk-mode.com Linux, Debian, IT, Server, PG, Ruby, Rails, Python, C++, Fortran, PC, MariaDB, math, GIS, etc... ２年くらい前には、CSV データを HTML の table タグに変換する GUI アプリを Microsoft Visual Basic で作成したことを記事にしました。 * VisualBasic - CSVをTABLEタグに変換！ 最近はプライベートで Windows 系 OS に触れることがないので、同様のツール（ただし、CUI ベース）を Ruby で作成しました。 単純に CSV ファイルを読み込んで、 HTML に変換しているだけですが、以下で作成した Ruby スクリプトを紹介します。 0. 前提条件 Linux Mint 14 (64bit) での作業を想
minitest で mock や stub を使う - おもしろwebサービス開発日記
minitest には標準で mock や stub の機能が付いています。それらの挙動について学んだのでメモ。 コード例 下記のような Person クラスと Whisky クラスがあるとします。これらについて minitest の mock と stub を使ってテストを書いてみます。 class Person def eat(food) food.taste end def drink(whisky) whisky.alcohol.upcase end end class Whisky def alcohol # まだ実装されていない end end mock minitest では下記のように mock を書きます。 describe Person do subject { Person.new } describe '#eat' do it '引数にとったオブジェクトの #tas
minitest/spec で指定のテストだけを実行する - おもしろwebサービス開発日記
下記のような minitest で書かれたテストがあるとします。 # test.rb require 'minitest/autorun' class TestHoge < MiniTest::Unit::TestCase def test_hoge assert_equal "hoge", "hoge" end def test_fuga assert_equal "fuga", "fuga" end end test_hoge だけをテストしたい場合は下記のように ruby test.rb -n test_hoge のように-n 実行したいテスト名をつけてテストを実行します。 では下記のように、minitest/spec を利用して書かれたテストのうち、'hoge' の方だけテストしたい場合はどのように書いたら良いでしょうか。 require 'minitest/autorun' de
Rubyベストプラクティスで学ぶ Test::Unitの基礎 - まりぴよこのブログ
例外をテストする 例外が発生することをテスト assert_raises(KeyError) do hash.fetch(:doesnt_exists) end 例外が発生しないことをテスト assert_nothing_raised do hash.fetch(:key_exists) end メソッドが意図的にエラーを発生させる時は、エラーを発生させる場合とさせない場合の両方をテストすること。 こうすると、無条件にエラーが発生する訳ではないこと、条件が合えばエラーが発生すること、の両方をテストできる。 高度なテストテクニック モックとスタブを使う IOを伴うような、ユーザーインターフェース部分と、ロジックを出来る限る分離する ロジックが分離できれば、その部分のテストは簡単になる ユーザー入力への応答をテストしたければ、スタブを使う class Questioner def method
Why doesn't MiniTest::Spec have a wont_raise assertion?
MiniTest does implement assert_nothing_raised in its Test::Unit compatibility layer, but in its own tests (MiniTest::Unit and MiniTest::Spec) it does not implement any test like this. The reason is, the programmer argues, that testing for nothing raised is not a test of anything; you never expect anything to be raised in a test, except when you are testing for an exception. If an unexpected (uncau
OptionParser よりも指定が楽な ARGV.getopts のオプション指定（ロング/ショートも） - Qiita
require 'optparse' params = ARGV.getopts('abc:d:AB:C', 'alpha', 'brabo:', 'charlie:', 'delta:delta') p params $ ruby getoptstest.rb -a -don --charlie Check {"a"=>true, "b"=>false, "c"=>nil, "d"=>"on", "A"=>false, "B"=>nil, "C"=>false, "alpha"=>false, "brabo"=>nil, "charlie"=>"Check", "delta"=>"delta"} ARGV.getopts の第1引数がショートネームの指定、それ以降がロングネームの指定です。 キーはシンボルではなく文字列です。シンボルにしたい場合には ARGV.getopts(…) の部分
Ruby の OptionParser チートシート - Qiita
テンプレ おれのテンプレ。class 化して require したただけでは、オプション処理が発動しないようにしている。 require 'optparse' class Test class CLI def parse_options(argv = ARGV) op = OptionParser.new # op がローカル変数なので `define_method` で `usage` を定義しているが、ただのこだわりに過ぎないと言えばその通り self.class.module_eval do define_method(:usage) do |msg = nil| puts op.to_s puts "error: #{msg}" if msg exit 1 end end # default value opts = { boolean: false, string: '', in
言語処理のための例外処理 - たけっぱ横丁
経緯 私，自然言語処理に携わる研究を行っているのですが 必然と大規模なテキストデータを扱います. (恐らく大半の言語処理のプログラムを書いている方に訪れるであろう)鬼門が どれだけ網羅しようともテキストデータに例外が存在する ということです． 自然言語処理の大半は，この例外と戦うのではないのかというぐらいに 例外が発生しまくります. これを取り除くために前処理(の前処理)という形で テキストのフィルタリング・整形を行う必要が出てくるわけです. それでも潰しても，潰しても消えない例外は存在するわけでして… ならば例外が起こることを考慮したプログラムを書くのが一番です. ということで今回の記事を書くに当たりました. コンテンツ 例外処理の書き方 例外を定義する デコレータを使った賢い例外処理 1.例外処理の基本 pythonにおける基本的な例外処理は以下のように書きます. try: # 例外が
RubyでPythonのdecoratorっぽいもの - 世界線航跡蔵
Pythonのdecorator は格好いいよね。Rubyでこんな感じのものを作れないかと何回か考えたものの、上手いAPIを思いつかずにいた。 このたび、 technohippyさんの挑戦 に刺激されて書いてみた。 decorator.rb 仕様としてはPythonに合わせて、呼び出し可能オブジェクトを返す関数としてdecoratorを作成する。そして、declareというメソッドにdecoratorを渡すと、ブロック内で定義されたメソッドはdecoratorで修飾される。 例 class Module def type(name, types) before(name) do |name, args| args.zip(types).each_with_index do |(arg, type), i| raise TypeError, "#{i}th argument #{arg} s
App Engineでのトランザクションの分離 - ずっと君のターン
http://code.google.com/appengine/articles/transaction_isolation.html はじめに Wikipediaによるとデータベース管理システムのトランザクションの分離レベルは「ある操作による変更が並列に実行される他の操作から見えるようになるタイミングとその手段によって定義される」そうだ。この記事ではGoogle App Engineデータストアでのトランザクションの分離について説明したい。記事を読めば並列な読み書きがどのように実行されるかより深い理解が得られるだろう。 Read Committed データベースによってサポートされる分離レベルは4つ(Serializable, Repeatable Read, Read Committed, Read Uncommitted)だが、データストアの分離レベルはそのうちのRead Comm
RubyでPythonのdecoratorを実装する。 - このブログは証明できない。
こちらのスライド。RubyでRubyを拡張する。つまりメタプログラミングの話。 Extending Ruby with Ruby // Speaker Deck メタプログラミングを使って他の言語の機能を実装しようという内容になってる。 Python: Function decorators Scala: Partial application Haskell: Lazy evaluation 今回は、この中でPythonのdecoratorを実装するというのをピックアップ。 githubにソースコードがあがってて、スライド中では未解決になってた問題がすでに解決されている。 michaelfairley/method_decorators ここから載せるコードは、githubの方じゃなくてスライド中のコードに一部手を入れたものになってる。ひとつのメソッドに複数のdecoratorを指定でき
Shibu's Diary: RubyにもPythonのデコレータを
渋日記@shibu.jp 渋川よしきの日記です。ソフトウェア開発とか、ライフハックを中心に記事を書いていきます。 Pythonのデコレータがとっても便利です。すごくステキ。シンプルな文法のシンタックスシュガーなのに、夢がすごく広がります。僕がデコレータを本格的にさわったきっかけは、TurboGears。ビューのクラスのメソッドに、@exposeとやると、そのメソッドがルーティングテーブルに登録されて、ブラウザからそのメソッド名のURLをたたくと、外から呼び出せるようになる、という仕掛けです。実際に、内部で行われている処理はこんな感じです。 #pythonのデコレータのサンプル @expose def exposed_method(): pass #こうやって解釈される def expsed_method(): pass exposed_method = expose(exposed_met
スタブとモックの違い - Qiita
オブジェクト指向設計実践入門を読んで学んだことのまとめです。 具体的にRspecでモックを書くときはこうしましょう、といった具体的な話ではなく言葉の意味の説明がメインです。 ソフトウェアテストの対象 スタブもモックもテストコード内で使うものです。違いを考える前に、テストについて振り返ってみます。 テストを行うべきなのは、次の2つについてです。 オブジェクトがほかのオブジェクトからメッセージを受け取ったとき、期待する答えを返すことができるか 要するにパブリックメソッドに対するユニットテスト 「オブジェクト指向設計実践ガイド」には、プライベートメソッドに対するテストは書くべきではない、さらにいうとプライベートメソッドを書くべきではない(プライベートメソッドを他のオブジェクトに切り出して注入せよ)とあります。 オブジェクトが副作用のあるメッセージ送信を行うとき、その回数や引数が適切か ログを書く
Ruby での Test::Unit や MiniTest::Unit を使った複数のファイルのテスト - vivid memo
Perl で複数のテストを実行する場合は prove コマンドがあるけれど、Ruby の場合はどうするのがいいんだろうなー。 と思って調べてみました。 『Rubyベストプラクティス -プロフェッショナルによるコードとテクニック』 によると、Rake::TestTask を使うのが良いようです。 以下のような rakefile を書いて、あとは rake test で実行、と。 # coding: UTF-8 require 'rake/testtask' task :default => [:test] Rake::TestTask.new do |test| # $LOAD_PATH に追加するパス (デフォルトで 'lib' は入っている) test.libs << 'test' # テスト対象ファイルの指定 test.test_files = Dir[ 'test/**/test_*
WindowsとLinuxで同じRakefileを使用する
開発マシンがWindowsで、本番サーバーがLinuxということは良くあります。 そのような状況の場合、データベースの作成や修正をWindowsではバッチファイルでやり、 Linuxではシェルスクリプトを今まで使っていました。しかし、WindowsとLinuxにRubyが インストールされていればRakeが使用できるので、RakefileをWindowsとLinuxの両方で 動作するように書けば良いと思い、作ってみました。 また、どうせ作るならrailsのRakeのコマンドに似せようと思って、似たようなコマンドにしました。 Rakefileサンプル PASSWORD = "" DBNAME = "mydb_test" MIGRATE_DDL = "test.ddl" MYUSER = "root" PGUSER = "postgres" if /windows/i =~ ENV['OS']
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PowerShell で並列処理を試してみた - Qiita
GitHub - go-ole/go-ole: win32 ole implementation for golang
go-adodb/csv.go at master · mattn/go-adodb
コマンドラインからの Gist 編集をかんたん便利にする - Qiita
Minitestで例外クラスとエラーメッセージを検証する方法 - Qiita
Rakefileに加えるべき7行
minitestのテストを全て実行するRakefile -- ぺけみさお