はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに SIerにおけるWebシステム開発では、操作中の画面のスクリーンショットやデータベース内のデータをEXCELファイルに貼り付け、動作が正しい事を保証するエビデンスとして残す習慣があります。 その作業を自動化する手段として、Selenium Webdriverやそれに類する製品がありますが、現場によってはセキュリティポリシーの問題で導入できない事があります。 そのセキュリティポリシーを守った上で、先の作業を自動化するアプローチとして、PaperTesterを作りました。 InternetExplorer用マクロ（VBScript

#結論 頒布義務があるようです。形態素解析用の単語辞書をご提供いただき、ありがとうございました。 #考察 キュレーションサービス（ニュースアプリ。Webコンテンツを集めてユーザーにオススメするサービス）は、Webコンテンツを分類する為に内部で辞書を持っています。その辞書をもとにコンテンツの文章を単語に分け、その単語群からそのコンテンツの特徴を把握します。この辞書はキュレーションサービスにとって、ビジネスの要であると言えます。なぜならば、正確に単語を分ける事ができるのならば、後は定番の機械学習アルゴリズム（ex.Complement Naive Bayes）にかけるだけである程度の精度の分類は行えるからです。先の辞書は秘伝のタレに比喩される事も多いです。 さて、その辞書ですが、世の中で最も多く使われているのはWikipediaのデータセットを元にしたものです。Wikipediaの記事のタイト

はじめに InternetExplorerへのキー入力(ex.Enter,Tab)をVBScriptで再現する方法が、実に面倒だったのでシェアします。 起動したIEのプロセスIDを取得し、それを使ってIEをアクティブにする。その上でSendkeysを使ってキー入力を再現する。 コード 'IEキー入力.vbs 'Copyright (c) 2014 nezuq 'This software is released under the MIT License. 'http://opensource.org/licenses/mit-license.php 'シェルを起動する Dim wsh Set wsh = WScript.CreateObject("WScript.Shell") 'IEを起動する Dim ie Set ie = CreateObject("InternetExplorer

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 科学計算向けスクリプト言語「Julia（JuliaLang）」の利点の一つは、 データ前処理と統計処理、そしてその結果のレポートを、Pythonと同じように一貫して行える事にあります。 そして、Juliaは多くのケースでPythonよりも早いと言われています。 しかし、Juliaの最新バージョンは0.4であり、 ライブラリが出揃っている状態ではなく、又、ライブラリの情報も知れ渡っているものではありません。 今回は、JuliaでWebスクレイピング（Webページからデータを抽出する事）に使えそうなライブラリを調べてみました。 （Beautiful SoupをPyCall.jlで使う方法も考えましたが、今回は紹介しません） 01.Webページをダウンロードする。 [Requests.jl, HttpCommon.jl] Requests.jlの関数「get(URI, クエリ文字列)」

[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita 4日目になるまでに残り1時間なので、急ぎで書きます。 後、私は法律の専門家ではないので記事の正確性は保証できません。自己責任でお願いします。 #はじめに Webスクレイピングの技術的な情報は多いのですが、法律に関する情報は数少ないです。 その為、技術的にできる事でも遠慮してしまい、インターネット上のデータを利用する事を避けてしまう人もいます。 特にLibraHack事件以降、その傾向が強いです。 これは「モノのインターネット（Inter

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? #はじめに IT界隈では有志の勉強会がよく開かれます。 IT勉強会の代表的な形式がセミナー型で、技術に関する知見を発表しあい、質問・意見を共有するものです。 セミナー型のIT勉強会を開催する時に、私が事前に行う作業の一覧を書きます。 #テーマを決める。 あなたが知りたい技術をおっしゃって下さい。それが、あなたが開く勉強会のテーマです。 最新のプログラミング言語やフレームワーク、アルゴリズム等、何でも有りです。 そして、知りたい技術が見つかったら、友人や同僚にその事を話してみて下さい。 テーマを話す事は、以下の３点からとても大事です。 ・

はじめに Facebookグループ『東大の統計学教科書を読み進める会』で、 統計学入門（通称：赤本）の読み進めを行っています。 読み進める中で、「ここの処理をJuliaではどうやるの？」が気になったのでコードを書き連ねました。 統計学入門（通称：赤本）とは？ 字義通り。「東京大学教養学部統計学教室 編」の統計学入門書です。 参考：統計学入門 Juliaとは？ ポストR。ベターMATLAB。処理が超早い。 参考：Juliaの公式サイト 調査対象の章 第2章「1次元のデータ」 データ データをJuliaへ読み込ませる。 # [変数定義] ## 整数 x = 1 ## 小数 x = 1.0 ## 文字列 x = "abc" ## 配列 x = [1,2,3] ## 連想配列 x = {:id:1, name:"nezuq", address:["japan","tokyo","nakamegur

はじめに 前回の記事のご意見から、 Excelスクショ問題の解決策として、テスト仕様書(xlsx)からテストコード(vbs)を自動生成する仕組みを考えた。 ある程度の仕組みが組めたので、ここに記録する。 ダウンロード ■ PaperTester ～Excel製のInternetExplorer向けUIテストツール～ https://github.com/nezuQ/PaperTester デモ ■ デモ用のVBScriptファイル https://github.com/nezuQ/PaperTester/blob/master/demo Windows機にダウンロード・ダブルクリックする。 HTMLページがIEで開かれ、新規Excelブックにスクリーンショットが貼り付けられる。 概要 Excel製のテスト仕様書テンプレート（xlsx）。 操作手順をリスト選択し引数を入力する事により、IE操

はじめに SIerのExcelスクショ問題が少し前にバズっていた。 SIerでは、プログラムを手動で操作し、その時の画面写真をExcelに貼り付けた資料を作る事で、プログラムが正常に動作するエビデンスとしている。 そもそも、なぜそのような作業が必要なのかは、下記の方のブログが詳しいのでここでは語らない。 - > Excelスクショ問題について周りの方へのお願いと、今職人となっている方への励ましの言葉（元職人より） | 羽根帽子の太公望 ここで語りたいのは、「Excelスクショ作業はなぜ自動化されないのか？」とそれに対する解決策だ。 原因 まず原因はこれらだと思う。 セキュリティの観点から自動化ツール導入に制限がある。（そのツールがスパイウェアでない保証はありますか？） フリーウェアの導入や有名でないシェアウェアの導入の際に問題になる。それらのツールがスパイウェアの類でない事を証明する事は難

[2020/09/09追記] 本記事の内容は著作権法改正より前に記載されたものです。 最新の情報をご確認下さい。 著作権法の一部を改正する法律（平成30年法律第30号）について | 文化庁 令和2年通常国会 著作権法改正について | 文化庁 上記に関連して、次の記事を記載致しました。 【2020年度版】個人用クローラーの開発手順とその注意点 - Qiita はじめに Webスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。 ただ、法律の専門家による解釈ではないので責任は取れません。 この記事は、クリエイティブ・コモンズのCC-BYで公開致しますので、ご自由にご改修下さい。 注意事項一覧 データをダウンロードする時 目的は下記のものに限る。 * 個人や家族間で使用する * Web検索サービスを提供する * 情報解析をする ※参考：著作権法第30条・著作権法第47条(

紹介 オープンデータは、 政府データを、全ての人が自由に加工し、自由に再配布し、自由に商用利用できるようにしていこうとする政治活動です。 現在、政治の透明性や経済の活性化の観点から注目されており、 日本政府も実際にデータを出し始めています。 -> 参考サイト：Open DATA METI | 経済産業省のオープンデータカタログサイト ただし、日本のオープンデータの問題として、 ☆１のオープンデータが出てくるケースが多い事が挙げられます。 オープンデータは、そのオープン性により５つ星で評価されます。 ☆１のオープンデータ、つまりPDFは、 構造化データではない為に最もクローズドとされています。 しかし、技術に疎い公務員の方に機械可読性の重要性を説くことは難しく、 それを理解して貰えたとしても機械可読性の為の予算を割り振って貰えるかは微妙です。 現実問題として、PDFに対峙する必要があるのです

概要 WebのUIテストフレームワーク「Selenium」は、 InternetExplorerやFirefox、GoogleChromeなどのブラウザを自動操作できるようにする。 いわばブラウザマクロツールだ。 また、このツールはHTMLソースの取得やエレメントからの値取得もできるため、 ログイン処理やJavascript制御があるサイトでのクローリングにも転用できる。 正直、前回のニコニコ静画用コードの方が断然役に立つと思うが、 諸事情によりRを通して実行するコードを作ったので公開する。 機能 小説投稿サイト「小説家になろう」でキーワード検索する。 ヒットした作品の一覧をファイルに出力する。 ※Firefoxが自動で開き、操作される。処理後、Firefoxは閉じられる。 事前準備 下記ソフトをインストールする。 ・Java ・Firefox rJavaパッケージのインストール(下記コー

library(ROAuth) library(twitteR) library(igraph) # 【認証処理】 # 設定情報を取得 twit.consumerKey <- "<あなたのTwitter-API key>" twit.consumerSecret <- "<あなたのTwitter-API secret>" # 証明書を取得 setwd(tempdir()) cacert.name <- "cacert.pem" download.file(url = "http://curl.haxx.se/ca/cacert.pem", destfile = cacert.name) # OAuth認証 twit.cred<-OAuthFactory$new(consumerKey = twit.consumerKey, consumerSecret = twit.consumerSec

出力結果 概要 NLTK(自然言語処理用ライブラリ)のplot機能(グラフ出力)で、日本語が使えるようにする。 オライリー本「入門 自然言語処理」（->英語版[無料]）のPython による日本語自然言語処理の章で、 "ただし、 matplotlib では、標準では日本語が文字化けしてしまうことに注意。"とあるが、 対処法が見当たらないので、自前で対処した。 前提知識 -> Python による日本語自然言語処理 環境 LinuxMint13(Ubuntu12.04) コード # !/usr/bin/env python # -*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('UTF-8') import MeCab import nltk from numpy import * from nltk.co

概要 ショートショートを予め用意したカテゴリに自動分類する。 R環境を通して、MeCabで形態素解析しナイーブベイズを使ってカテゴリを推測する。 環境設定 -> RMeCab のインストールと R を用いたテキスト処理（形態素解析など） -> ニコニコ大百科データからMeCab辞書を生成する 入力 フォルダにショートショートを格納する。 yyMMddhhmmss（フォルダ） |ーakga_01.txt（ショートショート） |ー : |ー : |ーakga_06.txt |ーnkmk_01.txt |ー : |ー : |ーnkmk_06.txt |ーxxxx_01.txt |ー : |ー : |ーxxxx_04.txt ※ファイルの接頭辞がカテゴリ名を表す。 akga/nkmkファイルが訓練データ。xxxxファイルが検証データ。 xxxx_01.txt,xxxx_02.txt=akga xx

概要 国立情報学研究所Webサイトにある「ニコニコ大百科データ」(by 有限会社未来検索ブラジル)から、 MeCabの辞書を生成・適用する。 研究目的でテキストマイニングをするならこの方法もありかもしれない。 ※実行環境はLinuxMint13(Ubuntu12.04 LTS)です。 方法 01.ニコニコ大百科データを取得する。 http://www.nii.ac.jp/cscenter/idr/nico/nicopedia-apply.html ※head.zipをダウンロード・解凍する。 02.解凍後のheadフォルダと同じ階層に下記Pythonコードを配置する。 # -*- encoding: utf-8 -*- import os import csv import re def main(): #入力フォルダ名 pth = 'head' #出力ファイル名 wtnme = 'ncn

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?