fakerでテスト用のデータを生成、加工する | 俺的備忘録 〜なんかいろいろ〜
ちょっとした作業で、テスト用のユーザデータを作る必要が出てきて「なんか良いのないかなー」と思って探してみたところ、fakerというPythonのツールがいい感じにデータを生成してくれたので、記録として残しておくことにする。ライブラリとしても利用できるようだ。 localeの設定に応じて出力してくれるサンプルも変えているようで、日本語の名前や住所、メールアドレスも取得できるらしい。 fakerはPythonで書かれており、以下のコマンドでインストールできる。 pip install faker インストールができたら、helpを見てみよう。 blacknon@BS-PUB-UBUNTU-01:~$ faker --help usage: faker [-h] [--version] [-o output] [-l LOCALE] [-r REPEAT] [-s SEP] [-i [INCLU
Google Images Download - Google画像検索からまとめてダウンロード
Google画像検索を使えばライセンスであったり、画像の種類など様々な条件から自分の使いたい画像を探し出すことができます。検索結果から一つずつ画像を眺めて希望に合うものをダウンロードしていることでしょう。 しかしもっと手軽に画像をダウンロードできるツールがGoogle Images Downloadになります。 Google Images Downloadの使い方 Google Images DownloadはPythonスクリプトなので、キーワードと取得件数を指定するだけで実行できます。 $ python3 google-images-download.py -k "open source" -l 20 Item no.: 1 --> Item name = open source Evaluating... Total Image Links = 100 Total time take
Eel - PythonによるElectron代替
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Electron代替になるソフトウェアが幾つも出てきています。Goであればgo-astilectronが使えます。HTML/JavaScriptでUI側は処理しますが、ローカルコンピュータとの接続部分は別な言語（Electronであればnode）が使えます。 今回紹介するEelはnodeの代わりにPythonが使えるようになるソフトウェアです。 Eelの使い方 簡単なウィンドウ表示の例。UIはGoogle Chromeが使われています。 ファイルを選択する例。フォルダを指定してローカルのファイルをランダムにピックアップします。 Eelを使えばJavaScriptからAPIを実行し、Pythonで処理を書けます。スクリプトを呼び出したり、サーバとの通信をおこなったりすることもできるで
pass.sh - 有限なアクセス限度をもった情報を作る MOONGIFT
スパイ映画でよくある、情報を伝えた後にマイクロチップやプレイヤーが突如燃えてなくなってしまう仕組み。万一もう一度聞きたいと思っても絶対にできないように、徹底した情報漏洩を貫いています。 燃えてしまうわけではないですが、情報が恒久的でない仕組みを作るのがpass.shです。 pass.shの使い方 メイン画面です。秘密を入力後、何日間または何回アクセスしたら情報を消去するか決めます。 専用のURLができました。 そのURLにアクセスしました。中央にぼやけた部分があります。 マウスオーバーで情報が表示されます。 今回は1回の表示までとしていますので、2回目のアクセス時には何も表示できなくなっています。 この情報にはもうアクセスできません、といった感じでしょうか。カウントダウン式でも、有限式でも可能です。デジタルの世界では情報が常に残っているのが当たり前になっていますが、それだけに逆に消したいと
SQLite Web - さくっと使えるWebベースのSQLite管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました SQLiteはプロトタイプ開発であったり、小さなWebサービスなどを開発するのに非常に役立ちます。単一ファイルで動きますがちゃんとSQLも使えますし、本格的な作りです。 そんなSQLiteを使った開発時に用意しておきたいのがSQLite Webです。Python製で簡単に使えるSQLite管理です。 SQLite Webの使い方 SQLite Webをインストールしたら、後は sqlite-web コマンドの引数としてSQLiteファイルのパスを渡すだけです。 こちらはトップページです。 構造やインデックスが確認できます。 内容も見られます。 さらに任意のクエリも実行できます。 新しいテーブルを作ることもできます。 SQLite Webは任意のパスにあるSQLiteを指定できるので
Baby Buddy - スマート子育てシステム
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 子育ては大変です。夜泣きで起こされたり、遊んだり、さらに寝かしつけたり…。愛情があるからこそ乗り越えられるわけですが、それでも辛さは変わりません。プログラマにとっては、思ったような動きをしてくれない辛さを感じることでしょう。 しかしそんな子育ても見方によっては楽しめるようになります。そのためのシステム、Baby Buddyを紹介します。 Baby Buddyの使い方 ダッシュボードです。子育てしているとは思えないほどシステマチックです。 体重の遷移です。 メモも残せます。 おむつと便の状態について。 食べた量。 睡眠も。 遊んだ時間まで。 そしてタイマーが用意されています。 終了したら、そのカテゴリを選ぶだけです。 Baby Buddyでは睡眠、ご飯、おむつそして遊んだ時間を管理し
datasette - SQLiteをJSON API化
社内システムであればMS Accessの代わりにSQLite3にデータを入れても良いでしょう。MS Accessと同じように単一ファイルで動きますし、多彩なプログラミング言語から利用できます。 さらにそのデータを閲覧するのであれば、datasetteを使ってJSON API化すると便利です。 datasetteの使い方 実行したところです。インデックスでテーブルが一覧されます。 テーブルを表示したところ。通常はHTMLで取得できます。 JSONでデータ閲覧も可能です。 datasetteはSQLite3のファイルを読み取り、その内容をJSON API化します。更新、削除はなしでデータ取得のみですが、閲覧やJavaScriptなどのフロントエンドからデータ利用したい場合に便利です。 datasetteはPython製のオープンソース・ソフトウェア（Apache Licnese 2.0）です。
livepython - Pythonのコードを一行ずつ実行
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 複雑なプログラムになると、どこからどこへ飛んでいるのか分からなくなることがあります。そうした時に一行ずつステップ実行するというのはよくあります。しかし自分だけであれば良いですが、人に説明する時には不向きです。 もしPythonのコードを説明するのであれば使ってみたいのがlivepythonです。まるで動画のようにコードを一行ずつ実行します。 livepythonの使い方 コードを実行しているところです。一行ずつステップ実行されます。 実行中は変数のブラウズもできます。 ちゃんと新しい変数が定義されると一覧も更新されます。 livepythonはPython学習と組み合わせるととても効果的に使えそうです。ちなみにlivepythonはElectron製なので、JavaScriptベー
doitlive - ライブデモでターミナルを使う際に
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 勉強会やセミナーの登壇で、ライブデモを行うことがあります。それらは大抵ミスします。ターミナルベースであっても入力ミスすることはありますし、プロジェクターの画面に映し出されている内容を見ながら入力するのは大変です。 そこで使ってみたいのがdoitliveです。あらかじめターミナルで入力する内容を記録しておける便利なソフトウェアです。 doitliveの使い方 用意するのはShellで入力する内容を書いたファイルです。 開始します。 こんな感じに一行ずつ（実際には一文字ずつ）入力されていきます。あらかじめ入力内容が決まっているのでミスがありません。 すべて終われば完了です。 単純にShellスクリプトのファイルを実行すると一瞬で終わってしまって説明ができません。しかし手で入力したり、コ
minimap - ソースコードをミニマップ化
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました ミニマップというのはプログラミングエディタに付属していることが多い機能で、ファイル全体のソースコードをサムネイル化したような表示です。個人的にはあまり使いませんが、画面が今ソースコード全体のどの場所を表示しているかを知るのに使えます。 そんなミニマップを生成してくれるPythonスクリプトがminimapです。 minimapの使い方 とあるPythonスクリプトをminimap化したものです。 minimapには向き不向きのファイルがあるようで、ある程度長さがあった方が良いようです。また、Pythonファイルでないとシンタックスハイライトがうまくいかないかも知れません。 ソースコードを俯瞰的に見るのに使えますし、時々スナップショット的に残しておくのも面白そうです。 minimap
Webサイトを巡回してリンク切れを確認するPython製のCLIツール『linkchecker』を使ってみる | 俺的備忘録 〜なんかいろいろ〜
リンク切れページの調査について、前回wgetコマンドを使用した方法について記述したが、これだとリンク元のページがどこかがわからないため、あまり扱いやすいとはいえない。 で、リンク切れチェック用のツールを探してみたところ、『linkchecker』なるツールが良さそうだったのでこれを使ってみることにした(ただ、最近はあまりアップデートがされていないらしく、作者にも連絡が取れてない状態でどうなるかわからない様子。とりあえず新しくプロジェクトが作成されているようなので、今後はそちらに移っていくのかなと)。 今回は、この『linkchecker』をインストールして実際にサイトのリンク切れ情報について取得する。 1. インストール まず、以下のようにpipからlinkcheckerをインストールする。 この際ただpipからインストールすると、どうもPythonのバージョンのご検知で正常に動作しないよ
VisiData - コンソールで動作する表計算エディタ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました CSVの内容を確認したいと思ったらExcelなどを使う人が多いかと思います。しかし自動のフォーマット変換があって文字が数字や日付に変わってしまったり、文字化けしたりとうまく確認できないことがあります。さらにサーバ側にあったりすると、ファイルを確認するのにいちいちダウンロードする必要もあります。 そこで使ってみたいのがVisiDataです。コンソール上で動作する表計算ソフトウェアです。 VisiDataの使い方 VisiDataの画面です。左や上部のカラムを固定することもできます。 VisiDataはCSVファイルを指定して実行するだけで綺麗に可読性の高い状態で表示してくれます。データの編集も可能です。元がCSVやTSVファイルなので計算式を埋め込むことはできませんが、閲覧やCSVエ
OCRmyPDF - PDFをOCR解析して透明テキストを付加
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました PDFを作る方法は幾つかあります。ドキュメントエディタで出力する分には透明テキストが含まれており、検索もできます。しかし単に画像を重ねただけのPDFの場合、文字はあっても検索できないため使い勝手が非常に悪いでしょう。 そこで使ってみたいのがOCRmyPDFです。PDFをOCR処理を施して検索可能なPDFファイルにしてくれます。 OCRmyPDFの使い方 変換前です。画像なので検索できません。 変換は元ファイルと変換後のファイルを指定するだけです。オプションも多数あります。 $ ocrmypdf xbanner_l.pdf output.pdf 変換後です。検索結果が出るようになりました。 OCRmyPDFは透明テキストを元々の文字と位置を合わせてくれるので便利です。なお日本語は対応
SlideShare To PDF - SlideShareのスライドをPDFでダウンロード
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました オンラインでスライドを共有しようと思ったらSlideShareが最もよく使われてきましたが、macOSのPDFで日本語が表示されない問題があり（回避策はあるらしいですが）、SpeakerDeckに移っている方が多いかと思います（個人的にも移りました）。 そうなるとすでにアップロードしているスライドをダウンロードしたいと考えるでしょう。そんな時に使えるのがSlideShare To PDFです。 SlideShare To PDFの使い方 SlideShare To PDFは対話型で進めていくだけで完了します。実行するとSlideShareのURLを求められるので、入力します。 $ python grub.py Input the SlideShare URL you want to
SQLite Web - SQLiteをWebベースで管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 開発時においてSQLiteを使うケースが増えています。MySQLなどと比べても大差ない使い勝手ですし、わざわざサーバを立ち上げることなく使えるのが手軽です。O/Rマッパーを使っているならばデータベースの違いを意識することもないでしょう。 そんなSQLiteにWebベースの管理画面を提供するのがSQLite Webです。コマンドラインから任意のデータベースを指定できるのが便利です。 SQLite Webの使い方 SQLite Webの実行はコマンドラインでできます。 sqlite-web /path/to/sqlite.database そうするとWebページが開いてデータベースの内容が確認できます。 データベース構造の確認。 内容の確認。 任意のSQLを実行できます。結果をJSON
Jython Runner - GUIのJython実行環境
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Pythonの実行環境を用意しようと思ったら、Pythonをインストールすることになります。インストーラーはありますが、環境によっては権限がなくてインストールできないこともあるでしょう。 そこで使ってみたいのがJython Runnerです。Java VM上で動くJythonを動かせるGUIアプリケーションです。 Jython Runnerの使い方 メイン画面です。左側がエディタ、右側に実行結果が表示されます。 Pythonスクリプトを普通に実行できます。 関数ももちろん使えます。ただし日本語はエンコードの問題か、エラーが出てしまいました。 Jython RunnerはJythonがそのまま動くようになっています。GUIでJavaアプリケーションなので、このファイル単体でJavaさ
Hyperoptを使った、関数の最適化 - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 本日はhyperoptと呼ばれるライブラリを紹介したいと思います。 KaggleのForamで時々あがっていたので、気になっていました。 Hyperoptについて What is Hyperopt? hyperoptはTree-structured Parzen Estimator Approach(TPE)やRandomSearchを使って、最適化を行うライブラリです。 しかし、掲載論文を読む時間がないので、最適化の方法はともかく、 このライブラリは最小化するパラメータの推定を行ってくれます。 （他のもできるかもしれませんが、今回は調べていません。） Hyperoptについて、Scipy2013で発表をしているようです。興味が有る人は以下のビデオもどうぞ。 www.youtube.com Install sudo pip install h
Timestrap - Django製の時間/請求管理システム MOONGIFT
仕事の多くは時間に関係します。特にシステム開発などは各機能の実装について開発時間を計測することで見積もりの妥当性をチェックしたり、請求の源泉にしたりします。日本よりも海外ではそういう仕事の形態が多いようです。 そんな時間管理と請求管理が一緒になったシステムがTimestrapです。日本でも利用できるケースは多そうです。 Timestrapの使い方 ダッシュボードです。プロジェクトや時間数などが可視化されています。 クライアントの一覧です。 折りたたみを開くと詳細が出ます。 プロジェクトごとの作業一覧です。 時間計測は一番上の部分で行います。 レポートです。多彩なフォーマットでエクスポートできるのが特徴です。 TimestrapではCSV、Excel、JSON、YAML、HTMLなどで出力が可能です。出力した後は別なシステムで取り込んだり、HTMLをPDFに変換することもできるでしょう。時間
dnsyo - 500のDNSサーバを使ってドメインの状態をチェック
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました サーバを移転したり、新しいサービスを立ち上げる際に必要なのがドメインです。ドメインがちゃんと指定したサーバに向いているかどうかは気になる方が多いでしょう。昔は数日かかっていましたが、今では数時間で殆どのDNSサーバに伝搬されます。 そんなDNSの状態をチェックできるのがdnsyoです。 dnsyoの使い方 例えばGoogleの場合。オープンになっている500のDNSサーバに問い合わせてくれます。 $ dnsyo google.com INFO:root:Updating resolver list file Status: Queried 500 of 500 servers, duration: 0:00:15.854336 - RESULTS I asked 500 serve
ビープラウド、Webブラウザで作りながら学べるオンライン・プログラミング学習サービス「PyQ」を販売開始
「PyQ」は、プログラミング言語にPythonを採用し、文法の学習が中心だった従来のプログラミング学習サービスとは異なり、プログラミングを知識として学ぶのではなく、実際にプログラムを作りながら学べる。 学習問題は、基本的な文法からWebアプリの作成やECサイトの構築など、初心者～中級者までをカバーする400問以上を用意しており、豊富な問題数を通して自らの手でプログラムを書いた実感が得られる。また、すべてのコンテンツが実務を元に作られているので、学習コンテンツや模範解答によってプログラミングという仕事の感覚がつかめるようになっている。 対応OSはWindows 10以上、Mac OS X以上。対応ブラウザはGoogle ChromeおよびFirefox。 個人向け料金プランの月額料金は、「ライト」が2980円、「スタンダード」が7980円、「メンター」が29980円、「プレミアム」が9800
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
