リクルート、Python向け日本語自然言語処理オープンソースライブラリ「GiNZA」公開
リクルートはこのほど、同社のAI研究機関・Megagon Labsが開発したPython向け日本語自然言語処理オープンソースライブラリ「GiNZA」（ギンザ）と、国立国語研究所と共同で研究してきた学習済みモデルを組み込んだ「GiNZA日本語Universal Dependencies（UD）モデル」をGitHubで公開した。 GiNZAは、複雑な導入作業不要で、ワンステップでモジュールとモデルファイルの導入が可能なライブラリ。エンジニアやデータサイエンティストが自然言語処理を簡単に応用できることを目指して開発したという。 自然言語処理ライブラリ「spaCy」をフレームワークとして利用し、オープンソース形態素解析器「SudachiPy」を組み込んでおり、「産業用途に耐える性能を備えている」としている。spaCyの国際化機能により、複数の欧米言語と日本語の言語リソースを切り替えて使用することも
gitdir - GitHubリポジトリの特定のフォルダだけをダウンロード MOONGIFT
GitHubを使っていて、あるリポジトリのサンプルディレクトリだけダウンロードしたいと思ったりすることはないでしょうか。そのためにリポジトリ全体をクローンしたり、圧縮ファイルをダウンロードするのは面倒です。 そこで使ってみたいのがgitdirです。指定したディレクトリだけを素早くダウンロードできます。 gitdirの使い方 gitdirは引数としてGitHubのディレクトリURLを渡すだけです。 $ python3 gitdir.py https://github.com/brandleesee/TerminalStocks/tree/master/bin ✔ Finished downloading 1 file(s) gitdirが便利なのはトークンなども不要で、ただURLを渡すだけで使える点でしょう。そのためパブリックなリポジトリでしか使えませんが、プライベートなものは自分が所有して
ROOTで機械学習してみる〜Multi Layer Perceptron（ANN） - Qiita
概要 欧州原子核研究機構CERNが開発しているデータ分析ツールROOTを使って簡単に機械学習をしてみる。 ROOTで用意されているチュートリアルのサンプルコードを参考に、 Multi Layer Perceptron（MLP）で回帰曲線を出すところまでやってみる。 ROOTのインストール方法や基本的な使い方は過去に書いた記事を参考までに。 https://qiita.com/dyamaguc/items/2f723cbc304c4debd82e https://qiita.com/dyamaguc/items/397121b303e26f8286cf 環境 Mac Book Air Mac OS X 10.13.6 ROOT 6.14/06 サンプルコードと実行結果 ROOTのサンプルコード（C++） ROOTが提供しているサンプルコードはこちら https://root.cern.ch/
XSStrike - 公開前にチェック。CUIでXSSを見つける MOONGIFT
XSS（クロスサイトスクリプティング）はWebシステム開発者としては特に注意していることでしょう。今なお、大事なファイルが平文で保存されていたとか、脆弱性をついてユーザデータをすべて抜き取られたといった問題はXSSによって起こされています。 そんなXSSをチェックできるのがXSStrikeです。XSStrikeを使ってテストすることでセキュアなWebサイトを実現できるでしょう。 XSStrikeの使い方 XSStrikeはURLとパラメータなどを送信して、XSSが認められないか確認します。 $ python xsstrike.py --url https://www.moongift.jp/ --data q=test XSStrike v3.0.5 Checking for DOM vulnerabilities WAF Status: Offline Testing parameter
termtosvg - ターミナル操作を記録してSVG化
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました サーバのセットアップやソフトウェアのインストール時にはターミナルの操作を記録しておきたいと思うものです。それによって後で振り返ることができたり、問題があった時に気付けるようになります。 ターミナル操作を記録するソフトウェアは幾つかありますが、特にWebとの親和性が高そうなのがtermtosvgです。なぜなら生成されるファイルがアニメーションするSVGだからです。 termtosvgの使い方 実行中は通常のターミナルと変わりませんが、.bash_profile が読み込まれていませんでした。 記録したSVGをアニメーションGIFにしたものです。SVGでテキストとして保存されているので、入力した内容によって若干文字が左右に動いたりします。 SVGなので、JavaScriptと連携させた
Terminal Velocity - ターミナルで使う高速なメモアプリ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました メモアプリの大事なところは、思いついた時にさくっとメモできることです。ソフトウェアを立ち上げて、ファイルを開いて…なんてやっていたら書こうと思っていたことを忘れてしまいます。間髪入れずに書ける環境が望ましいでしょう。 今回はTerminal Velocityというソフトウェアを紹介します。ターミナルで使える、素早く使えるメモアプリです。 Terminal Velocityの使い方 立ち上げたところです。tvといったエイリアスを付けると便利です。 上の入力欄で検索、そしてファイルを任意のエディタで開いて編集するという仕組みです。なければその内容でファイルを作れます。 Terminal Velocityは立ち上げて既存のファイルを検索、または新規で作成してメモするというフローが素早く実
summary-to-pptx - PythonでPowerPointを生成
プレゼンテーション用のスライドを作る際には専用のソフトウェアを使うことが多いでしょう。しかし、開発者にとってはあまり使い勝手の良いものは多くありません。作成はもちろん、修正や検索するのも面倒です。 そこで参考になりそうなのがsummary-to-pptxです。あらかじめ用意した素材からスライドを生成します。 summary-to-pptxの使い方 実行結果です。画像やテキストが埋め込まれたPowerPointファイルが生成されます。 summary-to-pptxは埋め込むテキストや画像を用意し、コマンドを実行するとPowerPointファイルが生成される仕組みです。テンプレートになるPPTXファイルをあらかじめ用意しておきます。同じような仕組みを用いれば、システムのデータを使ったスライドも簡単に作れそうです。 summary-to-pptxはPython製のソフトウェア（ソースコードは公
psrecord - 特定のプロセスをロギング MOONGIFT
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 特定のプロセスが突然暴走したり、メモリ使用量が変化していたりする際に使うのがpsであったり、topなどになります。しかしこれらはリアルタイムの状態を表示しており、常に関している訳にはいきません。 そこで使ってみたいのがpsrecordです。特定のプロセスのCPU、メモリ変化をログにしてくれます。 psrecordの使い方 psrecordはプロセス番号を指定して実行します。 $ psrecord 55566 --log activity.txt Attaching to process 55566 そうするとログにCPU、メモリ使用量を記録してくれます。測定するインターバルなどはオプションで指定できます。 $ cat activity.txt # Elapsed time CPU
dbxfs - Dropboxをファイルシステム化 MOONGIFT
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Dropboxは各OS向けにクライアントソフトウェアを提供しています。常時Dropboxを使っているならば便利ですが、時々しか使わなかったり、ストレージ容量を使うために躊躇している方もいるでしょう。 そこで使ってみたいのがdbxfsです。FUSEを使ってDropboxをファイルシステム化します。 dbxfsの使い方 利用する際にはDropboxのOAuth認証が必要です。 任意のフォルダにDropboxをマウントします。ファイル操作は普通に行えます。 dbxfsはDropboxを仮想的にマウントしていますので、使っていないファイルは読み込まれていません。大きなサイズのファイルを開こうとすれば時間がかかりますが、小さなファイルであれば気にならないでしょう。Dropboxは最初の同期に
vbuild - VueをPythonでコンパイル
かつてはHTML/JavaScript/CSSは別々なファイルで作成していましたが、Web Componentの流れは違います。機能毎にすべて一つのファイルにまとまり、独立性と再利用性を高めています。 そんなWeb Componentの流れを汲んでいるVueのファイルをPythonで解析して出力するライブラリがvbuildです。 vbuildの使い方 例えば以下のようなファイルがあります。これはVueです。 <template> <span> {{cpt}} <button @click="inc()">++</button> </span> </template> <script> { data() { return {cpt:0}; }, methods: { inc() { this.cpt+=1; } } } </script> <style scoped> :scope {pad
Juno - メニューバーからJupyter Notebookを呼び出し
PythonやR使いの方はJupyter Notebookを使っている方も多いでしょう。コードとテキストを一つのドキュメントに仕上げられるので、開発者向けのドキュメントを作るのに最適です。 そんなJupyter Notebookをメニューバーから呼び出せるのがJunoです。 Junoの使い方 メニューバーからJupyter Notebookを呼び出せます。 Jupyter Notebookは別途用意しておく必要があります。 Junoを立ち上げておけば、メニューバーから素早くJupyter Notebookにアクセスできます。ブックマークしておいても良いのですが、メニューバーからアクセスできる方が手軽でしょう。よく使う方ほど、必携のソフトウェアと言えるでしょう。 Junoはnode/JavaScript製のオープンソース・ソフトウェア（MIT License）です。 uetchy/juno:
pdfsizeopt - PDFファイルのサイズを最適化
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました ストレージが大容量化したり、解像度が向上すると、次第にファイルサイズを気にしなくなってしまいます。その結果、数十MBを越える添付ファイルをメールで送ろうとして弾かれたりします。小さいサイズで済むならば、それに越したことはないでしょう。 今回紹介するpdfsizeoptはPDFファイルを最適化し、サイズを軽減してくれるライブラリです。 pdfsizeoptの使い方 一例です。元ファイルは181KBありました。 最適化したファイルは131KB。28%くらいの削減に成功しています。もちろん見た目はまったく変わりません。 見た目が変わってしまうような変換はダメですが、pdfsizeoptであれば見た目は変わらずにファイルサイズを小さくできます。大きなPDFファイルほど有効に使えるでしょう。
Gitwebui - ローカルで立ち上げるGitリポジトリビューワー
GitHubではグラフィカルなGitリポジトリビューワーを提供していますが、常にGitHubにホスティングしたいという訳ではありません。ちょっとしたリポジトリであれば個人のローカルだけにあることだってあります。 そうした時に便利なのがGitwebuiです。ローカルのリポジトリをWebブラウザ経由で見やすくしてくれます。 Gitwebuiの使い方 リポジトリの一覧。 リポジトリ内のファイルをツリー表示。 簡易ログの一覧。 コミット情報。 差分。 GitwebuiはDockerイメージも提供していて、簡単にGitリポジトリビューワーを立ち上げられます。Gitwebuiであれば、オフラインで閲覧できるのも便利です。コマンドでは見づらい情報も、Gitwebuiを使えばカラフルに可視化されます。 GitwebuiはPython製のオープンソース・ソフトウェア（GPL）です。 fraoustin/gi
Roamer - テキストファイルを使ったファイル管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました ファイル名を変更したり、削除したりする場合にはmv/cp/rmといったコマンドを使って行います。各コマンドは複数ファイル/フォルダを指定できますが、複数の異なる操作をまとめてはできません。 そこで使ってみたいのがRoamerです。標準出力されたファイル一覧をメンテナンスしてファイル管理を一気に行うソフトウェアです。 Roamerの使い方 コマンドを実行するとファイル一覧をEDITOR環境変数で指定されたエディタで開きます。 " pwd: /path/to/Dropbox/ .DS_Store | ef97f1fce184 .git/ | b1ae3689de52 .gitignore | c503a94fac58 .gtm/ | e229a773cb0b .markdown-pre
xltrail - VBAの差分を表示するGitサブコマンド
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Excelはオフィスで最もよく使われるソフトウェアの一つでしょう。そして単に表計算としてだけでなくVBAも使ってシステムツールとして使われたりします。そんなExcelだけにバージョン管理したいというニーズがよくあり、そのためのソフトウェアも存在します。 そんな中、xltrailは一風変わっています。シートではなく、VBAの差分表示ができるソフトウェアです。 xltrailの使い方 xltrailをインストールする前の差分表示。git diffでは何も出ません。 git diff book.xlsx diff --git a/book.xlsx b/book.xlsx index 70d50ca..9bcf07e 100644 Binary files a/book.xlsx and
WebDNN - Web上で試せる機械学習環境
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 機械学習は今、人気のある技術です。様々な使い方が考えられていますが、問題なのはトレーニングでしょう。GPUが積まれていないと速度面で問題があったり、大量のデータをあらかじめ学習しないと期待した結果が返ってきません。 とは言え、まずは機械学習を試してみたいという方はWebDNNを使ってみましょう。Webブラウザ上で手軽に試すことができます。 WebDNNの使い方 二つのデモが用意されています。こちらはあるスタイル（デモでは葛飾北斎の富岳三十六景）を別な画像に対して適用するものです。 ウワアアアアアのAAを北斎風に。 もう一つは画像のタグ付けです。何が写っているのかを類推しています。 蜘蛛の巣…確かに近いかも。 タグ付けについては得意不得意の領域があるので、自然や屋外の写真であれば精度
Sniper - ターミナル上でスニペット管理
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました プログラミングしていると使い回せる汎用的なコードができあがることがあります。そうしたコードは一旦どこかにコピーしておいて、後でいつでも呼び出せるようにしたいのですが、そういったコードはスニペットと呼ばれます。 今回紹介するSniperはターミナル上でスニペット管理をおこなうソフトウェアです。 Sniperの使い方 newコマンドで新しいスニペットを作成します。この時、EDITOR環境変数でエディタを定義しておくと、そのエディタで新規作成状態になります。 $ sniper new NAME: echo DESC: echo test Snippet successfully saved. 保存したスニペットはlsで確認できます。 $ sniper ls Total: 1 NAME D
fakerでテスト用のデータを生成、加工する | 俺的備忘録 〜なんかいろいろ〜
ちょっとした作業で、テスト用のユーザデータを作る必要が出てきて「なんか良いのないかなー」と思って探してみたところ、fakerというPythonのツールがいい感じにデータを生成してくれたので、記録として残しておくことにする。ライブラリとしても利用できるようだ。 localeの設定に応じて出力してくれるサンプルも変えているようで、日本語の名前や住所、メールアドレスも取得できるらしい。 fakerはPythonで書かれており、以下のコマンドでインストールできる。 pip install faker インストールができたら、helpを見てみよう。 blacknon@BS-PUB-UBUNTU-01:~$ faker --help usage: faker [-h] [--version] [-o output] [-l LOCALE] [-r REPEAT] [-s SEP] [-i [INCLU
Google Images Download - Google画像検索からまとめてダウンロード
Google画像検索を使えばライセンスであったり、画像の種類など様々な条件から自分の使いたい画像を探し出すことができます。検索結果から一つずつ画像を眺めて希望に合うものをダウンロードしていることでしょう。 しかしもっと手軽に画像をダウンロードできるツールがGoogle Images Downloadになります。 Google Images Downloadの使い方 Google Images DownloadはPythonスクリプトなので、キーワードと取得件数を指定するだけで実行できます。 $ python3 google-images-download.py -k "open source" -l 20 Item no.: 1 --> Item name = open source Evaluating... Total Image Links = 100 Total time take
Eel - PythonによるElectron代替
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Electron代替になるソフトウェアが幾つも出てきています。Goであればgo-astilectronが使えます。HTML/JavaScriptでUI側は処理しますが、ローカルコンピュータとの接続部分は別な言語（Electronであればnode）が使えます。 今回紹介するEelはnodeの代わりにPythonが使えるようになるソフトウェアです。 Eelの使い方 簡単なウィンドウ表示の例。UIはGoogle Chromeが使われています。 ファイルを選択する例。フォルダを指定してローカルのファイルをランダムにピックアップします。 Eelを使えばJavaScriptからAPIを実行し、Pythonで処理を書けます。スクリプトを呼び出したり、サーバとの通信をおこなったりすることもできるで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
