Mozilla、Pythonのデータサイエンス処理をブラウザー内で実行する「Pyodide」を発表 | スラド IT
Mozillaは16日、Pythonで書かれたデータサイエンススタックを完全にWebブラウザー内で実行できるようにする実験的プロジェクト「Pyodide」を発表した(Mozilla Hacksの記事、 VentureBeatの記事、 Infoworldの記事)。 Mozillaではデータサイエンスの処理をすべてブラウザー内で実行可能にするIodideを3月に発表しているが、現在利用可能な唯一の言語であるJavaScriptには成熟したデータサイエンスライブラリがなく、数値計算に役立ついくつもの機能が不足している。MozillaはJavaScript向けにデータサイエンスライブラリを開発することにも意義があると考える一方、早道としてPythonをブラウザー内で実行できるようにしたとのこと。 Pyodideでは標準的なPythonインタープリターがすべてブラウザー内で実行され、ブラウザーのWe
リクルート、Python向け日本語自然言語処理オープンソースライブラリ「GiNZA」公開
リクルートはこのほど、同社のAI研究機関・Megagon Labsが開発したPython向け日本語自然言語処理オープンソースライブラリ「GiNZA」（ギンザ）と、国立国語研究所と共同で研究してきた学習済みモデルを組み込んだ「GiNZA日本語Universal Dependencies（UD）モデル」をGitHubで公開した。 GiNZAは、複雑な導入作業不要で、ワンステップでモジュールとモデルファイルの導入が可能なライブラリ。エンジニアやデータサイエンティストが自然言語処理を簡単に応用できることを目指して開発したという。 自然言語処理ライブラリ「spaCy」をフレームワークとして利用し、オープンソース形態素解析器「SudachiPy」を組み込んでおり、「産業用途に耐える性能を備えている」としている。spaCyの国際化機能により、複数の欧米言語と日本語の言語リソースを切り替えて使用することも
gitdir - GitHubリポジトリの特定のフォルダだけをダウンロード MOONGIFT
GitHubを使っていて、あるリポジトリのサンプルディレクトリだけダウンロードしたいと思ったりすることはないでしょうか。そのためにリポジトリ全体をクローンしたり、圧縮ファイルをダウンロードするのは面倒です。 そこで使ってみたいのがgitdirです。指定したディレクトリだけを素早くダウンロードできます。 gitdirの使い方 gitdirは引数としてGitHubのディレクトリURLを渡すだけです。 $ python3 gitdir.py https://github.com/brandleesee/TerminalStocks/tree/master/bin ✔ Finished downloading 1 file(s) gitdirが便利なのはトークンなども不要で、ただURLを渡すだけで使える点でしょう。そのためパブリックなリポジトリでしか使えませんが、プライベートなものは自分が所有して
pydis - Python製のRedisクローン
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました ソフトウェアには多様性が必要です。一つのソフトウェアに頼り切ってしまうと、万一脆弱性があった時に一気に全滅してしまいます。また、同じ領域のソフトウェアがあることで切磋琢磨できるのです。 今回はRedisをPythonで再実装したpydisを紹介します。 pydisの使い方 pydis自体はRedisのサブセット的位置づけですが、ベンチマークはすべて通ります。 $ redis-benchmark -q -t set,get,incr,lpush,rpush,lpop,rpop,sadd,hset,spop,lrange,mset -n 100000 -P 5 -p 7878 SET: 306748.47 requests per second GET: 302114.81 reque
ROOTで機械学習してみる〜Multi Layer Perceptron（ANN） - Qiita
概要 欧州原子核研究機構CERNが開発しているデータ分析ツールROOTを使って簡単に機械学習をしてみる。 ROOTで用意されているチュートリアルのサンプルコードを参考に、 Multi Layer Perceptron（MLP）で回帰曲線を出すところまでやってみる。 ROOTのインストール方法や基本的な使い方は過去に書いた記事を参考までに。 https://qiita.com/dyamaguc/items/2f723cbc304c4debd82e https://qiita.com/dyamaguc/items/397121b303e26f8286cf 環境 Mac Book Air Mac OS X 10.13.6 ROOT 6.14/06 サンプルコードと実行結果 ROOTのサンプルコード（C++） ROOTが提供しているサンプルコードはこちら https://root.cern.ch/
データサイエンスや機械学習のチートシートを最も効率的に収集する方法 - Qiita
機械学習・データサイエンスのチートシート集、便利なものがたくさん出回っていますが、ちまちまブラウザからダウンロードしていたりしませんか？そんな貴方にお勧めなのがこちらのレポジトリ。 FavioVazquez/ds-cheatsheets https://github.com/FavioVazquez/ds-cheatsheets はい、クリックあるいはコマンド一つで100を超えるチートシートが一括でダウンロードできちゃいますね。以上、釣りタイトル失礼しました。 と、これだけではなんなので、個人的に有用性が高いと感じたものを、大きなサムネイル付きでまとめてみました。ソースとして、DataCamp及びRStudio公式ページの情報量は圧倒的なので、一読をお勧めします。 科学計算・データ操作・可視化 Python (NumPy/SciPy/Pandas/matplotlib/bokeh) Pyt
XSStrike - 公開前にチェック。CUIでXSSを見つける MOONGIFT
XSS（クロスサイトスクリプティング）はWebシステム開発者としては特に注意していることでしょう。今なお、大事なファイルが平文で保存されていたとか、脆弱性をついてユーザデータをすべて抜き取られたといった問題はXSSによって起こされています。 そんなXSSをチェックできるのがXSStrikeです。XSStrikeを使ってテストすることでセキュアなWebサイトを実現できるでしょう。 XSStrikeの使い方 XSStrikeはURLとパラメータなどを送信して、XSSが認められないか確認します。 $ python xsstrike.py --url https://www.moongift.jp/ --data q=test XSStrike v3.0.5 Checking for DOM vulnerabilities WAF Status: Offline Testing parameter
termtosvg - ターミナル操作を記録してSVG化
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました サーバのセットアップやソフトウェアのインストール時にはターミナルの操作を記録しておきたいと思うものです。それによって後で振り返ることができたり、問題があった時に気付けるようになります。 ターミナル操作を記録するソフトウェアは幾つかありますが、特にWebとの親和性が高そうなのがtermtosvgです。なぜなら生成されるファイルがアニメーションするSVGだからです。 termtosvgの使い方 実行中は通常のターミナルと変わりませんが、.bash_profile が読み込まれていませんでした。 記録したSVGをアニメーションGIFにしたものです。SVGでテキストとして保存されているので、入力した内容によって若干文字が左右に動いたりします。 SVGなので、JavaScriptと連携させた
graph-cli - CSVから画像ファイルを生成
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 資料でグラフを使うことで数値の羅列から視覚に訴えられるようになります。多くの場合、表計算ソフトウェアを使ってグラフを作りますが、アップデートする度に作成し直したり画像化するのが面倒です。 そこで使ってみたいのがgraph-cliです。CLIでCSVデータをグラフ化します。 graph-cliの使い方 Sinの値をCSV化し、それをグラフにしたものです。 Cosのグラフと合わせた例。 棒グラフも作れます。 メモリを細かくした例。 基本はSVGですが、画像へ変換もできます。 graph-cliは元データとしてCSVを使うので、データが作成しやすいのがポイントです。システムからCVSデータを作るのもさほど難しくないでしょう。CSVファイルさえ生成してしまえば、後はgraph-cliで画像
scikit-learnでバギングとブースティングをやってみる - Qiita
はじめに 複数のモデルを組み合わせて学習する方法をアンサンブル学習といいます。様々な分類器を組み合わせることで汎化性能を上げることが出来ます。 ここではバギングとブースティング（Adaboost）について見ていきます。 参考 ［第2版］Python機械学習プログラミング 達人データサイエンティストによる理論と実践 impress top gearシリーズ(https://www.amazon.co.jp/dp/B07BF5QZ41/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1) sklearn.ensemble.BaggingRegressor 環境 MacOS Mojave 10.14.2 scikit-learn==0.19.1 手順 元の訓練データからランダムにn個のデータを重複を許して抽出する、ということを繰り返してデータセットをn_es
なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】
10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、python.jpの管理人もしている石本敦夫氏がPythonやNumPyの歴史とPythonで並行処理を行う時のポイントを解説した。 python.jp管理人 石本敦夫氏 PyData.tokyo One-day Conference 2018 「NumPyの歴史とPythonの並行処理」講演資料 なぜ機械学習にはPythonなのか ～NumPyを核に形成された科学技術計算のエコシステム いま「機械学習」でググると「python」が関連キーワードとしてサジェストされるほど、AIや機械学習を扱うならPythonは定番の言語だ。2011年にIEEEが発行した雑誌には「科学技術計算においてPythonはデファクトスタンダード」と記述されている。 その理由を示すべく
Python for Windows 10が爆誕 - Microsoft Storeから簡単にインストール可能に | ソフトアンテナ
現在世界的に人気の高いプログラミング言語「Python」がMicrosoft Storeからダウンロード可能になったことがわかりました(Softpedia、Neowin)。 Microsoft Storeで公開されたPythonはのバージョンは「3.7」で、Windows 10のバージョンは17763.0以降が必要となっています。 公式ドキュメントによると、現状のMicrosoft Store版パッケージは「不安定」と見なされていて、主な用途としては「学生などが使用するインタラクティブな用途」が想定されています。 また既知の不具合として以下のような項目がリストアップされています。 py.exeはMicrosoftストアからインストールされたPythonを起動するために使用できない。 Microsoftストアアプリの制限により、PythonスクリプトはTEMPやレジストリなどの共有の場所への
Python 割と使うライブラリ集 - Qiita
背景 Pythonでよく使うライブラリ集です。 簡単なソースと学習に役立つサイトのリンクを記載しています。 GitHubで公開されているものに関してはライブラリ名にリンクを貼っています。 基本的には趣味レベルのみでの利用なので専門的情報が欲しい方は戻るボタン推奨。 標準ライブラリ 公式ドキュメントにありますのでこちらをご参照ください。 https://docs.python.jp/3/library/index.html 数学系 NumPy ベクトルや行列計算を行うためのライブラリ 内積、フーリエ変換。行列計算などプログラミング知識が少なくても簡単に使用できるのが特徴。 少ないコード量で効率よく高速に数値計算 学習サイト：https://qiita.com/jyori112/items/a15658d1dd17c421e1e2 # -*- coding: utf-8 -*- import
Terminal Velocity - ターミナルで使う高速なメモアプリ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました メモアプリの大事なところは、思いついた時にさくっとメモできることです。ソフトウェアを立ち上げて、ファイルを開いて…なんてやっていたら書こうと思っていたことを忘れてしまいます。間髪入れずに書ける環境が望ましいでしょう。 今回はTerminal Velocityというソフトウェアを紹介します。ターミナルで使える、素早く使えるメモアプリです。 Terminal Velocityの使い方 立ち上げたところです。tvといったエイリアスを付けると便利です。 上の入力欄で検索、そしてファイルを任意のエディタで開いて編集するという仕組みです。なければその内容でファイルを作れます。 Terminal Velocityは立ち上げて既存のファイルを検索、または新規で作成してメモするというフローが素早く実
【保存版・初心者向け】Python 目的別チュートリアル - Qiita
はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 近年機械学習等で人気のPythonですが、Pythonで出来ることは機械学習以外にも多くあります。 そこで、初学者の方は機械学習以外でPythonで何が出来るのか？また、何から手をつけて行けば目的を達成できるのか？など疑問を持つかと思います。 この記事が多くの方々のお役に立てれば幸いです。 AI Academy Bootcamp ６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。 数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください！ https://aiacademy.jp/bootca
Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball
毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web
summary-to-pptx - PythonでPowerPointを生成
プレゼンテーション用のスライドを作る際には専用のソフトウェアを使うことが多いでしょう。しかし、開発者にとってはあまり使い勝手の良いものは多くありません。作成はもちろん、修正や検索するのも面倒です。 そこで参考になりそうなのがsummary-to-pptxです。あらかじめ用意した素材からスライドを生成します。 summary-to-pptxの使い方 実行結果です。画像やテキストが埋め込まれたPowerPointファイルが生成されます。 summary-to-pptxは埋め込むテキストや画像を用意し、コマンドを実行するとPowerPointファイルが生成される仕組みです。テンプレートになるPPTXファイルをあらかじめ用意しておきます。同じような仕組みを用いれば、システムのデータを使ったスライドも簡単に作れそうです。 summary-to-pptxはPython製のソフトウェア（ソースコードは公
psrecord - 特定のプロセスをロギング MOONGIFT
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 特定のプロセスが突然暴走したり、メモリ使用量が変化していたりする際に使うのがpsであったり、topなどになります。しかしこれらはリアルタイムの状態を表示しており、常に関している訳にはいきません。 そこで使ってみたいのがpsrecordです。特定のプロセスのCPU、メモリ変化をログにしてくれます。 psrecordの使い方 psrecordはプロセス番号を指定して実行します。 $ psrecord 55566 --log activity.txt Attaching to process 55566 そうするとログにCPU、メモリ使用量を記録してくれます。測定するインターバルなどはオプションで指定できます。 $ cat activity.txt # Elapsed time CPU
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ComputerworldとCIO Magazineは閉鎖しました
Home
