OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
形態素解析エンジンMeCabの使い方完全マニュアル〜Python編〜
今では機械に複数の言語を翻訳させたり、知りたい情報を検索サービスですぐに得られるようになりましたよね。実はこの背景には形態素解析という技術が大きく関係しています。 実はこの形態素解析は形態素解析エンジン「MeCab」で体験することができます。 それではこの形態素解析が体験できる形態素解析エンジン「MeCab」をPythonで利用する方法を説明していきましょう。 このMeCabとは形態素解析ができるソフトウェアのこと。単体で利用したり、プログラミング言語「Python」とMeCab連携して使うことが可能です。 そこでまずMeCabと形態素解析についての基本やどのような環境構築・準備が必要なのか。また、MeCabのインストール・Pythonと連携させる方法、PythonでMeCabを利用した形態素解析をする方法を具体的にお話します。 最後にはMeCabを使うときのポイントや、みなさんに併せてお
RESTful APIをシュッと作る技術 - PythonとFastAPIでバックエンドを5時間ちょいで作ってみた - Lean Baseball
久々に開発ネタです. 大晦日ハッカソン2019 #大晦日ハッカソンで, 野球のデータをシュッと見るためのDashboardを作る（理由は後ほど）. そんなDashboardのBackend APIをシュッと開発する. を目標に立て現在進行系でやってるのですが, 午後の進捗その2 Docker化が特に滞りなく完了. API Docも見れるとかFast API強すぎぃ 昨日の夕方から開発してたAPIはアッサリ1st Ver.できたので, 大晦日の買い物終わったらフロントエンドを除夜の鐘が鳴るまでになんとかするぞ #大晦日ハッカソン pic.twitter.com/wWMiSvQDKu— Shinichi Nakagawa (@shinyorke) 2019年12月31日 Backendを昨日（12/30）の18:00から着手して（実質作業時間）約5時間ちょいで完成させてしまいました. 本年最後
Python FlaskでREST APIを作る - Qiita
概要 Python FlaskでREST APIの開発に挑戦してみる。 blueprintでURLマッピングを行い、Flask-RESTfulでAPIを実装、 Cerberusでバリデーションをし、SQLAlchemyでDBとやり取りすることにする。 準備 Python + uWSGI + nginx で事前にWebサーバーの立ち上げをしておいた。 また、 pip3 install blueprint Cerberus Flask-RESTful Flask-SQLAlchemy Flask-SQLAlchemy-Session mysqlclient SQLAlchemy marshmallow marshmallow-sqlalchemy app.py uwsgi.ini controller/ + __init__.py + auth.py # APIその1 (URL: /api/a
Python + Flask + MongoDB を利用した Web API の作成と Azure VM + Nginx への配置（ホロライブの動画配信予定を収集 その３） - Qiita
Python + Flask + MongoDB を利用した Web API の作成と Azure VM + Nginx への配置（ホロライブの動画配信予定を収集 その３）nginxMongoDBFlaskAzurePython3 はじめに 前回（https://qiita.com/kerobot/items/41f266dd52988f9bb68e）は、ホロライブの配信予定や動画情報を収集する仕組みを Azure VM の Ubuntu に配置して定期的に実行されるようにしました。 今回は、Azure VM の Ubuntu の MongoDB から、ホロライブの配信予定や動画情報を取得する Web API を作成し、Azure VM (Ubuntu) + Nginx + gunicorn へ配置してみます。 まずは、ローカル環境で Web API を作成して動作を確認したうえで、Azu
形態素解析の結果を利用してTF法により特徴抽出をする - Qiita
はじめに 本記事では、文書分類器を実装するための特徴抽出方法としてのTF(Term Frequency method)法について解説する。 1. 形態素解析 文書分類では、文書内の単語の情報を利用する。日本語は英語のように単語の区切りが明示された分かち書き言語ではなく、非分かち書き言語であり、そのため、文書内の各文を単語に分割する必要がある。文を単語に分割し、各単語の品詞を推定することを形態素解析という。 ここでは、オープンソース形態素解析ソフトウェア MeCab(めかぶ)を使う. • http://taku910.github.io/mecab/ 2. 特徴抽出 分類問題を扱う際、一般に、データ中の、分類に利用する情報のことを特徴量と呼び、この特徴量をデータから抽出する作業を特徴抽出と呼ぶ。 文書の分類では、文書中の単語が特徴量として利用される。 文書内の各単語の出現頻度は、しばしば、単
NumPy221本ノックの本書いた - Qiita
1～2ヶ月ぐらいかけてNumPyの基礎～実装力をつけるための本を書きました。問題演習形式で221問収録してあります。 着想 以前この本を書いたのですが、ディープラーニングに行く前のNumPyでつまずいている方が結構多かったのです。例えば「np.meanのaxisってどうするの？」や「shapeが何だかわからない」というケース。そこをどうにかケアしようというのが今回の目的です。 NumPyの問題演習は昔からありまして、100 numpy exercisesが有名です。昔初心者の頃自分もやったことがあります。最初の方は良いのですが、あとの方が「これイマイチ何に使うんだろう」という疑問があったのです。今振り返ってみても「NumPyの問題としてはよくても、そこまで実践的ではないな」と多少不満点はありました。「それならもう自分で作ってしまおう」ということで本を書きました。 大事にしたところ 本書を書
機械学習サービスを開発 / 運用していく時に役立つ知識をまとめてみた【Python x Azure】 - Qiita
はじめまして、ますみです！ 本記事のターゲットと概要は以下の通りです。 ターゲット / Target 機械学習に携わる研究者 機械学習を用いたソフトウェアに従事する方々（エンジニア / デザイナー / プロマネ / マーケター / セールス / コンサル / 経営者など） 概要 / Abstract 機械学習をAzureというクラウドサービス上で実行 / 運用していく場合に知っておくべき知識の紹介。 ※ 求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020 の23日目の記事です。 また、本記事の作者（私）はAzure Fundamentalの資格を取得しているものの（証明書）、まだまだ学び足りないことがたくさんあります。そのため、もしも「こういうサービスもあるよ！」や「こういうメリットとデメリットもあるよ！」などの
Pythonで仕事をする人のための書籍まとめ2021 - 学習, 業務効率化, アプリ開発からデータサイエンスまで - Lean Baseball
2020年も多くの素晴らしい技術書がたくさん出ました. その中でも（昨今のトレンド・流行りも手伝ってか）Python本の多さ・充実度合いは目立つものがあります. （このエントリーを執筆した12/19時点で）Amazonの本カテゴリで「Python」と検索すると1,000件以上出てきます*1. これだと目的の本にたどり着くだけで疲れそうです. このエントリーでは, 主にPythonを学びたい・現在使っている方 手元の業務を効率化したり, RPAっぽいことをやりたい方 エンジニア・データサイエンティストとして業務や趣味・個人開発をされている方 を対象に, 今そして来年2021年に読んでおきたいPython関連書籍（と抑えておきたいサービス） をエンジニアでありデータサイエンティストである私独自の視点で紹介します*2. なおこのエントリーはこのブログで例年執筆している「Python本まとめ」の2
3. Pythonによる自然言語処理 3-1. 重要語抽出ツール TF-IDF分析［原定義］ - Qiita
自然言語処理を行うとき、具体的な狙いの一つとして「ある文章を特徴づけるような重要語を抽出したい」ということがあります。 単語を抽出するとき、まずはテキスト内で出現回数の多い単語を拾います。出現頻度順のリストの上位に挙がってくるのは、あらゆる文章に共通して頻繁に使われる語ばかりです。 品詞情報を使って名詞に限定しても、例えば「事」や「時」などのように特定の意味をなさない汎用的な単語が上位に多数出てくるので、それらをストップワードとして除外するなどの処理が必要です。 ⑴ TF-IDFという考え方 TF-IDF（Term Frequency - Inverse Document Frequency）、直訳すると「用語頻度 - 逆文書頻度」です。 出現回数は多いが、その語が出てくる文書の数が少ない、つまりどこにでも出てくるわけではない単語を特徴的で重要な語であると判定する考え方です。 多くは単語を
Python(MeCab) on Dockerで日本語テキスト処理APIをサクッと実装 - Qiita
はじめに 現在、自然言語処理に取り組んでおり、 日本語テキストを入力、そのラベルを出力とするモデルを作っています。 学習モデルの精度が目標に近づいてきたので、 そろそろ現場で使ってもらい、フィードバックが欲しくなってきました。 最終的にはAWSを使ってサービス化する予定ですが、 今回は取り敢えず、DockerとPythonを使って、 サクッと日本語テキスト処理APIを作ってみました。 目次 1.環境 2.MeCab入りのDockerコンテナを起動 3.FlaskでREST APIを構築 4.RequestsでJSONデータをPOST 1.環境 macOS High Sierra 10.13.3 Docker 18.03.1-ce
mecab-ipadic-neologd対応のRESTful MeCabサーバ用Dockerfile - Qiita
以前mecab-python周りは導入が面倒くさかったのでDockerfileにまとめておこう。 REST APIの部分はこちらを参考にFlaskで実装しました。 ソースはgithubにあります。 ついでにdocker-composeも使ってみたらこれは便利。今回みたいにコンテナ1つだとあまり旨味はないけど。 [2016-10-07 追記] 辞書ファイルの更新について追記。 [2018-03-11 追記] フロントエンドを追加。 FROM ubuntu:16.04 RUN apt-get update \ && apt-get install python3 python3-pip curl git sudo cron -y \ && apt-get clean \ && rm -rf /var/lib/apt/lists/* WORKDIR /opt RUN git clone http
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに — Python早見帳
無料で読める、東大／京大の「Python教科書」電子書籍
GitHub - Nmomos/hedgehog-reservation: FastAPI を使ってWEBアプリを作ってみる
MeCabをPythonで形態素解析 + FlaskでAPI | Tech Blog | CRESCO Tech Blog
さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI
最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020
TheAlgorithms/Python: All Algorithms implemented in Python
