自動要約APIを作ったので公開します | Recruit Tech Blog
リクルートテクノロジーズの大杉です。 広島市立大学修士２回生の飯沼さんと一緒に、自然言語要約ツールを作りましたので、リクルートテクノロジーズのgithubアカウントにて公開します。このapiでは、入力した文章から、指定したパラメータ（行数など）に応じて、重要だと思われる文の抽出ができます。例えば、当ブログ当記事の直前のこの記事を3行で要約すると、以下のようになります。 1. “リクルートテクノロジーズでは、ここ最近、UXデザインの専門家とビッグデータの専門家が、協力してリクルートグループ内の各事業に入り、プロジェクトを推進していく事例が多くなっています。”, 2. “UXデザインでは、定性的なリサーチと定量的なアクセスログ解析を組み合わせて、ユーザ行動を可視化することは以前からやってきました。”, 3. “「成功体験とは何か」を定義して、きちんとデザインできるかが、UXデザインの大きな目的
国立国会図書館APIを使いやすくするためのPythonライブラリを作成しました｜shimakaze_soft
とある個人プロダクトを作ろうと思いついた時に、自分で欲しいなと思ったたのもあり、Pythonでとあるライブラリを作成してみました。 今回開発したものJpndlpyという名前の国立国会図書館から情報を取得するHTTPクライアントライブラリを作成しました。 国立国会図書館は、書籍タイトルや著者などの図書情報をAPIとして公開しています。国立国会図書館のAPIはいろんなプロトコルでAPIを公開しており、今回はOpenSearch形式のAPIからHTTPで図書情報を取得するためのPythonから使えるHTTPクライアントのライブラリを作成しました。 GitHub内などを探してみても同じような物を作っている方がいなかったため、自分が欲しかったというのもあり、開発してみました。 PyPiにも公開しましたので、随時アップデートしていく予定です。 国立国会図書館とは国立国会図書館とは、日本国内で発行された
BeautifulSoup4のチートシート(セレクターなど）
BeautiflSoup4でスクレイピングして要素を抽出するときに、よく使うセレクタをチートシート的にまとめておく。 BeautifuSoup4の使い方 スクレイピングする時にBeautifulSoup4を使うことは多いと思い。よく使うAPIやセレクターの記述方法をまとめます。 ちなみに、よく忘れてしまって「どうするんだっけ？」となるんですが、BeautifulSoup4ではxpathを使ったセレクタは存在しない。urlをわたしてHTTPリクエストを投げてくれるような機能はない。 インストール beautifulsoup4 もしくは別名の bs4でpipからインストールする。 ※ pip install BeautifulSoupとすると古いBeautifulSoup3になるので注意。 $ pip install beautifulsoup4 or $ pip install bs4 Be
Detailing Python's Coroutine out of History
Goの組織でバックエンドTypeScriptを採用してどうだったか / How was adopting backend TypeScript in a Golang company
Welcome to Nox — Nox 2025.2.9 documentation
Nox is configured via a noxfile.py file in your project’s directory. Here’s a simple noxfile that runs lint and some tests: import nox @nox.session def tests(session): session.install('pytest') session.run('pytest') @nox.session def lint(session): session.install('flake8') session.run('flake8', '--import-order-style', 'google') For each session, Nox will automatically create a virtualenv with the
Why I'm not collaborating with Kenneth Reitz — njs blog
[Content Warning: parts of this post could be triggering for those who have experienced gaslighting or other forms of abuse] Kenneth Reitz is a famous Python developer, best-known for founding the Requests project. Until a few years ago, I'd never interacted with him in any serious way, but I thought highly of him. I appreciated (and still appreciate) his design taste, and emphasis on usability an
Electron + Python で選んだ顔にモザイクをかけるアプリ（ダウンロード可）
さてさて、このところElectronのプログラムが面白くなってきて個人的にもいろいろと開発する意欲が湧いてきています。 そして、そんな中で自然と試したいことが頭に浮かんできました。 それは・・・・・・ 他の言語とのコラボレーション です。 つまり、ElectronはNodeJS（JavaScript）を使っていますが、これ単体だけではなく、例えば、Pythonやコマンドラインなども実行してみたくなったんですね。 ということで、今回は以前試してみた（といっても移転前のブログですが）Python + dlibの顔認証コードを使ってモザイク処理をするElectronアプリをつくってみます。 ぜひ学習の参考にしてみてくださいね。 ※ 開発環境： Electron 2.0、Python 2.7 やりたいこと せっかくElectronを使うので、単純に検出された全ての顔にモザイクをかけるというアプリで
Pyodide: Bringing the scientific Python stack to the browser – Mozilla Hacks - the Web developer blog
Pyodide is an experimental project from Mozilla to create a full Python data science stack that runs entirely in the browser. The impetus for Pyodide came from working on another Mozilla project, Iodide, which we presented in an earlier post. Iodide is a tool for data science experimentation and communication based on state-of-the-art web technologies. Notably, it’s designed to perform data scie
mitmproxyを使った快適プロキシ生活 - Repro Tech Blog
はじめに Reproでサーバーサイドやクライアント用SDKの開発を担当しているEdward Fox (@edwardkenfox) です。最近 Anyca というアプリを利用してTeslaのモデルSを運転したのですが、富士急のドドンパ並の加速性能で大変驚きました。 Reproは創業から約4年間モバイルアプリの成長支援パートナーとして事業を続けてきましたが、2018年10月からはRepro Webという名前でWebページやWebサービスの分析とマーケティング施策が実施できるツールの提供も行っています。本記事ではRepro Webの開発にも大活躍している mitmproxy というローカルプロキシツールとReproでの活用方法を紹介します。 そもそもRepro Webとは 先にも書いたように、Repro WebはWebサイトの分析やマーケティング施策が実施できるツールです。Repro Webの
サイバー脅威情報集約システム EXIST を構築してみた #exist | DevelopersIO
こんにちは オペレーション部 園部です。 春は好きですが、花粉は大嫌いです。 そんなこんなで、最近気になっていたシステムを構築してみました。 （今回の目的は、全サービス稼働&検証ではなく、あくまで動くレベルまでの構築としています） NICT、サイバー脅威情報を自動集約できるWebアプリ「EXIST」を公開 サイバー脅威情報集約システム EXIST Github EXISTとは？ EXIST (EXternal Information aggregation System against cyber Threat) とは EXISTは，サイバー脅威情報を集約し，様々な情報源を横断的に検索することができるWebアプリケーションです． 様々な情報源からサイバー脅威情報をフィードやAPI経由で取得し，EXIST上のデータベースに集約します． 利用者はWebUIもしくはWebAPIで，サイバー脅威情
Async IO in Python: A Complete Walkthrough – Real Python
Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Hands-On Python 3 Concurrency With the asyncio Module Async IO is a concurrent programming design that has received dedicated support in Python, evolving rapidly from Python 3.4 through 3.7, and probably beyond. You may be thinking with dread
Python: Adversarial Validation について - CUBE SUGAR CONTAINER
最近、Kaggle などのデータ分析コンペで使われることの多い Adversarial Validation という手法について調べたり考えていたので書いてみる。 もくじ もくじ 背景 Adversarial Validation 試してみる 下準備 二つのデータが同じ分布に由来するとき 二つのデータが異なる分布に由来するとき 異なる分布でそのまま分類してみる 検証用データに似ているものを取り出す 取り出したデータを使って学習してみる ラベルごとに似ているデータを取り出す どれだけ取り出して学習させれば良いのか Adversarial Validation の応用例 背景 Adversarial Validation という手法は、データ分析コンペに存在する、ある課題を解決するために考案された。 その課題とは、提供される複数のデータセットの分布が異なる場合に、いかにして正しく予測するかとい
PyFormat: Using % and .format() for great good!
Python has had awesome string formatters for many years but the documentation on them is far too theoretic and technical. With this site we try to show you the most common use-cases covered by the old and new style string formatting API with practical examples. All examples on this page work out of the box with with Python 2.7, 3.2, 3.3, 3.4, and 3.5 without requiring any additional libraries. Fur
scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング - amacbee's blog
これは，クローラー／Webスクレイピング Advent Calendar 2016の1日目の記事です． JavaScriptを利用したページをスクレイピングするためには，スクリプトを実行し，ページを適切にレンダリングする必要があります． 本記事では，そのようなケースに便利なPythonライブラリscrapy-splashを紹介します． 前置き ScrapyやSplashを既にご存知の方は読み飛ばして下さい． Scrapyとは？ Scrapyとは，Python製のクローリング・スクレイピングフレームワークです．フレームワークというだけあって，Scrapyにはクローリング・スクレイピングに便利なオプションがあらかじめ用意されています． Scrapyに用意されている便利なオプション例 サイトクローリング間隔を設定 robots.txtを解釈したクローリングを自動的に実行可能 Scrapyを利用す
高速なPythonの将棋ライブラリを作る - TadaoYamaokaの開発日記
python-shogiは、Pythonで扱える非常に役立つ将棋ライブラリですが、速度が遅いのが用途によっては欠点になります。 公式サイトにも記述されていますが、速度よりもシンプルに抽象的に扱えることが目的となっています。 しかし、機械学習の用途に使用しようとする速度の遅さがネックになります。 そこでPythonからもできるだけ高速に動作する将棋ライブラリを作成することにしました。 python-shogiの内部では、盤面はビットボードで表現されていますが、Pythonのビット演算は非常に遅くボトルネックとなっています。 ビット演算部分をC++で開発して、Pythonから呼び出せるようにすることで速度の改善が見込まれます。 C++で将棋ライブラリを一から作成するのもロマンがありますが、ほとんど既存のライブラリをまねるだけになるため、C++部分にAperyのソースコードを使用させてもらい、A
Python: Selenium + Headless Chrome で Web ページ全体のスクリーンショットを撮る - CUBE SUGAR CONTAINER
スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python3: Authenticate with Discord API using urllib.request
AWS Lambda(Python3)でSelenium + Chrome Headless + でwebスクレイピングする - ヤマムギ
Word2vec implementation in gensim
SeleniumからStableになったHeadless Chrome/Firefoxを使ってみる - Qiita
