Spotifyはプレイリストにどう機械学習を活用しているのか？｜みゃふのPythonプログラミング～応用編～
音楽配信サービス最大手のSpotify。2019年6月末時点での月間アクティブユーザー数は有料/無料を合わせ全世界で2億3千万人余り、有料ユーザーだけでも1億人超と他を大きく引き離す勢いです。複数のポッドキャスト企業、過去には競合の音楽配信サービスの買収も試みるなど、『音楽のストリーミング』に関わるあらゆるリソースを確保し続ける巨人でもあります。 さて先日記事を公開したNetflix同様、こうしたコンテンツ配信サービスにおいて開発元が日々改善に改善を重ねているのが『おすすめ機能（パーソナライズ）のアルゴリズム』です。どちらも数億人規模のユーザーそれぞれに最適な形で届ける必要があるために機械学習やディープラーニングを活用しています。 Spotifyの場合プレイリストがその対象ですね。 不思議なことに全く見たことも聴いたこともないアーティストや楽曲が突然おすすめされるSpotify。一体どんな
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
任意の単語で検索しタイトルとURLを抽出するスクレイピング - Qiita
from bs4 import BeautifulSoup from selenium import webdriver import pandas as pd import csv import time #作成したExcel/Csvを保存するフォルダを指定 export_file_path="**********" #ブラウザの立ち上げ browser=webdriver.Chrome("**********") browser.implicitly_wait(1) url="**********" #指定したURLへ遷移する browser.get(url) #検索ボックスを指定 elem=browser.find_element_by_name("**********") elem.clear() #任意のキーワードをinput()関数にて入力 elem.send_keys(inp
PHPとPythonとRubyの連想配列のデータ構造が同時期に同じ方針で性能改善されてた話 - hnwの日記
PHPとPythonとRubyの連想配列のデータ構造がそれぞれ4〜5年ほど前に見直され、ベンチマークテストによっては倍以上速くなったということがありました。具体的には以下のバージョンで実装の大変更がありました。 PHP 7.0.0 HashTable高速化 (2015/11) Python 3.6.0 dictobject高速化 (2016/12) Ruby 2.4.0 st_table高速化 (2016/12) これらのデータ構造はユーザーの利用する連想配列だけでなく言語のコアでも利用されているので、言語全体の性能改善に貢献しています1。 スクリプト言語3つが同時期に同じデータ構造の改善に取り組んだだけでも面白い現象ですが、さらに面白いことに各実装の方針は非常に似ています。独立に改善に取り組んだのに同じ結論に至ったとすれば興味深い偶然と言えるでしょう2。 本稿では3言語の連想配列の従来実
Spotify Web APIで明るい楽曲のみのプレイリストを作成する - Qiita
import spotipy import spotipy.util as util username = 'ユーザ名' client_id = 'クライアントID' client_secret = 'クライアントシークレット' redirect_uri = 'http://example.com' #アプリの権限付与に使用する #https://developer.spotify.com/documentation/general/guides/scopes/ scope = 'user-library-read user-read-playback-state playlist-read-private user-read-recently-played playlist-read-collaborative playlist-modify-public playlist-modify
YouTubeのプレイリストから音声をダウンロードするやつ - Qiita
実装 YoutubeDLError はYouTube-dlのエラーすべての継承元 download_optsのformatとpostprocessorsをいじれば動画とかもいける 毎回，ＵＡ変更している import youtube_dlc import json import time import random import os import sys def download_video(download_opts,urlnum,urllist): with youtube_dlc.YoutubeDL(download_opts) as ydl: i = 0 for url in urllist: while True: try: ydl.extract_info(url, download=True) wait_time(5, 20) except KeyboardInterrup
東京大学の講義「AWSによるクラウド入門」をTypeScriptで写経した - dackdive's blog
AWSによるクラウド入門 少し前に話題になっていた東京大学の講義資料をやってみたので、内容、感想などメモ。 講義で使用するソースコードはすべて Python で書かれていますが、自分が実際に使うとしたら TypeScript で書くだろうなと思ったので TypeScript で写経しました。 が、CDK のコードはすべて TypeScript で書けましたが、Lambda 関数や動作確認用のスクリプトなどを全て置き換えるところまでは至らず、Python のままです。 写経したリポジトリは https://github.com/zaki-yama-labs/intro-aws に。 学べること 本講義資料には全部で5つのハンズオンがあります。 各ハンズオンで利用する AWS のサービスについては以下の通り。 全般 AWS CDK: Cloud Development Kit CloudFor
Pythonで仕事をする人のための書籍まとめ2021 - 学習, 業務効率化, アプリ開発からデータサイエンスまで - Lean Baseball
2020年も多くの素晴らしい技術書がたくさん出ました. その中でも（昨今のトレンド・流行りも手伝ってか）Python本の多さ・充実度合いは目立つものがあります. （このエントリーを執筆した12/19時点で）Amazonの本カテゴリで「Python」と検索すると1,000件以上出てきます*1. これだと目的の本にたどり着くだけで疲れそうです. このエントリーでは, 主にPythonを学びたい・現在使っている方 手元の業務を効率化したり, RPAっぽいことをやりたい方 エンジニア・データサイエンティストとして業務や趣味・個人開発をされている方 を対象に, 今そして来年2021年に読んでおきたいPython関連書籍（と抑えておきたいサービス） をエンジニアでありデータサイエンティストである私独自の視点で紹介します*2. なおこのエントリーはこのブログで例年執筆している「Python本まとめ」の2
PythonとType Hintsで書くバックエンド | メルカリエンジニアリング
こんにちは、AIチーム所属の@shidoです。CRE (Customer Reliability Engineering) 領域でMLを扱っています。 みなさんはPythonで本番コードを書くことについてどうお考えでしょうか。「研究/分析以外には使いたくない」「遅い」「動的型付け言語を本番用に使いたくない」といった声が聞こえてきそうです。 しかしながら機械学習サービス(または機械学習サービスのためのサービスなど)を作りたい場合、「学習に利用したPython用のライブラリを使用したい」「Pythonでやっていた分析と同じことを本番環境内でもやりたい」など、Pythonでバックエンドを実装したくなることがあると思います。 この記事ではtype hintsを付けながらPythonを書くことで、GoやJavaのようなサーバーサイドでよく使われる言語と可読性や保守性、場合によっては型安全性も同じレベ
Python 製 Web フレームワークを Flask から FastAPI に変えた話｜NAVITIME_Tech
こんにちは、けんにぃです。ナビタイムジャパンで公共交通の時刻表を使ったサービス開発やリリースフローの改善を担当しています。 今回は Python 製の Web フレームワークとして FastAPI を導入した話をしようと思います。 Python 製の Web フレームワークPython には代表的な Web フレームワークが 2 つあります。 ・Django: フルスタックフレームワーク ・Flask: マイクロフレームワーク Django は大規模開発向け、Flask は小中規模開発向けと言われますが、今回開発したサーバは小規模なサーバだったため、以前は Flask で開発していました。 しかし、どちらのフレームワークを使う場合でも下記のような機能を使おうとするとプラグインやサードパーティの助けを借りる必要があります。 ・OpenAPI ・JSON Schema ・GraphQL ・We
Pythonでも簡単にGUIは作れる - Qiita
PythonだってGUIを作りたい Pythonで書いたプログラムを実行して使う場合、**『GUIで入出力できたら便利なのに…』**と思うときはありませんか？ 誰かにプログラムを配布する場合でも、CUI(コマンドラインから入出力)はあまり親切とは言えません。 特にITスキルの高くない人にとっては、CUIは拒絶反応を起こすこともあります。 Pythonでも簡単にGUIを作れたら… そんな場合、PySimpleGuiを使ってみてはいかがでしょうか？ PySimpleGuiは誰でも簡単にGUIを実装できるのが特徴で、PySimpleGui公式ドキュメントによると、PySimpleGuiはすぐに習得でき、コード量も他のGUIライブラリ(Tkinter、Qt、WxPythonなど)の1/2～1/10程度で済むとのこと。 百聞は一見にしかずなので、まずは下記のコードと実行結果をご覧ください。 impo
Spotify APIを使って好きな歌手(SHISHAMO)を分析してみた - Qiita
はじめに データ分析を勉強しているので自分の好きな物を分析してみようと考えたところ、SHISHAMOに行き着きました。どう分析してみようかとQiitaをみていたところ面白い記事を見つけました。 Spotifyの76,000曲の属性データを分析した結果、J-RockはRockというよりむしろPunkだった どうやら、Spotifyには曲ごとに属性データなるものがあるらしいです。そこでSpotifyの属性データを使ってSHISAMOを分析してみました。 手順 Spotify APIの詳細な解説は他の人に任せて、具体的な手順を簡単に説明しておきます。 1.認証作業 import spotipy import pandas as pd client_id = 'client_id' client_secret = 'client_secret' client_credentials_manager
データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ
[Flask]Webアプリのサクッと作れる『docker-compose構成』をまとめてみた - Qiita
先日、docker-composeを使ってFlaskアプリを構築しQiitaで紹介しました。 ■Flask+Docker+Vue.js+AWS...でゲームWebAppを作ってみた。 ■Githubにソースコード、ゲームルールを公開中 今回は、Flaskアプリ開発でのdocker-compose構成を掘り下げてまとめてみました。 複数コンテナでのWebアプリ開発を検討している方の参考になればと思います はじめに 最初はとっつきにくいコンテナ化技術。しかし、一度慣れると手放すことができません。 Dockerは実は楽 コマンド1行で環境を再現 環境作るのが楽 Docker-Hubから該当のimage取ってくるだけ どんな環境でも同じように開発 コンテナに環境を閉じ込めているのでwinでも、macでも同じように動きすぐに開発できる システム構築過程をコード化できる いろいろと環境を試せて、簡単に
![[Flask]Webアプリのサクッと作れる『docker-compose構成』をまとめてみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f716e9509e2bc29bb509824947bac270dc97ce66/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRmxhc2slNURXZWIlRTMlODIlQTIlRTMlODMlOTclRTMlODMlQUElRTMlODElQUUlRTMlODIlQjUlRTMlODIlQUYlRTMlODMlODMlRTMlODElQTglRTQlQkQlOUMlRTMlODIlOEMlRTMlODIlOEIlRTMlODAlOEVkb2NrZXItY29tcG9zZSVFNiVBNyU4QiVFNiU4OCU5MCVFMyU4MCU4RiVFMyU4MiU5MiVFMyU4MSVCRSVFMyU4MSVBOCVFMyU4MiU4MSVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9N2I0ZjBhYzk1N2U0M2ZmMzU1ZDUzNTA4NTg2ZWM1ZDc%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBha2lua28mdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTZlMmI5ZTQ3NTdiZTJkMmVlNGU3ZWRmM2IyZDQ5N2Nm%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-TmV4dHJlbWVy%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3D1f91ac3d12a9ae773f4634bf1f211c2a)
mac（Catalina）にOpenPoseをインストール - Qiita
OpenPoseをMac(macOS Catalina, 10.15.5)で動かそうとしたとき、各ツールのバージョンを指定してインストールすることで動作まで辿り着けたので、そのメモ。 OpenPoseとは OpenPoseとは | ディープラーニングで人のポーズを解析 [arXiv]OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [GitHub]openpose Openposeのインストール(mac) 下記手順に沿ってインストールしてみた。 Openposeのインストール(mac) ただ2020/06/28現在、依存関係のライブラリ等のバージョンで動作しなかったので、「Python」「TensorFlow」を変えてインストールした。 Python 3.6.10 オススメ：仮想環境構
StyleGAN 論文紹介 & 実験 - Qiita
はじめに 近年急速に進化しているGANの中でも、特に有名な物の一つであるStyleGANについて改めて勉強したいと思い、今回のテーマにしました。 前半は論文紹介として、StyleGANの構造や特徴について勉強した事をまとめます。 後半は、実際に学習済みのStyleGANを使って画像生成を試してみたので、その結果を書いていきます。 StyleGAN (v1) StyleGANは2018年に発表されました。(論文リンク) 以下はStyleGANで生成された画像例の引用ですが、本物の写真と見分けがつかないような高品質の画像が生成されていると思います。 以下、StyleGANの特徴を説明していきます。 generatorの構造 StyleGANの特徴は、主にgeneratorの構造にあると言っていいかと思います。 論文中の以下の図について、左側が従来のGAN(ここではPGGAN)のgenerato
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
無料で読める、東大／京大の「Python教科書」電子書籍
Pythonスクレイピングによる画像ダウンロード - Qiita
さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI
