ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen
科学を変えた10のコンピューターコード | Nature ダイジェスト | Nature Portfolio
Fortranからプレプリントアーカイブまで、プログラミングとプラットフォームの進歩は、生物学、気候科学、物理学を新たな高みへと導いた。 2019年、イベント・ホライズン・テレスコープ（EHT）のチームは、ブラックホールの実際の姿を初めて世界に見せてくれた。彼らが発表したリング状に輝く天体の画像は、従来の写真とは違い、計算によって得られたものだ。具体的には、米国、メキシコ、チリ、スペイン、南極点の電波望遠鏡が捉えたデータを数学的に変換することによって得られたのだ1。研究チームは、その知見を記載する論文とともに、ブラックホールの撮影に用いたプログラミングコードも公開した。科学コミュニティーが自分たちのやり方を確認し、それを足場にできるようにするためである。 このようなパターンは、ますます一般的になりつつある。天文学から動物学まで、現代のあらゆる偉大な科学的発見の背後にはコンピューターがある。
Zipファイルのクラック
メールでZipファイルを送って次のメールでパスワードを送るという無意味より悪いセキュリティ対策が問題になっている。なぜ無意味より悪いかというと，Zip暗号化は強度が十分でない上に，次のメールで送るパスワードは無意味で，さらにゲートウェイでのウイルス対策ができなくなるのでウイルス送付に利用されやすいためである。 PythonでZipファイルを展開する方法は文字コードのところに書いたが，同様にしてパスワードをブルートフォースで破ることも原理的には可能である。4桁数字のパスワードで暗号化した test.zip をクラックするには次のようにすればよいであろう： from zipfile import ZipFile with ZipFile('test.zip') as z: for i in range(10000): pw = f'{i:04d}' try: z.setpassword(pw.
0. はじめに sublime使いだった僕が（使い込んではいなかったけど）社内のPython開発環境を統一するためにVS Codeの色々を調べたので，そのまとめです． 以下ができるような開発環境の構築を目的としています． 複数人がローカルで開発する時に，環境を揃えたい． ローカルからリモートサーバーにアクセスして開発したい． プロジェクトごとに依存関係を整理したい． コーディングスタイルや型などのチェックを入れたい． Pythonの環境周りはPipenvで管理し，ローカルでdockerを立ち上げてその中で開発するためのテンプレです． 1. install Setting up Visual Studio Code 2. Extension 2.1. 必須 以下は必須． python Remote Development Remote SSH git lens 2.2. オプショナル その他
俺が考える最強の「麻雀点数申告練習アプリケーション」を作ってみる ~ Pythonによる麻雀点数計算問題の自動生成と音声による点数申告 ~ - エムスリーテックブログ
こちらはエムスリー Advent Calendar 2023 1日目の記事です。 Overview エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。趣味は麻雀でフリー雀荘で毎年200半荘以上打ちます。好きな麻雀プロは園田賢さんです。 麻雀を始めるときに一番の障壁になるのは点数計算ではないでしょうか？ 特に符計算が初心者の関門のようです。一方私のような初中級者でも突然のレアな点数申告にまごつくことがあります。 そこで、今回はその人に合った麻雀の点数計算問題(主に符計算が焦点となる問題)を生成して、自分で点数計算&点数申告の練習をする方法を探求したのでその紹介をします。麻雀用語が少しだけ登場するので、対象読者は麻雀を少しでもかじったことのあるエンジニアの方です。 Overview 麻雀の点数計算の難しさ 現状の点数計算の練習
Visual Studio CodeでJupyter Notebookを動かしてみた | DevelopersIO
どうも、DA事業本部の大澤です。 Visual Studio CodeのPython拡張機能のJupyter Notebook用エディタを触ってみました。Jupyter Notebookと似たインターフェイスでスクリプトが実行でき、エディタのインテリセンスのサポートも受けられて便利そうだったので、今回はその内容をご紹介します。 Working with Jupyter Notebooks in Visual Studio Code やってみる Python拡張機能を有効にする Jupyter Notebookをネイティブサポートするエディタを利用するにはPython拡張機能を有効化する必要があります。有効化してなければマーケットプレイスから検索し、有効化しましょう。 Python - Visual Studio Marketplace Python の環境を選択する コマンドパレットからP
文字数が超えるため、本の画像をて削除しました。興味がある方は、元記事をご覧ください。 2019年データサイエンスにオススメの本80冊！ ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ #Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイ
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re
Re: ゼロから理解するFlask生活
https://palletsprojects.com/p/flask/はじめにPythonistaの皆さんの中には、Flaskを使ってWEBアプリケーションを構築したことがある方も多いのではないでしょうか？ この記事ではそんなみなさんのFlask生活をより良くするべく、Flaskの仕組みを実際にコードを読みながら解説したいと思います。 この記事で紹介すること WSGIの概要と、WSGIを用いた簡単なWEBアプリケーションの実装方法Flaskの実行コードの仕組みFlaskのルーティングの仕組み対象読者 これからFlaskを使って何かを実装しようとしている人Flaskの実装経験はあるが、コードの中身までは理解していない人Pythonの有名ライブラリのコードを読むのが好きな人Flaskの入門コードこの記事では、以下の入門コードを題材として取りあげます。 from flask import Fl
$$ \newcommand{\bm}[1]{\mathbf #1} $$ 主成分分析(PCA)の数学的な理論とPythonによる実装¶ Author: Yuki Takei (noppoMan) Github: https://github.com/noppoMan Twitter: https://twitter.com/noppoMan722 Blog: https://note.com/noppoman これは、noteの主成分分析の背景にある数学理論の話(最適化問題)の本文です。 主成分分析の数学的な理論の理解に必要な知識¶ 主成分分析は、アルゴリズム的な観点で見るとデータの分散を最大化させる最適化問題であり、その理論は数学（とくに微分学、線形代数）により与えられている。以下は、主成分分析で使われる数学の分野をざっくりとリストしたものである。 データ分析 分散、共分散 解析学 多
言語処理100本ノック（2024年度）
Copied from: Public/Study NLP100 2023 実践的な課題に取り組みながら，プログラミング，データ分析，研究のスキルを楽しく習得することを目指します．具体的には， Unix環境でのターミナルの操作． 研究室の実験環境の体験． Pythonプログラミングのチュートリアル． Pythonの実行環境のインストール． Pythonの基礎． Jupyter notebook, IPython, pipの使い方など． この勉強会では言語処理100本ノック 2020を教材として用います．自然言語処理に関するプログラムを実際に作ってもらい，互いにコードレビューを行います． 問題に対する答えは一つではありません．どんな方法でも構いませんので，自力で問題を解き，他人のコードを読むことで，よいプログラムとは何かを体感してください． This study group aims at
天文学から動物学に至るまで、現代の偉大な科学的発見にはコンピューターが必要不可欠なです。科学誌「Nature」が「科学を変革したコンピューター技術10選」を発表しています。 Ten computer codes that transformed science https://www.nature.com/articles/d41586-021-00075-2 ◆1：プログラミング言語のパイオニア「FORTRAN」 最初期のコンピューターは決してユーザーフレンドリーなものではなく、パンチカードを使用して手作業でコードを入力していました。コードの記述には複雑なプログラミング言語の知識が必要でしたが、1950年代にIBMによって開発されたFORTRANの登場により、プログラミング言語で記述されたプログラムをコンピューターが実際に処理できる言語に容易に変換することが可能になりました。 ◆2：高速
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 【IIJ 2022 TECHアドベントカレンダー 12/8（木）の記事です】 Whisperの追加学習に挑む2022年の冬 2022年アドベントカレンダー企画だそうです。 いかがお過ごしでしょうか。 私はもう興味を引くものに没頭するしか楽しみがないもんで、PCに向かってぼんやり面白いネタはないかなーと探す日々です。 最近はすっかりディープラーニングにズブズブで、とうとう数式かくのが面倒なあまり手書き入力のためのペンタブレットを買いました。てへ。 今回は9月から10月にかけてStabl
ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ Part I: データサイエンス概論1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック』Foster Provost、Tom Fawcett著 本書は、データをビジネスに活か
概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。 こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を解説した記事になります。間違いがあれば、コメントいただけたら嬉しいです。 bookclub.kodansha.co.jp 強化学習とは 強化学習とは、行動から報酬が得られる環境において、各状況で報酬に繋がるような行動を出力するように、モデルを作成すること。 教師あり学習との違いは連続した行動によって得られる報酬を最大化させるという点です。囲碁を考えた時、ある局面で悪手に見えた一手が、先々進めると実は良い手だった、といった場合のその一手を選択できるようにするのが強化学習になります。 Connect X と強化学
「Google Colab」で「Gemini API」を試したので、まとめました。 1. Gemini API「Gemini API」は、「Google DeepMind」が開発したマルチモーダル大規模言語モデル「Gemini」を利用するためのAPIです。 3. Gemini API の準備Colabでの「Gemini API」の準備手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install -q -U google-generativeai(2) 「Google AI Studio」からAPIキーを取得し、Colabのシークレットマネージャーに登録。 キーは「GOOGLE_API_KEY」とします。 import google.generativeai as genai from google.colab import userd
Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
不均衡データ分類問題をDNNで解くときの under sampling + bagging 的なアプローチ - BASEプロダクトチームブログ
はじめに こんにちは、Data Strategy所属の岡です。グループ会社BASE BANKで分析/モデリングなども兼務しています。 テキストデータを特徴量にもつ不均衡データ分類問題をDNNで解きたくなった際、下記の論文を参考にしたのでその内容を紹介します。 https://users.cs.fiu.edu/~chens/PDF/ISM15.pdf 不均衡データ分類問題ってなに？ 何かしらのカテゴリを機械学習などで分類予測しようとする際、カテゴリごとのデータ件数に偏りがある、特に正例のデータが極端に少ないケースで予測精度が上がりにくい、という問題をこのように呼んでいます。 例: 不正決済と正常な注文、不正商品と健全な商品、がん患者と正常な患者 普通はどうやって対処するの？ ベースとなるアプローチは下記3つにまとめられます。 アプローチ 内容 デメリット アンダーサンプリング 多数派データを
AWS による Jupyter の 生成系 AI の民主化とノートブック実行のスケールのための新しい拡張機能を発表 | Amazon Web Services
Amazon Web Services ブログ AWS による Jupyter の 生成系 AI の民主化とノートブック実行のスケールのための新しい拡張機能を発表 Project Jupyter は複数のステークホルダーで運営されるオープンソースプロジェクトであり、データサイエンス、機械学習、計算科学のためのアプリケーションだけでなく公開標準やツールも開発しています。なかでも、2011 年にリリースされた Jupyter Notebook は学術、研究、産業のあらゆる分野で世界で数百万人のユーザーが使用するデファクトスタンダードのツールとなりました。Jupyter ではユーザーがコードやデータをインタラクティブに実行でき、完全に再現可能な作業記録として作成、共有することが可能です。 AWS はデータサイエンティストや機械学習エンジニアにとって欠かせない Jupyter を開発する Proj
【高等学校情報科 情報Ⅰ】教員研修用教材：MeCabによる形態素解析とWordCloudの作り方（python） - Qiita
はじめに 今回は文部科学省のページで公開されている情報Ⅰの教員研修用教材の「質的データの分析」についてみていきたいと思います。 ここでは、MeCabによる形態素解析とWordCloudをRで実装する例が書かれています。 今回はその内容をpythonに置き換えていきたいと思います。 高等学校情報科「情報Ⅰ」教員研修用教材（本編）：文部科学省 第4章情報通信ネットワークとデータの活用・巻末 （PDF:10284KB） PDF 環境 ipython Colaboratory - Google Colab 概要 今回は、「情報Ⅰ」教員研修用教材の「第4章情報通信ネットワークとデータの活用・巻末」について、 学習23 質的データの分析 のRの箇所をpythonに書き換えたいと思います。 テキストマイニングについて 1 形態素解析について pythonのソースコード MeCabを使えるように前準備しま
更新のお知らせ 好評につきまして Altair のハンズオン資料を大幅アップデートしました。ぜひこちらもご活用ください。 概要 本稿ではグラフ可視化ライブラリ Altair を用いて、interactive な図を作成する方法を紹介する。前稿では Kaggle のデータセットを用いたが、今回は乱数を用いてクロスセクションデータ（ある一点のデータ）と時系列データをそれぞれ生成し、それぞれに適した可視化を説明する。 ハンズオン (2022年11月26日追記) 本稿のipython notebookを公開しました（WEB形式, ソースコード）。よろしければご活用ください。 Altair の長所 データ可視化記述フォーマット VEGA に準拠したデザイン streamlit などでサーバーを立てなくても interactive な図を html や vega で出力できる。（interactive
iPythonとは iPythonはPythonの対話型インタプリタを実行するためのシェルになります。対話型インタプリタとは、対話的に1行ずつプログラムを実行していく方式のことで、シェルとはユーザとのインターフェースを提供するためのプログラムのことです。オープンソースのソフトウェアとして開発されていて、ソースコードもGithub（ギットハブ）で公開されています。 iPythonはCPython（シーパイソン）に内蔵されているシェルに比べてコードのハイライティングやタブによる補完といった便利な機能を使えます。CPythonはC言語で書かれたPythonのリファレンス実装です。これらの便利な機能を使えることで効率よくプログラミングできます。 また、iPythonはプロセス間通信や並列コンピューティングの仕組みも持っています。iPythonから並列コンピューティングの機能であるMPI（Messa
CodeFormerで、低画質の顔画像を高画質化する
1.はじめに 今回ご紹介するのは、Transfomer ベースの予測ネットワークを使うことによって、低画質の顔画像を高画質化する CodeFormer という技術です。 ＊この論文は、2022.6に提出されました。 2.CodeFomerとは？ 下記は、CodeFormerの概要図で、２段階で学習を行います。まず、（a）自己再構成学習を行います。高画質画像（Ih）から高画質エンコーダー（HQ Encoder）を通して画像特徴量（Zh）を抽出し、ニアレストネイバー法（Nearest-Neighbor Matching）で離散コードブック（Codebook C）にマッピングし、デコーダー（HQ Decoder）で高画質画像に戻すことを学習します。ここで学習した離散コードブック以降は次で使用します。 次に、（b）最終的なネットワークの学習を行います。低画質画像（IL）から低画質エンコーダー（LQ
筆者の経緯 スペック toeicは5年前、計測したとき800点（＋50 - 100 はいってそう） SIer出身のため、非常に実践経験に悩み、長らく苦戦 オランダでの日系企業勤務を歴て、イスララエル系の完全外資への転職 なんかこれだけ書くとスペック高めですが、SIerでは同期にぶっちぎりで出世競争に遅れてました。 最近はオフショアを利用した受託開発やっております。よかったらフォローお願いします 超優秀勢のアメリカ転職しか書いてはいけないムードを払拭したい ずっと海外に行きたい思いを燻ぶらせていました。大体ハテブとかで観測していると出てくるのは、シリコンバレー勢ばっか。アメリカの過当競争みたいなのはビビりますし、個人的に興味のあった、欧州就職はあまりなかったです。ましてはSIerからいった人も見たことないです。 たまにSIerから日本の外資に入る人はいて、結構その後アメリカ狙うみたいに行って
JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels. MotivationJupyterLite is a reboot of several attempts at making a full static Jupyter distribution that runs in the browser, without having to start the Python Jupyter Server on the host machine, usually done by running jupyter lab or jupyter notebook in a terminal. The goal of th
日頃から Google Cloud Platform (GCP)がデータ分析基盤の決定版になると言い続けて・・・たぶん5年ほど経ちましたが、このたびやっと、具体的に使える基盤になってきた感じがするので、まとめておきます。 その前に。 まえおき ～ 分析仕事とデータのセキュリティデータ分析の仕事とデータセキュリティとの関係を、ここ20年くらいの流れを思い出しながらまったり書いていたら長くなったので、お急ぎの方は次の章へ。 さて、データ分析の仕事で普段からやっていることをざっくりまとめると、次の通り。 データの入手、整理、加工仮説の検討と検証、試行錯誤レポーティング、プロトタイピングさて、これらの作業をどこでやっているかというと、主に1はクラウド、2はローカルマシン、3のレポーティングはローカルですが、プロトタイピングはクラウドが多くなりました。というより、クラウドでプロトタイピングが容易にで
MIDIコントローラー「X-TOUCH MINI」を買ったのでRAW現像したりロボット制御したり - karaage. [からあげ]
MIDIコントローラ買いました ベリンガーUSB-MIDIコントローラー「X-TOUCH MINI」を購入しました。 ベリンガー USBコントローラー X-TOUCH MINI Behringer（ベリンガー）Amazon 船田巧さんの下記ツイートをみて、衝動的に買ってしまいました（笑） ベリンガー USBコントローラー X-TOUCH MINI Behringer（ベリンガー） https://t.co/Fzh2NZvLAW こいつをPython（iPython）から使うライブラリがあった。試してみようかな…… https://t.co/78eiJInl7p— Funada (@sentoki) March 14, 2021 Pythonで使えるコントローラってめちゃくちゃいいじゃん！って思っちゃったんですよね。 もともと、こういったMIDIデバイスは、MIDIという規格の信号を制御する
![MIDIコントローラー「X-TOUCH MINI」を買ったのでRAW現像したりロボット制御したり - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/a25806bb3e92b3ae97ca5527e609c8a84f0b3c04/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20210318%2F20210318215540.jpg)
BERTopic は、Transformersを用いて文書のトピックモデリングを行うためのPythonライブラリです。本記事では、自分がKaggleコンペの初手EDAによく使うコードをまとめました。 入出力のイメージ 入力： 文章のリスト （例：["I am sure some bashers of Pens fans ...", "My brother is in the market for a high-performance video card that supports VESA local bus with 1-2MB RAM. Does anyone hav...", ...]） 出力： 各文書の関係性を表した2次元座標図 ソースコード 以下にもあります Github Google colab import pandas as pd from umap import UMA
GPU Dashboards in Jupyter Lab
IntroductionWe are excited to announce NVDashboard, an open-source package for the real-time visualization of NVIDIA GPU metrics in interactive Jupyter environments. NVDashboard is a great way for all GPU users to monitor system resources, but it is especially valuable for users of RAPIDS, NVIDIA’s open-source suite of GPU-accelerated data-science software libraries. Given the computational intens
はじめに はじめまして。エムスリー AI・機械学習チームの河合(@vaaaaanquish)です。 本記事投稿日と同日、エムスリーが開発しているOSSのうちの1つであるgokartのversion 1.0.0をリリースする運びとなりました。 本記事は、これまでのgokartの軌跡と成果を紹介しつつ、内情を含めながら、gokart 1.0.0に込めた想いを綴るものです。 はじめに gokartとは gokart 1.0.0 ドキュメントの拡充とロゴの追加 gokart.build gokartメジャーバージョンリリースに寄せて おわりに gokartとは gokartは、元チームリーダーであった西場さん@m_nishibaが、AI・機械学習チームを1人立ち上げた際、チームの基盤となるよう作成した、機械学習パイプラインを取り扱うPythonモジュールです。 github.com 機械学習のパイ
最近spacemacsにハマってます。「Spacemacs とはなんぞや」についてはいろんな方々が 解説してくださっているので、その魅力についてはぜひそちらをご参照ください。 かくいう私もそういった記事を読んで手を出し、そのまま戻れなくなった身です。 今回は Python のコーディング環境を整えてみます。条件は以下。 Python 3.6.6 Spacemacs (develop branch) virtualenvwrapper を使用している pyenv を使用している (optional) Spacemacs + Python + LiveCoding + IPython Spacemacs では .py という拡張子のファイルを開くだけで Python コーディング用の様々なパッケージが自動インストールされる1のですが、 pip で特定のパッケージをインストールするとさらにパワフ
この記事ははてなエンジニアのカレンダー | Advent Calendar 2021 - Qiita 2日目の記事です。 最近、データパイプラインの整備や営業チームの人力混じりの運用フローを機械化するなどの業務改善に取り組んでいます。 その過程で、運用ドキュメントを読んだりヒアリングして図を描くことがよくあります。 描いた図をもとに「この流れであってますか?」と確認したり「ここ手間結構かかってそうですが困ってませんか?」とコミュニケーションをします。暗黙的な業務の流れが明確になるだけでなく、改善点の発見にも繋がります。 ひととおり改善タスクが終わった後にも図を最新にします。ドキュメントと併せて成果物とします。 どんなデータがあってどのようにビジネスに使われているか、データがどのように取得&保存されているかを残しておくのは今後のデータ活用や改善のためにも必要です。 俺はそんな個々の業務のデー
はじめに GPT-4Vを使ってゲーム実況をさせてみます。 この記事はLLM Advent Calendar 2023の12月14日のアドベントカレンダー記事となります。 解説 以下のようなゲーム実況スクリプトを自動で作成できる状態が、この記事のゴールです。 「お気に入りのゲーム実況をする、超興奮した日本人人気VTuberのスタイルで、短いナレーションスクリプトを作成してください」でゲームプレイ動画をGPT-4Vに入れてみました。GPT-4Vやっぱり性能いいなぁ (TTSはvoicevox使用) pic.twitter.com/GR1kcMYENN — inada (@dev_inada) November 7, 2023 コード と言っても、コード自体は数10行で、以下の通り簡単に実装できます。 from IPython.display import display, Image impo
4 Pandas Anti-Patterns to Avoid and How to Fix Them
pandas is a powerful data analysis library with a rich API that offers multiple ways to perform any given data manipulation task. Some of these approaches are better than others, and pandas users often learn suboptimal coding practices that become their default workflows. This post highlights four common pandas anti-patterns and outlines a complementary set of techniques that you should use instea
1. 単回帰 — 機械学習帳
Requirement already satisfied: japanize-matplotlib in /home/okazaki/.local/lib/python3.8/site-packages (1.1.3) Requirement already satisfied: matplotlib in /usr/local/lib/python3.8/dist-packages (from japanize-matplotlib) (3.5.1) Requirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.8/dist-packages (from matplotlib->japanize-matplotlib) (1.3.2) Requirement already satisfied: c
今回はわかりやすい例を出しましたが、確かに部屋を決めるとき、私たち自身も下記の様な考え方をするのではないでしょうか。 どの条件が一番上に来るかは人それぞれですが、例えば1階は少し嫌で、2階以上かをまずは考え、2階以上であれば、さらにオートロックもあればいいね、という意味で部屋を借りる。 逆に、2階以上じゃなくても（1階の部屋）、ある程度の部屋の広さならまあ借りてもいいか、逆に1階だし狭いなら借りないな・・・・というようなフローで考えていくと思います。 まさにこれが木の構造を表していて、このように条件を分岐させて判断を決めていくのが決定木です。 では、この条件の分岐はどのように決められるのでしょうか。今出した例は直感的な説明で、根拠も何もなかったと思います。 ここで出てくるのが「不純度」です。 詳細は後半の数学の章に回しますが、この不純度を元に決定木は条件の分岐を決めています。 要は、元のデ
Most of the progress made in software projects comes from incrementalism. The ability to quickly see the outcome of an execution and iterate has been one of the main reasons for the success of Jupyter, especially in scientific exploratory workflows. Jupyter users like to experiment in the notebook, and to use the notebook as an interactive communication tool. However, for more classical software d
wav2vec 2.0 を使って 手軽に音声認識モデルを触れるようになろう - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2021 の20日目の記事です。 はじめに こんにちは。プラットフォームサービス本部アプリケーションサービス部の是松です。 NTTコミュニケーションズでは自然言語処理、機械翻訳、音声認識・合成、要約、映像解析などのAI関連技術を活用した法人向けサービスを提供しています。（COTOHA シリーズ） NTTコミュニケーションズがこのようなAI関連技術を活用したサービスを展開する強みとして、 NTT研究所の研究成果が利用可能であること 自社の他サービスを利用しているお客様に対してシナジーのあるサービスを提案できること この2点が挙げられると思います。 実際に、私が担当している COTOHA Voice Insight は 通話音声テキスト化によってコンタクトセンターの業務効率化・高度化を実現するサービスなのですが、 NTT研
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO
VS CodeによるPython開発環境のテンプレ - Qiita
データサイエンスにオススメの本80冊！ - Qiita
機械学習のための環境構築とその管理 - nykergoto’s blog
主成分分析(PCA)の数学的な理論とPythonによる実装
Nature誌が選ぶ「科学を変革したコンピューター技術10選」
OpenAI Whisper に追加学習をさせる試み | IIJ Engineers Blog
2021年データサイエンスにオススメの本80冊！｜Octoparse Japan
kaggleで強化学習をやってみた - 機械学習 Memo φ(・ω・ )
Google Colab で Gemini API を試す｜npaka
【Python】データ可視化ライブラリ Altair を使いこなす - Qiita
初心者でも使いやすい！「iPython（アイパイソン）」の活用方法総まとめ
海外転職を成功させたので、海外エンジニア転職を阻むものを払拭したい - Qiita
JupyterLite: Jupyter ❤️ WebAssembly ❤️ Python
AI Platform / GCP で最強の分析環境を手に入れた話
KaggleのNLPコンペで初手に使える可視化 〜BERTopicを用いた文書クラスタリングと可視化〜
gokart 1.0.0 をリリースしました - エムスリーテックブログ
Spacemacs + Python で快適コーディング環境を整える - すなぶろ
Google Colaboratory でデータフローのドキュメントを書く試み - ぽ靴な缶
GPT-4Vを使ってゲーム実況させる - Qiita
【機械学習】決定木をscikit-learnと数学の両方から理解する - Qiita
A visual debugger for Jupyter