gpt-oss-120bをpythonとvLLMで触りながら理解する - ABEJA Tech Blog
データサイエンティストをしている服部です。 OpenAIからgpt-ossというオープンモデルが登場しました。 早速ですが、このモデルを使いながら中身を理解していきたいと思います。 gpt-ossのモデル特徴 vLLM上で動かす 通常のtokenizerで動かす 最終出力と思考部分 chat templateも見てみる Tool Useを試す Built-in toolも試す Python blowser 複数のツールを同時並列で使えるか？ まとめ We Are Hiring! gpt-ossのモデル特徴 openai.com 他にも紹介している記事はたくさんあるため手短に... 今回OpenAIからは2種類のモデル gpt-oss-120b と gpt-oss-20b がリリースされており、どちらもApache2.0ライセンスで提供されてます。 どちらのモデルもMoE(Mixture o
スペクトラルクラスタリングを試してみた - Qiita
スペクトラルクラスタリング いい機会だし先日投稿したスペクトラルクラスタリングとやらを実際にやってみたいと思います。ソースコードは再生産しても仕方がないのですぐる様のブログからパクってお借りします。 すぐる様のブログにあったコードはそのままではうまく動作しなかったのと、Jupyter notebook のお作法に従って少しコードを手直ししています。（そのまま実行するとGraph is not fully connected, spectral embedding may not work as expected.というwarningが表示されました。このwarningに関してもGitHubのissueに素晴らしい回答があるのですが読むのが面倒臭かったので@taki__taki__様のブログよりスペクトラルクラスタリングの実行部分のコードを1行だけお借りしました。また、%matplotlib
DeepL APIをPythonから利用して日本語の文章を翻訳する | TechBlog AI/機械学習の技術やトレンドの紹介
はじめに この記事ではDeepL API(DeepL Pro)を使って日本語を翻訳を試してみたいと思います。 最近DeepLの翻訳の精度が良いと話題になっていましたが、これまでAPIの利用は日本語には対応してきませんでした。 ところがDeepL社の2020月6月16日のプレスリリースで日本語対応したとの発表がありました。そこで早速DeepL APIから日本語の翻訳を試してみます。 DeepL APIについて DeepL APIは有料で公式サイトの右上のメニューからDeepL Proを選んで登録することが出来ます。 DeepL Proには「個人向け」「チーム向け」「開発者向け」と3つのタイプがありますが、DeepL APIが利用できるのは一番右の「開発者向け」です。 DeepL APIの料金体系は、現在の基本料金は月々¥630です。翻訳済みの文字数は、1,000,000文字につき ¥2,50
pandas.DataFrameの複数の列の文字列を結合して新たな列を生成 | note.nkmk.me
pandas.DataFrameの複数の列の文字列を結合（連結）して新たな列を生成する方法について、以下の内容を説明する。 文字列の列同士の結合（連結） str.cat() +演算子 欠損値NaNの処理 文字列の列と数値の列の結合（連結） 連結した列をpandas.DataFrameに追加 例として、以下のデータを使用する。 import pandas as pd df = pd.read_csv('data/src/sample_pandas_normal.csv').head(3) print(df) # name age state point # 0 Alice 24 NY 64 # 1 Bob 42 CA 92 # 2 Charlie 18 CA 70
機械学習ナイーブベイズ分類器のアルゴリズムを理解したのでメモ。そしてPythonで書いてみた。 - Qiita
概要 ナイーブベイズ分類器(ベイジアンフィルター)のアルゴリズムを具体的な数値を使って説明します。また、Pythonで実装してみました。自分の勉強メモのつもりで書いたのですが、他の方の役にも立てたら嬉しいです。 ナイーブベイズ分類器って？ あるデータ(文章)をどのカテゴリーに属するのかを判定させる、機械学習の教師あり学習の手法の一つです。 スパムメールフィルターやWEBニュース記事のカテゴライズによく使われています。 難易度 ベイズの定理を利用した単純な手法で、難易度は低です。 なるべく数式を使わないで説明してみました。 ナイーブベイズ分類器の計算 対象文章がどのカテゴリーに分類されるかを決めるための計算ロジックを、具体的な数値を使って説明します。 学習データが以下である場合、対象文章がどのカテゴリーに分類されるか計算します。 学習データ サッカー [ ボール | スポーツ | ワールド
階層的クラスタリングと、任意の数のクラスタへの分割 - Qiita
2016年に作った資料を公開します。もう既にいろいろ古くなってる可能性が高いです。 （追記：新しい記事は 階層的クラスタリングとシルエット係数 をご覧ください。） 本実習では教師なし学習の一種である階層的クラスタリングを行ないます。 * 階層的クラスタリング とは何か、知らない人は下記リンク参照↓ * 階層的クラスタリングとは * クラスタリング (クラスター分析) まずはサンプルデータの取得から # URL によるリソースへのアクセスを提供するライブラリをインポートする。 import urllib # ウェブ上のリソースを指定する url = 'https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/iris.txt' # 指定したURLからリソースをダウンロードし、名前をつける。 url
scipyのlinkage関数の結果について | 分析ノート
前回の記事の続きです。 参考:scipyで階層的クラスタリング 前回の記事で階層的クラスタリングを実行し可視化するところまで紹介しましたが、 今回は一歩戻ってlinkage関数の戻り値の中身を見てみます。 とりあえず、 linkage matrix をprintして結果を見てみましょう。 from sklearn.datasets import load_iris from scipy.cluster.hierarchy import linkage X = load_iris().data[::10, 2:4] print(X.shape) # (15, 2) # ユークリッド距離とウォード法を使用してクラスタリング z = linkage(X, metric='euclidean', method='ward') print(z.shape) # (14, 4) print(z) #
Linguistic Features · spaCy Usage Documentation
GuidesGet startedInstallationModels & LanguagesFacts & FiguresspaCy 101New in v3.7New in v3.6New in v3.5GuidesLinguistic FeaturesPOS TaggingMorphologyLemmatizationDependency ParseNamed EntitiesEntity LinkingTokenizationMerging & SplittingSentence SegmentationMappings & ExceptionsVectors & SimilarityLanguage DataRule-based MatchingProcessing PipelinesEmbeddings & TransformersLarge Language ModelsTr
Random Forestで計算できる特徴量の重要度 - なにメモ
(pixabay.comより) １．背景とか Random Forest[1]とは、ランダムさがもつ利点を活用し、大量に作った決定木を効率よく学習させるという機械学習手法の一種です。SVMなどの既存の手法に比べて、特徴量の重要度が学習とともに計算できること、学習が早いこと、過学習が起きにくいこと（追記注釈１）などの利点が挙げられます。Kinectの姿勢推定に使われているらしいです。 最近、Random Forestをカジュアルに使う例が多く（特にうちの研究室）、一部パラメータやら出力やらがわからない人も多いと思います。使い方はTJOさんの資料[2]を読んでもらえれば理解できると思うし、詳細は波部先生の資料[3]をよんでもらえればわかると思います。 それで、いろいろな日本語の資料をいくら読んでも、Random Forestがもつ特徴の１つである、特徴量の重要度の詳細に関してはほとんどノータッ
The Best Machine Learning Libraries in Python
Introduction There is no doubt that neural networks, and machine learning in general, has been one of the hottest topics in tech the past few years or so. It's easy to see why with all of the really interesting use-cases they solve, like voice recognition, image recognition, or even music composition. So, for this article I decided to compile a list of some of the best Python machine learning libr
Anacondaを入れたらHomebrewの環境が吹っ飛んだ話 - Qiita
pythonの環境をAnacondaで構築したら、homebrewで作った環境に不具合が出ました。 入れる前にいろいろ調べたのに知らなかったことなので、轍として残しておきます。 環境 MacOS X Yosemite homebrew, Anaconda ←混ぜるな危険 もともと、homebrewを用いてNode.js等の環境を構築し、hubotと戯れていた環境。 最近、話題のTensorFlowを使ってみるべくPythonの環境をAnacondaで作り、チュートリアルを少々動かし始めていました。 久々にnpmコマンドを打ったところ… -bash: npm: command not found ファッ！？ 助けて！brew doctor！ 困ったときのbrew doctor。警告が出ています。 Warning: Anaconda is known to frequently break H
SVM(RBFカーネル)のハイパーパラメータを変えると何が起こるの? - Qiita
概要 SVM(Support Vector Machine)は分類精度の高い機械学習の手法として知られています. SVMでより高い分類精度を得るには, ハイパーパラメータを訓練データから決定する必要があります. この記事では, RBFカーネル(Gaussian カーネル)を用いたSVMのハイパーパラメータを調整することで, 決定境界がどのように変化するのかを解説します. 決めるべきハイパーパラメータ RBFカーネルを用いたSVMでは, 以下の2つのハイパーパラメータを調整します. コストパラメータ: $C$ RBFカーネルのパラメータ: $\gamma$ コストパラメータについて SVMは特徴空間に写像されたデータ点集合を分離する超平面を決定する手法です. しかし, 特徴空間上の点集合がいつも分離可能とは限りません. 例えば, 以下の図では二種類の記号を完璧に分割するような直線を引くことは
開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
標準python、numpy、pandasを行ったり来たりするために① - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? # !/usr/bin/env python # -*- coding: utf-8 -*- # インポート import numpy as np import scipy as py import pandas as pd import itertools as it ''' 作成 ''' # リスト作成 list_value = [10,11,12] list_value Out[374]: [10, 11, 12] # タプル作成 tuple_value = (10,11,12) tuple_value Out[375]: (10
matplotlib入門 - りんごがでている
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonでグラフデータベース Neo4j入門 for ビギナー (Mac OSX向け) - Qiita
Tutorial — pyvis 0.1.3.1 documentation
編集距離についての説明及びPythonでの実装 - Qiita
Setting up text preprocessing pipeline using scikit-learn and spaCy
Classify Text Using spaCy – Dataquest