PandasからPolarsへ移行した方がいいのか - Qiita
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
AI歌声ライブラリ「LAUGH DiAMOND (ラフダイヤモンド)」プロジェクト始動！
ひょんな事から、とある芸能事務所に入ることになり、 篁 響季、風祭 朝陽、小紫 桃果、山田 花音らは ユニット「LAUGH DiAMOND」を結成することになったが、デビューどころか、自分たちの曲も用意してもらえず目下日々自主練（≒放置）状態の憂き目に遭っている。 あまりにも放置されているため、自分たちで路上ライブを試みるが…。 そしていつの日か、ライブハウスでたくさんの曲で ライブをやることが LAUGH DiAMOND の目標に… そんな彼女たちに、 あなたの曲を歌わせてあげてくれませんか？ 「LAUGH DiAMOND」プロジェクトとは？ 最新のディープラーニング技術を駆使したAI歌声ライブラリでもあり、 「篁 響季（たかむら・ひびき）」「風祭 朝陽（かざまつり・あさひ）」 「小紫 桃果（こむらさき・ももか）」「山田 花音（やまだ・かのん）」 で結成された夢見るシンガーユニット「LA
日本語LLMの学習に向けたデータ前処理
はじめに 大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。 本記事では、言語検出、テキスト正規化、テキストのチャンキング、品質フィルタリングのデータ前処理によりノイズを取り除く方法について解説します。 言語検出 Webから大規模に収集したデータには、様々な言語が含まれます。 日本語をターゲットとした言語モデルの学習のためには、日本語のデータのみを抽出する必要があります。 言語検出のPythonライブラリとして、pycld3やlangdetectが有名ですが、2022/1/11にlinguaがリリースされています。開発者のベンチマークによると、性能は他のライブラリと比べて高いです。 特にpycld3はp
LangChainを使わない - ABEJA Tech Blog
TL; DR LangChainのメリデメを整理する過程で、今となってはopenai-pythonのうちChatGPTのAPIをを簡単に取り回せる程度のシンプルなライブラリがあるだけでも十分便利なんじゃないかと思ったので、ライブラリを個人で作ってみました。（バージョン0.0.1なのでちょっとお粗末な所もありますが） github.com はじめに こんにちは、データサイエンティストの坂元です。ABEJAアドベントカレンダーの13日目の記事です。世は大LLM時代ということで、ありがたいことにABEJAでも複数のLLMプロジェクトを推進させて頂いています。私自身もいくつかのLLMプロジェクトに参画しています。LLMといえばLangChainが便利ですね。OpenAI APIの利用だけでなく、各種ドキュメントのパースが出来たり、HuggingFaceやインデックスDBを扱う他のライブラリとインテ
Demo or Die（SI現場でいろいろ作った話） - Fujitsu Advent Calendar 2016 13日目 - やまぐ雑記。
Fujitsu Advent Calendar 2016 13日目の記事です。 ワクワクする夢の技術ではなく、ドロドロした現実の現場での話。 Demo or Die Demo or Die ―デモを見せられないアイディアは、死んでいるのと同じ。 MITって大学のメディアラボのスローガンだ。うちの研究室はこの文化でやってるよ。 大学教授の言葉がずっと印象に残っています。動かさなければ意味は無い、と。 小学生の頃からプログラミングが楽しくて、社会に出てもその道で人を幸せにしたいと考えていました。 入社して 配属、そして疑問 いわゆる"客先常駐型"の、開発プロジェクトごとに人が集まる現場に配属。 言語はJava、人数は約60人。既に稼働し、改修や保守を行うフェーズでした。 たくさんの人の役に立てるシステムに携われるんだ、とワクワクしていました。 ほどなくして、不思議に思うことが出てきます。 配属
日本語の単語を適切な位置で区切って読みやすく改行してくれる軽量でオープンソースなライブラリ「BudouX」の機能＆採用例＆デモはこんな感じ、Chrome 119に実装予定で簡単に利用できる見込み
日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのAPIやライブラリに依存せずに分かち書きを行ってくれるオープンソースライブラリなので、読みやすい改行が実現できます。 Google Developers Japan: BudouX: 読みやすい改行のための軽量な分かち書き器 https://developers-jp.googleblog.com/2023/09/budoux-adobe.html BudouXの使用イメージは下図の通り。従来は画面幅によっては「最先端」や「テクノロジー」などの単語の途中で改行が行われてしまう事がありましたが、
生成AIに“視覚”与える学習ライブラリ、自動運転EVベンチャー公開 最大700億パラメータの学習済みモデルも
Heronは、各モジュールを追加学習するための学習コードと日本語を含むデータセット、学習済みのモデル群で構成。画像認識モデルと大規模言語モデル（LLM）をつなぎ、画像を入力に使えるようになる。例えば、Heronで学習したAIモデルは、画像に何が写っているかを正確に把握しつつ、前の質問を含む文脈を理解しながら画像について回答することができる。 Heronの学習ライブラリでは、学習するLLMを自由に変換可能。「既存の言語モデルの性能を生かしつつ、今後開発・公開される新たなLLMに対しても容易に対応できる柔軟性がある」（同社）という。 公開中の学習済みのモデル群は「Llama 2-chat」（700億パラメータ）「ELYZA-Llama 2」（70億パラメータ）「Japanese StableLM」（70億パラメータ）などをベースにHeronで追加学習し、マルチモーダル化させたもの。これらのモデ
LLMアプリケーションの新定番、Microsoft guidanceライブラリのgenメソッドを詳細に追ってみる｜mah_lab / 西見 公宏
MicrosoftのguidanceライブラリはLLMアプリケーションを作成する際の新たな定番となりそうな気がしています。そういう訳で、今回はguidanceのgenメソッドについて詳しく追ってみたいと思います。 基本的な使い方import guidance gpt3 = guidance.llms.OpenAI("text-davinci-003") gpt3_5 = guidance.llms.OpenAI("gpt-3.5-turbo") gpt4 = guidance.llms.OpenAI("gpt-4", api_key=API_KEY) guidance.llm = gpt3まずはguidanceライブラリを読み込み、使用するLLMを宣言します。OpenAI APIを使用する場合、初期化パラメータとして以下のパラメータを使用できます。 model 使用するモデルの名前を指定し
ChatGPT APIを取り巻くライブラリ 〜LangChainとguidanceの紹介 | gihyo.jp
こんにちは！ 逆瀬川（@gyakuse）です！ 前回はOpenAIが公開しているChat APIとWhisper APIを用いて議事録文字起こしアプリケーションを作ってみました。今回は、Chat APIを便利に使うためのライブラリであるLangChainとguidanceを紹介していきます。 なぜ便利に使うためのライブラリが必要なのか？ 単純にChat APIにリクエストを送るだけであれば、各言語に用意されたライブラリを使うだけで良いでしょう。たとえば、Pythonにおいてはopenai-pythonが用意されています。前回紹介したとおり、Chat APIを使うだけなら以下のようなリクエストを作るだけで済みます。 import openai openai.api_key = "sk-..." # APIキー completion = openai.ChatCompletion.create
React Application Architecture for Production〜これ一冊で全てが網羅〜
はじめに この記事は、Alan Alickovicさんの著書「React Application Architecture for Production」をまとめたものになります。Alanさんと言えばZennで最も人気のある記事「bulletproof-react」の作者であり、彼のprojectから学ぶことはとても多い印象です。 今回紹介する本は2023年1月に公開されたため、bulletproof-react以後のReactアプリケーションにおけるベストプラクティスの宝庫となっています。また、本で扱われているアプリケーションのProjectがGitHubで公開されていることから、Projectを眺めるだけでも勉強になる点があるかと思います。 想定読者 Reactのアーキテクチャを模索している方 テスト手法やCI/CDなどのアプリケーション設計に関心がある方 使用される技術と本の構成 言
TerraformでLambda[Python]のデプロイするときのプラクティス | DevelopersIO
※先に断っておきますがベストプラクティスではないです。 訳あって最近は、Lambda FunctionとLayerをTerraformでデプロイしています。 CloudFormationと比べてると自動ロールバック機能はないのですが、デプロイが早く気に入っています。 ただ、いくつかハマりポイントがあったので、今回はそこらへんの知見を紹介したいともいます。 せっかちな人へ GitHubにソースコードあげています。 概要 ファイル構成 $ tree -L 2 . ├── README.md ├── main.tf ├── src │ └── get_unixtime.py ├── requirements.txt ├── build-lambda.sh └── build main.tf Terraformのtfファイル src/get_unixtime.py Lambda Function用
![TerraformでLambda[Python]のデプロイするときのプラクティス | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
ベクトル検索ライブラリ Faiss を試す｜npaka｜note
ベクトル検索ライブラリ「Faiss」を試したので、使い方をまとめました。 1. Faiss「Faiss」は、Facebookがリリースしたベクトル検索ライブラリです。 2. テキストを埋め込みに変換「埋め込み」は、意味的類似性を示すベクトル表現です。2つのベクトル間の距離は、その関連性を表し、小さな距離は高い関連性、大きな距離は低い関連性を示します。 一般的に次のような用途に使用されます。 ・検索 : 検索結果がクエリ文字列との関連性でランク付けされる ・クラスタリング : テキストを類似性によってグループ化 ・レコメンデーション : 関連するテキストを含む項目を推奨 ・異常検出 : 関連性の少ない外れ値を特定 ・ダイバーシティ測定 : 類似性分布を分析 ・分類 : テキストを最も類似したラベルで分類 Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」
Facebookの高速ベクトル計算ライブラリfaissをレコメンドAPIに使ってみる - Qiita
関。関連。関連といえばレコメンドですね。 というわけで今回はレコメンドエンジンに利用できそうな技術を紹介します。 MF系アルゴリズムの動的スコア計算 リブセンスでは以前から機械学習を用いたレコメンドエンジンを開発・運用しています。 ユースケースによりけりですが、最近ではMatrix Factorization(MF)系のアルゴリズムの利用が盛んです。 Non-negative matrix factorization - Wikipedia MFでは生成したユーザ・アイテムのベクトルの内積としてレコメンドのスコアを求めますが、ユーザやアイテムの数が多い場合、全てのユーザ×アイテムの組合せについてスコアを事前計算すると保持するデータサイズが非常に大きくなってしまいます。 このような場合はユーザ・アイテムのベクトルを別個に保持し、入力に応じて動的にスコア計算とソートを行ってレコメンド結果を返す
時系列データの予測ライブラリ--PyFlux-- - Qiita
モチベーション 時系列データは動画、FXの取引額の遷移、気温の遷移など幅広い分野で使用されるデータです。そのデータを学習し予測できればそれに合わせた施作を打つことができ、ちょっとした未来予測につながります。 そのような魅力的な時系列データを簡単に予測することができるライブラリPyFluxについて紹介します。 pyfluxの特徴 scikit learnライクに記述可能 描画のメソッドが標準で実装済み 学習後のパラメータの確認が容易 時系列データ独特な特徴 連続 時間、空間、場所 潜在的な依存構造 トレンド、シーズン、周期性など 動的な挙動 突然の変化、ゆるやかな変化 時系列データの予測に対する2つのアプローチ 予測 深層学習や線形回帰などのアプローチ 確率分布 確率分布を用いたアプローチ PyFluxでは確率分布を用いたアプローチをしています。 ワークフロー 下記のワークフローで考えます。
初めてのTensorFlow入門～MNIST SingleNet～ - webエンジニアの日常
こんにちは、エンジニアのさもです。 前回に引き続き、MNISTに挑戦します。 今回は、隠れ層を1層追加して、単層のニューラルネットワークを構築していきます。 コードはこちらの書籍をお手本にしています。 TensorFlowで学ぶディープラーニング入門 ~畳み込みニューラルネットワーク徹底解説~ 作者: 中井悦司出版社/メーカー: マイナビ出版発売日: 2016/09/27メディア: 単行本（ソフトカバー）この商品を含むブログ (1件) を見る スポンサーリンク 目次 単層ニューラルネットワークの概要 実装 ライブラリのインポート 変数の定義 正解率などの定義から学習まで 自分の手書き文字を判定する 最後に 単層ニューラルネットワークの概要 前回は、入力値（画像）に対して、パラメータ行列をかけて、バイアスを足し、その結果をソフトマックス関数を用いて確率へ変換しました。入力値は、28×28サイ
各機械学習ライブラリの比較をまとめる - Qiita
この部分は需要が高いと思ったので、以下の自分の投稿から抜粋。 TensorFlowのチュートリアルを通して、人工知能の原理について学習する http://qiita.com/jintaka1989/items/3b70b5c5541620536fa2 以下のことについて知りたい人向けの記事。 ・各機械学習ライブラリの比較 ちなみに私はTensorFlowしか触っていないので、 この記事はブログなどを探索して、それをまとめたものである。 追記：実際にライブラリをいろいろ使ってみた人の感想はこちら https://speakerdeck.com/contaconta/deep-learningraiburari-se-tukatutemitagan-xiang-matome ■他の機械学習ライブラリとの比較 他の機械学習ライブラリと比較するとなると、そのための開発環境を整えなければならない。よ
Mixed Realityの開発を加速するMixed Reality Toolkit - Unityについて - Qiita
HoloToolkitからMixed Reality Toolkitへの名称変更が入りました。 HoloLensの開発を容易にするためにHoloToolkit-Unityというライブラリが公開されています。おそらく現状のHoloLensの開発ではほとんど必須といえるモジュールになります。今後このライブラリに大幅な変更がはいることになっています。これに合わせて今までHoloLens向けに提供されていたMixed Reality関連のライブラリの整理がすすみ体系化されています。 変更がなぜ入ったか HoloToolkit - Unityの時はMixed RealityのデバイスとしてHoloLensがメインだったこともあり、基本的にはHoloLens用の要素が強いライブラリでした。ですが、Oculus等のVR系の発展、Windows Mixed Reality対応のimmersive HMDの
Python3で、urllibとBeautifulSoupを使ってWebページを読み込む - minus9d's diary
Python3で、urllibとBeautifulSoupを使ってWebページを読み込む方法についてまとめます。 urllibを使ったページの取得 まず、Python3の標準ライブラリであるurllibを使ってページを取得します。Python2から書き方が変わっているので注意が必要です。 import urllib.request url = 'http://www.rekibun.or.jp/grutto/museum2015.html' response = urllib.request.urlopen(url) data = response.read() ここで、response.read()はbytesオブジェクトを返します。以下はその抜粋です。日本語がバイト列として表現されてしまっています。 b'<!DOCTYPE html> (中略) <title>\x8c\xf6\x89v
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[TensorFlow] APIドキュメントを眺める -Math編- | DevelopersIO![[TensorFlow] APIドキュメントを眺める -Math編- | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d31a36e185555d1c0dca2a8ca8dba86ad1243522/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F11%2Ftensor_flow-1.png)