1行もコードを書かずに画像生成AIツール作ってみた - Qiita
以下のXを見て、早速「Create」を試してみたので、実際に使った所感をまとめます AIがリアルタイムでWebページを作ってくれる神サイト ㅤ 会話だけで、理想のUIを実現することが可能 ㅤ 使い方・活用法をツリーにまとめます！ ㅤ ブックマーク保存をおすすめします↓ pic.twitter.com/J1cJkUkyO8 — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 25, 2024 一言で言うとヤバいです... 詳細は以下のサイトでも解説しています Createとは Create 公式サイト Createは、1行のコードを書かなくても自然言語を使って、高度なAIを搭載したアプリやツールが作成できる生成AI搭載のノーコードツールです。 エンジニアでなくともChatGPT APIやStable Diffusion APIを組み込んだアプリが簡単に作れ
30歳エンジニア転職で役に立たなかった経験と役に立った経験 - Qiita
はじめに いつも聞いているポッドキャスト番組で、エンジニア転職について生々しくリアルな話が聞けたので、紹介します。今の自分がやっている仕事が市場価値を上げられているのか？ と日々の業務を振り返るきっかけになりました。詳しく知りたい方は是非、聞いてみて下さい。 転職の前提 かいちさん（転職した人）の紹介 情報系の大学院卒 中堅のバックエンド・エンジニア(30代) 社会人7年目 主に使っている言語: python, PHP アジャイル開発ができることを転職の軸に据えた 転職して感じたこと ① 30代は中堅の仕事を求められる → リーダー的立場が求められる ② 若い時の業務経験が転職の際に活きてくる → 20代はとにかく挑戦する回数を増やそう ③ 転職はどのタイミングでやってくるかわからない → 常に職務経歴書を更新し続けよう 結論 重要なポイント ・チームで開発した経験があるか？ ・AWSなど
RAGの実装戦略まとめ - Qiita
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
ラプラススムージング - Qiita
内容 5段階レビュースコアの得点代表値を出すにあたり、いわゆるベイズ推定を使ってみたくなりました。 ベイズ推定では、設定した分布の計算が煩雑でなければ割と簡単にでき、分布そのものを推定できるという利点があります。 「アプリ内のコインを3回を投げたら表が出た回数は0回だった。このコインの表が出る確率は0%だ！」というのは$0/3 = 0$ いわゆる算術平均で、コインの表が出る確率pを推定しようとなる場合は最尤推定と呼びます。 これに対して、ベイズ推定では表の事象と裏の事象それぞれに数字の<ゲタ>を履かせてあげます。 1のゲタをそれぞれに履かせると$(0 + 1) / (3 + 1 + 1) = 0.2$となります。 ゲタを履かせてあげることをスムージング 1のゲタを履かせてあげることをラプラススムージングともいいます。（解説内容や方向性によっては無情報事前分布ともいいます。） 多段階レビュー
新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノック - Qiita
新しいデータ処理ライブラリの学習はもう不要！ Python 初学者のための Ibis 100 本ノックPython機械学習pandasデータ分析ibis-framework Information 2024/1/14： Kaggle notebook for Ibis Kaggle で Ibis を使用するための Sample Notebook を用意しました。Kaggle でもぜひ Ibis をご活用下さい。 🦩 [Ibis] Kaggle-Titanic-Tutorial Ibis 100 本ノック補足記事 Ibis 100 本ノックについて、よりスマートな書き方等について @hkzm さんが補足記事を書いてくれました（この記事を参考にコンテンツのほうもブラッシュアップしたいと思います）。 Ibis 100 本ノックの記事を受けて はじめに どうもこんにちは、kunishou です。
Elastic CloudとLangChainでQiitaの記事をベクトル/セマンティック検索する方法の紹介 - Qiita
はじめに 生成AIの出現によりRAGパターンに使われるベクトル検索も注目を浴びてますが、従来のキーワード検索や全文検索とともに、ベクトル検索もElasticsearchの得意とするところです。 今回はElasticsearchでの日本語文書に対するベクトル検索を気軽に試せるJupyter Notebookを作りました。Qiita記事を検索対象に行っているので、割と専門的な文書に対する検索が試せるのではないでしょうか。 なお、今回の検索対象と検索ワードは割と適当に決めたものなので、何かの精度を結論づけるものではありませんのでご了承ください。 比較した検索手法 Elasticsearchの日本語全文検索 ... BM25という検索ランキングを使ったElasticsearchでの全文検索。日本語の形態素解析にkuromojiを使っています。 OpenAI Embeddingを使ったベクトル検索
統計検定1級に受かりたければこれをやれ - Qiita
2023年11月19日に統計検定1級を受験し，統計数理，統計応用(社会科学)にダブル合格。 勉強期間半年(半分ダラダラ)で一発合格できた経験をもとに主観込み込みで綴っていきたいと思う。 結論 結論からいいます。統計検定1級に受かりたければやることはただひとつ。 現代数理統計学の基礎を完璧にする。 これだけです。現代数理統計学？統計検定準1級ワークブック？過去問？いりません。 現代数理統計学の基礎，この本を仕上げ切るまでは手をつけなくていいです。 なぜ僕がこう言い切れるのか軽く説明していきたいと思います。 簡単な自己紹介 某都内私立大学3年生。大学の授業で線形代数，微積，確率統計の基礎を履修。受験期は理系で数3も勉強していたためそこまで数学に対する抵抗はない。というか数学に抵抗のある方は統計検定1級に向いてないと思う。 なぜ現代数理統計学の基礎だけでいいのか 統計応用の勉強はどうするの？そう
趣味でKaggleを始めたことをきっかけにデータサイエンティストになった話 - Qiita
Kaggleアドベントカレンダー2023の19日目の記事です． TL;DR データ分析未経験からkaggleでどんなことを学んだか 想像していたデータ分析と実業務とのGap kaggleやっていて良かったこと、kaggleでは学ばなかったこと はじめに 趣味でkaggleを始めたことをきっかけに、現在はデータ分析の仕事をしています。 Muj!rush!というアカウントでKaggleをしています。Kaggle expertです。 kaggleを始めてから3年程度経過したので(この3年間は、地球の公転が早まってんのかってくらい時間が経つのが早かったです)、これまでを振り返ることで、今後kaggleを始めてデータサイエンティストを目指すような方への参考になれば幸いです。 Kaggleと出会ったことで仕事への向き合い方や、今後のキャリアの考え方が変わったので、 僭越ながら一言だけ言わせてもらうと、
PyTorchコーディング時の実装負担を低減させるテンプレートコード - Qiita
はじめに 機械学習コードに用いられるPyTorchコーディング時の実装負担低減を目的として、テンプレートコードを作成してみました。本記事では具体的な使用方法を記載します。(テンプレートコード部分の実装は文献1を参考にさせていただきました) ソースコード 下記リンクからアクセス可能です。 テンプレートコードはframeworkディレクトリに、ユーザー実装部分はusrディレクトリに、それぞれ格納されています。 使用方法 本テンプレートコードを使用することにより、自作のデータセットおよびモデル(+損失関数等)を用意するだけで、簡単にモデルの学習やテストができるようになります。ここでは、具体的な使用方法について説明します。 1. データセットの構築 初めに、データセットを読み込むためのクラスを作成します。データセットはユーザー定義であることから、データ形状等に制約はありません。一方で、後述するデー
イベントストリーミングプラットフォームの活用によるKappa アーキテクチャ実装 - Qiita
はじめに 下記の記事では、Cassandraデータベースの利用によるKappaアーキテクチャーについての情報を整理しました。 また、下記の記事では、LambdaアーキテクチャーからKappaアーキテクチャーへの移行についての情報を整理しました。 上記の記事は下記のKai Waehnerによる記事の内容を元にしていました。 本稿では、同記事から、「イベントストリーミングプラットフォームの活用によるKappa アーキテクチャ実装」についての情報を整理し、記事では特に掘り下げられていない、KafkaとPulsarの違いについての情報を追記したいと思います。 費用対効果が高くスケーラブルな Kappa アーキテクチャ これまでイベントストリーミングプラットフォームを活用して、Kappa アーキテクチャを実現する上での大きな問題は、イベント ストリーミング プラットフォームに膨大な量のデータを格納す
エンジニアのための刑事事件対策まとめ - Qiita
こんにちは。モロと申します。 実は数年前警察のお世話になり、数年裁判等をやって、昨年晴れて無罪放免となったのですが、そういえばその後どこにも情報をまとめていなかったことに気が付きました。 正直にいうとまったく気の進まない作業ですし、数年間これにかかりきりだったこともあり「わざわざまとめなくても誰でも知ってることでは……？」みたいな気持ちもあります。 とはいえ冷静に考えると大抵の人は一生関わり合いになることのない知識で、お世話になった界隈に対して何も残さないのも不義理という感じがしたため遅ればせながら筆を執らせていただきます。 はじめに 当記事は、実際に警察のお世話になり、数年間弁護士の方にご指導いただきはしたものの、あくまで法律の専門家でも何でもない一エンジニア（というか多少エンジニアリングをかじったデザイナー）によるもので、第三者による監修等もなされていません。 実体験に基づいて少しでも
ChatGPTプラグインの「Webpilot」と「Show me」の組み合わせが最強 - Qiita
ChatGPTのプラグインが開放されてから色々と試したところ、「Webpilot」と「Show me」の組み合わせが最強と気が付いたので、紹介します！ おすすめのプラグインは以下のページで解説しています！ また、ChatGPTを使ってエンジニアの生産性を上げるChatGPTの活用方法とプロンプト例は以下の記事で紹介しているので、こちらも併せてご覧ください。 ChatGPTプラグインとは ChatGPTプラグインは、ChatGPTをサードパーティのアプリケーションと連携させるツールです。 これは、GoogleスプレッドシートのアドオンやGoogle Chromeの拡張機能と同様に、公式だけでなく第三者の開発者が作成した機能をChatGPTに追加することで機能を拡充できるものとなっています。 具体的には、プラグインを利用することで、ChatGPTに以下のような機能を追加できるようになります。
Azure Cognitive Search にベクトル検索機能が搭載されプライベートプレビューが開始 - Qiita
はじめに ついにこの時が来ましたね。 Azure Cognitive Search にベクトル検索機能が実装され、近似最近傍探索（ANN）が可能になります。これによって、Azure OpenAI Serivce の Embeddings API で生成したベクトルの永続的なフルマネージドベクトルデータベースとして利用できるだけでなく、既存の BM25 ベースの全文検索とのハイブリッド検索が可能になります。 2023/11/15 GA どなたでもお使いいただけます。 ポイント ベクトルデータベース Azure OpenAI の Embeddings モデル text-embedding-ada-002(1,536 次元) や Computer Vision (Vectorize Image API) で生成した画像ベクトルなどの保管先にできる ハイブリッド検索 キーワード検索とベクトル検索を
日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証 - Qiita
日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証自然言語処理検証モデル評価ChatGPT大規模言語モデル 目次 はじめに モデルの概要 検証環境 導入方法:OpenCALM 検証:OpenCALM 考察:OpenCALM Instruction Tuning 導入方法:rinna 検証:rinna 考察:rinna おわりに はじめに この記事はCyberAgentが公開した日本語特化のLLM(大規模言語モデル)、OpenCALMと、株式会社rinnaが公開した日本語特化のLLM、japanese-gpt-neox-3.6b/japanese-gpt-neox-3.6b-instruction-sft を検証した記事です。 色んなプロンプトを与えて、どのように出力するか。 そして素の大規模言語モデルがどのような出力をしていて、
こうやってNotionで論文管理しています - Qiita
追記（230611） たくさんの方に記事をご覧いただき、まことにありがたく存じます。 自分でもびっくりするくらい時間がかかりましたが、 PDFの論文情報を自動でNotionに追加するツールについての記事を書きました。 ぜひあわせてご覧ください。 TL; DR ↓こんな感じで、Notion使って論文管理してます。 ↓ページリンク機能で、論文間にリンクを貼れるのが便利です。 ↓ページリンク機能を使えば、自分用先行研究リストも便利にまとめられます。 論文管理ソフト、なに使ってる？ 普段から学術論文を読んでいる人の多くが、なんらかのツールを使って論文を管理しているかと思います。 あなたは何を使っていますか？ Zotero？Mendeley？EndNote？Paperpile？ どれも優秀なソフトウェアだとは知りつつ、私はあえてNotionを使っています。 Notionは様々な機能と拡張性を備えた万
検索システムを適切に評価したい - Qiita
情報検索・検索技術 Advent Calendar 2021 の22日目の記事です。 Motivation 検索エンジニアはバックエンドエンジニアのサブセットだと見なされることがありますが、ある程度の規模のプロダクトに携わる検索エンジニアの業務内容は新しい機能やAPIを作るというよりも、典型的な検索アプリが持っているSearch API、Auto-Completion API、Query Suggestion APIのような、すでに実装されているAPIのインタフェースを変えずに中身を変えることが多いという点で、バックエンドエンジニアとは少し違うと思っています。私自身も過去数年で新しい検索のAPIを書いた回数は片手で数えられるくらいですが、代わりにオフライン・オンラインの実験を毎日しているといった感じです。 このように検索エンジニアは新しいアルゴリズムを提案、比較、そして実験を通してベースラ
GPT-3.5世代のオープンな言語モデルを調べてみた - Qiita
GPT-3.5世代のオープンな言語モデルを調べてみました。 本稿では以下の特徴をもって「GPT-3.5世代」の言語モデルと定義しました。 ChatGPT等（text-davinci-003、gpt-3.5-turbo）の登場した2022年11月以降に登場 GPT-3と同様にテキスト生成ができる言語モデル GPT-3（text-davinci-003等）を主なベンチマークにしたり、学習に利用したりしている 「オープンな言語モデル」としていますが、本稿では以下いずれかを満たしていればオープンな言語モデルとします。一般的なオープンソース・ソフトウェアの定義等とは少し異なります。 学習済モデルが公開されている 学習データと学習用ソースコードが公開されており、学習済モデルの再現が可能である GPT-3.5世代のオープンな言語モデルの特徴 本稿で紹介するGPT-3.5世代のモデルには、以下のような特徴
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）、Llama（Meta）、PaLM（Google）があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります： Classification: 感情やポジ
Alpaca-loraを日本語タスクでファインチューニングする - Qiita
Alpaca-LoRAという家庭用GPUでも大規模言語モデルのFineTuningが可能なモデルが発表されました。 本記事では、livedoorニュースコーパスを使用してAlpaca-LoRAをFineTuningしてニュースのタイトルを考えさせるというタスクに挑戦してみます。 技術の概要 Alpacaとは Alpacaとは、先日Metaが発表したLLaMa 7Bをtext-davinci-003によるself-instructで生成されたデータを使用してFineTuningした言語モデル。 生成したデータは52K個で生成コストは500ドル以下と低コストです。 人間による予備評価では7Bという比較的小さなモデルにも関わらず、text-davinci-003に似た挙動を示すという報告があげられています。 Alpaca-LoRAとは Alpaca-LoRAとはAlpacaで作成したデータセット
Python関係の「○○100本ノック」のまとめ - Qiita
「○○100本ノックとは」？ プログラミング関係のエクササイズ集・Tips集的なものです。ちょっとしたテクニックや、基礎がまとまっているので解いてみると練習になります。 最初にやるのは退屈かもしれませんが、学習の停滞期にやってみると、思わぬ発見があるのではないかなと思います。 この記事では、Python関係の100本ノックを簡単にまとめてみました。自分が知っているのは、以下くらいですが、他にも良いもの（絶対ある気がします）知っている人はぜひコメントなどで教えてください。 画像処理100本ノック 画像処理100本ノック!! 追記：本家が惜しくも無くなってしまっていたので、fork（？）されていたものにリンク張り替えました。 解説・Google Colaboratoryで実行するときは以下記事参考にしてみてください。 ディープラーニング ∞本ノック 注：元サイトが消えてしまったので、私がfor
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
