簡単に判明します 規約違反を犯してSeleniumでアクセスしている皆さん。 バレてますよ!!!!! UA偽装だとかIP偽装だとかがありますが、JavaScriptをもってすれば簡単に検出することができます。
Seleniumで偽装が無駄な理由 - Qiita
簡単に判明します 規約違反を犯してSeleniumでアクセスしている皆さん。 バレてますよ!!!!! UA偽装だとかIP偽装だとかがありますが、JavaScriptをもってすれば簡単に検出することができます。
話題爆発中のAI「ChatGPT」の仕組みにせまる！ - Qiita
オミータです。ツイッターで人工知能のことや他媒体の記事など を紹介しています。 @omiita_atiimoもご覧ください！ 話題爆発中のAI「ChatGPT」の仕組みにせまる！ 注意：ChatGPTはまだ論文が出ていないため、細かい箇所は不明です。本記事では公式から出た記事およびInstructGPTの論文をもとにChatGPTの仕組みを探っていきます 本記事の流れ: 忙しい方へ ChatGPTとは GPT-3 InstructGPT ChatGPT まとめと所感 参考 0. 忙しい方へ ChatGPTは、InstructGPTをベースとしたモデルだよ InstructGPTは、「人間の好みに合った文を出力するように微調整したGPT-3」だよ InstructGPTの学習では、以下の3つが重要だよ GPT-3の教師ありファインチューニング Reward Modelの学習 RLHF（＝Re
ChatGPT先生のお陰でネットワークスペシャリストに合格した話 - Qiita
※ 直近2年間で高度試験に合格していれば免除 攻略の定石 〜過去問〜 ChatGPTの話題の前に、受験する皆様に絶対に伝えておかねばならないネスペひいては情報処理技術者試験共通の対策定石があります。それは 過去問をやれ です。これに尽きます。 勉強スケジュールを決めるとか目標をどうのこうのとかありますがそれは人によって合う合わないがあります。 しかし過去問をやれだけは全人類共通の対策方法になります。特に午前問題は過去問に100%答えられるなら新規問題の割合は多くないので確実に合格します！ 午後問題も、過去問と同じ単語を答えさせる問題が何回か出てくるので、「この単元・単語が好きなんだな」みたいな傾向がわかったりします。それ以上に 「どれぐらいの粒度でどのような観点の回答をすべきか」 を抑えることができるので、具体的な習得目標ができ、「全く過去問を解かなかった人」と比べると大きなアドバンテージ
Azure OpenAIで独自データ追加機能(Add your data)を試してみた - Qiita
はじめに 23年6月19日にAzure OpenAIに独自データを追加できる機能「Add your data」がパブリックプレビューで発表されました。GPTは自分が知らない情報に関して、答えることができないですが、この機能を使うことで独自のデータとGPTモデルを簡単に連携させることができ、GPTが知らない独自のデータを参照して回答を生成できるようになります。また、回答のソースを独自データに限定することもできるので、ChatGPTの活用の幅が大きく広がります。 一通り使ってみたので、具体的な利用方法を解説していきます(公式ドキュメントにも詳しく記載されています)。 (23年9月追記) Add your dataにベクトル検索の機能が追加されました。詳細はこちらのブログで丁寧に解説されていますので、ご参照ください。 独自データの追加 使えるモデルはチャット形式のモデル「gpt-3.5-turb
Jupyter AIが出た！試した！！すごい！！！ - Qiita
ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお！ ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー！ (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >
歴代チャットボットと最近のLLMのまとめ - Qiita
LLMs The History of Chatbots ELIZA (1966) 初期の人工知能プログラムのひとつ。 ルールベースの簡単なパターンマッチングで返答していた。 心理療法士の会話を模したELIZA(DOCTOR)が有名。 PARRY (1972) PARRYは偏執病的統合失調症患者をシミュレートしようとしたもの。 ELIZA(DOCTOR)と通信し話題となった。 Jabberwacky (1982, 1988, 1997) ユーモラスな人間同士の自然な会話をシミュレートすることを目的としていた。 ユーザーとの会話の大規模なデータベースを構築し、言語と文脈を学習することができた。 プロジェクト自体は1982年から開始されていたが、当初は学習機能は有していなかった。 ローブナー賞を2005年(George)、2006年(Joan)に受賞している。 ローブナー賞(Loebner P
話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握する - Qiita
話題の ChatGPT + LangChain で、膨大な PDF ドキュメントの内容を爆速で把握するPDFOpenAIChatGPTlangchain記事投稿キャンペーン_ChatGPT はじめに 本記事では、ChatGPT と LangChain の API を使用して、PDF ドキュメントの内容を自然言語で問い合わせる方法を紹介します。 具体的には、PDF ドキュメントに対して自然言語で問い合わせをすると、自然言語で結果が返ってくる、というものです。 ChatGPT と LangChain を使用することで、下記のような複数ステップの仕事を非常に簡単に実行させることができます。 PDF ドキュメントからテキストを抽出して複数に分割する 分割したテキストからテキスト間の関連を表すベクターデータを作成する 作成したベクターデータをベクターストアに格納しておく ChatGPT に外部から与
日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証 - Qiita
日本語特化型の大規模言語モデル、OpenCALMとrinna/japanese-gpt-neox-3.6bの検証自然言語処理検証モデル評価ChatGPT大規模言語モデル 目次 はじめに モデルの概要 検証環境 導入方法:OpenCALM 検証:OpenCALM 考察:OpenCALM Instruction Tuning 導入方法:rinna 検証:rinna 考察:rinna おわりに はじめに この記事はCyberAgentが公開した日本語特化のLLM(大規模言語モデル)、OpenCALMと、株式会社rinnaが公開した日本語特化のLLM、japanese-gpt-neox-3.6b/japanese-gpt-neox-3.6b-instruction-sft を検証した記事です。 色んなプロンプトを与えて、どのように出力するか。 そして素の大規模言語モデルがどのような出力をしていて、
ChatGPTで独自データを学習させて回答してもらう方法 - Qiita
ChatGPT,使っていますか？ ChatGPTは文章を要約したり、プログラム作ってくれたり、一緒にブレストしてくれたりして本当に便利なのですが、社内情報などの独自データに関する情報については回答してくれません。 プロンプトに情報を記述して、そこに書かれている情報から回答してもらう方法もありますが、最大トークン4000の壁がありますので、限界があるかと思います。 この課題についてなんとかならないかと考えて色々と調べて見たところ、解決する方法が見つかり、いろいろと検証をして見ましたのでその結果をシェアしたいと思います。 サンプルコード（GoogleColab） 百聞は一見にしかずということで、実際に試したサンプルは以下にありますので、まずは動かしてみることをお勧めします。 このコードを上から順番に動かすと、実際にインターネット上から取得したPDFファイルに関する内容をChatGPTが回答して
Pythonを使ったGUIアプリを「お手軽に」作りたかった件 - Qiita
はじめに 業務自動化といえばRPAとかPython等が良く使われるが、これらは基本的に判断が多い複雑な業務の自動化には向かず、やったとしても自動実行→手作業→自動実行→手作業…と言ったように人の判断が居るところで業務プロセスが分断されてしまうのが悩みどころ。 そこで「GUI上で自動実行前に手作業」＋「バックグランドで自動実行」と両方の機能を持ち、業務を分断する事なく作業できるアプリを作ろうと考えた。 結論から言うと「Flet」を採用した。以下経緯説明。 お手軽なGUIライブラリを探す旅 Pythonはデスクトップアプリ開発には不向き？ アプリを開発するにしろメインの処理は自動化なので、アプリ開発に特化したフレームワークではなく、Pythonを使用出来る柔軟性の高そうなGUIライブラリが無いか探すことにした。 巷でたまに耳にするが、デスクトップアプリ開発はC#やJavaが多くPythonは環
ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita
ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法： この記事ではchatGPTを使ったLINEbotを作成する際に、出力を安定してJSON形式で得る方法を解説します。具体的には、gpt-3.5-turbo APIとGoogle Apps Script (GAS)を使ったLINEbotを想定しています。仮想人格の発言内容と内部パラメータ（感情パラメータなど）を分けて出力したい場合に役立ちます。 ChatGPT APIを使ったLineBotの作り方を、人格の与え方まで完全解説【プログラミング不要】 AIがあなたのお悩みに答えます。悩みを解決する未来の相談相手、AIがあなたを待っています。[プロンプト有] プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 こんなとき役に立つ 感情を伝えるチャットボット ユーザーの反応に
Wi-Fiルーターのサポート期間 - Qiita
はじめに Wi-Fiルータのセキュリティについて、2023年4月5日に警視庁より「家庭用ルーターの不正利用に関する注意喚起」が行われました。この中で対策として、次の4つが挙げられています。 初期設定の単純な ID やパスワードは変更する。 常に最新のファームウェアを使用する。 サポートが終了したルーターは買換えを検討する。 見覚えのない設定変更がなされていないか定期的に確認する。 定期的な設定確認が現実的に可能なのか疑問はありますがそれはさておき、今回は３番目のサポート終了についてです。 たとえばWindowsであればいつサポートを終了するのかずいぶん前に告知がありますし、他のソフトウェア製品についてもLTS(Long Term Support)の設定があるものは計画的にアップグレードを行えます。一方で家庭用のWi-Fiルーターについて、いつサポートが終了するのかわからないまま買っていまし
【GPT】プロンプトエンジニアリング手法まとめ - Qiita
はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが、LLMではモデルが大き過ぎてコストが洒落になりません。 そのような事情からプロンプト側を工夫することで、回答に直接影響を与えるという手法が発達しています。 ファインチューニング モデルを新たな学習データで追加学習させ、モデルのパラメータを更新し、精度を高め
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAIChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AI ブームを牽引しているのは 大規模言語モデル（Large-scale Language Model, LLM） と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT（OpenAI）、Llama（Meta）、PaLM（Google）があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります： Classification: 感情やポジ
GPT-4は青色コーダーの夢を見るか - Qiita
はじめに 2023/3/14にOpenAIがGPT-4という新しいAIモデルを公開しました。 このモデルはさまざまなタスクにおいてChatGPT(GPT-3.5)を大幅に上回る結果を示しています。 この記事ではGPT-4を用いて競技プログラミングがどのくらい解けるのかについて調べてみました。 下馬評 OpenAIが公開した論文によると、GPT-4のCodeforcesレーティングは392だそうです。 これはパーセンタイルでいうと下から5%らしいので、 そこまで競技プログラミングが得意なわけではないようです。 ただし、おそらくこれはGPT-4が完全自動でチャレンジした場合のことだと思われます。 GPT-4が書いたコードを人間がレビューすることでバグを修正し、より難しい問題が解ける可能性があると 筆者は考えました。 TL; DR ChatGPTを用いてAtCoder Beginners Con
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
AIの進歩とつらみについて - Qiita
こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です。 今日はAIの進歩にともなうヒトの役割にかんするポエムを書いていきます！ なにについて書いてある文章か AI※の進歩ってすごいよね AIがなんでもできるようになったら、ヒトは何を思うか ※AIって気軽に使う世界になったのもすごい. なお、MicrosoftはすでにAGI as a serviceについて考えている: https://thegenerality.com/agi/ さいきん思うこと 言語モデルや生成モデルの進歩は凄まじくて、どんどん知的な活動がAIに置き換えられて行きそうな空気を感じます。じっさい、イラストを描くことやプログラミングを実装することなどは、かなりできるようになってきています。 今回は、こうした人間しか出来ないと思われていたことが、どんどんAIができてくることによって、何が起き
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 - Qiita
Transformerに自分の好みのDLsite音声作品を学習させて、癖に刺さる新作を毎日通知するシステムを作った話 作ったもの DLsiteの新作音声作品をクローリング -> 好みかどうか推論 -> 好みならSlack通知をするシステムを完全サーバーレス（AWS SAM）で構築しました。さらなる精度向上のため、Slackメッセージのボタンをもとに教師データを蓄積する処理も作りました。 デモ（ぼかしMAX） とてもわかりにくいですが、好みであろう作品がPOSTされているSlackの画面です。各メッセージについている「興味あり！」「別に…」ボタンを押すとLambdaが起動し、DynamoDBに新たな教師データとして保存されます。 なぜ作ったのか DLsiteが好き、以上。 ・・・ もう少し真面目に書くと、 会社でテキストデータに触れることが多いので、うまく扱えるようになりたい 音声作品はシチ
シェルスクリプトでlsをパイプでつなぐのはなぜ悪いのか ～ ShellCheck: SC2010, SC2011, SC2012 とファイル名改行問題 - Qiita
シェルスクリプトでlsをパイプでつなぐのはなぜ悪いのか ～ ShellCheck: SC2010, SC2011, SC2012 とファイル名改行問題ShellScriptUNIXshellシェル芸POSIX はじめに シェルスクリプトで ls コマンドの出力結果（ファイル名一覧）をパイプで他のコマンドに渡して処理するのは推奨されません。ls コマンドを使ったコードを ShellCheck で検査するとおそらく問題があると警告が表示されるでしょう。ls を使うなという指摘自体には賛成なのですが SC2010、SC2011、SC2012 に書いてある理由については正しい説明がされていないと思っています。この記事ではなぜ ls の出力結果を他のコマンドにパイプで渡すのが悪いのか、ls を使わずに実現するにはどうしたら良いのかを解説したいと思います。一つ補足をしておくと、この問題は CLI コマ
画像生成AIで動作含めアニメの中割り画像を作る方法を発見したので、その方法を実行するWebサービスを作りましたわ(ゆいもっぷ動画付き)（皆様にもお使い頂けますわ） - Qiita
画像生成AIで動作含めアニメの中割り画像を作る方法を発見したので、その方法を実行するWebサービスを作りましたわ(ゆいもっぷ動画付き)（皆様にもお使い頂けますわ） （2023/01/01 01:17：NovelAIの使用モデルについて追記しました） （2023/02/10 09:59: 次回作ができました！(9fps化) https://ao-love-yuimop.hatenablog.com/entry/2023/02/10/094800 ） (2023/04/09: さらに次回作ができました。(ゆいもっぷ/ユメヲカケル アニメPV)) 画像生成AIのNovelAIやSmoothGraphic等を使って ゆいもっぷ ちゃん(20)の激カワな歌にアニメPVをつけました(ファンアニメ)🏖 SmoothGraphic Copyright(C)2013-2017 チラ裏エリア Full: h
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
