はてなブックマーク

普段プログラムを書いていると、あまり気にすることのないGCの動きについて知りたくなったので、調べた内容をまとめてみました。 GC自体は様々な言語に導入されており、アルゴリズムもそれぞれですが今回はRuby(C Ruby)のGCについて書いていきます。 RubyのGCアルゴリズムについて Rubyでは元来「mark&sweep」というアルゴリズムでGCが動いておりました。 このmark&sweepでは マークフェーズ スイープフェーズ の２つのフェーズがあります。 まずマークフェーズでは、rootオブジェクトから参照のあるオブジェクトのみにマークしていきます。 スイープフェーズではマークのついていない、つまり使われていないオブジェクトを解放していきます。 この２つのフェーズを行うだけのシンプルな手法です。 ですが、この手法ではスイープの際に全てのオブジェクトに対してマークがあるかどうかのスキ

本記事でやること 公式ドキュメントの要点を整理 独自のデータセットを作成し、実際にFine-tuningをしてみる ※「知識を教え込む」といった内容で試しています。 Fine-tuningの推奨ユースケースではないと言われています。 第2回では、データセットの見直しと改善をテーマに色々とまとめました。 公式ドキュメントの要点まとめ まずは以下公式ドキュメントの中で気になった点をピックアップしてまとめておきます。 Fine-tuningの位置付け・イメージ 昔の公式ドキュメントにFine-tuningとRetrieval(RAGなど)の違いが紹介されていました。 （今はこのような記載を見つけれらませんでした、あくまでイメージとして捉えていただければと思います） 手法 イメージ 現在のドキュメントには以下のように記載されています。 EmbeddingsとRetrieval 大量のドキュメントデ

背景 以前、ChatGPTを使って以下のようなものを作りました。 「 決算短信などのPDFファイルから分析に必要なデータを抽出し、Excelとして出力してくれる 」 機能的には気に入っていますが、実行がとても面倒くさいです 「 Pythonスクリプトを実行した後に、ChatGPTに入力して、出力をコピペして、、、 」といった感じですね。 そこで、自動化・パイプライン化したいなあと思い始めたのが今回の背景です。 自動化しようと思ったときに、Prompt Flowを使えるのではないかということで実装してみました。(Pythonだけでも実装可能だと思います。) Prompt Flowを使えば、Variantsを使って並列で色々なプロンプトを試せますし評価も可能です。 やること 今回やることの全体像は以下の通りです。 入力 ユーザがPrompt Flow対してファイル名を入力 Prompt Flo

まえがき 前回、ChatGPT規格のプラグイン開発に触れてみました。 プラグインの呼び出し元であるAIオーケストレーションにはLangchainを採用して色々と試していましたが、エラーになる確率の方が高かったです、、。 Microsoftが掲げるCopilot stack × Pluginsの全体像に対して、前回行った内容を当てはめると以下のようなイメージでしょうか。 自作のプラグインを作成 Langchainから自作のプラグインを呼び出す プラグイン連携はOpenAPI仕様に基づく もう少し具体的な図で示すと以下のようなイメージです。 ※プロンプトチューニングなどはしていないので精度向上の余地は十分に残されています。 具体的には、リクエスト先のURLが間違っていることが多かったですね。 そこを調整してあげればなんとかなりそうな印象でした。 プラグインとして2つの機能を用意していました。

まえがき 今回は入門ということで、以下の2つのことをまとめています。 Prompt flowの作成～実行 簡易的なタスクをPrompt flowで実装 Prompt flowの便利機能には今回触れていません。次回以降まとめていきます。 以下のような便利機能を試していく予定です。 マネージドオンラインエンドポイントの作成 Variant Bulktest ベクトルDBやSerp APIとの連携 リソース構築 事前作成が必要なもの Azure OpenAI gpt-35-turbo Machine Learning Studioのワークスペース Azure OpenAIを作成し、上記モデルをデプロイします。エンドポイントとキーをコピーしておきます。 また、下記URLからワークスペースを作成しておきます。 Prompt flowとAzure OpenAIの接続 Connenctionsタブへ移動

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

実装する処理 各ライブラリでエージェントの機能を実装し、色々と比較してみました。 ~前提条件~ 紫の対話可能なエージェントとユーザの対話により、ざっくりとした実行計画が既に作成済みのものとします。 そのため、青色のエージェントの処理(⑤)を「guidance・Semantic kernel・Langchain」で実装します。 今回、青色のエージェントには以下の3つの機能を持たせています。 Search: 社内資料の検索を想定した関数 Web: Web検索で外部情報を取得することを想定した関数 Answer: search, webで収集した情報とユーザの入力を基に回答を生成する関数 紫の対話可能なエージェントではユーザとの対話により、実行計画のベースを作ります。 こちらについてはまた別の記事でまとめようと思います。 最終的に以下のような出力が得られます。 この出力を青色のエージェントに渡し

0. まとめ ※ソースコードと睨めっこし、色々試しながら実行して得た見解ですので、正確ではないかもしれません。 （ドキュメント読めば書いてあるんですかね、、） 用語については下記記事にとてもわかりやすくまとめられています。 スキル間の結果の受け渡しは勝手に行われる 受け渡す必要がない場合でも、受け取りは発生する 受け取った側で使わなければOK 内部の処理では、コンテキストオブジェクトで行われる(context['input']に前の結果が入っている) ネイティブ関数で前のスキルの実行結果を受け取る際はcontextを使う 上述の通り、スキル間の値の受け渡しはコンテキストを用いるため （ドキュメントをちゃんと読んでおらず、ほかにも方法があるかもなので要調査です） セマンティック関数のconfig.jsonを書く際はinputを含めた方がいい 無くてもエラーにならないが、input: <空白>

①Guidanceってなに？ Guidanceは、今後さらに複雑になるであろうプロンプト開発を見越しているものと捉えています。(私の主観が入っていますが) またユーザ目線で考えると、複雑なプロンプトを実行するとその分料金が発生します。複雑なプロンプトを簡略化できれば費用も抑えられますよね。 ガイダンスプログラムは、従来のプロンプティングやチェイン法よりも効果的かつ効率的に現代の言語モデルを制御することを可能にします。ガイダンスは、言語モデルがテキストを処理する方法と実際に一致するように、生成、プロンプティング、論理的な制御を連続した流れで組み合わせることができます。Chain of Thoughtやその他のバリエーション（ART、Auto-CoTなど）などのシンプルな出力構造は、言語モデルの性能を向上させることが示されています。よりパワフルなGPT-4の登場により、さらに豊かな構造が可能に

import guidance # 推論に使用する言語モデルを指定 guidance.llm = guidance.llms.OpenAI("text-davinci-003") # テンプレート内で使用する変数を定義 nutrient_list = ["炭水化物", "タンパク質", "脂質"] people = [ {"name": "田中", "description": "鶏むね肉と白米を食べました"}, {"name": "木村", "description": "ラーメンと餃子を食べました"} ] # プロンプト①を生成 program1 = guidance('''栄養素リスト: {{#each nutrient_list}}- {{this}} {{/each~}}''') # プロンプト②を作成 program2 = guidance('''食事状況: {{#each p

導入 5/9にMetaからすごそうなモデルが発表されましたね、しかもOSS ということは、自分のPCでも動かせるのでは？ということで触ってみました。 進化・スピードが早すぎて、情報のキャッチアップ＆咀嚼が圧倒的に間に合いません、、 みなさんどうされていますか？こんなときこそAIの出番ですかね。 とか思いつつ寿命(睡眠時間)を削りつつ勉強しています。 ImageBindについて Metaのメタバースへの本気度がうかがえるようなモデルですよね。 参考: https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/ 以下、GPT翻訳。 ImageBindは、人間が複数の感覚を使って情報を取り込む能力に近づくためのアプローチです。このモデルは、明示的な監督（生データの整理やラベリングの必要性）なしに、テキスト、画像/動画、音声だ

完成品 動作イメージ ※モデルのロードに少し時間がかかっています。 しばらくするとチャット風景に移ります ソースコード 変数名やクラス化・関数化は大目にみてください、、殴り書きです、、 from langchain import HuggingFacePipeline, PromptTemplate, LLMChain from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from transformers import StoppingCriteria from transformers import StoppingCriteriaList from langchain.memory import ConversationBufferMemory import torch def model_set

エイチームフィナジーのアドベントカレンダー3日目は、sakupa80 が担当します。 はじめに きっかけとしては、ただコンテンツをキャッシュさせる為のCDNサービスとしてCloudflareを使い始めましたが、Cloudflareの利便性に感銘を受け、今ではその他の様々なCloudflareサービスを利用しております。 今回はその中でもCloudflare Workersについてまとめてみました。 公式ドキュメント: https://developers.cloudflare.com/workers/ Cloudflare Workersとは エッジサーバーでスクリプトを実行してくれるサーバーレスのサービスです。 JavaScript(V8)を実行することが可能です。 ServiceWorkerが動くので、FetchAPI、CacheAPIなどを使うことが出来ます。 Cloudflare

はじめに ページの離脱直前に確認ダイアログを出すなど、そのページから遷移しようとすることをトリガーに処理を書く際はbeforeunloadイベントを使用するメジャーなやり方がありますが、ページの読み込み時( jQueryの$(document).readyが動くタイミング )にブラウザバックでこの画面に遷移してきたどうかを判定して処理したいケースがあり、無事実現できたのでご紹介します。（とてもレアケースだとは思いますが…） どんなケースで必要だったか気になる方に向けて使用した際の用途にも触れておきます。Bootstrapのtagsinputというプラグインを導入してフォーム画面のinputへの入力がタグ化されるようにしていたため、ブラウザバック時のフォーム復元には別途処理を実装する必要がありました。 復元するための入力値はsessionStorageに保存していたので、同一タブでブックマー

ググると出てくる誰かのボード みんな大好きタスク管理ツールのTrello。 先日、Trelloの利用規約を調べようと思って「trello 利用規約」でググったら、公式の利用規約ページよりも誰かの公開ボードがヒットしました・・・ 公開ボードになっていると検索エンジンにインデックスされるようで、「trello ○○」でググると色々なボードがヒットします。 恐ろしいググラビリティの高さです。 ※悪用を推奨しているつもりではないですが、本当に簡単に色々ヒットしてしまいます。 非公開に設定しよう ボードが公開設定になっていると、検索エンジンにインデックスされてしまいます。 皆さん、必要が無い限りはボードを非公開にしましょう。 以下のように、簡単に非公開に出来ます。 公開ボードがないかチェックしよう 参加しているボードが沢山ある場合、ボードをひとつずつ開いて調べるのは大変なので、簡易チェックツールを作

はじめに アカウント登録などで、ユーザに情報を入力してもらったあとに、入力内容を確認してもらうための画面を用意しているサービスって多いですよね SPAでそれを実現しようとすると、確認画面にデータを渡したりとか、戻ったときに入力内容が消えちゃったりして、頭を抱えました。 結果、こんな風に実装したよ〜、というのをご紹介できればと思います。 環境 Vue.js 2.6.10 vue-cli 3.9.1 vue-router 3.0.3 動作 動作確認用として、Githubにコード全文を上げています https://github.com/tsk-wakabayashi/routing-nest-sample Gifでみるとこんな感じ 解説 基本的にはこちらの機能を使います https://router.vuejs.org/ja/guide/essentials/nested-routes.html

マネコンからステータスを確認すると、キューの作成に失敗している。 これはIAMポリシーの不足が原因。 基本的にcreate-stackを実行するユーザーは、スタックに含まれるリソースそれぞれに対して作成・取得・削除等の権限を有している必要がある。 ※*:create*だけを与えればいいかというとそうでもない。例のIAMユーザーにsqs:CreateQueueのポリシーを付与して再度実行すると今度は以下のエラーが発生する。 API: sqs:GetQueueAttributes Access to the resource https://sqs.ap-northeast-1.amazonaws.com/xxxx/sample-SampleQueue-G5X7EGA2HGMA is denied. ステータスの取得やロールバック時のリソースの削除などにも対応するために、結局はフルアクセスを与

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

前提 S3をオリジンとしたCloudFrontディストリビューションを作成している HTMLや画像ファイルをCloudFront経由で配信したい 独自ドメインのCNAMEを登録している CloudFrontのドメイン、またはCNAMEで登録している独自ドメインにアクセスすると以下のような画面が表示される これをアクセスできるようにすることがゴールです。 確認すべきこと バケット内のオブジェクトが公開されているかどうか まずCloudFront抜きのS3単体で考えます。 特に制限をかけておらず、バケットのパブリックアクセスが可能になっている状態であれば、 パブリック という黄色のラベルが表示されているはずです。 もしついていなければとりあえず以下のバケットポリシーを設定しましょう。 これは、制限なしで誰でもバケット内のオブジェクトにアクセスできる状態を作ります。 ※ブロックパブリックアクセス

ドキュメントちゃんと保守できてますか？ API開発とドキュメントの保守は切っても切れない問題です。 仕様の記述はもちろんのこと、サンプルを試せるAPIクライアントや、仕様に則った実装になっているかテストも自動化したいですよね。 本記事では、現在開発中のAPIアプリケーションで、実際に僕が試行錯誤していく中でたどり着いたベストプラクティスを紹介しようと思います。 アーキテクチャ iOSアプリのバックエンドとしてJSONを返すAPIサーバー Rails6 × MySQL5.7 on Docker いつもの というお買い物アプリです。 ドキュメント何で書いてますか？ Excel => つらい Markdown => つらい 何らかのDSLを用いて生成するツール => 素でマークダウンを書くのはつらみが深いので何かしらツールを使いましょう。 apiary, api blueprint, APIDO

Rails で JSON を返す API サーバーを開発する際に、 選択肢となるシリアライズ方法をまとめてみました。 それぞれ Pros/Cons や好みがあると思います。 こういう選択肢があるんだよっていうのを提示できればいいかなーと思っています。 みんながどれを使ってるかアンケートとかも取ってみたい👨‍💻 （※記事の最後に載せました） スキーマ サンプルとしてTwitterをモデルにする。 User と Tweet のテーブルを作成する。 create_table :users do |t| t.string :name, :null => false t.string :screen_name, :null => false # @で始まるユーザー名 t.string :description # 自己紹介 t.integer :friends_count, :null => f

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Rubocop には現在400弱の Cop が存在するが、config/default.yml にて Enabled: false とされているものについては、明示的に有効化しないとチェックしてくれない。 そこで、デフォルトでオフになっている Cop にはどんなものがあるのかを調べた。 2019/11/12 時点での master ブランチ。バージョンは 0.76。 Bundler/GemComment Layout/ClassStructure Layout/FirstArrayElementLineBreak Layout/FirstHashElementLineBreak Layout/FirstMethodArgumentLineBreak Layout/FirstMethodParameterLineBreak Layout/HeredocArgumentClosingPa

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

ユースケース ユーザーのモデルが複数あり、それぞれ別テーブルで管理されている場合のログイン処理 ▼システムの利用ユーザー 管理者：Adminモデル、adminテーブル 教師：Teacherモデル、teacherテーブル 親：Parentモデル、parentテーブル ▼各ユーザーのIDフォーマット 管理者：6桁の数字+A （ex. 123456A） 教師：6桁の数字+T （ex. 123456T） 親：6桁の数字+P （ex. 123456P） 末尾に英文字を付与することでIDが重複することはない。 以上の要件で、同じログイン画面から、入力されたIDの末尾を元にモデルを判別し、 ログイン処理を行い、各ユーザーが使用する画面へと遷移させる処理を実装する。 バージョンはLaravel5.2です。 下準備 AuthControllerを実装。 マルチ認証で検索すると、各モデルごとに認証のコントロー

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 第5回将棋電王トーナメントに出場し、29位となったソフト「mEssiah」の内部構造を公開しようという意図で記事を書きます。 mEssiahはDeepLearningを使用した初の将棋ソフトとなるべく3年前から開発しましたが、残念ならが初にもならずそれほど強くもないということになっています。 しかし、SDT5出場ソフトの中で唯一「DeepLearningを使用しての強化学習」に成功したソフトでもあります。 DeepLearningを触ったことがない方には教師あり学習を行ったdlshogiやねね将棋と大差ないじゃんと思われると思いますが、そこには大きな難易度の差があります。 次回以降の大会のためにまだ成功した手法を公開するのはやめようかとも思いましたが、現状では独力では将棋の神に近付くのは非常に困難であるという認識となりましたので、情報公開を行い、mEssiahの技術をベースにどな