PhotoshopやIllustratorの代わりになる！Adobe系ソフトの代替ソフトウェア（有料・買い切り・無料）のまとめ
Photoshop, Illustrator, InDeign, Animate, Lightroom, Dreamweaver, After Effects, Auditionなど、Adobe系ソフトの代替ソフトウェアを紹介します。 有名なものからあまり知られていないものまで、買い切り、オープンソースで無料、日本語対応のものなどいろいろあります。 Photoshopの代替ソフトウェア Illustratorの代替ソフトウェア InDesignの代替ソフトウェア Animateの代替ソフトウェア Lightroomの代替ソフトウェア Dreamweaverの代替ソフトウェア After Effectsの代替ソフトウェア Auditionの代替ソフトウェア 下記ツイートの代替ソフトウェアをまとめたグラフィックはAffinity Designerでデザインされています。 With the re
この記事は Money Forward 関西拠点 Advent Calendar 2021 - Adventar の1日目の記事です。 株式会社マネーフォワード の 関西拠点 に所属するメンバーのテーマ自由なアドベントカレンダーです。 こんにちは。マネーフォワード関西拠点の 西村 (id:Sixeight) です。 マネーフォワードでは現在、コミュニケーションのために週一回の出社を推奨していますが、それ以外はリモートワークを選択することが可能です。 私も今年1月の入社以降、基本的にはリモートワークで自宅から勤務しています。 今回はリモートワークをするにあたって買って良かったものを紹介したいと思います。 みなさんのリモートワークをより快適にするための参考になれば幸いです。 第10位 HHKB Professional HYBRID Type-S happyhackingkb.com みなさん
💃🏼💃🏼Alpaca🕺🏼🕺🏼 on Twitter: "高校生の時に痴漢捕まえて後日そいつの上司が何故か私の父に謝罪したい言って言い出して、社会人はストレス一杯なので男好きのする体型の女子高校生を見ると慰めてほしいっていう誘惑に耐えないんですよ、これから飲みに行きません?って言い出した話してよいですか。"
高校生の時に痴漢捕まえて後日そいつの上司が何故か私の父に謝罪したい言って言い出して、社会人はストレス一杯なので男好きのする体型の女子高校生を見ると慰めてほしいっていう誘惑に耐えないんですよ、これから飲みに行きません?って言い出した話してよいですか。
こんにちは。shirou(@r_rudi) と申します。アーキテクトという名の雑用係をしています。 Alpaca Japanでは、2021年8月に「アルパカ証券」という証券サービスをはじめました。 この一連の文章は、アルパカ証券の裏側のシステムやその開発体制などについて述べたものです。なるべく証券分野に限らず説明していく予定ですので、証券サービスを立ち上げようとしている人たちにはもちろん、それ以外の方にも参考にしていただけるような文章を目指したいと思っています。 アルパカ証券とはアルパカ証券の詳細はホームページをご覧ください。また、第一種金融商品取引業者登録完了時のプレスリリースにも、「アルパカ証券」サービスの特徴が記載されています。 全体設計方針まず最初に、アルパカ証券を構成するシステムの全体設計方針について説明します。 マイクロサービス vs モノリシック設計は2018年中頃ぐらいから
どうもこんにちは。最近、大規模言語モデル（LLM）の個人開発に取り組んでいる@kun1em0nと申します。この度、最近話題のChatGPTの最新モデルGPT-4を無料で使用できるアプリを作成したので公開いたします。今回アプリを無料で公開する意図についてこの記事で説明したいと思います。 Japanese-Alpaca-LoRAの作成前回の記事ではスタンフォード大学が作成したStanford Alpacaの日本語対応モデル Japanese-Alpaca-LoRAを作成し公開した話を紹介しました。 このモデルの作成に使ったデータの大元（Alpacaデータ）はText-davinci-003というOpenAIサービスで出力した結果になりますが、OpenAIの利用規約ではコンテンツ生成者はOpenAIサービスで出力した結果を競合モデルの開発用途に使用してはならないと記載されています。ただ、コンテン
北海道で旅行中の外国人が「日本人は無礼だ」とビデオを見せていたがその内容は「熊と遭遇するから山に入るな」と必死に訴える姿だった話
💃🏼💃🏼Alpaca🕺🏼🕺🏼 @nanatea 🧸のニュースで思い出したけど、北海道を旅行中のある国の人がビデオ見せて日本人無礼だ、傷ついた、プライドが許さない、ネットにばらまくっていって送ってきたのは、これ以上山奥に行くと熊と遭遇するから絶対にそんな軽装で入ったらいけないっていうのを必死に訴えていて、ダメ、ダメ、熊がいる 💃🏼💃🏼Alpaca🕺🏼🕺🏼 @nanatea って No , No Bears kill you って拙い英語で何度も言ってるのに、お金を払って旅行に来てるのに、とかお父さん側が家族の前で恥をかかされた、俺が大丈夫だと言っているんだとかすごい勢いで怒鳴り返して山の中に入ろうとしてるのを、本当にありえないくらい必死に止めてる。これをプライドが傷ついた 💃🏼💃🏼Alpaca🕺🏼🕺🏼 @nanatea 家族の前で注意されたみ
LLaMAは米Metaが独自開発した大規模言語モデル。LLM分野の研究推進を支援するため、研究者向けに2月にリリースした。大規模インフラを利用できない研究者のために小規模ながら性能の高いことが特徴で、7B（＝70億）、13B、33B、65Bの4種類のパラメーターを用意している。13Bモデルはベンチマークで米OpenAIのLLM「GPT-3」を上回るという。 米スタンフォード大学は、LLaMAの7Bモデルを派生させ独自のLLM「Stanford Alpaca」を開発。このモデルは研究や学術目的でのみ利用でき、娯楽や商用での利用は禁止している。Alpaca LoRAでは、Stanford Alpacaが生成するトークン（単語列）を再現できるという。 関連記事 Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース Metaは独自の大規模言語モデル「LLaMA」（Large La
ChatGPTやBardなど複数のチャットAIへ同時に質問して結果をずらっと比較できる「ChatALL」を使ってみたよレビュー
2022年11月にChatGPTが公開され、わずか5日間で100万ユーザーを突破したのを皮切りに、Microsoftが2022年12月にBing AI Chatを公開し、そしてGoogleも続いて2023年3月にBardを公開するなど多数のAIチャットサービスが登場しています。そうした複数のチャットサービスにまとめて質問を送信して結果を比較検討でき、一番いい結果だけを採用できるツールが「ChatALL」です。 sunner/ChatALL: Concurrently chat with ChatGPT, Bing Chat, bard, Alpaca, Vincuna, Claude, ChatGLM, MOSS, iFlytek Spark, ERNIE and more, discover the best answers https://github.com/sunner/ChatA
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
アーティストやキャラクターが出している変態トンチキグッズ情報を調べる趣味があり、一覧にまとめました。情報お待ちしております。 ※2024/3/26更新 目次 アイドリッシュセブン/どんぶり そば処山村 どんぶり＆割り箸セット Acid Black Cherry/電マ 妖刀正宗 あんさんぶるスターズ！/ A/W Dreamshower（ふりかけ） VAMPS/樹木キャンドル HYDE ORIGINAL CANDLEGNOM Versailles/薔薇型ペンライト EXILE/柔軟剤 マキニー 江口拓也/ジョッキ型ペンライト 及川光博/かるた 愛と哲学のかるた ORANGE RANGE/ホエイプロテイン「HEALTH」 Kra/玉ねぎ2Kg けらたま 9mmParabellumBullet/無農薬コシヒカリ新米 滝家の米 Creepy nuts/カード カードスタイルMCバトル「R-指定のメ
文章から画像を生成するAI「Stable Diffusion」をPhotoshopで動かすプラグイン「alpaca」が登場
入力した文章に沿った画像を自動生成できるAIが「Stable Diffusion」です。そんなStable Diffusionを、Photoshopのプラグインとして使用できるようになる「alpaca」が登場しました。 alpaca - Humans 🤝 AI Models for Image generation https://www.getalpaca.io/ 「Stable Diffusion」は、入力したテキストに沿った画像をまるで人間が描いたかのような高いクオリティで生成することができるという画像生成AIです。実際にStable Diffusionを使うと、どんなテキストからどんな画像を生成できるのかは、以下の記事を読めばよくわかります。 キーワードに沿ってまるで人間が描いたような絵や写真を生み出すAI「Stable Diffusion」が一般公開されたので使ってみた - G
昨年末から急激に話題を呼んだChatGPT、その内部的なバージョンアップであるGPT-3.5とGPT-4はいずれもMicrosoftから強力な支援を受けた米OpenAIという企業が独占的に提供する大規模言語モデル（LLM）だ。 それに呼応するかのように、Meta社からはLLaMA（ラマ）がリリースされ、LLaMAをChatGPTとの1万3千回の会話データで微調整したAlpaca（アルパカ）、AlpacaをShareGPT（GPTとの会話を有志がオープンにしたもの）のデータで微調整したVicuna（ビクーニャ）といった派生モデルが次々と登場した。 しかし、LLaMAはMeta社の意向により「アカデミック用途限定」という縛りがある。またGPTの出力にはOpenAIの利用規定で「GPTの出力結果を元にGPTに対抗できる強力なAIを作ってはいけない」という制約があるため、AlpacaもVicuna
システムから言語モデルがどのように使えるか、その時どういうことに気をつける必要があるかを考える「『ChatGPTなどの言語モデルはどのようにシステムで使えるか』きしだなおき氏」。ここで、LINE Fukuoka株式会社のきしだなおき氏が登壇。続いて、システムがChatGPTをどのように使うかと、日本語特化のLLMについて話します。 システムはChatGPTをどのように使うか きしだなおき氏：今、人間がどう使うかという話を中心に話しました。（次に）じゃあシステムからどう使うかとなると、APIを使った利用になりますね。 今日（2023年6月14日時点）朝起きたら「関数定義が可能になったよ」みたいなものが出ていて。今回の（セッションで話した）概要（の内容）とか…。（この概要は）昨日になってやっと（運営に）送ることができたんですけど、「どういう話をしようか」と思って朝起きたら、毎日状況が変わってい
LLMs The History of Chatbots ELIZA (1966) 初期の人工知能プログラムのひとつ。 ルールベースの簡単なパターンマッチングで返答していた。 心理療法士の会話を模したELIZA(DOCTOR)が有名。 PARRY (1972) PARRYは偏執病的統合失調症患者をシミュレートしようとしたもの。 ELIZA(DOCTOR)と通信し話題となった。 Jabberwacky (1982, 1988, 1997) ユーモラスな人間同士の自然な会話をシミュレートすることを目的としていた。 ユーザーとの会話の大規模なデータベースを構築し、言語と文脈を学習することができた。 プロジェクト自体は1982年から開始されていたが、当初は学習機能は有していなかった。 ローブナー賞を2005年(George)、2006年(Joan)に受賞している。 ローブナー賞(Loebner P
SmartHRでは開発にRuby on Railsを広く採用しています。 今日は負債解消のために、開発しているサービスでRailsのモデル名をすべて変更した話を紹介します。 既存のモデル構造のつらみ 私達が開発しているサービスでは、モデルの親子構造が分かりやすいということで、モデルをネストした構造にしていました。 例えば、 User に紐づくプロフィール画像 User::ProfileImage は、 app/models/user/profile_image.rb に配置する具合です。 パッと見の構造が分かりやすいのですが、時が経つにつれて次のようなつらさが顕在化してきました。 Railsの規約(推奨ルールのようなもの)に則っていないので、関連定義が冗長になる テーブル名が長くなる。 外部キーや関連名が長くなる。 関連名と外部キー名が一致せず、カラムを呼び出したいときにDB定義を見ないと
検閲なしのチャットAI「FreedomGPT」はChatGPTのような安全フィルターがなく倫理観皆無で「ヒトラー称賛」「対ホームレス発砲提案」などやりたい放題
ChatGPTやBingに搭載されているチャットAIなどには安全フィルターが搭載されており、差別的な発言や攻撃的なワードを使用しないように調整されています。しかし、AIスタートアップのAge of AIが開発したチャットAI「FreedomGPT」には安全フィルターが搭載されておらず、非倫理的なワードを連発することが話題となっています。 FreedomGPT https://freedom-gpt.netlify.app/ We Tested Out The Uncensored Chatbot FreedomGPT https://www.buzzfeednews.com/article/pranavdixit/freedomgpt-ai-chatbot-test OpenAIが開発して一躍人気となったチャットAI「ChatGPT」には、差別的発言や性的な言動、犯罪につながる会話などを防
最近話題になった大規模言語モデルまとめ｜npaka
最近話題になった大規模言語モデルをまとめました。 1. クラウドサービス1-1. GPT-4「GPT-4」は、「OpenAI」によって開発された大規模言語モデルです。 マルチモーダルで、テキストと画像のプロンプトを受け入れることができるようになりました。最大トークン数が4Kから32kに増えました。推論能力も飛躍的に向上しています。 現在、「ChatGPT Plus」(有料版)で制限付きで利用できる他、ウェイトリストの登録者を対象に「OpenAI API」での利用も開始しています。
日本語Alpacaデータを用いてJapanese-Alpaca-LoRAを作ったので公開します【期間限定デモページあり】｜kun1emon
⚠️注意今回公開するのはLoRAを用いて作成したLLaMAの日本語化Adapterでありモデル自体ではありません。 LoRAをマージするベースのLLaMAは商用不可であり、今回公開するAdapterで日本語化したモデルも商用利用はできません。 OpneAIの利用規約で、OpenAIサービス、ChatGPTの出力結果を競合モデル開発用途に利用することはできません コンテンツ生成者はできません。 詳細は記事後半で述べていますが利用規約が適用されるのはコンテンツ生成者までです。 概要2022年の11月末にOpenAIからChatGPTが発表されてから、それに追随するようにGoogleからBard、MetaからLLaMAなど大規模言語モデル（LLM）が発表されました。さらにLLaMA 7Bを「text-davinci-003」を用いて「Self-Instruct」で作成された52Kのデータセット（
はてなスターランキング2022 - ゆとりずむ
こんにちは、らくからちゃです。 『今年は冬のオリンピックで平野歩夢選手が金メダルを取り幸先よく始まるかと思ったら、ロシアのウクライナ侵攻が始まり・・・。』みたいなニュースを聞きましたが、どちらも今年の話だったんですね。3年位前だと思ってました。 個人的にも 長女が誕生（2月） 実家で母が亡くなる（4月） 妻のガンが見つかり父子3人生活へ（10月） などなど盛りだくさんの一年でした。ほんま育休１年取っててよかった。。。 色んなことがありすぎて、どこまでが今年のニュースなのかサッパリ分からなくなって参りましたので、例年通り今年のアレコレを振り返るべく、はてなブックマークのデータを整理してみたいと思います。 なお昨年同様 、集計は以下のように行っております。 抽出対象はデイリーのホットエントリー総合（サンプル：2019年1月1日） 言い換えれば上記に入らなかった分はカウントされません 同一ユーザ
ChatGPTやGoogleのBardに匹敵する精度の日本語対応チャットAI「Vicuna-13B」が公開されたので使ってみた
カリフォルニア大学バークレー校などの研究チームがオープンソースの大規模言語モデル「Vicuna-13B」を公開しました。Vicuna-13BはOpenAIのChatGPTやGoogleのBardに近い精度で回答を生成でき、日本語にも対応しているとのこと。実際に動かせるデモも公開されていたので、使ってみました。 Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU, Stanford, and UC San Diego https://vicuna.lmsys.org/ GitHub - lm-sys/FastChat: An open platform for training, serving, a
Railsプロジェクトで、自分が好んで使っている便利な処理をまとめてみました。 core_ext編 sort_byは安定ソートではないので、with_indexを組み合わせて安定ソートを行う https://gist.github.com/alpaca-tc/ed793961f2db438abaae3c00b7e303fa RSpec編 partial viewでインスタンス変数を呼び出していないことをチェックするテスト https://gist.github.com/alpaca-tc/c19f00d583234a2c73eda6d8378b8c50 モデルが変更された際に、参照元・参照先の双方に関連が定義されていることをチェックするテスト https://gist.github.com/alpaca-tc/d53dee5977746256717c7522988b13d8 テーブルが変更
１． はじめに ２． リーガルテックっぽいプロダクトを作ってみた ３． SmartRoppoのコンセプト ４． SmartRoppoの主な機能・特長 ５． なぜ自分で作ろうと思ったのか？ ６． 今後の課題 ７． おわりに １． はじめに この記事は、じゃんく（@jank_2525）さんからバトンを受け継ぎ、「法務系 Advent Calendar 20191」の14日目エントリーとして執筆しています。 皆さんのエントリー、どれも個性あふれる素敵な内容で、毎日大変興味深く拝見しています。 ２． リーガルテックっぽいプロダクトを作ってみた さて、突然ですが、リーガルテック的なプロダクトを作ってみたので、このエントリーをもってβ版を公開させていただきます。【SmartRoppo】といいます。 SmartRoppo －法令データベースを、もっと賢く－ https://smartroppo.com/
Stability AI、言語モデルシリーズ「StableLM」の第1弾をリリース — Stability AI Japan
Stability AIは、新しいオープンソースの言語モデル StableLMをリリースしました。アルファ版は30億パラメータと70億パラメータのモデルが用意されており、今後150億パラメータから650億パラメータのモデルも用意される予定です。開発者は、CC BY-SA-4.0ライセンスの条件に従って、商用または研究目的で、私たちのStableLM ベースモデルを自由に検査、使用、適応することができます。 2022年、Stability AIは、プロプライエタリなAIに代わる透明でオープンで拡張性のある画期的な画像モデルである Stable Diffusionを一般公開しました。StableLM モデル一式のリリースにより、Stability AI は、基盤AI 技術をすべての人が利用できるようにすることを続けています。StableLMモデルは、テキストやコードを生成でき、様々なアプリケー
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
手元で動く軽量の大規模言語モデルを日本語でファインチューニングしてみました(Alpaca-LoRA)｜masa_kazama
イントロ最近、ChatGPTやGPT-4などの大規模言語モデル(LLM)が急速に注目を集めています。要約タスクや質疑応答タスクなど様々なタスクで高い性能を発揮しています。これらのモデルはビジネス分野での応用が非常に期待されており、GoogleやMicrosoftが自社サービスとの連携を進めているという報道も相次いでいます。 今回は、手元で動作する軽量な大規模言語モデル「Alpaca-LoRA」を日本語にファインチューニングしてみました。この記事では、そのファインチューニングのプロセスや応用例について簡単に解説していきます。ChatGPTやGPT-4は、モデルがブラックボックスでありAPI経由でしか入力を与えて出力を得ることができません。さらに、現時点（2023年3月20日）では、独自のデータを用いてファインチューニングを行うこともできません。 しかし、Alpaca-LoRAというモデルを用
寒い日が続いていますが,、12月、1月、2月とより寒さが厳しさを増してくる中、冬キャンプを暖かく快適に過ごすためにはストーブが必要です。 そして、石油の反射式ストーブならテント内のレイアウトもしやすく、冬キャンプ初心者にはおススメですよ。 冬キャンプ初心者には石油（灯油）ストーブがおススメの理由！ 石油（灯油）ストーブの種類！ 対流式石油ストーブとは！ 対流式石油ストーブの特徴！ 反射式石油ストーブとは！ 反射式石油ストーブの特徴！ 冬キャンプ用の石油（灯油）ストーブ10選！ 対流式石油（灯油）ストーブ7選！ コロナ「石油ストーブ SLシリーズ」 トヨトミ 「対流式石油ストーブ RB-250」 トヨトミ「フェイバークラス RL-F2500(H)」 トヨトミ「ギアミッション RR-GE-25」 センゴクアラジン「ブルーフレームヒーター」 フジカ「ハイペット」 アルパカ「プラス ストーブ」 石
冬キャンプにストーブは必要or不要？キャンプストーブ4種類の特徴を考えよう！ - 格安^^キャンプへＧＯ～！
冬のキャンプで最優先に考えるのは寒さからどう身を守るかという事で、暖をとる事ができるアイテムが欲しくなるものです。 暖房としてはストーブが効率的で暖かく、一台あれば冬キャンプでも対応できますが、そもそも本当に必要なのでしょうか。 冬キャンプにストーブは必要なの？ 冬キャンプのメリットとは！ 冬キャンプのデメリットとは！ 冬キャンプはストーブが無くてもOK！ 4種類のストーブを考えてみよう！ 電気ストーブは安全性抜群！ Sintu「小型セラミックヒーター」 アイリスオーヤマ「セラミックヒーター」 石油ストーブは使い勝手抜群！ コロナ「RXシリーズ」 アルパカストーブ「ALPACA PLUS」 ガスストーブは手軽さ抜群！ ニチネン「ミセスヒートイヴ」 センゴクアラジン「ガスストーブ」 薪ストーブは火力抜群！ ホンマ製作所「時計2型薪ストーブ」 ローベンス「コバクテントストーブ」 冬キャンプは暖
Stable Diffusion開発元、独自の大規模言語モデル「StableLM」をGitHubで公開し、商用利用も可能。チャットAI「StableChat」は数カ月後 | テクノエッジ TechnoEdge
Stable Diffusionの開発で知られるAI企業Stability AIは、オープンソースの大規模言語モデル（LLM）「StableLM」を発表しました。 現在GitHubで公開中のアルファ版では30億パラメータと70億パラメータのモデルを提供。GitHubリポジトリで公開しています。150億パラメータから650億パラメータのモデルも提供する予定です。ライセンスはCC BY-SA-4.0で、商用または研究目的で利用できます。 GPT-3と比較して小規模なパラメータ数であるにも関わらず、「会話やコーディングのタスクで驚くほど高い性能を発揮する」という性能をうたう背景には、1.5兆トークンのコンテンツを含む、実験用データセットがあると説明しています。 StableLM with human feedback (RLHF) でファインチューニング（微調整）された研究モデル一式も公開。Al
「オープンソースは脅威」「勝者はMeta」「OpenAIは重要ではない」などと記されたGoogleのAI関連内部文書が流出
2022年から2023年にかけて、OpenAIが「GPT-4」を、Metaが「LLaMA」を、Stability AIが「StableLM」を発表するなど、大規模言語モデル(LLM)の開発競争が1年間で激化しました。同様に大規模言語モデルの「LaMDA」を開発してしのぎを削ろうとするGoogleが、競合他社を分析し、オープンソースの脅威について詳細を記した内部資料が、Discordの公開サーバーから流出しました。 Google "We Have No Moat, And Neither Does OpenAI" https://www.semianalysis.com/p/google-we-have-no-moat-and-neither 対話型AIの知名度を爆発的に高めた「ChatGPT」を開発するOpenAIは、対話型AIの分野で頂点に立っているとも分析できますが、Googleは「G
米Microsoftら、“コーディング専用”大規模言語モデル「WizardCoder」開発 文章から高品質なコード出力
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Microsoftや香港浸会大学に所属する研究者らが発表した論文「WizardCoder: Empowering Code Large Language Models with Evol-Instruct」は、米Hugging Faceが5月に発表したCode LLM（コーディング専用大規模言語モデル）「StarCoder」を軽量で高精度に強化する手法を提案した研究報告である。リポジトリはこちら。 コード生成に関連する課題に取り組むため、多数のCode LLMが提案されている。これらのCode LLMは、大量のコードデータを使用して事前学
無料・商用利用可なオープンソースの大規模言語モデル Dolly 2.0(dolly-v2-12b) を試してみた - Qiita
概要 大規模言語モデル Dolly 2.0 を試してみました。 公式ブログ に詳しく書いてありますが、 Alpaca、Koala、GPT4All、Vicuna など最近話題のモデルたちは 商用利用 にハードルがあったが、Dolly 2.0 は自社で準備した 15000件のデータで学習させたデータを使っているためそのハードルがなくなったようです。 ありがたいですね。さっそく試してみました。 2023/04/18 コード更新 Dolly 2.0モデルの独自パイプライン処理が本稿公開時(2023/04/13)から変更されているため、それに対応するよう本稿ソースコードも修正しました。 該当コード（変更後）
東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。 【修正履歴：2023年8月18日午後9時 当初、モデルの公開形式をオープンソースと記載していましたが、ソースコードが公開されていないなどオープンソースの定義に沿わないと思われる部分があるため記述を改めました。なお、引用部分についてはそのままにしています】 日本語だけでなく英語のデータセットも学習に用いることで学習データ量を拡張し、言語間の知識転移を行うことで日本語の精度を高めたのが特徴。 事前学習には、代表的な英語のデータセット「The Pile」と日本語のデータセット「Japanese-mC4」を使用。事後学習には、Alp
世界中のWindowsがぶっ壊れた問題、「ぬるぽ」が原因だったらしい→ネット始まって以来最大のcrowdstrike「ぬるぽ」Windows 「ガッ」
井上🦙ラー @zenrah_moog 写真は本人です🦙㈱アルパカコネクト代表取締役兼医師兼免疫研究者兼webエンジニア(FE/BE/アーキテクト)兼コンポーザー兼ライター兼シナリオディレクター【FF14】占星【呟き】育児、サービス、web開発(Vue/SpringBoot/AWS/cloudflare)【他】ポジティ部 alpaca-connect.com 井上🦙ラー @zenrah_moog crowdstrike、C++のぬるぽが原因だったらしく、インターネット始まって以来最大の crowdstrike「ぬるぽ」 Windows 「ガッ」 をリアルタイムで見れたということ
💃🏼💃🏼Alpaca🕺🏼🕺🏼 @nanatea 今日会社で女性社員にお昼にカナリ深刻な顔で誘われて、すわ辞めるのかとおもったら、この間昇進したら仕事に初めて誇りとやる気を見いだせたのに、付き合ってる彼氏の年収を100万くらい抜いてしまったので彼氏に敵認定されてしまい、毎日い自尊心を傷つけるようなことを言われて辛いと。
CyberAgent社の日本語LLM OpenCALMの対話モデル用途のfinetune検証 - ACES エンジニアブログ
こんにちは、ACESでアルゴリズムエンジニアとして働いている檜口です。最近はChatGPTを始めとする言語モデルの研究開発やプロダクト改善に取り組んでいます。 昨年末のChatGPTのリリース以降、大規模言語モデル（large language model, LLM）の社会実装が急速に進んできています。弊社でも商談解析AIツールACES MeetにLLMを組み込むなど、LLMの活用を広げています。こちらに関してはLLMを活用したAIまとめ機能リリースの裏側について過去記事を書いてありますのでご興味ある方はぜひご覧ください。 tech.acesinc.co.jp LLMはOpenAIのChatGPTが最も有名ですが、最近はオープンソースでモデルを開発する流れも活発になっています。特に、英語で学習したオープンソースモデルはMeta社のリリースしたLlamaを始めとして非常に強力なものがリリース
はじめに 『プロフェッショナルTLS&PKI改題第2版（原題: Bulletproof TLS and PKI Second Edition）』が出版されました。今回は出版前のレビューには参加していませんが、発売直後にラムダノートさんから献本をいただきました。ありがとうございます(そのためタイトルにPRを入れてます)。原著のサイトでは前バージョンとのDiffが公開されており、今回は翻訳の確認を兼ねて更新部分を重点的に読みました。このエントリーでは、改訂版のアップデート部分がどのようなもので、今後どう学んだらよいかということを中心に書いてみたいと思います。 短いまとめ： HTTPSへの安全意識が高まっている今だからこそ『プロフェッショナルTLS&PKI』を読みましょう。 長文注意！： 書いているうちに非常に長文(1万字以上)になってしまったので、長文が苦手な方は、GPT-4要約(400字)を
「LLM」の「LoRA」「RLHF」によるファインチューニング用のツールキットをまとめました。 1. PEFT「PEFT」は、モデルの全体のファインチューニングなしに、事前学習済みの言語モデルをさまざまな下流タスクに適応させることができるパッケージです。 現在サポートしている手法は、次の4つです。 ・LoRA ・Prefix Tuning ・P-Tuning ・Prompt Tuning ◎ LLaMA + LoRA 「Alpaca-LoRA」は、「LLaMA」に「LoRA」を適用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「finetune.py」がLoRAの参考になります。 ・tloen/alpaca-lora ◎ RedPajama-INCITE + LoRA 「INCITE-LoRA」は、「RedPajama-INCITE」に「LoRA」を適用する
Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界 - エクサウィザーズ Engineer Blog
こんにちは！ 画像システムグループで機械学習エンジニアをやっている小島です。 この記事では、今ホットな「Zero-shot Learning」と「Vision & Language」に関する最新情報を、CLIPという研究を起点として網羅的にサーベイをしていきます。このために論文1000本に目を通し、70本程度を記事にしました。 Zero-shotやVision & Languageは、Stable Diffusionに代表される画像生成AIとも密接に関連している技術です。この記事を通して、Vision & Languageの奥深い世界を体感できるでしょう。 注意事項 この記事は非常に長いため、全部読むのに1時間以上かかる可能性があるので、休憩を取りながら、または必要な部分だけ読んでください。各セクションを個別に読んでも問題ありません。 また、文章中の画像は、特別な記載がない限り、引用元の論
[Hacker News discussion, LinkedIn discussion, Twitter thread] A question that I’ve been asked a lot recently is how large language models (LLMs) will change machine learning workflows. After working with several companies who are working with LLM applications and personally going down a rabbit hole building my applications, I realized two things: It’s easy to make something cool with LLMs, but ver
100億パラメータサイズ・日英2ヶ国語対応の大規模言語モデル“Weblab-10B”を公開しました。 | 東京大学松尾・岩澤研究室（松尾研）- Matsuo Lab
訂正版20230822プレスリリース 東京大学松尾研究室 100億パラメータサイズ・日英2ヶ国語対応の 大規模言語モデル“Weblab-10B”を公開 ―公開済みの日本語大規模言語モデルで最高水準（注1）― この度日本語・英語の2ヶ国語に対応した100億パラメータサイズの大規模言語モデル（Large Language Model ;LLM）を事前学習と事後学習（ファインチューニング）により開発し、モデルを公開しましたのでお知らせします。今後も、Weblab-10Bのさらなる大規模化を進めるとともに、この資源を元に、LLMの産業実装に向けた研究を推進して参ります。 松尾研は、知能の謎を解くことを目的に人工知能の研究に取り組む研究室です。現在はテキスト生成で注目されることの多いLLMの技術ですが、今後は画像組み込みなどのマルチモーダル化、ブラウザ・ソフトウェア・ロボット等の行動制御の実装に発
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リモートワークのために買って良かったもの10選 - ちなみに
アルパカ証券 技術ノート｜アルパカ証券の裏側 - はじめに
無料GPT-4アプリの公開とクリーンデータセットの作成について｜kun1emon
ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
【アーティスト別】ヤバい変態トンチキグッズ一覧まとめ - kansou
百花繚乱の大規模言語モデル その現状まとめ【2023年4月末版】
「自分でLLMを動かすことでイメージがつきやすくなる」 ローカルで使うメリットと、日本語特化LLMを動かすために必要なスペック
歴代チャットボットと最近のLLMのまとめ - Qiita
Railsのモデル名をすべて変更した話 - SmartHR Tech Blog
Railsプロジェクトで好んで使っている便利な処理 - alpaca-tc
法令APIを利用したリサーチツールを自作してみた【SmartRoppo】 - Qiita
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
冬キャンプ用の石油（灯油）ストーブ10選！反射式ストーブも侮れない！？ - 格安^^キャンプへＧＯ～！
東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」
彼氏より年収が高くなったらモラハラが始まった話「ひどい話…」「別れる一択」
書評 プロフェッショナルTLS&PKI 改題第2版 (PR) - ぼちぼち日記
LLM の LoRA / RLHF によるファインチューニング用のツールキットまとめ ｜npaka
Building LLM applications for production