LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
日本の国土交通省が送る『Cities: Skylines』Modv2.0公開！好きな実際の街を再現する「SkylinesPLATEAU」―設定ファイル自動生成などで使いやすく | Game*Spark - 国内・海外ゲーム情報サイト
国土交通省が主導するプロジェクトPLATEAU（プラトー）は、『Cities: Skylines』のMod「SkylinesPLATEAU」のv2.0を3月29日に公開しました。 オープンデータの3D都市モデルを『Cities: Skylines』にインポートするMod「SkylinesPLATEAU」はPLATEAUが2023年3月に公開した『Cities: Skylines』向けModで、実際の街の3Dモデルをゲームにインポートすることができます。「まちづくりの計画検討やワークショップ、教育の現場等で活用」できるとされています。 同ModはGitHubにてソースプログラムが公開されているほか、導入の詳しいマニュアルがこちらで公開されています。
運用設計における設計項目の体系化 / 20240207-ssmjp-operation-design-items
ssmjp ssmonline #38 "第四回はたのさん祭 オンライン"( https://ssmjp.connpass.com/event/307397/ )での発表資料です。 (運用設計ラボ合同会社 波田野裕一)
ランキング参加中プログラミング はじめに この記事では、Immutable Data Modelと呼ばれる設計手法をもとに、リレーショナル・データベースにおける、テーブル設計の話を書いています。また、今回の実践で利用する、別の考え方の背景を理解するために、Out of the tar pitという小論文の内容にも言及します。 「状態とは何か？」というややこしい話がたくさん出てきますし、データベースのテーブル設計についての話であることから、たくさんのSQLが出てきます。なので、データモデリングとか状態管理とか、特にSQLとかに興味がない人には面白くないと思います。 そのあたりに興味ある方は、読んでみて欲しいです。 Immutable Data Modelを、実際のアプリケーションで使うデータベースに採用するにあたり、どういう考え方で、どのようにテーブルを構成したか、自分なりの経験を書いていま
日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan
Stability AIは日本語向け画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。入力した画像に対して文字で説明を生成できる画像キャプション機能に加え、画像についての質問を文字で入力することで回答することもできます。 Japanese InstructBLIP Alpha「Japanese InstructBLIP Alpha」は、先日公開された日本語向け指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を拡張した、画像を元にしたテキストが生成されるモデルです。 「Japanese InstructBLIP Alpha」は、高いパフォーマンスが報告されている画像言語モデルInstructBLIPのモデル構造を用いております。少ない日本語データセットで高性能なモデルを構築するために、モデルの一部を大規模な
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 先日、 OpenAIからGPT-4oがリリース されました。 いろいろGPT-4oに関して調べていると、スピードが速くなっていたり、音声も直接扱えてマルチモーダル化が進んでいたりするようなのですが、画像に関して GPT-4-turboに比べ、認識やOCRの精度が向上している ようです。 製造業という観点からすると、これは 設計図面などに活かせるようになるのでは？ と思いました。 機械部品などの設計図面は以下のように、特定の方向から部品を2次元上に落とし込んだ形で書かれるのですが、部品本体を描いている図以外に、寸法や名称といった文字も含まれた画像になっています。 このような 図と文字の複合データにおいて、GPT-4oの進化は有効なのではないか と考えました。 ※画像元URL: http://cad.wp.xdoma
Llama
Llama is the next generation of our open source large language model, available for free for research and commercial use.
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
Research部門の近江崇宏です。 今回、ストックマークは最近の話題にも詳しいGPT-NeoXをベースとした14億パラメータの日本語のLLM（大規模言語モデル）をオープンソースとして公開します。モデルはHugging Face Hubからダウンロードいただけます。 https://huggingface.co/stockmark/gpt-neox-japanese-1.4b 当社はビジネスにおける情報収集・分析をサポートするサービスを運営しており、そのために最新のWebデータの収集を日々行なっております。今回の事前学習では、一般にLLMの事前学習によく使われるCommon Crawl由来のデータだけでなく、当社が所有している独自のWebデータ（2023年6月まで）も含めて事前学習を行うことで、最近の話題にも詳しいモデルを開発しました。具体的には、事前学習に用いたデータセットはCC100の
生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。 このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。 さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。 パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデー
かとうP @tokikoPkato コミケで買って来た戦利品読んでたら、同じフリー素材と思われるホテルが３軒出て来て爆笑してる🤣 ※R18本からなので、やや閲覧注意 pic.twitter.com/EJy33bdkZg 2023-08-14 14:23:12
Stable Diffusionのおすすめモデルを紹介！ダウンロード方法から著作権まで徹底解説 2024 2/20 「Stable Diffusion」を使うと写真のようにリアルな画像や、高画質なアニメ調の画像を作れますが、これは使用するモデルによって異なることをご存知でしたか？ 今回は、画像生成に大きく影響するstable diffusionのモデルに焦点を当てて、おすすめのモデル、ダウンロード方法、使用方法、さらに商用利用時の注意点について詳しくご紹介します。 この記事を最後までお読みいただければ、お好みの画像を自由に作れるようになるかもしれません。 ぜひ、最後までご覧ください！ なお弊社では、生成AIツール開発についての無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる Stable Diffusionとは Stable Diffusionは、画像
導入 本当に革命的な技術なのか? 「君たちはどう生きるか」で驚いている間にすごい論文が世界の話題を掻っ攫っていた。 その名も「ReLORA」簡単に言えば、「事前学習にLoRAを使う」というものである。 これは本当に革命的な発見かもしれないので、僕の仮説も含めて丁寧に説明する。 まず、大前提として、「LoRA」という技術について LoRAは、「Low Rank Adaptation(日本語で言うとすれば低階適応)」という技術で、これまでは主にファインチューニングに使われてきた。 ファインチューニングとは、あらかじめ学習されたニューラルネットワークに対して追加で学習させ、概念を強調させたり新しく覚えさせたりする。 たとえば、僕の顔でStableDiffusionをファインチューニングすれば、僕みたいな顔の絵がどんどん出てくる。 言語モデルにおけるLoRAも同様で、新しい概念や「こういうやりとり
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
36億パラメータの日本語言語モデルを公開しました
実践Immutable Data Model - 紙箱
GPT-4oを使って2Dの図面から3DのCADモデルを作る
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
最近の話題にも詳しい14億パラメータの日本語LLMの公開
ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた
コミケの戦利品の同人誌を読んでたら同じホテルの素材が使われていた話…「例のプールならぬ例のホテル」の反応続々
Stable Diffusionのおすすめモデルを紹介！ダウンロード方法から著作権まで徹底解説 | WEEL
これぞ革命!?ゼロから大規模言語モデルを学習できるReLORA登場(7/18追記あり)｜shi3z