こんにちは、ACESでアルゴリズムエンジニアとして働いている檜口です。最近はChatGPTを始めとする言語モデルの研究開発やプロダクト改善に取り組んでいます。 昨年末のChatGPTのリリース以降、大規模言語モデル(large language model, LLM)の社会実装が急速に進んできています。弊社でも商談解析AIツールACES MeetにLLMを組み込むなど、LLMの活用を広げています。こちらに関してはLLMを活用したAIまとめ機能リリースの裏側について過去記事を書いてありますのでご興味ある方はぜひご覧ください。 tech.acesinc.co.jp LLMはOpenAIのChatGPTが最も有名ですが、最近はオープンソースでモデルを開発する流れも活発になっています。特に、英語で学習したオープンソースモデルはMeta社のリリースしたLlamaを始めとして非常に強力なものがリリース
WindowsノートPCのクソデカACアダプタと決別できる謎USBケーブル2024.03.25 15:00252,940 武者良太 レンガじゃねえか。ってくらいデカいゲーミングノートPCでは使えないモノだけど。 USB Type-Cって、コネクタ一緒でも仕様が多すぎてよくわかんない!という方は、USBトリガーケーブルという沼には近づいてはなりません。なんてったって、USB PDの仕様を超活用した特殊USBケーブルなのですから。 カンタンにいえば、 「ここで送る電圧は9Vだけな!」とUSB PD対応アダプタやモバイルバッテリーに言い聞かせるケーブルなんです。内部に電力の仕様を定める回路が入っていて、ギターエフェクターのように本来ならゴロりとしたACアダプタを使う機器を、USB電源エコシステムで賄えちゃうという代物なんです。自作すればセンターマイナスのACアダプタセットも作れちゃうってヤツなの
ノーベル物理学賞を受賞したこともある偉大な科学者であり、愉快な先生でもあるリチャード・ファインマン(1918 - 1988)が推奨した学習メソッドである「ファインマンテクニック (The Feynman Technique」というのがあります。 今回はこの、知ってるだけでなく、使えるものになる学習をしたいときに最強のファインマン学習メソッドについて紹介したいと思います。 ところでまず最初に断っておきたいのは、ここでいう学習とは本を読み流して何らかの概要を知っているとか、試験のために暗記したりするといったものではなありません。 学んだことを他の人に説明することができ、様々な状況でそれらを自由に活用することができるという意味においての学習です。 以下、要訳。 もし何かをほんとうの意味で学んだのであれば、それはあなたにとって残りの人生で使い続けることができる武器となります。そして、なにか新しいこ
先日、再開発に携わる関係者から注目を集めた決定が裁判所から下されました。東京・練馬区にある西武池袋線の石神井公園駅前で進められている再開発事業について、一部地権者の申し立てに基づき、東京地裁が一時的に土地の明け渡しを停止する決定をしたのです。異例ともいえる決定が出された現場はどうなっているのか?早速、現地に向かいました。 ※私たちは「不動産のリアル」と題して、各地の不動産事情を取材しています。 皆さんの体験や意見をこちらまでお寄せください。 (首都圏局 不動産のリアル取材班/記者 牧野慎太朗) 現場は、西武池袋線の「石神井公園駅」前の商店街に面した一角にありました。 約6000㎡ある再開発エリアには、雑居ビルが建ち並び、ラーメン屋や居酒屋などの看板が掲げられていますが、すでにほとんどの店が閉店していました。店頭には「閉店」や「移転」を知らせる張り紙が出され、店内は暗く静まりかえっていました
RailsのためのHTTP/2プロキシ「Thruster」がオープンソースで公開された。ほとんど設定不要で、導入によりRailsアプリをより高速かつセキュアにする。 Ruby on Rails(以下、Rails)の開発元である37signalsは、より高速でセキュアなRailsアプリケーションを実現するHTTP/2プロキシ「Thruster」をオープンソースとして公開しました。 We've released Thruster as open source! It's a tiny, no-config HTTP/2 enabling, asset caching, X-Sendfile sending proxy for Rails' default web server Puma. One of the secret sauce elements of ONCE, now availab
25日の東京株式相場で小林製薬株がストップ安に当たる17%安の5056円で売り気配になっており、取引が成立すれば2017年2月以来の安値になる。取り扱う紅こうじ原料の一部に意図しない成分が含まれている可能性が判明したと22日に発表したことで売り注文が相次いでいる。 販売する機能性表示食品「紅麹コレステヘルプ」を摂取した人に肝疾患などが発生したとの報告を受けて、製品や自社製造する紅こうじ原料の成分を分析し判明した。成分の特定や肝疾患との関連性は確定していないものの、予防的措置として関連製品を自主回収する。 小林薬が回収する紅こうじ原料を使用しているとして、宝酒造は「松竹梅白壁蔵「澪」PREMIUM〈ROSE〉」、ジェイアール東海髙島屋は「豆だくさん」など、紀文食品は「国産いか使用いか塩辛」などを回収する。 SMBC日興証券アナリストの山中志真氏は、製品自主回収の小林薬への影響は未知数だとし、
理論: LoRAとフルパラメータファインチューニングではどこが異なるのか?LoRAはどこを更新するか?例えばtransformersのpeftライブラリの場合、llamaにおいてはattention 層のquery (q), value (v)のみをデフォルト設定で更新しているようです。 しかし、llama2-7bには300近い層(named_parameters)が存在します。 次のコマンドで、層を確認してみます。 from transformers import pipeline from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig import torch #モデル読み込み model_name = "meta-llama/
Intro Chromium にコントリビュートするためには、ソースコードを理解する以外にも、もろもろ必要な周辺知識がある。 ドキュメントはかなり整備されている方ではあるが、そのドキュメントにたどり着くのが難しい場合もある。 レビュアーなどが親切に教えてくれるものをローカルにメモしているが、それも散らばってきたため、ここにまとめることにする。 まずは初期状態で公開するが、どんどん更新していき、長くなっても分割しないで追記を繰り返そうと考えている。 関連サイト 始めて取り組もうとすると、まずどこを見ればわからないところから始まる。 似たようないくつかのサイトがあり、使い分けがされているからだ。 code search https://source.chromium.org/chromium/chromium/src コードをインタラクティブに検索するためのサイト Workspace 風の U
日本電信電話(NTT)は3月25日、独自に開発した大規模言語モデル(LLM)「tsuzumi」の商用提供を企業向けに開始した。代表取締役社長を務める島田明氏は「2027年までに売上1000億円を目指す」と述べた。 tsuzumiは、NTTが2023年11月に発表した国産LLMだ。特徴の1つはモデルを大幅に軽量化した点で、パラメーター数は軽量版で70億と、OpenAIが提供する「GPT-3」の25分の1程度しかない。これによって、1つのGPUで動作し、大規模ハードウェア不要で事務所内でのオンプレミス利用にも対応する。 2つ目の特徴は「世界トップレベルの日本語処理能力」だ。パラメーターを軽量化したにも関わらず、GPT3.5と日本語性能で比較した場合の勝率は8割を超え、英語においても高い処理能力を達成しているという。さらに、マルチモーダルにも対応し、パワーポイントの図表読解や聴覚も備える。 3つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く