hourousutenekoのブックマーク - はてなブックマーク

1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。大きなモデルをGPU寄せ集めしつつ遊びたい！しかしながら、コンシュマー向けのGPUにおいては、7B
hourousuteneko 2024/05/08
あとで読む
リンク
自宅でLAN工事してみた | IIJ Engineers Blog
◆仕事：基盤エンジニアリング本部基盤技術部所属。2001年IIJ入社以来、お客様に提供するサービスを裏側から支える部署でサーバインフラの業務に従事。サービス向けのプライベートクラウドを作る業務から、サーバに詳しくなり、ストレージ・ネットワーク・配線工事・電気・データセンターにも興味を持つ日々。白井DCCのサーバールーム内のフロア設計するにあたりデータセンターチームと共同で仕様を検討。　◆資格：第二種電気工事士/工事担任者(総合通信)　◆趣味：安い航空券を見つけて旅に出かけること【IIJ 2022 TECHアドベントカレンダー 12/16（金）の記事です】はじめに私の家族構成は妻と子供二人です。これまで住んでた家が手狭になり、上の子が小学生になるタイミングでちょうどよい物件を見つけ、引っ越しました。その物件には、共用設備としてマンションインターネットが敷設されていて、共用部から専有部
hourousuteneko 2022/12/16
リンク
QUICをゆっくり解説(14)：輻輳制御 | IIJ Engineers Blog
Haskellコミュニティでは、ネットワーク関連を担当。 4児の父であり、家庭では子供たちと、ジョギング、サッカー、スキー、釣り、クワガタ採集をして過ごす。「フロー制御」の回で説明したように、輻輳制御とは途中のネットワークが溢れないようにするための仕組みです。QUICは、正確なRTT計測や、前回説明した簡潔なロス検知の機能を提供しています。このため輻輳制御としては、パケット欠落や遅延といったシグナルを使うアルゴリズムが利用可能です。RFC9002では、デフォルトの輻輳制御アルゴリズムとしてNewRenoを採用しています。 1990年に現れたRenoは、1995年に出されたアイディアに基づいて改良されNewRenoとなりました。2008年に提案されたCUBICや、2016年に現れたBBRに比べると、NewRenoは古い輻輳制御アルゴリズムです。QUICのデフォルトの輻輳制御に古いNewRe
hourousuteneko 2021/11/05
あとで読む
リンク
QUICをゆっくり解説(1)：QUICが標準化されました | IIJ Engineers Blog
Haskellコミュニティでは、ネットワーク関連を担当。 4児の父であり、家庭では子供たちと、ジョギング、サッカー、スキー、釣り、クワガタ採集をして過ごす。不定期連載を始めます IIJ-II 技術研究所技術開発室の山本です。私はプログラミング言語HaskellでHTTP/2とTLS 1.3を実装した後、もっぱらQUICを実装することに時間を費やしてきました。ご存知の方もいらっしゃると思いますが、今年の5月にQUICの仕様がRFC9000として公開されました。このRFCは実によく書かれているので、読みこなせばQUICの全容が掴めるでしょう。しかし仕様は膨大ですし、実際に実装してみて初めて腑に落ちることもあります。そこでこの機会に、実際にQUICを実装した経験者目線で、QUICの解説をしていきたいと思います。なんとなくTCP/IPを分かっている方が、ある程度QUICの理解ができることを
hourousuteneko 2021/07/02
あとで読む
リンク
1