最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
C言語をマスターしたい人はGCCのバージョン14を使いましょう - pyopyopyo - Linuxとかプログラミングの覚え書き -
C言語（C++を含む）を習得したい人，ポインタを勉強したい人はgcc-14を使いましょう．難しいところは gcc-14 が丁寧に解説してくれます C言語の難しいところ 例を示します．C言語で記述された，たった６行のソースコードです int main() { int buf[10]; buf[10] = 0; return 0; } このソースコードには問題があります．初見でわかるでしょうか？ : : : 問題があるのは buf[10]=0 の部分です．C言語でやりがちなミスですが，これがバグやセキュリティホールの原因になります． C言語が難しい理由は二つあります．この手の問題を見逃しやすい点と，この手の問題を理解することが難しい点の二つです gcc 14 に解説してもらいましょう 上記の６行のソースコードをgcc14を使ってコンパイルしてみます ソースコードのファイル名は test.c と
Linux コンテナの歴史を追うとコンテナの仕組みがわかる / Dai Kichijoji pm
2024-07-13「大吉祥寺.pm」の発表資料です。 参考となる情報にはPDF中からリンクをしていますが、資料中のリンクは Speaker Deck 上ではクリックできないので PDF をダウンロードしてご覧ください。
ジョーカルビ😺 @bellmaron0408 angooの次回作楽しみ！！ 趣味はパテによるフルスクラッチ。作ってる時が一番楽しいかな(^○^) 最近はクレパスや水彩で絵も描いてます。 BOOTH販売もしています。bellmaron0408.booth.pm ジョーカルビ😺 @bellmaron0408 ① 金曜夕方。仕事を終え家で寛いでいると妻から電話「パパさん、今仕事？私 記憶が無いんだけど！」と明るい声。 直ぐに店長が電話口に出て「ご主人ですか？奥様の言動がおかしいので脳梗塞の可能性あります。」 ジョー「直ぐに救急車呼んでもらえますか？私も直ぐにそちらに行きますので」 続く 2024-05-21 19:04:48 ジョーカルビ😺 @bellmaron0408 ② 救急車とほぼ同時に到着 救急車に乗せられる時にやっと妻の顔を見れた。不安げな表情が忘れられない この時点で僕に電話し
海外サイト「IT之家」は4月12日（現地時間）、Appleのエンジニアリング担当副社長Kate Bergeron氏とMac製品マーケティングチームのEvan Buyze氏の独占インタビューを公開しました。そのなかでEvan Buyze氏は、Macの実行メモリ容量について興味深い発言をしています。 Macでは2015年以降、全モデルが最低でも8GBの実行メモリを搭載してきました。2020年以降に登場したApple Silicon搭載モデルでは、CPU、GPU、実行メモリを1つのチップに収めたユニファイドメモリとすることで、各チップが分離していた従来モデル（Intel Mac）と比べ、全体的な処理能力も向上しています。 一方、複数のチップをまとめた結果、購入後に実行メモリの容量を増やすという、Intel MacのハイエンドモデルやWindowsマシンではお馴染みのテクニックは使えなくなりました
介護されたい高齢オタクを引っかける釣り針がすごい──『葬送のフリーレン』 - シロクマの屑籠
これから書くことは『葬送のフリーレン』評ではない。なぜなら『葬送のフリーレン』という厚みのある作品の全体像をうんぬんするものでなく、作品のごく一部、作品に仕掛けられている数ある釣り針のひとつに注目し、「これは介護されたい高齢オタクが釣られるしかない、見事な釣り針ですなぁ」とテカテカする趣向のものだからだ。 釣り針というのは他でもない、『葬送のフリーレン』が、介護されたい高齢オタクが過去と現在に思いを馳せて願望するのに都合良い作品としてつくられているからだ。繰り返すが、『葬送のフリーレン』の魅力はそれだけじゃない。エルフと人間の寿命の差や時間感覚の差、勇者の遺したもの、人類の英知と技術革新etc...、そういったものを支える作者の洞察の泉はどうなっているんだろう？ と惚れ惚れしてしまう。ただ歳月を感じさせる作品でなく、まして寿命チートを連想させる作品では決してなく、歳月の果てにしか宿らない旨
はじめに とあるセキュリティインシデントにおいて、サーバを電源ケーブルごと引き抜いたという対応が行われ、X（Twitter）ではこの対応について賛否両論が見られました。このうち電源を入れたままにすべきという人の意見には、「マルウェアの中にはシャットダウンすることで自分自身を削除し、感染痕跡を削除するものがある」「メモリを調査すべきなのでシャットダウンすべきではない」のような意見が見られました。 本記事では実際にメモリからどのような情報がわかるか、そしてメモリダンプを解析することの有用性と課題について記載します。 メモリフォレンジック セキュリティインシデントにおいてはフォレンジック調査が行われる場合があります。フォレンジック調査には、HDDやSSDのようなストレージを調査対象とするディスクフォレンジック、パケットキャプチャやNetFlow、ProxyやFWのログのような通信を対象とするネッ
malloc.c を読む (malloc / free)
このシリーズではこれらの関数が内部でどのように処理されるのかを調べていきます。 malloc.c を読む (malloc / free) malloc.c を読む (bins) malloc.c を読む (arena) 今回は malloc() free() の全体像を紹介します。 注意としてここでの目的は全体を俯瞰して、詳細を詰めずとも各 bins の役割を理解し、攻撃手法を理解できるようにすることです。それに合わないマルチスレッドや最適化などにおける緻密なトリックやコーナーケースなどは暗黙的に実装されていると仮定します。その詳細についてはソースコードや他の資料を参考にしていただきたいです。 ここで扱う glibc のバージョンは v2.38 です。また glibc のソースコードはブラウザ上で読むことができます。 https://elixir.bootlin.com/glibc/lat
Why Is SQLite Coded In C
Note: Sections 2.0 and 3.0 of this article were added in response to comments on Hacker News and Reddit. Since its inception on 2000-05-29, SQLite has been implemented in generic C. C was and continues to be the best language for implementing a software library like SQLite. There are no plans to recode SQLite in any other programming language at this time. The reasons why C is the best language to
米ホワイトハウス「将来のソフトウェアはメモリ安全になるべき」と声明発表。ソフトウェアコミュニティに呼びかけ 米ホワイトハウスの国家サイバー局長室（The White House Office of the National Cyber Director：ONCD）は、サイバー空間における攻撃対象領域を積極的に削減する目的で、テクノロジーコミュニティやソフトウェアコミュニティに対してメモリ安全（Memory Safe）なソフトウェアの実現を積極的に呼びかけるプレスリリース「Future Software Should Be Memory Safe」（将来のソフトウェアはメモリ安全になるべき）を発表しました。 プレスリリースの中で、国家サイバー局長Harry Coker氏は「私たちは国家として、サイバースペースにおける攻撃対象領域を減らし、あらゆる種類のセキュリティバグがデジタルエコシステムに
スタディサプリ最大のRailsアプリケーションにYJIT+pitchforkを導入してメモリ使用量を劇的に削減するまで - スタディサプリ Product Team Blog
こんにちは。SREのkyontanです。Rubyが大好きなのでRubyの話をします。ちなみにリクルートはRubyKaigi 2024へGold Sponsorとして協賛しています! *1。ぜひ沖縄でお会いしましょう。 これはあるアプリケーションのメモリ消費量を示すグラフなのですが、まさかgemを入れ替えるだけでこんなに嬉しい変化が見られるとは思っていませんでした。今日はそんなgemの話をします。 話は遡って2023年4月のある日、インターネットを眺めていたところ、ShopifyがpitchforkというOSSを公開したという情報が目に留まりました。 調べてみると、どうやら著名なRackサーバー実装の1つであるunicornの派生版であり、メモリ使用量の削減に特化しているらしいのです。 github.com これはスタディサプリ小中高のあのリソースドカ食いマイクロサービス第一位である api
かつて「漢江の奇跡」とまで言われた韓国経済の失速が著しい。製造業への依存や財閥支配といった過去の成長モデルから脱却できないからだと、英経済紙「フィナンシャル・タイムズ」が報じている。そんななか、韓国政府はAI特需を見込んでソウル郊外に巨大な半導体集積地を築こうとしてるが……。 世界最大規模の半導体クラスター ソウルから南に40キロ離れた龍仁（ヨンイン）市郊外では、韓国の大統領が世界的な「半導体戦争」と呼ぶ状況に備えて、無数の掘削機が準備を進めている。 掘削機は1日に4万立方メートルもの土砂を運びだし、山を真っ二つに切り崩しながら、新たな半導体クラスター（集積地）の土台を築いている。その一角には、世界最大規模の3階建て製造工場も建設される予定だ。 半導体メーカーのSKハイニックスが910億ドル（約14兆円）を投じて建設したこの1000エーカーの製造拠点は、サムスン電子による300兆ウォン（約
はじめに ユビーでエンジニアをしているおおいしつかさです。 これは、Ubie Engineering Advent Calendar 2023の12月7日の記事になります。 何を書こうかなー、最近はユビーの根幹システムのリアーキテクチャをやっているのでその辺かなーと思ったのですが、まだ仕掛かり中だということと具体な業務に直結しそうな内容なので抽象化して書くのが面倒そうだなーと思ってたところに軽いトピックが飛び込んできたので、そのことを書くことにしました。 ChatGPTはみなさん使われていると思いますが、ぼくも別の業務でOpenAI関連の機能開発に携わっています(ユビーで働くといろんな業務に携われるのがいいところです) 。 その仕事の中で、Node.js環境でメモリ肥大化の事象に遭遇したので、それをどのように発見して改善したかについてお話します。 ぼくは今も昔もRubyが大好きですが、ふだ
ChatGPTの「メモリ（Memory）」機能の活用法 - Taste of Tech Topics
こんにちは、暖かくなったと思ったら涼しくなったりと、なかなか洋服選びが難しい季節ですが皆さん体調お変わりないでしょうか。安部です。 今回は、ChatGPTで少し前に一般公開された「メモリ（Memory）」機能をご紹介し、活用のためのTipsを共有できればと思います。 機能の利用自体は何も意識せず簡単にできますが、意識的に活用しないと本領発揮してくれない機能だなという印象です。 まずは、どのような機能なのか簡単に見ていきましょう。 メモリ機能の概要 メモリ機能が使えると何がうれしいのか メモリ機能の有効化 実際に使ってみる 活用Tips ショートカットコマンドの作成 手順自動化 前提知識の補完 メモリの削除 プライバシー/セキュリティについて まとめ メモリ機能の概要 「メモリ（Memory）」機能とは、文字通りChatGPTがこれまでやりとりした情報を記憶し、以降の応答時にそれらを踏まえた
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
【特集】 メモリ8GBだともう少ない？16GBと32GBとの差を用途別に徹底比較
妻から電話「今仕事？私 記憶が無いんだけど！」と明るい声。直ぐに店長が出て「奥様の言動がおかしいので脳梗塞の可能性あります」
本気か？Apple幹部が「Macのメモリは8GBでOK」と主張。 - すまほん!!
インシデント発生時に電源を入れたままにすべきか問題 - Qiita
米ホワイトハウス「将来のソフトウェアはメモリ安全になるべき」と声明発表。ソフトウェアコミュニティに呼びかけ
韓国経済の奇跡は終わったか─過去の成長モデルに固執して改革を怠った国 | 英経済紙が報じる「韓国の失速とその原因」
Node.js でメモリ肥大化の原因を特定してみた