ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
0から始めるNode.jsパフォーマンスチューニング
近年の Node.js は API のサーバとしてはもちろん、Nuxt.js や Next.js といった SSR や BFF などフロントエンドのためのバックエンド言語としての人気が高まっています。 フロントエンドエンジニアがコンテキストスイッチ少なくバックエンドの整備ができることは非常に大きな利点です。 ですが、フロントエンド（ブラウザ側）とバックエンド（サーバ側）ではパフォーマンスチューニングで見るべき点が大きく違います。 しかし Node.js アプリケーションのパフォーマンスイシューの見つけ方などがまとまっている資料は少ないです。 そこで、本記事ではフロントエンドエンジニアが Node.js でパフォーマンスイシューを見つけ、改善するため自分が普段パフォーマンスチューニングを依頼されているときにみている基礎的なポイトをまとめていきます。 1. 計測ステップlink Node.js
この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
ネット上で叩かれがちな物だけど自分は好きな物リスト
プッチ神父他のジョジョのボスは好きってファンはよく見るけど神父好きは滅多に見ない。俺はジョジョラスボスの中で一番好き。荒木先生の筆が乗りまくってると感じる。 恥知らずのパープルヘイズ賛否両論作というか五部ファンの中にはやたら嫌ってる人も居る。発売当時からずっと好きなんだけど、四部小説との対立煽りが酷かった。 西尾維新最近は影薄いけど一時の叩かれ様は凄かった 舞城王太郎ジョジョの小説を書いて以降目に見えてアンチ増えた。何なら本人のアンチよりこのジョジョ小説のアンチの方が多そう 細田守特に時をかける少女以後の細田守作品全部。自分は好きなんだけどねぇ 彼女、お借りしますキャラが可愛いだけの駄作と呼ばれてる奴。これに限らずネットだとラブコメ作品は何やっても叩かれてる印象しかない 僕のヒーローアカデミア匿名掲示板やそこのスレッドを転載するまとめサイトだと親の仇のように叩かれてる作品 機動戦士ガンダム
Note 本記事の内容は Linus 氏の発言が人を傷つける場合に筆者がそれを良しと考えるといった意図はございません 少し古い記事になるが、 Linus Torvalds 氏 の GitHub に対する苦言が記事になっていた。 LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言 - ZDNet Japan Linus 氏が GitHub について苦言を呈するのは今に始まったことではない（後述）が、 別に GitHub のすべてを否定しているわけではない。[1] では一体何が不満なのか。Linus 氏の理想とする git の開発フローを考察した上で、整理してみたい。 Linus 氏の理想 結論からいうと、 「意味あるコミットを作れ」「コミットを大事にしろ」 という思想が伺える。 では 「意味あるコミット」「大事にされたコミット」 とは何なのか。 筆者な
『アズレン』開発会社の社長はどのような人物なのか ― 国籍ではなく性癖、KPIではなく楽しさ、好きな作品は『ごちうさ』【2周年記念インタビュー】
『アズールレーン』の開発会社であるManjuuの社長・林書茵氏が日本でのサービス2周年に合わせて来日する──ある日、我々はそんな情報を耳にした。 彼女が日本で初めて話題になったのは、おそらく2018年5月にAbemaTVで放送された「アズレンTV～石川由依がめぐる アズレン開発現場 in 上海～」だろう。 この時、我々は初めて開発会社の社長の姿を目にし、ファンの間で話題となった。2019年9月に4gamer.netが掲載した林氏のインタビューによると、Manjuuの日本支社の準備が進められており、新作の開発も行われてるため、もしかしたら今後はよく目にする人物になるかもしれない。 https://twitter.com/Manjuu_Japan/status/1184708550896975875?s=20 とはいえ、林氏がどのような人物で、Manjuuがどのような会社で、『アズールレーン』
Memory NoteというプログラマブルなTodoアプリのミドルウェアを書きました。 ややこしいですが、大雑把に言えばReminder的なTodoリストを扱うREST APIをCloudflare Workersで動かす仕組みです。 Headless Todo Appという単語がしっくりくるのかもしれません。 単体だと何ができるのかよくわからないものですが、Todoサービスを自分用に作れる仕組みです。 対象ユーザーは主に自分ですが、Memory NoteのREADMEにセットアップ方法や関連するクライアントの実装も公開しています。 自分の場合は、iOSのショートカットから音声入力で、メモをGitHub Projectのボードにカードして記録しています。 この記録したメモを、iOSのWidgetsとしてホーム画面に出したり、AlfredのHotKeyでワンタッチで表示したり、部屋に電子ペー
One of the key elements of Google's software engineering culture is the use of design docs for defining software designs. These are relatively informal documents that the primary author or authors of a software system or application create before they embark on the coding project. The design doc documents the high level implementation strategy and key design decisions with emphasis on the trade-of
「日本語の原郷」についての論文を読んでみた
歴史言語学についてはまったくの素人だけど、最近話題になった「日本語の原郷は「中国東北部の農耕民」 国際研究チームが発表 | 毎日新聞」（はてブ）っていう記事の元になったロベーツらの論文（Robbeets et al. 2021）を読んでみたよ！ 結論うさんくさい 前提知識共通の祖先を持つことが証明された言語の集団を「語族」という日本語は琉球諸語と共通の祖先を持つことが明らかである（日琉語族；Japonic）しかし日琉語族と他の言語との系統関係は証明されていない内陸アジアのテュルク語族、モンゴル語族、ツングース語族、そして欧州のウラル語族は特徴が似ているかつて、テュルク・モンゴル・ツングース・ウラル・日琉・朝鮮の諸語族が「ウラル・アルタイ語族」に属するという説があったが、結局誰もこれらの諸言語が共通の祖先を持つという証明ができなかった今回の論文は、テュルク・モンゴル・ツングース・日琉・朝鮮諸
ゼロから作る時系列データベースエンジン
軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて
「繰り返し勉強する人」がやっぱり強いワケ。記憶定着だけじゃない重要メリットとは？ - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
学習するにあたって、繰り返すことは記憶の定着に役立つそうです。でも、それだけじゃないんですよ。「繰り返し」は学びを楽しくすることや、自分の能力および知識の精度を高めることにもつながるそうです。そこで今回は、学習における「繰り返し」の効能を、3つの方向から探ってみました。 1. 記憶の定着としての「繰り返し」 2. 楽しさとしての「繰り返し」 3. 精度・能力アップとしての「繰り返し」 1. 記憶の定着としての「繰り返し」 一般社団法人 教育デザインラボの代表理事を務める教育評論家の石田勝紀氏は、学習において見る、読む、書くは「補助的な作業」であると述べ、次のように説いています。 覚えるとは「自分で繰り返しテストすること」 （参考およびカギカッコ内含む引用元：東洋経済オンライン｜｢1日10時間勉強してもダメな子｣の本質的理由） 事実、セントルイス・ワシントン大学が2006年に発表した研究では
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
Linus Torvalds 氏の理想の git 運用と GitHub
記憶に残らないものをメモするためにMemory Noteという仕組みを書いた
Design Docs at Google