ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
0から始めるNode.jsパフォーマンスチューニング
近年の Node.js は API のサーバとしてはもちろん、Nuxt.js や Next.js といった SSR や BFF などフロントエンドのためのバックエンド言語としての人気が高まっています。 フロントエンドエンジニアがコンテキストスイッチ少なくバックエンドの整備ができることは非常に大きな利点です。 ですが、フロントエンド（ブラウザ側）とバックエンド（サーバ側）ではパフォーマンスチューニングで見るべき点が大きく違います。 しかし Node.js アプリケーションのパフォーマンスイシューの見つけ方などがまとまっている資料は少ないです。 そこで、本記事ではフロントエンドエンジニアが Node.js でパフォーマンスイシューを見つけ、改善するため自分が普段パフォーマンスチューニングを依頼されているときにみている基礎的なポイトをまとめていきます。 1. 計測ステップlink Node.js
この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
ネット上で叩かれがちな物だけど自分は好きな物リスト
プッチ神父他のジョジョのボスは好きってファンはよく見るけど神父好きは滅多に見ない。俺はジョジョラスボスの中で一番好き。荒木先生の筆が乗りまくってると感じる。 恥知らずのパープルヘイズ賛否両論作というか五部ファンの中にはやたら嫌ってる人も居る。発売当時からずっと好きなんだけど、四部小説との対立煽りが酷かった。 西尾維新最近は影薄いけど一時の叩かれ様は凄かった 舞城王太郎ジョジョの小説を書いて以降目に見えてアンチ増えた。何なら本人のアンチよりこのジョジョ小説のアンチの方が多そう 細田守特に時をかける少女以後の細田守作品全部。自分は好きなんだけどねぇ 彼女、お借りしますキャラが可愛いだけの駄作と呼ばれてる奴。これに限らずネットだとラブコメ作品は何やっても叩かれてる印象しかない 僕のヒーローアカデミア匿名掲示板やそこのスレッドを転載するまとめサイトだと親の仇のように叩かれてる作品 機動戦士ガンダム
One of the key elements of Google's software engineering culture is the use of design docs for defining software designs. These are relatively informal documents that the primary author or authors of a software system or application create before they embark on the coding project. The design doc documents the high level implementation strategy and key design decisions with emphasis on the trade-of
Note 本記事の内容は Linus 氏の発言が人を傷つける場合に筆者がそれを良しと考えるといった意図はございません 少し古い記事になるが、 Linus Torvalds 氏 の GitHub に対する苦言が記事になっていた。 LinuxカーネルにNTFSドライバーが追加、トーバルズ氏はGitHub経由のマージに苦言 - ZDNet Japan Linus 氏が GitHub について苦言を呈するのは今に始まったことではない（後述）が、 別に GitHub のすべてを否定しているわけではない。[1] では一体何が不満なのか。Linus 氏の理想とする git の開発フローを考察した上で、整理してみたい。 Linus 氏の理想 結論からいうと、 「意味あるコミットを作れ」「コミットを大事にしろ」 という思想が伺える。 では 「意味あるコミット」「大事にされたコミット」 とは何なのか。 筆者な
Memory NoteというプログラマブルなTodoアプリのミドルウェアを書きました。 ややこしいですが、大雑把に言えばReminder的なTodoリストを扱うREST APIをCloudflare Workersで動かす仕組みです。 Headless Todo Appという単語がしっくりくるのかもしれません。 単体だと何ができるのかよくわからないものですが、Todoサービスを自分用に作れる仕組みです。 対象ユーザーは主に自分ですが、Memory NoteのREADMEにセットアップ方法や関連するクライアントの実装も公開しています。 自分の場合は、iOSのショートカットから音声入力で、メモをGitHub Projectのボードにカードして記録しています。 この記録したメモを、iOSのWidgetsとしてホーム画面に出したり、AlfredのHotKeyでワンタッチで表示したり、部屋に電子ペー
「日本語の原郷」についての論文を読んでみた
歴史言語学についてはまったくの素人だけど、最近話題になった「日本語の原郷は「中国東北部の農耕民」 国際研究チームが発表 | 毎日新聞」（はてブ）っていう記事の元になったロベーツらの論文（Robbeets et al. 2021）を読んでみたよ！ 結論うさんくさい 前提知識共通の祖先を持つことが証明された言語の集団を「語族」という日本語は琉球諸語と共通の祖先を持つことが明らかである（日琉語族；Japonic）しかし日琉語族と他の言語との系統関係は証明されていない内陸アジアのテュルク語族、モンゴル語族、ツングース語族、そして欧州のウラル語族は特徴が似ているかつて、テュルク・モンゴル・ツングース・ウラル・日琉・朝鮮の諸語族が「ウラル・アルタイ語族」に属するという説があったが、結局誰もこれらの諸言語が共通の祖先を持つという証明ができなかった今回の論文は、テュルク・モンゴル・ツングース・日琉・朝鮮諸
ゼロから作る時系列データベースエンジン
軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて
「繰り返し勉強する人」がやっぱり強いワケ。記憶定着だけじゃない重要メリットとは？ - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
学習するにあたって、繰り返すことは記憶の定着に役立つそうです。でも、それだけじゃないんですよ。「繰り返し」は学びを楽しくすることや、自分の能力および知識の精度を高めることにもつながるそうです。そこで今回は、学習における「繰り返し」の効能を、3つの方向から探ってみました。 1. 記憶の定着としての「繰り返し」 2. 楽しさとしての「繰り返し」 3. 精度・能力アップとしての「繰り返し」 1. 記憶の定着としての「繰り返し」 一般社団法人 教育デザインラボの代表理事を務める教育評論家の石田勝紀氏は、学習において見る、読む、書くは「補助的な作業」であると述べ、次のように説いています。 覚えるとは「自分で繰り返しテストすること」 （参考およびカギカッコ内含む引用元：東洋経済オンライン｜｢1日10時間勉強してもダメな子｣の本質的理由） 事実、セントルイス・ワシントン大学が2006年に発表した研究では
劔樹狼 （劔樹人） @tsurugimikito 男女の生涯収入格差が明確にあるこの国で中学生くらいからアイドルやって学校もろくに行けず、社会人になっている年齢で卒業すると無条件にファンは激減、学歴なし、社会経験なしという現実はかなり厳しいですよね。それを自己責任で片付けるわけにはいかない。 リンク Wikipedia アップフロントプロモーション 株式会社アップフロントプロモーション (UP-FRONT PROMOTION Co., Ltd.) は、日本の芸能プロダクション。アップフロントグループに属する。通称UFP（旧通称・UFA）。 当項目では便宜上、UFP以外のアップフロントグループ関連・提携会社についても記述する。 ハロー!プロジェクト 元ハロー!プロジェクト 元ハロー!プロジェクト 元ハロー!プロジェクト 元ハロプロエッグ お笑いタレント 元ハロー!プロジェクト 元TNX・元N
中山です ソリューションアーキテクトとして、AWS環境の利活用をお手伝いするお仕事をしています。 まれによく見るAWS環境 とりあえずこれを見てほしい。 これが絶対にだめと言いたいわけではないです。 一時的な検証環境だったり、とにかくスピード重視でサービスをデリバリーさせる必要があったり、サービスの提供者側が何ら責任を負わない・障害時のビジネスインパクトが無い（そんな状況あるのか？）という前提があったり、状況次第ではこれで十分な時もあると思います。 しかし、一般的な業務システムやサービスの場合にはいろんな意味で不十分でしょう。 では、このような環境をどのように育てていくとよいでしょうか。 この記事では、そんな育てかたの一例を紹介していきたいと思います。 なお、本記事はくっそ長いです。 ちなみに、最終的にはこうなります。 文字が小さすぎて読めない！ ちょっとそこのハ○キルーペ貸してくれーｗ
最近趣味や仕事の Web アプリケーションでメモリリークに遭遇して、頑張ってメモリリークの原因を突き止めて修正する、ということがあった。その過程でメモリリークについて色々調べて知見が溜まったので、学習資料の紹介という形でアウトプットしてみる *1。 前置き 紹介する記事がかなり偏っていることに注意 冒頭で触れたメモリリークを解決するために読んだ記事をまとめただけなので、内容にそれなりの偏りがある 例えば id:mizdra が遭遇したメモリリークは全てブラウザ上で発生していたものだったので、これから紹介する内容も主にブラウザにおけるメモリリークに焦点を当てたものになる GC がどうメモリをどう解放しているか、何故メモリリークが発生するのかは全てカット 調べれば色々な記事が出てくるので、必要に応じて読んでください 基本的な知識を抑える まずメモリリークとメモリ撹拌の違いを学ぼう どちらも同じ
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者
人工知能（AI）を使って、文章から画像や3Dモデルを生成する技術が注目を集めていますが、Googleがテキストなどの情報から音楽を生成できるAIモデル「MusicLM」を発表しました。GoogleのWebサイトで多数のサンプルが公開されています。 28万時間の音楽を学習 テキストから音楽を生成する技術そのものは以前から存在していますが、Googleの「MusicLM」は、28万時間の音楽を学習させて開発されており、音を複雑に組み合わせた高度な楽曲を生成できるのが特徴です。 ただし、Googleはさまざまリスクを考慮し、MusicLMを一般向けに公開する計画はないそうです。 曲の雰囲気を指示すると作曲、鼻歌もアレンジ MusicLMの生成する楽曲のうち特に印象的なものを、人工知能情報のWebサイトbleedingedge.aiがTwitterに紹介しています。 例えば、「早めのペース、アップ
米ドル/円 が150円と計算しやすくなり、コスト削減の圧力が日々強まる中、皆様お宝探しと垂れ流し回収の真っ最中でございましょうか。 最近はコスト削減や予算について見ることが多いので、その中で出てきた面白げな話に雑談を加えてとりとめなく書いてみようと思います。 削減余地はある 昨年にご好評いただいた AWSコスト削減とリソース管理 | 外道父の匠 を含め色々な削減施策を試みてきましたが、サクッと成果になる箇所から泥沼に動かない所まで様々あったりします。 ただ、どんなアカウントでもトラフィックや処理負荷には波があり、それに対する余剰リソースを確保して構成しているので、その辺をキュッと絞ることまで含めればやれることは必ず一定以上存在することになります。 そういう大きなお宝ではない小さなお宝だと様々あり、古びたとか退職者が作ったとかで、ほぼ使っていない垂れ流しリソースやデータをかき集めれば、チリツ
This is The Entire Computer Science Curriculum in 1000 YouTube Videos
This is The Entire Computer Science Curriculum in 1000 YouTube Videos In this article, we are going to create an entire Computer Science curriculum using only YouTube videos. The Computer Science curriculum is going to cover every skill essential for a Computer Science Engineer that has expertise in Artificial Intelligence and its subfields, like: Machine Learning, Deep Learning, Computer Vision,
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
Microsoft SQL ServerMySQLOracle DatabasePostgreSQLSolarWinds DPAデータベース運用主要RDBMS製品の比較 2022.09.01 渡部 亮太 主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ Oracle ACE Proの渡部です。 主要なRDBMS製品についてアーキテクチャを比較します。 大枠を整理することが最大の目的です。細かい例外事項や拡張機能は適宜記載を割愛しています。 2022年9月時点の最新バージョンをベースに記載していますが、記載内容にバージョン依存は少ないはずです。 時間ができた時に随時追記予定です。 もし誤りを見つけた場合は、優しく教えていただけると嬉しいです。→ https://twitter.com/wrcsus4 or ryota.watabe at cosol dot
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
大規模システムでの Linux のメモリ管理
(This post is also available in English.) この記事は Linux memory management at scale を 著者の Chris Down さんの許可 を得て Hiroaki Nakamura が日本語に翻訳したものです。 原文のライセンス は CC BY-SA 4.0 であり、翻訳のライセンスも同じく CC BY 4.0 とします。 cgroup2 プロジェクトでの私の仕事の一部として Linux システムのリソース管理についてエンジニアと話すことに多くの時間をかけてきました。 これらの会話を通じてどんどん明らかになってきた 1 つの事実は多くのエンジニアは、シニア SRE たちでさえも、 Linux のメモリ管理についていくつかのよくある誤解を持っていて、そしてそれが彼らがサポートするサービスやシステムが本来確実に稼働したり効率的
Nand2Tetris(コンピュータシステムの理論と実装)でCPUからOSまで一気通貫で作るのが最高に楽しかった話 - ( ꒪⌓꒪) ゆるよろ日記
どうも、しいたけです。 去年あたりからローレイヤー周りの知識を充実させようと思い、 低レイヤを知りたい人のためのCコンパイラ作成入門 を読んでCコンパイラを書いてみたりx86_64の勉強をしたりしていました。 今年に入ってから、よりローなレイヤー、具体的にはハードウェアやOSについてもう少し知りたいと思い始め、手頃な書籍を探していました。 CPUなどのハードウェア周りについては概要しか知らなくて手を動かしたことがないので、実際に何か作りながら学べるものとして、 O'Reilly Japan - コンピュータシステムの理論と実装 に挑戦することにしました。 O'Reilly Japan - コンピュータシステムの理論と実装 成果物は以下のリポジトリに置いてあります。 yuroyoro/nand2tetris 結論から言うと、やってみて大変楽しめました！ 特にハードウェア周りは今まで挑戦したこ
全ガンダム一言作品評
昨日某所に投稿した物の再掲 機動戦士ガンダム作画は良いとは言えないが万人に薦められる名作 劇場版機動戦士ガンダム今から初代ガンダムを見るならこれを見とけば間違い無しの名作 機動戦士Zガンダム万人向けとは言い難く人を選ぶが名作 機動戦士ガンダムZZ前作以上に人を選ぶが戦闘シーンのクオリティが高い佳作 機動戦士ガンダム 逆襲のシャアガンダム最高傑作と言っても過言ではない宇宙戦闘が描かれる名作 機動戦士ガンダム0080 ポケットの中の戦争とりあえずガンダムを見た事無い人にはこれか初代を薦めれば無難な不朽の名作 機動戦士ガンダムF91二時間足らずの尺に時代を一新した新たなガンダム世界と二人の主人公の対になる家族像の映像を詰め込んだ意欲作 機動戦士ガンダム0083 STARDUST MEMORY初代からZへの空白期間の戦いが超クオリティの作画で描かれる良作 機動戦士Ｖガンダム宇宙世紀の大トリを飾る最
いつもと変わらない、しょうゆのある日常。 ある日突然、この国から、 “しょうゆ” が消えてなくなってしまう。 なんと、人々の記憶からも。 しかし、高校生のトシキは、その存在を覚えていた。 もしも、この国にしょうゆがなかったら――。
TOMCAT殺害事件 - Qiita
OOMKillerの殺意 顧客EC2のTomcatがアクセスの無い早朝にもかかわらずOOMKillerに突然殺されてしまったので、調査した顛末をたぶん同じような問題に直面されている方もおられるかと思いますので備忘録として記載します。 Javaヒープのチューニングにも多少役立つかと思います。 （この記事はJava8が対象となります。） OOMKillerとはOut of Memory時に、サーバ全体を守るためにメモリーを消費しているプロセスを停止するLinuxの標準機能です。 そのOOMKillerになんとTomcatが突然殺害されてしまいました。 問答無用の辻斬り状態です。 早朝ですのでアクセスログには何も記録されておらず、catalina.outには OpenJDK 64-Bit Server VM warning: Setting LargePageSizeInBytes has no
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
データエンジニアの私が機械学習・データサイエンスでオススメしたいスキルマップと本まとめ - 2020年版 - Lean Baseball
要約すると, データサイエンス・機械学習周りでよく聞かれること&回答を言語化しました. 「データサイエンティストやりたい」「機械学習エンジニアになりたい」というキャリア志望を持つ方は多いと思います. 私の周りでも, 公私ともにそんな志望者の相談を聞いたり, （主にインターンの学生さんですが）一緒に仕事をしたりする機会もメッチャ多いです. 「ビジネスサイド強いマン」「サーバーサイドエンジニア」という視点からデータエンジニア兼データサイエンティストな自分が, そんな彼ら彼女らにオススメしている, データサイエンティストを目指すためのスキルマップ 各領域のスキルアップを実現するためにオススメしたい書籍 を紹介したいと思います. なお, 昨年も同様のエントリーを書いておりそのUpgrade版となります. shinyorke.hatenablog.com このエントリーの対象読者 データサイエンスに
鈴木杏樹が語るKAKKOのすべて
鈴木杏樹が語るKAKKOのすべて 藤井隆が熱望した、吉田豪によるKAKKOインタビューが実現 2023年2月3日 18:30 1519 445 × 1519 この記事に関するナタリー公式アカウントの投稿が、SNS上でシェア / いいねされた数の合計です。 424 709 386 シェア 昨年8月放送の「おげんさんといっしょ」（NHK総合）に登場し、今再び注目されているKAKKOをご存知だろうか。 KAKKOは鈴木杏樹が女優デビュー前の1990年にイギリスで音楽活動をしていた際のアーティスト名。鈴木は17歳のときに単身移り住んだロンドンで念願のデビューを果たしたが、帰国後は歌手・KAKKOではなくタレント・俳優の道を選んだ。芸能界での活躍はご存じの通りだが、その裏で彼女の音楽活動に熱烈なラブコールを送り続けていた男がいた。芸人である藤井隆だ。長年にわたりKAKKOの再始動を熱烈にオファーして
Contents (Click to expand) ↕️ Design Mode Pretty Print Command Pallet and Super Search Snippets Live Expressions Tracking Changes Console Shorthand Find Unused Code Rendering Panel Network Paint Times Network Timings Inspect Network Requests Performance Identifying Memory Leaks Raw Memory Inspection Test bfcache Full Refresh Lighthouse Page Size Breakdown Record User Flows Advanced User Flow Opera
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
この記事は リクルート ICT統括室 Advent Calendar 2023 18日目の記事です。 こんにちは、ICT統括室の別府(@tky_bpp)です。この記事は、社内の情報流通を社内プロダクト起点で改善しようとしている取り組みの紹介です。 具体的には「社内・社外に分散している情報」を集約することで「各従業員がこれまでどのような仕事をしてきたのか」を可視化しようとしている取り組みです。その中でも、主にプロセス、工夫した点について書いています。そのため、特定の技術スタック、ツールの紹介といった技術的な内容にはあまり触れません。 同じような課題に取り組んでいる方にとって、少しでも参考になれば幸いです。 はじめに 私は現在、リクルートの社内で利用されている従業員検索システムのプロダクトマネージャーをしています。 このシステムには、従業員毎の個人ページがあり、連絡先や所属部署、使用しているパ
1983年徳島県生まれ。大阪在住。散歩が趣味の組込エンジニア。エアコンの配管や室外機のある風景など、普段着の街を見るのが好き。日常的すぎて誰も気にしないようなモノに気付いていきたい。（動画インタビュー） 前の記事：大阪・堂島で圧巻の配管ビューを楽しむ ＞ 個人サイト NEKOPLA Tumblr UV-EPROMって何？ まずは身近なところから話を始めよう。現代において、ちょっとしたデータを記憶するときに使うのは「USBメモリ」や「SDカード」である。もはやないと困るレベルの生活必需品だ。 それを分解すると出てくるのが、「フラッシュメモリ」と呼ばれる記憶チップである。 この黒いICがフラッシュメモリ。電源を切っても記憶内容を保持できる「不揮発性メモリ」と呼ばれるものの一種だ 少し歴史を振り返ってみよう。 フラッシュメモリが最初に発表されたのは1984年。当時、東芝の研究者だった舛岡富士雄氏
兵庫医科大学 医学部および自然科学研究機構 生理学研究所の共同研究グループは、呼吸の頻度やパターンを変えることで、記憶力の強化と悪化の両側面が引き起こされることを初めて発見した。 本研究で用いた遺伝子改変マウスは、光遺伝学（オプトジェネティクス）という技術により、呼吸中枢に光を照射すると、呼吸パターンを自在に操作することができる。マウスの記憶課題中に、記憶する瞬間に呼吸を停止させると、海馬ニューロンの活動が変化し、記憶力が低下するという驚きの結果が得られた。さらに、呼吸の周期性をランダムにした結果、記憶力が強化されたり、呼吸の頻度を半分に減らした結果、記憶が間違った形で作られてしまうなど、呼吸パターンを操作することにより記憶力の強化と悪化の両側面が引き起こされることを発見した。 この結果から、呼吸活動は、脳に作用して記憶や思考に関わる情報処理をある一定の単位としてまとめる役割を持つ上、記憶
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
「Amazonでさえサーバレスやマイクロサービスを理解できない」とDHH氏が主張する一方で、「進化可能なアーキテクチャこそ重要」とAmazonのVogels博士
Ruby on Railsの作者として知られるDavid Heinemeier Hansson（DHH）氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」（Amazonでさえサーバレスやマイクロサービスを理解できない）が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」（Prime Videoの音声映像監視サービスにおけるスケールアップと90％のコスト削減の実現）で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
systemd serviceから呼ぶシェルではsudoではなくsetprivを使う - 赤帽エンジニアブログ
Red Hatの森若です。 自分でsystemdのservice unitを作るときに、起動用のいくつかのコマンドを記述したシェルスクリプトを呼ぶ事は(理想的ではないですが)あるかと思います。 今回はこの場合に、sudoを利用するとまずい理由を説明して、かわりにsetprivを使うほうがよいという話です。 例題用のservice 実行してみる 別のcgroupだと何がまずいのか? 対策はsetprivコマンド 例題用のservice sudoによるまずい動作を確認するためのできるだけ単純な例として、hoge.service を用意します。 /opt/hoge/hoge.sh #!/bin/bash sudo -u moriwaka sleep 5000 /etc/systemd/system/hoge.service [Unit] Description=hoge [Service] Ty
Twitterの内部構造を読解してみる 前口上 Twitterのようなマイクロブログサービスでは短時間で書き込みも多く、特にタイムライン周りは単にRDBのデータを出し入れるするだけではスケールしなくなります。 インターネット上に断片ながらTwitterの中の人がアーキテクチャについて解説した記事や動画がいくつか落ちていたので、Twitterがタイムラインをどうやってキャッシュしているかについてまとめてみたいと思います(推測を含みます)。 Twitterのテーブル構造 単純なTwitterのテーブル定義をRDBで定義すると以下のようになると思います。 tweets ツイート id user_id contents tweet_at followers フォロワー source_user_id destination_user_id users ユーザー id user_name timeli
どうしてこうなった。 何の話？ WindowsでのSSH-AGENTとSSHの話です。 この記事での用語: SSHとssh, SSH-AGENTとssh-agent この記事では、SSH-AGENTと書いたときにはカテゴリとしてのSSHエージェントを意味します。 ssh-agentと書いたときには、実行プログラムとしてのssh-agentコマンドを意味します。 同様に、SSHと書いたときにはカテゴリとしてのSSHクライアントを意味します。 sshと書いたときには、実行プログラムとしてのsshコマンドを意味します。 SSH-AGENTって？ SSH-AGENTは、秘密鍵での署名を代行1してくれるツールです。 SSH-AGENT に秘密鍵をロードしてしまえば、あとはパスワード(パスフレーズ)入力なしでSSH認証できる agent forward機能を使うことで、SSHした先でさらにSSHすると
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
Design Docs at Google
Linus Torvalds 氏の理想の git 運用と GitHub
記憶に残らないものをメモするためにMemory Noteという仕組みを書いた
中学生からアイドルをやり社会人の年齢で卒業すると、学歴もなく社会経験もない人が生まれる問題を真剣に考えるべきではないか
冴えないAWS環境の育てかた α | DevelopersIO
ブラウザにおけるメモリリークを解決するために読んでおけると良い資料 - mizdra's blog
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら
Google、作曲AI「MusicLM」発表。テキストから高度な音楽を生成 - iPhone Mania
AWSが教えてくれないコスト削減の小話いろいろ | 外道父の匠
主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ | コーソルDatabaseエンジニアのBlog
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
もしも、この国にしょうゆがなかったら。 | キッコーマン ホームページ
Browser Dev Tools: The Ultimate Guide 🔥
AWSでバッチ処理を実装する際の選択肢とサービス比較
全社横断で「誰が何をやっているのか」を可視化する取り組み
USBメモリの大先輩！ 紫外線を当ててデータ消去するメモリで遊ぶ
呼吸パターンを操作すると記憶力が変化 兵庫医科大学と生理学研究所が発見
ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
Twitterはタイムラインをどうやってキャッシュしているか - Qiita
混沌を極めるWindowsのssh-agent事情 - Qiita
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z