この記事は、 EC-CUBE4系でプラグインインストール時にエラーが出た時の対処法 の詳細版です。 主に、エラーを予防する観点から記述しています。 EC-CUBE4系では、 フレームワークとして Symfony3.4 が採用され、プラグインの管理に Composer が利用されるようになりました。 モダンな技術を取り入れた反面、動作させるために多くのリソースを消費するようになりました。 2021年11月16日追記 EC-CUBE4.1.0 がリリースされ Composer v2 が採用されたことにより、 Composer 利用時のメモリ消費が1/10くらいに改善しました。 しかし、プラグインの有効化/無効化時のメモリ消費は改善できておりません。 (Symfony DependencyInjection コンテナのコンパイルに起因するため) この記事は4.1系でも有用ですので、ご参考になれば
スタディサプリのコミュニケーション開発チームの @chata です。開発実装を行った際に負荷試験をして実際のパフォーマンスがどの程度なのか計測したときの模様を共有いたします。 TL;DR 背景と結果 負荷試験をいざやってみると色々問題が見つかりました。パフォーマンスにおける課題だけではなくアーキテクチャの課題も把握できました。また弊チーム以外でも同じようにやってみたいという声があり活用してもらっています。 負荷試験に関するまなび 負荷試験は3種類のテストをそれぞれの目的で実施すると必要なリソース(CPUやMEM)や台数などの把握が事前にできます。またパフォーマンスの課題も見つけやすいです。 実行環境に関する Tips SREチームの多大なる支援を背景にPR環境で Report がDeployされる Loadtest Platform を活用することで試行錯誤のサイクルを速くまわすことができ
「LINEマンガ」サービスを提供しているLINE Digital Frontier株式会社のエンジニア採用説明会で、マンガサービス開発室の崔正煜氏がLINEマンガのiOSアプリの開発について、関童氏がAndroidアプリの開発について紹介しました。 今はSwiftが99パーセント 崔正煜氏（以下、崔）：それでは、これからLINEマンガのiOSのアプリ開発についてお話しできればと思います。 簡単に私の紹介をしますと、2007年から3年ほどJavaの経験をして、2010年ぐらい、ちょうど日本でスマホが広がり始めたころにAndroidとiOSについて覚えて、2010年からiOS/Androidの開発をしてきました。それから2014年にLINEに入社して、LINEマンガに配属されて、今までずっとLINEマンガのiOSアプリの開発を担当しています。 今のLINEマンガのiOSアプリ版の開発環境ですが
Five Things to Prepare for Cgroup v2 with Kubernetes - Kintone Engineering Blog
By Daichi Sakaue (@yokaze) Above all the effort of the community, Kubernetes is now ready to run with cgroup v2. We recently migrated our on-premises Kubernetes clusters to use cgroup v2 and discovered some key points to know. This blog post explains what cgroup v2 is, what it brings to Kubernetes, and how to prepare for it. TL;DR Configure kubelet and the container runtime in use to use the syste
Linux Daily Topics 2019年8月22日Linuxデスクトップにレスポンシブなメモリ解放を提供する「Low-Memory-Monitor」 Androidには、起動中のアプリやサービスが増え過ぎてメモリを圧迫する状態になった場合、「lowmemorykiller daemon（lmkd）」というデーモンが起動し、優先度の低いアプリ/サービスを強制的に終了し、メモリ領域を確保する仕組みがユーザスペースに実装されている。 このlkmdに似た仕組みをLinuxデスクトップのユーザスペースでも実現するべく、Red Hatでデスクトップ開発を担当するBastein Noceraは8月21日、私的なプロジェクト「Low-Memory-Monitor」を立ち上げた。 low-memory-monitor: new project announcement : /bɑs ˈtjɛ̃
手を動かして学ぶコンテナ標準 - Container Runtime 編 - Nao Minami's Blog
コンテナ標準化の現状と Kubernetes の立ち位置について というブログではコンテナ標準の現状についてまとめてみました。 また、手を動かして学ぶコンテナ標準 - Container Image と Container Registry 編 というブログでは Container Image と Container Registry について手を動かして学んでみました。 このブログでは、runc, containerd などの Container Runtime について、実際に手を動かして学んでみたいと思います。 なお、前回のブログ 同様、基本的にこのブログ内のコマンドは Linux で実行するものとします（自分は MacOS で Vagrant で Ubuntu VM を立てて実験してます）。 runc を動かしてみる runc は Low-Level Container Runti
こちらです。 github.com とにかくカジュアルに、簡単でもいいので正規表現を使いたい場面にマッチすると思う。 簡単なベンチを取った。 他の主要な3つのmgem（mruby-onig-regexp/mruby-regexp-pre/mruby-pure-regexp）と比較して、結果的に mruby-posix-regexp が一番ビルド時間、バイナリサイズともに小さくなるという結果になった。 ベンチの内容 まず、 mruby 3.0.0 において、以下ような最小限の build_config.rb を用いた。 MRuby::Build.new do |conf| conf.toolchain conf.gem mgem: 'mruby-onig-regexp' #conf.gem mgem: 'mruby-regexp-pcre' #conf.gem mgem: 'mruby-pu
【J-REIT】大江戸温泉リート投資法人（3472）の分配金が届いたので、利回りを確認 ※2020年5月分 - greenの日記
こんにちは、green です。 大江戸温泉リート投資法人（3472）さんから分配金のお礼が届きましたので、利回りを確認しました。 大江戸温泉さんから届いた封筒の大きさは、19.5cm× 27.4㎝と大きい。 では、大江戸温泉リート投資法人（3472）は5月と11月に権利確定するみんな大好き温泉♨のJリートです。 5月分の分配金計算書が届いたのは2020年8月14日になりますので、権利確定して3か月経たずに分配金計算書が来ました。 今回の記事では、2020年8月14日の大江戸温泉リートの価格で分配金を手に入れるため、いくら掛かっているのか計算したいと思います。 株やJリート、インフラファンドなどの投資に興味のある人の参考になればと思います。 この記事の内容として、分配金、2020年8月14日時点の利回り、分配金を手に入れるための金額は？、まとめの順に書きます。 分配金 利回り（2020年8月
GitHub - rfjakob/earlyoom: earlyoom - Early OOM Daemon for Linux
The oom-killer generally has a bad reputation among Linux users. This may be part of the reason Linux invokes it only when it has absolutely no other choice. It will swap out the desktop environment, drop the whole page cache and empty every buffer before it will ultimately kill a process. At least that's what I think that it will do. I have yet to be patient enough to wait for it, sitting in fron
はじめに本記事はPostgreSQL Advent Calendar 2020の 10 日目です。 PostgreSQL のメモリ管理についていろいろと壁にぶつかったのでわかる範囲で知見をまとめていきたいと思います。 PostgreSQL のバージョンは 13.1 で検証しています。 なぜメモリ管理を適切にする必要があるのかそもそもですが、なぜメモリ管理を適切にする必要があるのでしょうか。 簡潔に言うと パフォーマンスと安定性のため と言えるかと思います。 まず、データベースのデータはすべてファイルとしてディスクに保存することで永続化されます。 データを取得・更新する際にはディスクへの読み書きが発生するのですが、これはメモリに比べて非常に遅いことが知られています。 では、可能な限りメモリから読み書きするようにすればいいのかというと、通常データベースが扱うサイズは搭載メモリサイズよりも大きい
プラグインインストール時のエラーを防止する方法 も書きましたので、合わせてご覧ください EC-CUBE4 になって、プラグインの管理方法が大きく変わりました。 これに伴い、共有レンタルサーバーなど、リソースの少ない環境では以下のような問題が発生する場合があります。 プラグインのインストール時に高負荷な状態が発生し、OOM Killerでhttpdのプロセスが殺される。そのため、プラグインのインストールが完了しない。 https://github.com/EC-CUBE/ec-cube/issues/4142 インストール時以外に、有効化/無効化時、アンインストール時にも発生します。 これらの処理が完了しない場合、以下のような状態となります 「インストール完了」の表示になっても、「有効/設定」ボタンが表示されない システムエラーになる PHPエラー画面が表示される レスポンスが十数分返ってこ
Every year, we have a new iPhone that claims to be faster and better in every way. And yes, these new computer vision models and new image sensors can exercise the phone as hard as they can. However, you could already take good pictures on an iPhone 10 years ago. These are incremental improvements. These incremental asks only deserve incremental improvements. Once in a few years, there are program
旧 ferret では DB に MongoDB を採用しており、EC2で自前で運用しておりました。 そのため、プライマリーで稼働している EC2 のリタイア通知に恐怖したり、Linux カーネルのアップデート当てるための再起動や MongoDB のアップデートどうやっていくか・・・など様々な保守運用まつわる課題に悩まされていました。 今回のリニューアルで Aurora に移行でき、保守周りを AWS に投げられる幸せや保守コストの削減を実感できております。 現在だったら Document DB がありますが、リニューアルを検討した時にはまだ発表されていなかったのと、mongoid が開発する上で ActiveRecord とは違う挙動をするので辛い部分が多く、 RDBMS を使いたかったという理由もあり結局採用されなかったんじゃないかなと思います。 前置きが長くなりましたが、 今日は E
PostgreSQLをブラウザ上で実行するOSS「Postgres-WASM」を触ってみた | DevelopersIO
PostgreSQLをブラウザ上で実行する「Postgres-WASM」がオープンソースとして公開されました。 We've open sourced Postgres WASM Hat tip to all the amazing engineers that made it possible for us to glue this together, including those at @supabase and @_snaplet Join the discussion on HN! pic.twitter.com/u4tIceRF66 — Peter Cilliers-Pistorius ?? (@appfactory) October 3, 2022 2022年8月にCrunchy DataがPOSTGRES PLAYGROUND としてブラウザ版PostgreSQLをサービス提
【J-REIT】大江戸温泉リート投資法人（3472）の分配金が届いたので、利回りを確認 ※2021年11月分 - greenの日記
こんにちは、チキン投資家のgreen 🦆です。 大江戸温泉リート投資法人（3472）さんから分配金のお礼が届きましたので、利回りを確認しました。 いつも通り大江戸温泉さんから届いた封筒は大きく、資産運用報告書も大きい😊。 そんなことより大江戸温泉の全株式をベインキャピタルからローン・スターに売却されるけど大丈夫？ では、大江戸温泉リート投資法人（3472）は5月と11月に権利確定するみんな大好き温泉♨Jリートです。 11月分の分配金計算書が届いたのは2022年2月12日になりますので、権利確定して3か月経たずに分配金計算書が来ました。 今回の記事では、2022年2月18日の大江戸温泉リートの価格で4回目の分配金を手に入れるため、いくら掛かっているのか計算したいと思います。 株やJリート、インフラファンドなどの投資に興味のある人の参考になればと思います。 この記事の内容として、分配金、2
MySQL (or percona) memory usage tests · BlackIkeEagle's blog
Thu, Apr 23, 2020 Recently we did some upgrades at work which were also updating the base OS. In general we did not expect too many issues since we were running tests and the operation of all parts was looking good. After the upgrades we noticed something was off with mysql. Some mysql machines were killing mysqld because of OOM (out-of-memory). You’ll see the kills with journalctl or in your sysl
std - Rust
§The Rust Standard Library The Rust Standard Library is the foundation of portable Rust software, a set of minimal and battle-tested shared abstractions for the broader Rust ecosystem. It offers core types, like Vec<T> and Option<T>, library-defined operations on language primitives, standard macros, I/O and multithreading, among many other things. std is available to all Rust crates by default. T
1. LINEマンガで9年運用したAndroidアプリのレガシーの問題としてOOMのメモリクラッシュ問題を真剣に向き合って解決した事例を紹介します。 2. AndroidのVMの発展過程の紹介とそのメモリ管理方法とGCの管理方法の変化を辿る。 3. 基本的なGC(Garbage collection)の考え方からAndroidのメモリ解析のための基礎知識を伝える。 4. 具体的なメモリ解析の方法を事例で紹介する。 5. メモリリークを防ぐため、メモリを改善するための注意点と実際の例を紹介する。 6. Google I/O 2022のLarge Screen重視でさらに重要になったConfiguration changeのメモリ対策 エンジニアを募集しています。 LINE Digital Frontier株式会社の採用サイトはこちら: https://ldfcorp.com/ja/caree
以下の記事が面白かったので、かるくまとめました。 ・Efficient Inference on a Single GPU - Flash Attention 2 【注意】 この機能は実験的なものであり、将来のバージョンでは大幅に変更される可能性があります。「Flash Attendant 2 API」は近い将来「BetterTransformer API」に移行する可能性があります。 1. Flash Attention 2「Flash Attendant 2」は、Transformerベースのモデルの学習と推論の速度を大幅に高速化できます。 リポジトリのインストールガイドに従って、「Flash Attendant 2」をインストールしてください。これをインストールすることで、HuggingFaceの「Flash Attention 2」の機能も利用できるようになります。 次のモデルは
All about ISTIO-PROXY 5xx Issues
What is the Issue?In Hotels.com™ (part of Expedia Group™) we recently implemented an Istio Service mesh. The Istio service mesh sidecar injector automatically attaches an istio-proxy sidecar to every pod. Once all apps are enabled with istio-proxy sidecars, a common issue faced by many apps and services are HTTP 503/504 response errors for upstream service calls. These errors are generated by the
How Amazon ECS manages CPU and memory resources | Amazon Web Services
Containers How Amazon ECS manages CPU and memory resources On August 19, 2019, we launched a new Amazon Elastic Container Service (Amazon ECS) feature that allows containers to configure available swap space on Linux. We want to take this opportunity to step back and talk more holistically how ECS resource management works (including the behavior this new feature has introduced). Specifically, we
【J-REIT】2020年11月 おすすめ初心者向け安いJリート ※2020年11月22日更新（含み益になりました😊） - greenの日記
こんにちは、チキン投資家のgreen🐓です。 寒くなると眠くなります😪。そのうち冷凍チキンになるのではと思っています。 新型コロナウイルスの影響で保有しているJリートも含み損でしたが、最近はGo Toキャンペーンの影響なのか、一部は含み益になりました😃。 てなわけで、11月に権利確定する初心者向けの安いREIT（リート）の利回りを確認します。 コメントも寒いね、冷凍チキンさん👶 ほんとに冷たいコメントが😅 2020年10月13日時点でREIT平均分配金利回りは4.11%、東証REIT指数は1,731.21円です。 2週間前の2020年9月29日と比較すると、東証REIT指数は1,746.22円から15円ほど下がり、平均分配金は4.06%から0.05％上がっています。 では、11月決算のREITを確認します。11月と5月が決算月のJリートは8つあり、購入価格15万以下で利回り4％を
今回は Chaos Mesh を紹介します。 Chaos Mesh は Kubernetes 環境向けの Chaos Engineering ツールです。 Chaos Mesh によるカオスエンジニアリング Sreake の寺岡です。今回は Chaos Mesh を紹介します。 Chaos Mesh は Kubernetes 環境向けの Chaos Engineering ツールです。 カオスエンジニアリングの原則 カオスエンジニアリングと言えば本番環境で発生しうる Node 障害を日常のものにするということが元々の目的だったのではないかと思いますが、今日では意図的に障害を発生させること全般が対象となっているように感じます。まれに発生するトラブルを開発環境で意図的に発生させてコードの品質を上げるということが含まれてきているようです。 ここで紹介する Chaos Mesh も、開発元である
Since we announced Hermes in 2019, it has been increasingly gaining adoption in the community. The team at Expo, who maintain a popular meta-framework for React Native apps, recently announced experimental support for Hermes after being one of the most requested features of Expo. The team at Realm, a popular mobile database, also recently shipped its alpha support for Hermes. In this post, we want
日本語の音声コーパスCSJでE-Branchformerの音声認識モデルを作って性能を評価する - RevComm Tech Blog
こんにちは、RevCommでMiiTelの音声解析機能に関する研究開発を担当している石塚です。 2023年1月に開催された国際会議IEEE Workshop on Spoken Language and Technology (SLT) 2022で発表されたE-Branchformer: Branchformer with Enhanced Merging for Speech Recognition (Kim et al., 2023)*1という論文で、音声認識タスクで高い性能を発揮するE-Branchformerという新しい深層学習モデルが提案されました。論文中では英語の音声コーパスを用いて音声認識精度が評価されていますが、日本語についての評価は行われていません。 End-to-end音声処理ツールキットESPnetのversion 202301からこのE-Branchformerが利
Cloud Run × Event-Driven Architecture の並列分散処理によるデータ処理高速化への取り組み
この記事は、Magic Moment Advent Calendar 2023 5日目の記事です。 こんにちは！ Magic Moment で Tech Lead をやっている Miyake です。 弊社のセールスオペレーションクラウド「Magic Moment Playbook」では、大量の営業データに対してバッチ処理を行うシーンがあります。 今回はバッチ処理の高速化について、Cloud Run と Event-Driven Architecture を活用したアーキテクチャで取り組んだときのお話をしたいと思います。 実装した背景 リアーキテクト以前では、課題が大きく2つありました。 処理速度が単純に遅い リソースの枯渇によるパフォーマンスの低下 「1. 処理速度が単純に遅い」に関しては、システムの製品価値として解決が必要なものでした。旧アーキテクチャでは対象のデータに対して1レコードず
人々の自粛ストレスを洗い流せるか？！（3472）大江戸温泉リートから分配金を頂きました - 【24/7】高配当株とかマイレージとか車とか【独り言】
しょこら＠です。 本日もブログをご覧頂き、ありがとうございます Twitterやってまーす。フォロー嬉しいですぞい！ Follow @syokora11_kabu 先週、私のポートフォリオの中でも貴重な5月権利確定（＝8月入金）銘柄である（3472）大江戸温泉リート投資法人から、第8期分の分配金を頂きました。 【対象口数】 10口 【一口あたり分配金】 2,328円 【現在の投資口価格】 57,700円 ※2020/8/14終値 【税引前年間利回り】 7.35% ※第8期＋第9期（予想分配金1,915円）を基に計算 毎月配当生活構築を目指す私にとっては、8月の入金は割とアキレス腱なのですが、おかげさまで、この温泉リートが支えてくれています。 温泉施設と聞くと「コロナ影響をモロに受けたカテゴリーじゃないのか」と思われそうですが、まさにその通りで、緊急事態宣言が発令された4月後半～6月
Background
The article requires some prerequisite knowledge about Linux kernel memory management subsystem. Recently, while investigating an OOM (out-of-memory) problem, Twitter engineers found that the slab cache was increasing consistently, but the page cache was decreasing consistently. A closer look showed that the highest consumption of the slab cache was the dentry cache, and the dentry caches were cha
Deep Learningを簡単・ローコードで使えるライブラリktrainを使ってみた | DevelopersIO
こんにちは、Mr.Moです。 機械学習関連の情報は今の時代オープンにされていることが多く、勉強するにあたり情報不足で困ることがあまり無いと感じています。一方で気になる論文や参考文献を見て理論を理解しそこからさらに実装(適用)に移行して動かしていきますが、そこまで集中力が持たなかったという経験は無いでしょうか？ そんな時に非常に短いコードでディープラーニングを実行できるktrainというライブラリがありましたので使ってみたいと思います。 ktrainとは ktrainはTensorFlow Keras (他にもtransformers, scikit-learn, stellargraphなど) の軽量ラッパーで、ニューラルネットワークやその他の機械学習モデルの構築、トレーニング、デプロイを支援します。初心者から経験豊富な方まで利用できシンプルで統一されたインターフェースにより様々なタスクを
これは、Rust Advent Calendar 2021 (2)の25日目の記事です。 https://qiita.com/advent-calendar/2021/rust 2021年8月にオライリー・ジャパンより出版された『並行プログラミング入門』を執筆しました。 並行プログラミング入門 ―Rust、C、アセンブリによる実装からのアプローチ 作者:高野 祐輝オライリージャパンAmazon 執筆から出版まで 本書のGitリポジトリのコミットログでは、2018年の2月10日に初コミットがあるため、2021年8月21日の出版日まで、実に3年6ヶ月もかかったことになります。これほどかかったのは、執筆にかけるための時間がそれほどとれなかったのと、何より内容が難しいと言うのが大きいと思います。並行プログラミングについては、Webや書籍等含めて、様々な文献で言及されてはいるものの、それを体系的にま
2024/2/29 に Amazon Linux 2023 が EKS で正式サポートされました。全てのリージョンの Karpenter Node、マネージドノードグループ、セルフマネージドノードグループで利用可能です。現在 EKS でサポート対象の 1.25 以降に加えて、延長サポートに入っている EKS 1.23 / 1.24 でも利用できます。Amazon Linux 2023 のサポートに関しては Amazon EKS-Optimized Amazon Linux 2023 AMIs Now Available のブログに詳細がまとまっています。 セキュリティ機能の強化 Amazon Linux 2023 では、Security Enhanced Linux (SELinux) や OpenSSL v3、Instance Metadata Service Version 2 (IM
![[EKS] Amazon Linux 2023 への移行](https://cdn-ak-scissors.b.st-hatena.com/image/square/5bbc48fb0940f501a43a0ec29c402e020e4f5eb9/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--j0IsPPKo--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BEKS%25255D%252520Amazon%252520Linux%2525202023%252520%2525E3%252581%2525B8%2525E3%252581%2525AE%2525E7%2525A7%2525BB%2525E8%2525A1%25258C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AtoVersus%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Q5NjQ3ZDFhMDguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を高速化してみます。高速化手法として FasterTransformer, Torch-TensorRT, AWS Neuron を用い、素 の transfomers に比べ、どの程度速くなるか（ならないか）、利点・欠点を確認してみましょう。 1. はじめに 今回は Transformer 系のモデル、具体的には BERT, T5, GPT の推論を様々な技術を使って高速化してみます。 高速化の元ネタは Hugging Face の transformers1 縛りとして、素の transformers で推論する場合に比べ、 どの程度速くなるか（ならないか）見てみましょう。 推論を高速化する技術としては FasterTransfomer2, Torch-TensorRT3, AWS Neuron(
【J-REIT】2021年11月 おすすめ初心者向け安いJリートとインフラファンド ※2021年11月21日更新 - greenの日記
こんにちは、チキン投資家のgreen🦆です。 緊急事態宣言が解除されて1週間を過ぎ、以前よりも外出する人が増えていると感じます。 そんな中、日経平均株価は1カ月前と比べると2,000円近く下がっています。 昨日は上げましたが、特に飲食系の株が下がっているのでびっくり😲です。 NYダウは34,746ドルと、上げ下げしながらだらだら下がっていましたが、今後、上に行くのか下に行くのか気になるところです。 greenは、積立てのeMAXIS Slim 米国株式(S&P500)売ったばぶー👶 ハイブリット積立て（崩して再び積立て中）。。。😅 さすが、ヘタレチキン野郎、駄目な運用ばぶー👶 では、11月に権利確定する初心者向けの安いREIT（リート）とインフラファンドの利回りを確認していきます。 2021年10月8日時点でREIT平均分配金利回りは3.54%、東証REIT指数は2,034円です
Android Boot Process
android bootingWhen switching off the power of the Android device and switch on it again, this process is known as the Android Booting sequence. Above Image showing 5 stages of Booting process for an Android-powered device: 1st Stage is Boot ROM and Boot Loader2nd Stage is Kernel3rd Stage is Init4th Stage is Zygote and DVM5th Stage is SystemServer and ManagersBoot ROM and Boot LoaderOn pressing th
Static TypeScript
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 Static TypeScript An Implementation of a Static Compiler for the Typ
無料版GoogleColabで13BのLLMを動かす方法（OOMにならない！/Fugaku-LLM-13Bも動いたぞォ！） - Qiita
無料版GoogleColabで13BのLLMを動かす方法（OOMにならない！/Fugaku-LLM-13Bも動いたぞォ！）GoogleColaboratoryLLMMistralFugaku-LLM 無料版GoogleColabで7Bや13BのLLMを動かす方法（OOMにならない！） 結論 bitsandbytes(量子化)で4bitや8bitでロードすればいい (メモリの消費量が抑えられる代わりに、LLMの精度は落ちます) AutoModelForCausalLM.from_pretrainedの引数に load_in_8bit=True,や load_in_4bit=True,を追加するだけ (7Bはbitsandbytes使わなくてもGPUで動かせたため、消しました) 成功例 accelerateとbitsandbytesのインストール なぜか、普通にインストールすると謎のエラーが出
【悲報】「JKを痴漢しまくっても通報されない」「痴漢祭り」…大学入学共通テスト前、ネット上で受験生標的の『痴漢予告』相次ぐ : 痛いニュース(ﾉ∀`)
【悲報】「JKを痴漢しまくっても通報されない」「痴漢祭り」…大学入学共通テスト前、ネット上で受験生標的の『痴漢予告』相次ぐ 1 名前：スペル魔 ★：2022/01/14(金) 19:58:13.45 ID:dbpMslK/9 「明日はJK（女子高校生）を痴漢しまくっても通報されない日です」。15、16両日に実施される大学入学共通テストを前に、受験生を標的にした痴漢をインターネットで予告する書き込みが相次いでいる。試験に遅刻したくない受験生の心理につけ込み、テスト当日であれば警察に突き出されないと踏んでいるとみられる。書き込みが相次いでいることを受け、神奈川県警はSNS（ネット交流サービス）で注意喚起したり、受験生が多く利用する駅を中心に制服警察官を配置したりと対策に乗り出した。 「わーよかった」明るい娘、気づいた性被害 「共通テスト痴漢祭り」。テストが近づくにつれ、ネット掲示板にはこのよう
この記事は、LIFULLその2 Advent Calendar 2020の23日目の記事です。 今回は、Androidの低レイヤーな話を取り上げてみようと思います。 具体的には、OOM Killerでプロセスがkillされるのを未然に防ぐLowMemoryKillerの仕組みについてです。 ネイティブアプリの開発は、よりメモリの事を意識した開発が必要だなと日々感じていたので、もっと低いレイヤーで何が行われているかをちゃんと理解したいと思ったのがきっかけで、勉強してきた内容になります。 読んでいただけたらこの辺の内容を理解できる内容になっていると思います。 LowMemoryKillerの仕組み Activityが破棄される基準 onSaveInstanceState()でBundleに保存するデータは実際どこに保存されているのか Androidエンジニアじゃなくても、Androidの世界を
linux-kernel.vger.kernel.org archive mirror help / color / mirror / Atom feedFrom: ojeda@kernel.org To: Linus Torvalds <torvalds@linux-foundation.org>, Greg Kroah-Hartman <gregkh@linuxfoundation.org> Cc: rust-for-linux@vger.kernel.org, linux-kbuild@vger.kernel.org, linux-doc@vger.kernel.org, linux-kernel@vger.kernel.org, Miguel Ojeda <ojeda@kernel.org> Subject: [PATCH 00/17] Rust support Date: Sun
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EC-CUBE4系でのプラグインエラーの原因と予防対策 - Qiita
負荷試験、Gatlingを使ってやってみた - スタディサプリ Product Team Blog
iOSはSwiftで、AndroidはKotlinで 「LINEマンガ」のアプリを支える開発言語たち
2019年8月22日 Linuxデスクトップにレスポンシブなメモリ解放を提供する「Low-Memory-Monitor」 | gihyo.jp
libc同梱のPOSIX regexpを使うmgemを公開した - ローファイ日記
PostgreSQLのメモリ管理を考える - Kattsu Sandbox
EC-CUBE4系でプラグインインストール時にエラーが出た時の対処法 - Qiita
https://t.co/q5oVx15Oom
Stretch iPhone to its Limit, a 2GiB Model that can Draw Everything in Your Pocket
EKS を運用してみて感じた課題感 | Basicinc Enjoy Hacking!
DroidKaigi_2022_LINEマンガAndroid メモリ改善
HuggingFace での Flash Attention 2 の使い方｜npaka
Chaos Mesh によるカオスエンジニアリング | sreake.com | 株式会社スリーシェイク
Toward Hermes being the Default · React Native
『並行プログラミング入門』を執筆しました - 未完成な論を綴るブログ
[EKS] Amazon Linux 2023 への移行
はじめての自然言語処理 Transformer 系モデルの推論高速化の検証 | オブジェクトの広場
LowMemoryKiller 〜AndroidのActivityが破棄される仕組み〜 - Qiita
[PATCH 00/17] Rust support - ojeda