並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 522件

新着順 人気順

performanceの検索結果241 - 280 件 / 522件

  • LINEはなぜBazelを使わないことにしたのか?

    Jung Giuk2023-08-292019年 LINE に Build Engineerとして入社し、現在は「アプリプラットフォーム開発室」のディベロッパーエクスペリエンス開発チームに携わっていて LINE iOSアプリのビルド環境やコードクォリティの改善に取り組んでいる。 はじめに こんにちは、ディベロッパーエクスペリエンス開発チームのJungです。 この記事では2年以上 LINE iOSのビルドシステムとして運用したBazelをやめることにした背景についてご紹介します。 Bazel導入とこれまでのLINE iOS LINE iOS は200万行以上のソースコードと200以上のモジュールで構成される大規模プロジェクトです。 LINE iOSのソースコードとモジュールの数が増えて規模を拡大し続けるにつれて、ビルド/テストの遅延と DX(デベロッパーエクスペリエンス) の低下という避けら

      LINEはなぜBazelを使わないことにしたのか?
    • 日本最強のペン回しパフォーマンスがすごい

      以前に「ペン回し」の世界チャンピオンにインタビューさせてもらったことがある。 そのときの詳細は当該記事で読んでもらうとして、それはさておき、かのペン回しチャンプkayさんから「今度ペン回しの大きなコンテストやるんですけど、見に来ません?」とお誘いをもらった。 実はあれ以来ちょいちょいペン回しの動画なんかもチェックしてるので、達人のペン回しが見応えあるのは知っている。なので、それはぜひ見に行きたい。 1973年京都生まれ。色物文具愛好家、文具ライター。小学生の頃、勉強も運動も見た目も普通の人間がクラスでちやほやされるにはどうすれば良いかを考え抜いた結果「面白い文具を自慢する」という結論に辿り着き、そのまま今に至る。(動画インタビュー) 前の記事:高尾山ほど書ける蛍光ペンとかカップホルダーノートとか!夏の文房具フェス2023 > 個人サイト イロブン Twitter:tech_k 単にペンをク

        日本最強のペン回しパフォーマンスがすごい
      • Ruby 3.3 YJITのメモリ管理とRJIT 〜すべてが新しくなった2つのJITを使いこなす | gihyo.jp

        Ruby 3.3リリース! 新機能解説 Ruby 3.3 YJITのメモリ管理とRJIT 〜すべてが新しくなった2つのJITを使いこなす 2023年12月25日、Ruby 3.3.0がリリースされ、様々な新機能が加えられました。本連載では実際に携わった皆さんにその新しいRubyをご紹介いただきます。 RubyはJust-In-Time(JIT)コンパイラという機能を備えており、これを有効化すると実行時に機械語を生成して様々な最適化が行なわれ、実行が高速になります。Ruby 3.3にはYJITとRJITという2つのJITコンパイラがあり、デフォルトでは無効になっていますが、それぞれ--yjitと--rjitで有効化できます。 この回では、Ruby 3.3でYJITの性能特性が変化した点や、YJITに新たに追加された便利な機能、またRJITはどのように使うものであるかについて解説します。 YJ

          Ruby 3.3 YJITのメモリ管理とRJIT 〜すべてが新しくなった2つのJITを使いこなす | gihyo.jp
        • 日本CTO協会による合同ISUCON研修の紹介 - Pepabo Tech Portal

          こんにちは!技術部プラットフォームグループのharukin, pochyです。 この記事では、「ISUCON」を模したパフォーマンスチューニング研修を複数社合同で実施した概要と、そのための準備について紹介します。 研修について 目的 今回の研修の目的は次のものとしました。 パフォーマンスチューニングの問題を会社横断でチームを組成し取り組むことで、サーバサイドやインフラのパフォーマンス・チューニングを中心に幅広い知識を総動員して課題解決に望む。 課題解決過程のコミュニケーションを通じて、会社の枠を超えた同期作りを促進する。 概要 今回の研修では、チームごとにパフォーマンスチューニングの課題に挑戦しました。 実際のISUCONのように、各チームにwebサーバーを貸し出す形式です。各チームはそのアプリケーションを時間内にパフォーマンスチューニングし、最適化された度合いによってチームに点数をつけま

            日本CTO協会による合同ISUCON研修の紹介 - Pepabo Tech Portal
          • 【特集】 Amazonで売っている激安Androidタブレットはどこまで使い物になるのか?ゲームやYouTube視聴で検証してみた

              【特集】 Amazonで売っている激安Androidタブレットはどこまで使い物になるのか?ゲームやYouTube視聴で検証してみた
            • Mirrativ iOSアプリでのメモリ使用量削減への取り組み - Mirrativ Tech Blog

              こんにちは、iOSエンジニアのふじのです。 Mirrativの機能開発を進める傍ら、iOSアプリのメモリ使用量の改善に取り組んでいます。 今回は、アプリ内でメモリ使用量を増やしている問題点を見つける方法と、それらをクライアント実装で解決する具体的なアプローチについて紹介します。 Mirrativアプリが抱える課題 着眼点とアプローチ 画像キャッシュの効率化 UIImageのリサイズ 画像のメモリキャッシュの上限サイズ設定 メモリリークへの対策 Allocationsやmemory graphを利用した手動検出 XCTestを利用したCI上での自動検出 改善の成果と今後の課題 We are hiring! 参考リンク Mirrativアプリが抱える課題 Mirrativアプリはライブ配信機能や視聴機能、Unityを利用したアバター機能やWebGLを利用したゲーム機能など、メモリを多く必要とす

                Mirrativ iOSアプリでのメモリ使用量削減への取り組み - Mirrativ Tech Blog
              • 作るだけなら簡単なLLMを“より優れたもの”にするには 「Pretraining」「Fine-Tuning」「Evaluation & Analysis」構築のポイント

                オープンLLMの開発をリードする現場の視点から、開発の実情や直面する課題について発表したのは、Stability AI Japan株式会社の秋葉拓哉氏。Weights & Biasesのユーザーカンファレンス「W&Bカンファレンス」で、LLM開発のポイントを紹介しました。全2記事。前半は、より優れたLLMを作るために必要なこと。前回はこちら。 より優れたLLMを作るために必要なこと 秋葉拓哉氏:めでたくFine-Tuningもできた。これけっこう、びっくりするかもしれません。コードはさすがにゼロとはいかないと思いますが、ほとんど書かずに実はLLMは作れます。 「さすがにこんなんじゃゴミみたいなモデルしかできないだろう」と思われるかもしれませんが、おそらく余計なことをしなければこれだけでも、まあまあそれっぽいLLMにはなるかなと思います。 なので、ちょっと、先ほどの鈴木先生(鈴木潤氏)の話と

                  作るだけなら簡単なLLMを“より優れたもの”にするには 「Pretraining」「Fine-Tuning」「Evaluation & Analysis」構築のポイント
                • はじめてアンテナショップというところへ行ってみた

                  八木アンテナを買ってきた 名産品らしい

                    はじめてアンテナショップというところへ行ってみた
                  • エクセル読み込みをPOIからFastExcelに置き換えてパフォーマンスを改善する

                    はじめに こんにちは!10 月から株式会社ログラスでエンジニアをやっています、Kyosuke です! ログラスでは、エクセルファイルをプログラムから操作する処理が一部存在しており、Apache POIというライブラリを使用しています。(以後POIと呼びます) しかし、POI には処理方式によってはメモリを多量に使用してしまうという問題があります。 今回はその対応として、まずエクセルファイルの読み込みをFastExcelというライブラリに置き換えた話を振り返っていきます。 TL;DR POIのXSSFWorkbookは、ファイルをメモリ内に読み込んで操作するため、大きなエクセルファイルを処理する際にファイルサイズ以上のメモリを必要とすることがある POI の公式ドキュメントより FastExcelは、POIより機能は劣る代わりに、読み書きともにパフォーマンスは大幅に上回る 書き込み Fast

                      エクセル読み込みをPOIからFastExcelに置き換えてパフォーマンスを改善する
                    • 最近のLLMの学習法のまとめ - SFT・RLHF・RAG|npaka

                      最近のLLMの学習法 (SFT・RLHF・RAG) をまとめました。 1. 教師ありファインチューニング (SFT : Supervised Fine-Tuning) 2. 人間のフィードバックからの強化学習 (RLHF : Reinforcement Learning from Human Feedback)

                        最近のLLMの学習法のまとめ - SFT・RLHF・RAG|npaka
                      • 2023 年の Prettier 振り返り

                        2023 年の Prettier の活動を振り返ります。 Prettier とは Prettier は JavaScript で書かれたコードフォーマッタです。設定可能な項目が少ないいわゆる opinionated なコードフォーマッタです。JavaScript や TypeScript だけではなく、HTML や CSS、GraphQL などもサポートしています。 リリース 2023 年は、メジャーバージョンのリリースが 1 回、マイナーバージョンのリリースが 1 回でした。これまでは 3 ヶ月に 1 回程度マイナーバージョンをリリースしていたので、頻度は少し下がっています。 ですが、メジャーバージョンである 3.0 をリリースできたことと、これまでよりもカジュアルにパッチバージョンをリリースするようになったことを考えると、開発自体が停滞しているわけではないと思っています。 「カジュアル

                          2023 年の Prettier 振り返り
                        • Kotlinハイパフォーマンスプログラミング

                          From Spring Boot 2 to Spring Boot 3 with Java 21 and Jakarta EE

                            Kotlinハイパフォーマンスプログラミング
                          • CSSパフォーマンスに関する計測結果

                            CSSパフォーマンスに関して計測した結果を発表しました。 パフォーマンス改善系の話は具体的な改善手法みたいなのがウケてしまいがちだけど普遍的に適用できる手法は案外多くなくて、「理論的に最適な⼿法が実際に(あなたの環境でも)最適かどうかは計測するまで分からない」って事が言いたかったです。だから、ベンチマークの提示もない改善手法に飛び付かず、計測⇄ボトルネック特定⇄改善のサイクルを回すことが大切です。 この発表の10日前にJSConf JPで発表があり、JSConfが終わって10日間の間にゆっくり資料をつくるつもりだったものの体調を崩して1週間ほど何もできない日々が続き、大急ぎで資料を作りました。 無事に発表を終えることができてよかったです。

                              CSSパフォーマンスに関する計測結果
                            • 【Gemini Ultra 1.0 VS GPT-4】史上最強LLMの性能を比較したら普通にGPT-4の方がすごかった件 | WEEL

                              Gemini Ultra 1.0の概要 Gemini Ultra 1.0は、Googleが開発したマルチモーダル生成AI(MLLM)「Gemini」シリーズの最高峰モデルで、現時点で最高クラスの性能を持つマルチモーダル生成AIであることは間違いないです。 そんなGemini Ultra 1.0は、あのGPT-4すら上回る性能を有しているとされ、以下の画像のようにほとんどのベンチマークでGPT-4を上回るスコアを獲得しています。 引用元:https://japan.googleblog.com/2023/12/gemini.html 引用元:https://japan.googleblog.com/2023/12/gemini.html 具体的には、性能比較全32項目のうち30項目で、GPT-4に勝利し、理数&人文で全57科目の問題集「MMLU」では、専門家にも勝利するほどのスコアを獲得して

                                【Gemini Ultra 1.0 VS GPT-4】史上最強LLMの性能を比較したら普通にGPT-4の方がすごかった件 | WEEL
                              • PostgreSQL 16がリリースされる、COPYの性能が最大300%向上などパフォーマンスの改善や論理レプリケーション機能の強化など盛りだくさんな内容

                                オープンソースのデータベース「PostgreSQL」のバージョン16がリリースされました。パフォーマンスの改善や論理レプリケーション機能の強化をはじめ、開発者のQOL向上やセキュリティ関連の更新など開発開始から35年経過しているとは思えない盛りだくさんな内容となっています。 PostgreSQL: PostgreSQL 16 Released! https://www.postgresql.org/about/news/postgresql-16-released-2715/ ◆クエリプランナーが改良される ・FULLおよびRIGHTのJOINを並列化可能に ・「DISTINCT」「ORDER BY」節と同時に集計関数を使用したクエリに対してより効率的なプランを生成 ・「SELECT DISTINCT」クエリに対してインクリメンタルソートを使用 ・ウィンドウ関数を最適化 ・RIGHTおよび

                                  PostgreSQL 16がリリースされる、COPYの性能が最大300%向上などパフォーマンスの改善や論理レプリケーション機能の強化など盛りだくさんな内容
                                • ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ

                                  こんにちは、LayerX CTOの@y_matsuwitterです。最近はパン作りにハマっています。無心に小麦と酵母の声を聞くことで精神の安寧を求めています。 この記事は LayerXテックアドカレ2023 19日目の記事です。前回は @shota_tech が「Go の linter 雰囲気で使っていたから調べ直した #LayerXテックアドカレ」を書いてくれました。次回はEMオフィスの@serimaより「Engineering Officeの話」がポストされる予定なのでご期待ください。 ISUCON13 昨日開催のISUCONに参加してきました。とても楽しい問題ですし、これだけの人数での開催を支えている運営の皆さんには頭が上がりません。個人でもLayerXとしてもスポンサーさせていただきました。ありがとうございます! 10年近く一緒に出場している.datというチームで、私はプロンプトを

                                    ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ
                                  • データ解析用ライブラリ - Qiita

                                    はじめに 皆さん、データ解析やデータ処理にどのライブラリを使用していますか? 恐らく、ほとんどの人がpandasを使用していると思います。 今回は、その他のデータ解析用ライブラリやデータ処理ライブラリについて紹介したいと思います(/・ω・)/ Pandas 言わずと知れたデータ解析用ライブラリですね。 データフレームとシリーズという2つの主要なデータ構造が提供されており、データの読み込みやフィルタリングなど、様々なデータ解析/処理に適しています。 中小規模のデータセットに適しており、大規模なデータの処理はメモリ不足や処理速度の問題からあまり向いていません。 Numpy こちらも言わずと知れたライブラリです。 高速な多次元配列の処理とベクトル化演算のためのライブラリであり、配列の生成やブロードキャスティングなどの多彩な操作を提供しています。 線形代数や乱数生成、フーリエ変換などの科学技術計算

                                      データ解析用ライブラリ - Qiita
                                    • Pythonのパフォーマンスを向上する9つのヒント

                                      Pythonのパフォーマンスは、Javaなどの言語と比べて評価が低い。本稿では、Pythonコードの問題点を見つけて解決し、パフォーマンスを高めるヒントを紹介する。 アプリケーションやWebサイトを最適化する出発点は、コードをしっかりと構築することだ。とはいえ、実際にはコードの90%、多くのスクリプトのほぼ100%ではパフォーマンスを懸念する必要はない。1回だけ実行されるETLスクリプトや夜間に実行されるETLスクリプトではスクリプトの実行にかかる時間が1秒であろうと1分であろうと問題にならない。 だが、アプリケーションの実行が遅く、タスクが完了するまで時間がかかったり、Webページに結果が表示されるのに時間がかかったりして、ユーザーが待たなければないとしたらそれは問題だ。そうだとしても、その原因はコードベースのごく一部にある可能性が高い。 パフォーマンスを最大限に高めるには、パフォーマン

                                        Pythonのパフォーマンスを向上する9つのヒント
                                      • Ruby 3.3.0+YJIT本番運用カンパニーになりました - Timee Product Team Blog

                                        こんにちは。バックエンドエンジニアの須貝(@sugaishun)です。 今回はタイミーが本番運用しているRailsアプリケーションに対してRuby3.3.0へのアップデートを行った(YJITは引き続き有効なまま)のでその結果をご紹介したいと思います。 昨年弊社のid:euglena1215が書いたエントリーのRuby3.3.0版です。 tech.timee.co.jp 前提 タイミーのWebアプリケーションとしての特性は基本的には昨年と変わりありません。ですので、昨年の内容をそのまま引用させてもらいます。 タイミーを支えるバックエンドの Web API は多くのケースで Ruby の実行よりも DB がボトルネックの一般的な Rails アプリケーションです。JSON への serialize は active_model_serializers を利用しています。 今回の集計では API

                                          Ruby 3.3.0+YJIT本番運用カンパニーになりました - Timee Product Team Blog
                                        • DBセキュリティ性能検証「検証と結果」編 - RAKUS Developers Blog | ラクス エンジニアブログ

                                          ※注意:本記事内での計測結果は記載の条件下によるものとなります。異なる環境においては異なる結果が予想されますのでご認識ください。 こんにちは。 株式会社ラクスにて、主に先行技術検証を担当している「技術推進課」という部署に所属している鈴木(@moomooya)です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「DBセキュリティ」にまつわる検証を行なったので、その報告を共有しようかと思います。 今回はDBセキュリティの中でも、DBデータの暗号化の話が中心となります。 ちなみに中間報告時点で公開した記事はこちらになります。 tech-blog.rakus.co.jp DBセキュリティについて 本記事におけるDBセキュリティ

                                            DBセキュリティ性能検証「検証と結果」編 - RAKUS Developers Blog | ラクス エンジニアブログ
                                          • 読みやすいテストコードへの一歩、適切なAssertionを使う

                                            PHPerKaigi 2024 https://fortee.jp/phperkaigi-2024/proposal/1be00d06-afa8-4ba9-a49b-9118c782f8e3

                                              読みやすいテストコードへの一歩、適切なAssertionを使う
                                            • JVM勉強会(開発編)を開催しました - 株式会社ヘンリー エンジニアブログ

                                              こんにちは、SREの戸田です。本日はJVM勉強会(運用編)に続けて開催したJVM勉強会(開発編)の一部を公開します。 図1 勉強会はやっぱりGoogle Meetでオンライン開催しました システムプロパティ システムプロパティは環境変数のように、プログラムの挙動を変えるために利用することが多いです。例えばOpenJDKそのものでも Integer.valueOf() で値をどの程度キャッシュするか*1を設定するためにシステムプロパティを使っています。 他にも user.language あたりはよく知られていますし、標準で提供されるシステムプロパティも多数あります。しかし製品コードから直接参照することは基本ないと思っていて、 File.pathSeparator などの提供されたAPIを使うことが望ましいでしょう。またシステムプロパティは動的に変更することも可能ですが、システムプロパティを

                                                JVM勉強会(開発編)を開催しました - 株式会社ヘンリー エンジニアブログ
                                              • Supavisor: Scaling Postgres to 1 Million Connections

                                                One of the most widely-discussed shortcomings of Postgres is it's connection system. Every Postgres connection has a reasonably high memory footprint, and determining the maximum number of connections your database can handle is a bit of an art. A common solution is connection pooling. Supabase currently offers pgbouncer which is single-threaded, making it difficult to scale. We've seen some novel

                                                  Supavisor: Scaling Postgres to 1 Million Connections
                                                • AMD新CPUの「Ryzen AI 300」は、12コアCPUとSnapdragon Xを超えるNPUを搭載

                                                    AMD新CPUの「Ryzen AI 300」は、12コアCPUとSnapdragon Xを超えるNPUを搭載
                                                  • 自作パケット処理系の性能測定と可視化&改善のPDCAを回して最強のパケット処理系の作り方を学ぼう / Let's Measure the Performance of Packet Processing System with Python Tools.

                                                    Pycon APAC 2023で登壇した時の資料です。 https://pretalx.com/pyconapac2023/talk/G3LDSG/ https://2023-apac.pycon.jp/timetable?id=G3LDSG

                                                      自作パケット処理系の性能測定と可視化&改善のPDCAを回して最強のパケット処理系の作り方を学ぼう / Let's Measure the Performance of Packet Processing System with Python Tools.
                                                    • TypeScript プロジェクトのコンパイル時間を改善してみた話

                                                      TypeScript プロジェクトのコンパイルのボトルネックを調査・解消してみた話 はじめに こんにちは。エンジニアの辻󠄀です。 私は社内のとある TypeScript プロジェクトで開発業務を行っていました。 ある日、新たに関数の実装を追加しようとしたその時、tsserver(TypeScript の language server)による補完候補がなかなか表示されないことに気づいたのです。 どうやら、コンパイルの時間が非常に長くなっていたことが原因のようです。 この記事では、tsc のコンパイルにおけるボトルネックを調査する方法と、そこで適用した2つの改善方法について紹介します。 コンパイル時間が低下する原因はプロジェクトの性質によって大きく異なるため、ここで述べる改善方法が任意のプロジェクトに有効だとは言えませんが、少なくとも調査方法については役に立つのではないかと思います。 ボト

                                                        TypeScript プロジェクトのコンパイル時間を改善してみた話
                                                      • On Maximizing Your Rust Code's Performance | Jonathan Becker

                                                        Just a few more seconds... or minutes... or hours...

                                                          On Maximizing Your Rust Code's Performance | Jonathan Becker
                                                        • 「Web会議は参加人数が多いほどPCの負担が大きいのは本当か? ツールごとに通信量やCPU/GPU負荷を調べてみた」【急遽テレワーク導入!の顛末記】

                                                            「Web会議は参加人数が多いほどPCの負担が大きいのは本当か? ツールごとに通信量やCPU/GPU負荷を調べてみた」【急遽テレワーク導入!の顛末記】
                                                          • 【Windows 11】タスクマネージャーの「パフォーマンス」タブの見方

                                                            タスクマネージャーでシステムの動作状態を知りたい! Windows OSにおいて、システムの動作状態をチェックしたり、必要なメモリサイズを見積もったりするには、タスクマネージャーによるシステム状態の把握が必要である。これを使えば、簡単にシステムの動作状況を調査できるし、必要ならアプリケーション(プロセス)ごとの細かな動作状況やCPU/メモリの利用量などをモニターすることも可能だ。 また、システムの動作が重くなったといった場合のトラブルの原因追及にも役立ってくれる。 タスクマネージャーは非常に多くの機能を持つ。本Tech TIPSでは、最もよく使われるであろう[パフォーマンス]画面の内容について解説する。対象はWindows 11とする。 Windows 10やWindows Server 2016以降の場合は、Tech TIPS「Windows 10対応:タスクマネージャーの『パフォーマン

                                                              【Windows 11】タスクマネージャーの「パフォーマンス」タブの見方
                                                            • PerformanceResourceTiming API で HTTP Cache のヒット率を知る - Repro Tech Blog

                                                              はじめに こんにちは、Repro Booster という製品の開発責任者/プロダクトマネジメントを担当しているEdward Fox(edwardkenfox)です。 WebサイトやWebアプリケーションの表示速度を考える上では、キャッシュの活用はとても大事なテーマです。一口にキャッシュといっても、Webの文脈だけで見ても様々なレイヤーや用途のキャッシュが存在します。今回は昔ながらのキャッシュ、いわゆる HTTP Cache に的を絞り、HTTP Cache のヒット率について考えてみたいと思います。 さまざまなキャッシュレイヤー 前述のように、Webにおけるキャッシュには用途やレイヤーの異なる様々な種類のものが存在します。Webサイト/Webアプリケーションを開発する上で気にかけるべきものは、おおよそ次のようなものが該当するでしょう。 HTTP Cache (ブラウザキャッシュ) Cach

                                                                PerformanceResourceTiming API で HTTP Cache のヒット率を知る - Repro Tech Blog
                                                              • Googleがアプリ起動を30%高速化させる「Androidランタイム」のアップデートを発表、Android 12以降なら古いスマホも高速化

                                                                Googleが2023年8月21日に、Android Runtime(ART)のアップデートによりアプリの起動時間や実行速度を大きく向上させられるようにすると発表しました。ARTがOSとは独立して更新できるようになったことで、古いAndroidがインストールされているスマートフォンでもアプリのパフォーマンスが改善することが期待できます。 Android Developers Blog: Latest ARTwork on hundreds of millions of devices https://android-developers.googleblog.com/2023/08/latest-artwork-on-hundreds-of-millions-of-devices.html ARTは、Android OS上でアプリを実行する上で中核的な役割を担っているプログラム実行環境で、

                                                                  Googleがアプリ起動を30%高速化させる「Androidランタイム」のアップデートを発表、Android 12以降なら古いスマホも高速化
                                                                • LLM開発のためのデータエンジニアリング - Qiita

                                                                  LLM開発のためのデータエンジニアリング MLOps Advent Calendar 2023の24日目です。 Stability AIでデータ系のソフトウェアエンジニアをやっているcvuskです。主な仕事は日本語LLMのためのデータ開発です。Stability AIでは日本語LLMも各種開発しています。LLMの学習というと大量のGPUを用意して巨大なデータでモデルを学習する、というキラキラしたイメージ(?)が強いかもしれませんが、データが重要かつ苦労が耐えない課題であることは他の機械学習やディープラーニングモデルと違いありません。日本語のテキストデータは英語ほど入手しやすいわけではないのと同時に、データエンジニアリングや品質面でもいろいろと大変なことが多々あります。今回はLLMのためのテキストデータの用途やエンジニアリングについて整理します。 LLMの学習 LLMの学習は大きく分けて事前

                                                                    LLM開発のためのデータエンジニアリング - Qiita
                                                                  • UberのCacheFront:レイテンシーを大幅に削減し、毎秒4000万件の読み取りを可能に

                                                                    垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。

                                                                      UberのCacheFront:レイテンシーを大幅に削減し、毎秒4000万件の読み取りを可能に
                                                                    • JDK 21のswitch式でpattern match書いたら10倍以上遅い件 - xuwei-k's blog

                                                                      switch式の結果javapしたらhttps://t.co/xMc0YEYsrg java.lang.runtime.SwitchBootstraps と tableswitch が使われることに気がついたが、これ巨大なswitch式をJDK 21以降で書いた場合、同等の巨大なmatch式をScalaで書くよりも速度が速い可能性があるのでは??? これScalaで活用できるか?というと— Kenji Yoshida (@xuwei_k) September 25, 2023 switch式の結果javapしたら https://docs.oracle.com/en/java/javase/21/docs/api/java.base/java/lang/runtime/SwitchBootstraps.html java.lang.runtime.SwitchBootstraps と ta

                                                                        JDK 21のswitch式でpattern match書いたら10倍以上遅い件 - xuwei-k's blog
                                                                      • ARMアーキテクチャがメモリアクセスを省略することで意図したベンチマークになっていなかった話

                                                                        概要 あるサンプルコードのベンチマークを測定したところ、期待していたよりも18倍速い結果が出力されました。バイナリを調査してみると、メモリ読み出しの命令が1つ増えるだけでこの性能差が生じていました。さらに調査を進めると、ARMアーキテクチャは連続したメモリへの書き込みを1つにマージし、実行を省略する可能性があることがわかりました。そのため、一般的なベンチマークのように複数回の測定結果を平均化するやり方では、正しい速度を測定できていませんでした。 「パフォーマンスを解釈するのにアーキテクチャの理解が不可欠だった事例」として面白かったのでこの記事を書いてみました。Go言語で説明しますが、言語に依存しない話だと思います。 得られた教訓 バイナリを見ても説明できない性能差は、アーキテクチャの理解によって説明できることがある マイクロベンチマークは、何を計測しているのかを理解した上で実施する必要があ

                                                                          ARMアーキテクチャがメモリアクセスを省略することで意図したベンチマークになっていなかった話
                                                                        • TypeScriptパーサーのベンチマーク:Rustツールの性能の謎を解く

                                                                          TL;DR: JavaScriptで使われるネイティブパーサーは、言語間の余分な作業のために常に速いとは限りません。これらのオーバーヘッドを回避し、マルチコアを使うことが性能にとって重要です。 Rustは、そのパフォーマンスと安全性の特徴から、JavaScriptエコシステムの中で急速に選択肢の一つになっています。しかし、RustをJavaScriptツールに統合することは、特に効率的で移植性の高いプラグインシステムを設計する際に、固有の課題をもたらします。 「JavaScriptツールをRustで書き直すことは、広範な外部貢献を必要としない速度重視のプロジェクトにとって有利です。」 ESLintの作者であるNicholas C. Zakas Rustは、その急な学習曲線のために難しいものになりがちで、さらにコンパイルされたバイナリを異なるプラットフォームに配布することも簡単ではありません

                                                                            TypeScriptパーサーのベンチマーク:Rustツールの性能の謎を解く
                                                                          • UUIDなのにデータベースのプライマリキーに設定してもパフォーマンスの問題を起こさない「UUIDv7」の標準化作業が進行中

                                                                            UUIDは「Universally Unique Identifier」の略称で、世界中のどこにも重複が存在しない唯一のIDという特徴があります。UUIDには歴史的な経緯によっていくつかのバージョンが存在していますが、2023年10月時点で標準化の作業が進行中のv7についてCI/CDサービスを提供する企業のBuildkiteが解説しています。 Goodbye to sequential integers, hello UUIDv7! https://buildkite.com/blog/goodbye-integers-hello-uuids UUIDは128ビットの数字で、大部分をランダムに作成することで重複する確率を限りなくゼロに近づけており、実質的に世界中のどこにも存在しない唯一のIDとみなせるようになっています。しかし、完全に数値がランダムのためプライマリキーとして使用するとデータ

                                                                              UUIDなのにデータベースのプライマリキーに設定してもパフォーマンスの問題を起こさない「UUIDv7」の標準化作業が進行中
                                                                            • 継続的なパフォーマンス改善のプロセスを紹介します #LayerXテックアドカレ - LayerX エンジニアブログ

                                                                              こんにちは、バクラクの請求書受取・仕訳チームでソフトウェアエンジニアをしている id:wataru_lx です。 年末は毎年そばを打っており、今年は十割そばに挑戦します!成功したことはありません。 この記事はLayerXテックアドカレ(概念)の48日目の記事です。昨日は@coco_tyw さんの「VeeValidate v4 の破壊的変更を互換コンポーネントで乗り切った話」をお届けしました。明日は id:sadayoshi_tada さんが担当します。 ありがたいことに、利用されるお客様やシステムで処理する請求書の数も日々増加しており、それに伴いパフォーマンスに関するお問い合わせも増えています。これを受け、私たちはパフォーマンス改善をOKRに掲げ、具体的な取り組みを進めてきました。 パフォーマンス改善は終わりがない旅のようでまだ始まったばかりですが、今回はその改善プロセスついて紹介します。

                                                                                継続的なパフォーマンス改善のプロセスを紹介します #LayerXテックアドカレ - LayerX エンジニアブログ
                                                                              • WindowsユーザーはiPerf3を避けるべき、Microsoftが否定的見解示す

                                                                                Microsoftは4月18日(米国時間)、「Three Reasons Why You Should Not Use iPerf3 on Windows - Microsoft Community Hub」において、Windowsでネットワークパフォーマンスの測定にiPerf3を使用すべきではないと主張した。同社は利用すべきではない理由を挙げるとともに、iPerf3の代わりとなる代替ツールを紹介している。 Three Reasons Why You Should Not Use iPerf3 on Windows - Microsoft Community Hub WindowsでiPerf3を使用すべきではない3つの理由 Windows環境でのネットワークベンチマーキングにおいて、使いやすさと高いカスタマイズ性からiPerf3が使われることがある。しかしながら、MicrosoftはWi

                                                                                  WindowsユーザーはiPerf3を避けるべき、Microsoftが否定的見解示す
                                                                                • Xが「Trust(信頼)と名の付く組織は信用ならない」としてTrust&Safety部門を「Safety」に改名、Twitterモデレーション部門の元責任者をBlueskyが雇ったことへの当てつけか

                                                                                  ソーシャルネットワーキングサービスのX(旧Twitter)を所有するイーロン・マスク氏が「名前にTrustを冠する組織は信頼に値しない」との意見を表明し、直後に自社のTrust&Safety部門を「Safety部門」に改名しました。 Exactly. Any organization that puts “Trust” in their name cannot trusted, as that is obviously a euphemism for censorship. We are changing the name of our Trust & Safety group, to simply @Safety. Trust is something that must be earned. The goal of our Safety team is simply to… https

                                                                                    Xが「Trust(信頼)と名の付く組織は信用ならない」としてTrust&Safety部門を「Safety」に改名、Twitterモデレーション部門の元責任者をBlueskyが雇ったことへの当てつけか