並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 153件

新着順 人気順

unixの検索結果41 - 80 件 / 153件

  • The Linux audio stack demystified

    Introduction Digital audio processing is a complex yet fascinating subject. Getting a deeper understanding requires knowledge in multiple technical disciplines, including physics, electrical/electronical engineering, and some software engineering when it comes to parts of the Linux ecosystem. This article aims to demystify the Linux audio stack by explaining the basics of sound, how humans perceiv

      The Linux audio stack demystified
    • 本来はカーネルを指す「Linux」、気になるUNIXとのアプリ互換性

      Linuxは現在、多くの分野で利用されている。その心臓部が「カーネル」だ。Linuxを使いこなすのに必要なカーネルの知識を解説する。 コンピュータのハードウエアを制御して、アプリケーションの実行環境や対人インタフェースなどを提供するソフトウエアがOS(Operating System)です。OSの主な役割としては、(1)キー入力やマウスクリックをはじめとするコンピュータを操作するためのインタフェースを提供する、(2)アプリケーションが共通で使う機能を提供する、(3)面倒で複雑なハードウエア制御をアプリケーションの代わりに担当する、といったものが挙げられます。 OSは一般的に複数のソフトウエア部品から構成されます。そのソフトウエア部品のうち、中核的な役割を担うのが「カーネル」(kernel)です。カーネルとは、植物の種子の内部にある「仁」(じん)を示す英単語です。OSのユーザーインタフェース

        本来はカーネルを指す「Linux」、気になるUNIXとのアプリ互換性
      • Carving ELF Files

        Recently, I created a simple tool, Carve Exe, to carve executables from other files (e.g. memory dumps or network traffic). Carving executables from binary blobs is a common task in digital forensics and reverse engineering. For example, when analyzing how a malware sample unpacks and deobfuscates itself. The problem of carving executables from binary blobs boils down to finding the beginning and

        • 運用では確認以外を自動化したいという時もある - じゃあ、おうちで学べる

          はじめに こんにちは、ウェブオペレーターの皆さん。今日は、運用の自動化を推進しつつ、重要な確認ステップを保持する方法について、私が開発したツール「toi」を交えてお話しします。 また、これらのツールが完全な自動化が許されない環境や状況でも活用できる方法に焦点を当てていきます。 マスタリングLinuxシェルスクリプト 第2版 ―Linuxコマンド、bashスクリプト、シェルプログラミング実践入門 作者:Mokhtar Ebrahim,Andrew Mallettオライリー・ジャパンAmazon toiの開発背景 toiの開発は、私自身がウェブオペレーションの現場で直面した具体的な課題から始まりました。完全な自動化を目指す一方で、重要な判断には人間の介入が必要な場面が多々ありました。例えば: スクリプト1の実行結果を確認し、その出力をスクリプト2の入力としてコピーペーストする必要がある場合。

            運用では確認以外を自動化したいという時もある - じゃあ、おうちで学べる
          • GitHub - Parrot-Developers/libpomp: Printf Oriented Message Protocol

            pomp - Printf Oriented Message Protocol This library offers a simple protocol to encode/decode messages and exchange them between processes on a socket (inet or local). A message is composed of a 32-bit id and a payload. The payload is composed of any number of typed arguments. The encoding/decoding is done with printf/scanf like functions with a format string and a variable number of arguments. H

              GitHub - Parrot-Developers/libpomp: Printf Oriented Message Protocol
            • `find` + `mkdir` is Turing complete | Hacker News

              > In Windows, folders are entirely free in terms of disk space! For proof, create say 352,449 folders and get properties on it.To be that guy for a moment: well, hackchewally…¹ Directory entries do take up space in the MFT, but that doesn't show up in explorer which is only counting allocated blocks elsewhere. You will eventually hit a space issue creating empty directories as the MTF grows to acc

              • Bril: An Intermediate Language for Teaching Compilers

                When I started a new PhD-level compilers course a few years ago, I thought it was important to use a “hands-on” structure. There is a big difference between understanding an algorithm on a whiteboard and implementing it, inevitably running into bugs when your implementation encounters real programs. At the same time, I wanted students to get started quickly, without learning the overwhelming APIs

                  Bril: An Intermediate Language for Teaching Compilers
                • Raspberry Pi 5にdockerをインストールする

                  この記事では、Raspberry Pi 5にdockerをインストールする方法を解説します。使用しているOSはRaspberry Pi OS (64-bit)です。 はじめに 発売直後、Raspberry Pi は電子工作ツールとして人気を呈していました。近年では、AI や IoT などの先端技術開発にも活用されるようになっています。しかし、開発環境を整えるのは手間がかかります。運用も難しいと感じている方も多いことでしょう。 そんな課題を解決するのが、 Docker です。Docker は、軽量な仮想環境であるコンテナを作成・管理するツールです。コンテナには必要なソフトウェア環境がすべて含まれています。そのため、開発環境の構築や運用が簡単になります。 本記事では、Raspberry Pi OS (64-bit) に Docker をインストールする方法を解説します。ぜひ参考にしてみてくださ

                    Raspberry Pi 5にdockerをインストールする
                  • ITシステムのモダナイゼーションが急務に 富士通が確立したベストプラクティスとは?

                    富士通 グローバルテクノロジーソリューションビジネスグループ モダナイゼーションナレッジセンター センター長 枦山 直和 ITシステムのモダナイゼーションが急務に。富士通が確立したベストプラクティスとは? 企業の業務を長く支えてきたメインフレームやUNIX機などの老朽化が、大きな課題となっている。クラウドサービスや人工知能(AI)など、最新の仕組みを活用するために基幹業務システムとの連携が不可欠だからだ。ビジネスの今と未来を見通し、老朽化したシステムをどうモダナイズするかが問われている。多くの企業のモダナイズを手掛け、富士通のモダナイゼーション事業をリードするモダナイゼーションナレッジセンター長の枦山 直和に最新のトレンドを聞いた。 (聞き手:日経BP 総合研究所 フェロー 桔梗原 富夫 氏)

                      ITシステムのモダナイゼーションが急務に 富士通が確立したベストプラクティスとは?
                    • 「4倍の処理能力」の実力は?シンVPSの最安値プランをベンチマーク比較 | SERVERSUS

                      ベンチマーク結果(UnixBenchmarks)最後に、今回行ったUnixBenchmarksの詳細な数値を記載します。 シンVPS1コア・512MBプラン======================================================================== BYTE UNIX Benchmarks (Version 5.1.3) System: x162-43-71-79: GNU/Linux OS: GNU/Linux -- 5.4.0-153-generic -- #170-Ubuntu SMP Fri Jun 16 13:43:31 UTC 2023 Machine: x86_64 (x86_64) Language: en_US.utf8 (charmap="UTF-8", collate="UTF-8") CPU 0: AMD EPYC

                        「4倍の処理能力」の実力は?シンVPSの最安値プランをベンチマーク比較 | SERVERSUS
                      • EuroPython2024参加レポート | gihyo.jp

                        青野高大(koxudaxi)です。私はソフトウェアエンジニアとして企業で働きながら、プライベートではオープンソースソフトウェア(OSS)の開発をしています。今回は、EuroPython 2024で登壇する機会を得て、チェコ・プラハを訪れました。この記事では、私の登壇体験をはじめ、イベントの詳細を紹介します。また、5月に参加したPyCon US 2024との比較を交えながら、現場で得た知見を共有します。 EuroPython 2024について EuroPython 2024は、2024年7月8日から14日まで、チェコのプラハにあるプラハ国際会議場(Prague Congress Centre)で開催されました。このカンファレンスは、ヨーロッパを中心にPythonに関心を持つ開発者が集まる、ヨーロッパ最大級のPythonカンファレンスです。今回のイベントには、約1,200人以上の参加者が集まり

                          EuroPython2024参加レポート | gihyo.jp
                        • 【Mac初心者向け】.DS_Storeを消したい! - Qiita

                          どうも、MacBook Air利用歴1年目の三町哲平です。 最近ふと、GitHubではなくMacBook内のローカル環境のディレクトリに保存していたRailsアプリを使う機会がありまして、Visual Studio Codeで開いてみたところ、 ...何これ?となりましたので、早速調べてみました。 .DS_Storeとは? 分からない事はWikipediaが一番詳しく載ってそうなので今回は、Wikipediaを使用しましたが、なんとビックリ! 日本語の「.DS_Store」のページが無いみたいなので、今回は、英語のページを日本語訳で紹介します。 アップル のMacOSオペレーティングシステム、.DS_Storeは店がカスタムその含むの属性というファイルでフォルダなどの位置として、アイコンや背景画像の選択が。名前はDesktopServices Storeの略語であり、その目的を反映していま

                            【Mac初心者向け】.DS_Storeを消したい! - Qiita
                          • ConoHa VPS の NVIDIA L4 サーバーで Splunk App for Data Science and Deep Learning を使ってみる / 開発者向けブログ・イベント | GMO Developers

                            ConoHa VPS の NVIDIA L4 サーバーで Splunk App for Data Science and Deep Learning を使ってみる はじめまして、GMOインターネットグループの岡村です。 今回は、ConoHa VPS の NVIDIA L4 サーバーで、Splunk App for Data Science and Deep Learning(旧: Deep Learning Toolkit)の導入手順を紹介したいと思います。 ConoHa GPU サーバー ConoHa では、2023年より、NVIDIA の H100 と L4 のサーバーを提供しています。 GPUサーバー-AI開発や画像生成に|VPSならConoHa 月単位で利用するとちょっと手が出にくい金額ですが、ConoHa は時間課金で利用できますので、手が届きやすいのではないかと思います。 サー

                            • App Engine スタンダード環境アプリを Cloud Run に移行する  |  App Engine migration center  |  Google Cloud

                              フィードバックを送信 App Engine スタンダード環境アプリを Cloud Run に移行する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 リージョン ID REGION_ID は、アプリの作成時に選択したリージョンに基づいて Google が割り当てる省略形のコードです。一部のリージョン ID は、一般的に使用されている国や州のコードと類似しているように見える場合がありますが、このコードは国または州に対応するものではありません。2020 年 2 月以降に作成されたアプリの場合、REGION_ID.r は App Engine の URL に含まれています。この日付より前に作成されたアプリの場合、URL のリージョン ID は省略可能です。 詳しくは、リージョン ID をご覧ください。 このガイドでは、パブリック IP を使用して Cloud S

                                App Engine スタンダード環境アプリを Cloud Run に移行する  |  App Engine migration center  |  Google Cloud
                              • 低価格で電気代を節約するサーバーを考える – Magic Object

                                電気代が高騰しているので、電気代を節約するサーバーを考えてみました。 本当に NAS サーバーは必要か?NAS サーバーの利点は、複数のマシンとディスクを共有できる事と、万が一の場合にデータ損失を防ぐ事にある。 では実際に、データはレイド構成で構築されているだろうか? 勿論、レイド5やレイド6でである。 そうでない場合は、NAS サーバーは必要ないかもしれない。 最近のルータには外付けHDDなどが接続できる実は最近のルーターにはUSB端子が装備されており、簡単にファイル共有サーバーが実現できる。 レイド構成は不可能だが、わざわざサーバーを用意している場合は、見当してみてはどうだろうか? NAS はサーバーを用意するのではなく専門のNASを使おうサーバー専用機ではレイド構成が出来るように複数のHDDを内蔵できるが、設定も複雑で電気代も掛かる事からオススメしない。 それよりは安価なNASを探し

                                • Rust+WebAssemblyを使ったWebアプリでの高速画像処理入門 - アダコテック技術ブログ

                                  要約 背景 WebAssembly (WASM) とは? Rust言語とは? サンプルアプリ概要 LBP特徴量計算をRustで実装 フロントエンド環境構築 バックエンド環境構築 スキーマ定義 Rust実装 WASMバイナリの生成 TypeScript実装 実行結果 まとめ メンバー募集しています! おまけ こんにちは!美味しいタコスを食べることを専門としているプロダクト開発部エンジニアの井上です。 要約 WebAssembly(WASM)、Rustは近年注目されている技術であり、これを利用することでWebアプリケーション上で高速な画像処理を実現できるよ。 我々も画像前処理を行っていたWindowsデスクトップアプリケーションを、WebAssembly+Rustを使用してWebアプリケーションに置き換えたよ。 Rust言語で実装した画像処理をWASMにコンパイル、そしてWebアプリケーション

                                    Rust+WebAssemblyを使ったWebアプリでの高速画像処理入門 - アダコテック技術ブログ
                                  • 明細項目の詳細 - AWS コストと使用状況レポート

                                    lineItem/LineItemDescription 明細項目タイプの説明。たとえば、使用料の明細項目は、特定の期間に発生した使用タイプを要約したものです。 サイズ柔軟な RI の場合、説明は、利点が適用された RI に対応します。たとえば、t2.micro行項目がaに対応していて、t2.smallその用途にRIが適用されている場合、lineItem/LineItemDescriptionが表示されますt2.small。 RI 割引が適用された使用料の明細項目の説明には、明細項目の対象となる料金プランが含まれています。 lineItem/LineItemType この明細項目の対象となる請求の種類。以下の種類が対象となります。 BundledDiscount— 別のサービスまたは機能の使用量に基づいて、サービスまたは機能を無料または割引して利用できる従量制の割引です。 [Credit]

                                    • 【無料版OK】ChatGPTで顧客への提案書作成を効率化!初心者でも簡単な活用法

                                      1. はじめに:営業における生成AI活用の重要性 2024年、営業の世界は大きな転換点を迎えています。生成AI、特にChatGPTに代表される自然言語処理技術の進化により、営業活動のあり方が根本から変わろうとしています。もはや生成AIは単なるツールではなく、営業の「優秀な部下」として不可欠な存在となりつつあります。 生成AI活用が重要な理由 効率性の飛躍的向上 生成AIは、顧客データの分析からパーソナライズされた提案書の作成まで、従来人間が時間をかけて行っていた作業を瞬時に処理します。これにより、営業は本質的な顧客との対話や戦略立案に集中できるようになります。 データドリブンな意思決定 生成AIは膨大なデータを分析し、人間では気づきにくいパターンや傾向を見出すことができます。例えば、過去の取引データと市場動向を分析し、「この業界のクライアントは四半期末の2週間前にアプローチすると成約率が2

                                        【無料版OK】ChatGPTで顧客への提案書作成を効率化!初心者でも簡単な活用法
                                      • ソケット通信メモ(Hishidama's TCP/UDP Socket Memo)

                                        TCPソケット サーバータイプとクライアントタイプの両方のアプリケーションを作らないといけないなら、サーバータイプから作るべきだろう。 (クライアントタイプだけ先に作っても動かせないから。まぁサーバータイプだけ動かしても、待ってるだけであまり意味無いけど(苦笑)) でも仕組みはクライアントタイプの方が簡単。 TCPを使う場合は、通信の最初にコネクションの確立を行う必要がある。 サーバーでlisten・accept、クライアントでconnectが成功すればコネクションが確立したことになる。 どのポート番号を使うかについては、サーバー側はアプリケーションの作成者が決める必要がある。[/2007-06-16] クライアント側のポート番号は、ソケットライブラリがそのマシンで使っていない番号を自動的に割り振ってくれるので、気にしなくてよい。 IANAの基準では、1~1023は「よく知られたポート(w

                                        • [解決済み]503 Service Temporarily Unavailable - Qiita

                                          解決しました 目的 webサイトをHTTPS化したい。 問題 nginxのエラーログでFastCGI sent in stderr: "Primary script unknown"というエラーが発生。 httpsで接続すると503 Service Temporarily Unavailableというエラーだけ表示される。 EC2のターゲットグループ内でヘルスステータスがUnhealthy、詳細がRequest timed outとなっている。 状況 正直なところ、初学者なりにいろいろ構って今どんな状況なのか理解できていない。 今日構ったのは nginx.conf ロードバランサー作成 ターゲットグループ作成 セキュリティグループのインバウンドルール設定 主にいじっていたnginx.confでやっていたこととしては、GPTやPerplexityに聞きながら以下を追加。 if ($http_

                                            [解決済み]503 Service Temporarily Unavailable - Qiita
                                          • コマンドラインの力を最大限に引き出すCLI設計とは?──CLIツールのデザイン戦略

                                            3月7日から9日にかけて開催された「PHPerKaigi 2024」にて、GMOペパボの小山健一郎氏がコマンドラインインターフェイスツール(Command-line Interface tool、CLIツール)のデザインについて講演を行った。Webサイトやグラフィカルユーザインタフェースではなく、コマンドラインのみのツールをデザインする時には、どのような考慮や工夫が必要だろうか。小山氏がスタディケースを交えながら解説した。 コマンドラインインターフェイスとは? コマンドラインインタプリタとの違いも紹介 今回のテーマはCLIツールのデザインだ。コマンドラインインターフェイスは、ユーザが文字列やコマンドを入力してプログラムに命令を送るユーザインターフェースである。GMOペパボの小山健一郎氏は「コマンドラインインターフェイスはインターフェースであり、ここでいうインターフェースはユーザとプログラム

                                              コマンドラインの力を最大限に引き出すCLI設計とは?──CLIツールのデザイン戦略
                                            • RTMPose WholeBody 2d (133 Keypoints) との死闘 (mmpose) mmdeploy

                                              # v1.2.0 git clone https://github.com/PINTO0309/mmdeploy.git \ && cd mmdeploy \ && git checkout v1.2.0 \ && MMDEPLOY_VERSION=v1.2.0 \ && TAG=mmdeploy-${MMDEPLOY_VERSION} \ && docker build \ --no-cache \ -t pinto0309/${TAG} \ -f docker/Dockerfile.custom \ --build-arg MMDEPLOY_VERSION=${MMDEPLOY_VERSION} . xhost +local: && \ docker run --rm -it \ --gpus all \ -v `pwd`:/workdir \ -e XDG_RUNTIME_DIR=$

                                                RTMPose WholeBody 2d (133 Keypoints) との死闘 (mmpose) mmdeploy
                                              • 総合職で採用された新卒が未経験からエンジニアになったハナシ

                                                はじめに こんにちは! 2024年4月にNE株式会社に入社したマツケンです! 今回がtechブログ初投稿になります!緊張していますが少しでも伝わるものが書ければいいなと思っています! 今回は 総合職で採用されたにもかかわらずなぜエンジニアになったのか 研修期間にどのような勉強をしたか についてお話ししたいと思います! 「未経験からエンジニアを目指したいけど不安」という方の背中を押せるような記事をお届けできれば幸いです。 1. 総合職入社のマツケンです 経済学部を卒業し、九州からはるばる小田原にやってきました。 大学時代にエンジニアとして就職しようとは全く思っていなかったのでプログラミングの勉強は全くやっていませんでした。なのでこの会社にも総合職採用として入社していました。 2. なぜエンジニアになったのか 一文で表現すると 「ユーザーの悩みを根本解決できる存在になりたいと思ったから」 です

                                                  総合職で採用された新卒が未経験からエンジニアになったハナシ
                                                • Termuxの基礎知識

                                                  はじめに Termux Wikiを翻訳機片手に読んでみて、少し理解できてきた気がするので、記事としてTermuxについての日本語情報をメモしておこうと思います。 概要 TermuxはAndroid向けターミナルエミュレーターアプリです。 Androidに移植されたたくさんのコマンドラインユーティリティによって便利に使うことができます。Linuxのコマンドラインのエクスペリエンスをモバイルユーザーへ、root化やその他の特別なセットアップなく、届けることを目標に据えたプロジェクトです。 何ができるのか Termuxの一般的な使われ方として、例えば以下のものがあります。 Pythonを用いたデータ処理 開発環境を構築してプログラミング 古きよきツールを活用したファイルのダウンロードや管理 Linuxのコマンドライン環境の基礎学習 SSHクライアントの実行 ファイルの同期やバックアップ もちろん

                                                    Termuxの基礎知識
                                                  • Faber Company 開発ブログ

                                                    Azure OpenAI Service Dev Day (#AOAIDevDay)が2024年7月25日に開催されました。 Faber Company 新規開発ラボチームで研究開発に携わっている稲岡が特に注目したセッションをピックアップしてご紹介します! 注目したセッション RAGのサービスをリリースして1年が経ちました セッション紹介 登壇者 所感 完全に理解した!生成AI自社プロダクトのアジャイル開発の進め方! セッション紹介 登壇者 所感 生成AI時代のソフトウェアエンジニアが持つべきケイパビリティを考える セッション紹介 登壇者 所感 総括 Faber Company は一緒に働く仲間を募集しています Faber Company について 注目したセッション RAGのサービスをリリースして1年が経ちました セッション紹介 ChatGPTとWatsonを組み合わせたRAGのサービス

                                                      Faber Company 開発ブログ
                                                    • Go 1.23リリース連載 os.CopyFS & path/filepath | フューチャー技術ブログ

                                                      はじめにGo1.23連載の6本目です。 Go1.23のos.CopyFSの追加、path/filepath パッケージの更新について解説します。 更新内容os.CopyFS の追加プロポーサルは#62484です。 io.fs/FSをローカルにコピーできるようになりました。 バージョン1.22まではディレクトリのコピーなどは、filepath.Walkなどを使い再帰的にコピーを行うか、外部ライブラリなどを利用する必要がありました。 1.23では標準パッケージを利用しつつ簡単な実装でディレクトリコピーをできるようになりました。 main.gopackage main import ( "fmt" "os" ) func main() { err := os.CopyFS("to_dir", os.DirFS("from_dir")) if err != nil { panic(err) //

                                                        Go 1.23リリース連載 os.CopyFS & path/filepath | フューチャー技術ブログ
                                                      • Webアプリ制作チュートリアル #06「CUI」

                                                        サーバーが苦手な人の理由として一番多いのが、「コマンドがよくわからない」です。 ターミナルと言われる、文字ばかりの操作が、まるで理解できないため、普段使っているGUIのパソコンOSじゃないと操作ができないのが原因ですね。 苦手な人が多いターミナルのコマンドラインの事を、CUI(Character User Interface)と言い、 誰もが使い慣れている、アイコンなどが表示されていて、マウスとキーボードで操作する事を、GUI(Graphical User Interface)と言います。 実は、GUIは、CUI操作を操作に置き換えているだけなので、CUIを理解している人は、GUIに搭載されているターミナルやプロンプトで、基本操作が難なくできてしまうんですね。 サーバーでは、できる限りリソース公開に処理を使いたいため、アクセス負荷を極限まで下げるために、GUIなどのメモリを大量に使用する事

                                                          Webアプリ制作チュートリアル #06「CUI」
                                                        • PythonでUNIXタイム(POSIXタイム)とタイムゾーン - Qiita

                                                          概要 Pythonで時刻を扱う際にはdatetimeモジュールを使うのが一般的。Python3でも少し前までは、UNIXタイムを扱うのに一手間かかったが、Python3.7ではとても扱いやすくなっている。 datetimeオブジェクトに対してtimestamp()でUNIXタイムを取得することができ、 datetime.fromtimestamp()(classmethod)でUNIXタイムからdatetimeオブジェクトを作ることができる。 気軽にUNIXタイムを扱えるのは嬉しいが、タイムゾーンに気にしないと、意図しない結果になることがある。 環境 Pythonのバージョンは3.7を使用する。macOSで動作を確認した。 UNIXタイムとは 説明不要だと思うが、ウィキペディアから念の為引用しておく。 UNIX時間(ユニックスじかん)またはUNIX時刻(ユニックスじこく、UNIX time

                                                            PythonでUNIXタイム(POSIXタイム)とタイムゾーン - Qiita
                                                          • IBM Securityが体験型共創スペース「CyFIS」をオープン。セキュリティーのお困りごとを解決 - IBM Smarter Business

                                                            IBM Securityが体験型共創スペース「CyFIS」をオープン。セキュリティーのお困りごとを解決 大西 克美 日本アイ・ビー・エム株式会社 IBMコンサルティング事業本部 ハイブリッド・クラウド・サービス セキュリティー&コンプライアンス 技術理事 1986年日本IBM入社。大学、研究機関担当のお客様エンジニアとして、大規模UNIXシステム、インターネット基盤のプロジェクトを担当。2000年前半より、ITセキュリティーのスペシャリストとして、金融機関などのコンサルティング、アーキテクチャー設計などで活躍。セキュリティー第一人者として、講演、大学講義、執筆活動など幅広く活躍。現在は自動車・IoTセキュリティー、FinTechやサイバー攻撃対策チームのメンバーとして活動中。日本IBMセキュリティーCTO。 浅沼 昂佑 日本アイ・ビー・エム株式会社 IBMコンサルティング事業本部 サイバー

                                                              IBM Securityが体験型共創スペース「CyFIS」をオープン。セキュリティーのお困りごとを解決 - IBM Smarter Business
                                                            • Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog

                                                              情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア

                                                                Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
                                                              • メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」

                                                                米メタが2024年7月23日(米国時間)に、オープンソースの大規模言語モデル(LLM)の最新版「Llama 3.1」を公開した。マーク・ザッカーバーグCEO(最高経営責任者)は同時に公開した書簡で、LLMをオープンソース化する理由を説明している。その意図を解説しよう。

                                                                  メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」
                                                                • 大型DNAウイルスゲノムの解析 (1) アセンブリ編 - Qiita

                                                                  2024-02-28 追記: 「大型DNAウイルスゲノムの解析 (2) アノテーション編」を公開する予定です。 内容については、Kawato et al. (2023) "Integrase-associated niche differentiation of endogenous large DNA viruses in crustaceans"のSupplementary Filesをご覧ください。 大型DNAウイルスゲノムの解析 Oxford Nanopore TechnologiesロングリードとIlluminaショートリードでシーケンシングした、未分離の (=宿主配列が混入した)大型DNAウイルスのゲノム配列を解析する方法について記録しておく。 今回用いるデータはヒラメに感染する大型DNAウイルスのリンホシスチス病ウイルス。 病魚腫瘍から直接DNA抽出したため、宿主であるヒラメ

                                                                    大型DNAウイルスゲノムの解析 (1) アセンブリ編 - Qiita
                                                                  • プログラミングスクールなんか行かなくていいからこれやれ

                                                                    いちいち行かなくていい。高いわりに役に立たない。本を買ったりネットの解説動画を見ながら自分でやるんだ。 毎日勉強できるならカリキュラムはこう。大事なのは「わかんなかったら自分で調べる」ということ。これをひとつひとつ解説していくとあっという間に1年ぐらいのカリキュラムになって金がかかるようになる。ググれば全部出てくる。出てこなかったら調べ方が悪いのでググりかたを変えればおk。この記事にも初心者から見ると「なにその言葉。初耳」っていうのがあると思うけど、全部重要なキーワードなのでググって咀嚼して血肉としてほしい。ググればすぐ出てくる。 1日目: Linuxのインストール(Linuxの中でもUbuntuっていうのがおすすめ)とりあえずLinuxを自分のパソコンにインストールする。Linuxを触れるようになればいい。 PCがない場合は、中古のPCなんて3万ぐらいで買えるからそれ買ってきてインストー

                                                                      プログラミングスクールなんか行かなくていいからこれやれ
                                                                    • Fluentd を用いて Elasticsearch にログを入れる - Qiita

                                                                      0,-,-,[30/Apr/1998:22:00:02,+0000],GET /images/home_intro.anim.gif HTTP/1.0,200,60349 このアクセスログからは9つの値がとれます. IpId (匿名化) : 0 UserId (値なし) : - UserName (値なし) : - TimeStamp : [30/Apr/1998:22:00:02,+0000] HttpMethod : GET Uri : /images/home_intro.anim.gif HttpVersion : HTTP/1.0 ResponseCode : 200 Bytes : 60349 csvでデータをとると,「HttpMethod」と「Uri」,「HttpVersion」がひとまとまりになっているので分割します.それと,timestampを読み取らせるためにUNIX

                                                                        Fluentd を用いて Elasticsearch にログを入れる - Qiita
                                                                      • grpc-go resolverのメモ - Qiita

                                                                        grpc-go(https://github.com/grpc/grpc-go) resolverのメモ 確認したバージョン go 1.22 google.golang.org/grpc v1.63.2 resolverとは gRPCのresolverはクライアントがサーバー発見するために使用されるコンポーネント サービス名を実際のネットワークアドレス(IP アドレスとポート)に解決する役割を担っている ライブラリから提供されるresolver ライブラリ(grpc-go)からdns, passthrough, unix, unix-abstractの4種類のresolverが提供されている どのresolverを使うかはgrpc.ClientConnを生成するgrpc.NewClientとgrpc.DialContextのtarget引数に渡すURL schemaで判定される DNS r

                                                                          grpc-go resolverのメモ - Qiita
                                                                        • 【Amazonタブレット】Fire HDのroot化とは?メリット/デメリットを解説

                                                                          Amazon製のタブレット端末FireシリーズのOS/タブレットを動作させるための基本ソフトウェアは、 Googleがスマートフォン向けなどに開発したAndroidをベースにしたものとなっています。 さまざまなカスタマイズを行なうことで、Amazonの色々なサービスを便利かつ楽に使えるよう工夫がされています。 OSの基本的な骨格はAndroidのものを引き継いでいる部分が多いため、端末のroot化についても割と多くの部分がAndroidと共通の内容になります。 必要な情報が足りないときにはAndroid系の情報を参考にするのもアリです。 root化を巡る概念等々も共通する部分ですね。 では、以下で順番にFire OSのroot化に関するお話をまとめていきます。 最初の一歩!root化とはなんぞや? まずはそもそも「root化とはなんぞや」と言うところから行きましょうか。 「root化」とい

                                                                          • 【自分用メモ】Hacker NewsからRubyに関するニュースだけを取得するスクリプト - Qiita

                                                                            はじめに Hacker Newsというサイトにときどき目を通しています。 閲覧するときはいつも、RubyやRuby on Railsといった単語で検索しているのですが、いちいち面倒です。 そこでAPIを用いて簡単に取得できるスクリプトをRubyで書きました。 Hacker Newsから特定の単語で検索するスクリプト 下記が実際のスクリプトです。 過去24時間に投稿された、Rubyという単語を含むニュースを取得しています。 require 'net/http' require 'json' require 'uri' require 'time' # Hacker News APIのURLを作成 def search_hacker_news(query) # クエリに前後のダブルクオートを追加して完全一致を狙う exact_query = "\"#{query}\"" # 実行時点から過去2

                                                                              【自分用メモ】Hacker NewsからRubyに関するニュースだけを取得するスクリプト - Qiita
                                                                            • [Django] LocalStack+SQS+S3+Lambdaを使ったCSVファイルを非同期でimportしよう! - Qiita

                                                                              [Django] LocalStack+SQS+S3+Lambdaを使ったCSVファイルを非同期でimportしよう!S3lambdasqsdjango-rest-frameworkLocalStack 概要 SQSとS3とLambdaを使った非同期処理をローカル上でLocalStackを用いて再現する方法について解説します 前提 Djangoのアプリケーションを作成済み SQSとLambdaとS3に関する基本的な知識を有している 今回実装する非同期処理の仕組み ①APIを使ってS3にCSVをアップロードします ②アップロードする際にSQSを使ってアップロード履歴のIDを送ります ③SQSのメッセージ送信をトリガーにLambdaを実行し、Lambda内でS3内のCSVのデータをDBにInsertするAPIを実行させます ④SQSのメッセージ内のIDを利用して該当するアップロード履歴テープル

                                                                                [Django] LocalStack+SQS+S3+Lambdaを使ったCSVファイルを非同期でimportしよう! - Qiita
                                                                              • メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」

                                                                                米メタが2024年7月23日(米国時間)に、オープンソースの大規模言語モデル(LLM)の最新版「Llama 3.1」を公開した。マーク・ザッカーバーグCEO(最高経営責任者)は同時に公開した書簡で、LLMをオープンソース化する理由を説明している。その意図を解説しよう。

                                                                                  メタがLLMをオープンにする理由 UNIX没落の教訓と「反アップル」
                                                                                • TESLA K20X で Stable Diffusion を動かす試み - はるさめ氏の日常

                                                                                  表題の通り、手持ちにあった TESLA を活用してみようと思い立ち、メモを兼ねてやってみようと思います ※ とりあえず動かすことを目標としています。この記事の通り進めてもおえかきができるようになることは保証されません 背景(独り言) 参加している某 Discord サーバで、Stable Diffusion を布教されたのでメインマシンでやってみたところ案外面白く、専用マシンが欲しくなってきました。ふとそこを見ると、使われてないマシンが一台(しかも GPU 対応! ←ここ超大事)と、漬物石と化した TESLA がこっちを見ていることに気が付いてしまいました。この TESLA は Kepler アーキテクチャであり、GeForce で言うところの GTX600 あたりと、かなり古いモデルです。なので、一筋縄ではいかないだろうという想定のもと、いろいろ調べながらやった軌跡をここに残します 下準

                                                                                    TESLA K20X で Stable Diffusion を動かす試み - はるさめ氏の日常