Go1.19のcrypto/randではunix環境のReadで内部バッファがなくなるので色々しらべた - ちりもつもればミルキーウェイ
はじめに 先日なんとなしに go.1.19 release note よんでたら、crypto/randの項目で興味深い一文を見つけた Read no longer buffers random data obtained from the operating system between calls. 当時の僕も気になっていたよう ざっと見たけど crypto/rand.Read()で内部バッファ取らなくなったり net パッケージが context.DealineExceededとか context.Canceled を満たす形でエラー返すようになったりがほえ〜ポイントだった。あとは fmt.Append よさそうっすねhttps://t.co/8cfrZ7dBZR— convto (@convto) 2022年6月11日 もともと CVE-2021-3538 をちゃんと読む - ちり
io.Readerのファイルタイプを判定する - Qiita
概要 Goでファイルを読み込んでいる時に、そのファイルのタイプを判別したいことがたまにあります。例えばGzipかどうか分からないけど、もしGzipならgzip.NewReader噛ませたい、みたいな場合です。雑にgzip.NewReader噛ませてerr返すかどうかで判定とかやってみたんですが、普通に10バイト読み進められちゃうのでerr返ったあとに別のファイルタイプとして処理しようとするとinvalidなヘッダーになって死にます。実は読み進められたバイトを戻す方法あるよ、という場合は教えて下さい。 そもそもGzip以外の判定をしたいときもあるので、NewReaderの方針も必ず使えるわけではありません。もしファイルがos.Fileとかbufio.Readerの形であればReadしてからSeekしたりPeekしたり出来るのですが、io.Readerの場合どうやるのか分からなかったので調べま
PumaのコードからみるソケットへのノンブロッキングI/O - Qiita
これは何？ ソケットにおけるノンブロッキングI/OについてPumaのコードを絡めて調べてみたまとめです。 PumaはRubyで書かれたOSSのWebサーバーです。 ソケットに限らずノンブロッキングI/Oという言葉をよく聞きます。ですがイマイチなにを意味しているのかわからなかったので調べてみました。 ブロッキングI/Oとは ユーザーモードからシステムコールをカーネルに発行し、結果が帰ってくるまでに待ちが発生するI/O処理のことです。ファイル全般に言えることであり、ソケットもファイルなので当然ブロッキング発生します。 ソケットにおけるブロッキングI/Oは以下のようなものがあります。 accept(2)でlistenキューからソケットを取り出すときに接続が確立されていない場合（TCPハンドシェイク中など）は確立されるまでブロックされる。 ソケットに対してread(2)やwrite(2)を実行する
MySQLのコネクションハンドリングとスケーリング | Yakst
MySQLのコネクションハンドリングの内部構造、スケール限界、そして最大コネクション数のチューニングなどについてご紹介します 免責事項 この記事はGeir Hoydalsvik氏によるMySQL Server Blogの投稿「MySQL Connection Handling and Scaling」(2019/3/19)をユーザが翻訳したものであり、Oracle公式の文書ではありません。 この投稿では、MySQLのコネクション、ユーザースレッドおよびスケーリングについて取り扱います。MySQLがどのように動作するかをよりよく理解することで、アプリケーション開発者やシステム管理者が、トレードオフを踏まえた良い選択をできることでしょう。本記事ではコミュニティー版でコネクションがどのように動作するかについて述べますが、一方でスレッドプール、リソースグループ、あるいはコネクション多重化といった関
Go言語のio.Pipeでファイルを効率よくアップロードする方法
パイプ（土管）をGo言語でも楽しめるはじめに前回はGo言語のmime/multipartパッケージによるファイルのアップロードを見ましたが、パフォーマンスの特徴にはあまり触れませんでした。 大規模なETLジョブや、制限の厳しいサーバーレスの環境などでは、ファイルを扱うプログラムのリソースを慎重に考える必要があります。本記事ではメモリ使用量を大幅に減らすio.Pipeの使い方を見ていきます。 全てのコードはサンプルレポジトリにあります。 同期処理にある問題前回のコードをもう一度見てパフォーマンスを考えてみましょう。 // ファイルを開く file, _ := os.Open(filename) // リクエストボディのデータを受け取るio.Writerを生成する。 body := &bytes.Buffer{} // データのmultipartエンコーディングを管理するmultipart.W
I/O負荷の正確な状況はiowaitでは分かりません - Qiita
さくらインターネットのアドベントカレンダー9日目として、サーバ屋らしく、運用に関するコマンドの使い方を紹介します。 サーバの負荷が高まってきたときに、vmstatやtopなどのコマンドで調査する事が出来ますが、I/O負荷をwa(iowait)によって判断する人も多いと思います。 ただ、結論から言うと、iowaitは正確にI/Oの負荷を表しているわけではありません。 これらを、実際に演習をしながら見ていきたいと思います。 iowaitとidle iowaitとはあくまでも、CPUが空いているのにI/Oがボトルネックになっているプロセスを示しているだけで、CPUの利用率が高いときにはI/Oがボトルネックになっていてもiowaitが上がりません。 同様に勘違いされがちなのが、id(idle)はCPUの空きを示しているというものですが、idleは必ずしもCPUの空き時間を示しているものではありませ
Linux I/O のお話 write 編 - naoyaのはてなダイアリー
write はページに dirty フラグを立てるだけなので決してユーザープロセスを待たせない って、本当にそうなんでしょうか？（否定しているわけではなく、純粋な疑問です。） と質問をもらったので、最近追ったことをここでまとめます。かなり長文です、すいません。また、まだまだ不勉強なので間違っているところもあるかもしれません。ツッコミ大歓迎です。 まず、オライリーのカーネル本の 15章 ページキャッシュ 15.3 汚れたページのディスクへの書き込み から引用。 ご存知のように、カーネルは、ブロック型デバイスのデータを含むページをページキャッシュに蓄えています。プロセスが何らかのデータを更新した場合は、必ず対応するページに汚れている印をつけます。すなわち、PG_dirty フラグを設定します。 UNIX システムでは、汚れたページのブロック型デバイスへの書き込みを遅延することができます。この方
IOと例外の取り扱いについて：どっちが良いスタイル？ - kmizuの日記
追記：Java 7以降（つまり、現在）はtry-with-resources構文があるので、それを使えばよいです。ここでは、Java 6かそれ以前のコーディングスタイルについて主に言っています。 kmizu.hatenablog.com におけるkrxrossさんのコメント java脳だと、「fw = new PrintWriter(new File(file))」で例外が発生したら、fwが不定のまま、finally句の「fw != null」で困ってしまう。 そうならないために、nullで初期化するという話に見えます。 多分JAVAだと、nullを代入しないとコンパイルエラーになるか、eclipsが警告を出したと思います。 scalaでも同じではないですか ? 良く解っていない超初心者より を見て、強烈に不安になってしまったのですが、Javaだとこういうのが良いスタイルなんでしたっけ？
Ruby I/O 機構の改善 -stdio considered harmful-
Ruby I/O — stdio considered harmful — akr@m17n.org Ruby (1.9) I/O stdio stdio C nonblocking I/O stdio stdio 1 C stdio (Standard Input / Output) Ruby[rub] stdio I/O Ruby 1.9 stdio 1 Ruby Ruby 1.8 Ruby 1.9.0 Ruby • Ruby (1.8.3) stdio • Ruby (1.9.0) stdio 1 2 Ruby I/O 3 stdio 4 POSIX I/O 5 stdio 6 7 8 9 2 Ruby I/O Ruby I/O IO Unix Ruby 1 stdio stdio Ruby getc, ungetc, fwrite 12005–03 kernel stdio Rub
なんか重いウェブサーバはディスクアクセスが遅いことが原因だったのでそれを解決した話 - Qiita
GMOクラウド ALTUSにフラッシュディスクが追加されていました（2018年8月29日追記） 少し前からですが、GMOクラウドのディスクでフラッシュディスク（SSD）が選択できるようになっていました。 この記事を書いたとき（2015年）の状況は再現できないですが、恐らくディスクアクセスに関する悩みからは開放されそうですね。 はじめに これまでの経緯はこちらにあります。 マルチコアサーバがなんか重い時に原因究明しかけていました。 管理に携わっているサーバが「なんか重い」症状に陥った件についての解決編です。 LAがちょくちょくあがって問題認識 対象サーバはマルチコアでコア別に見ると特定のコアで普段からiowaitが高い ddやfioなどでディスク負荷を掛けるとめっちゃ重い という状態でした。 調査 サポセンからの連絡 GMOのクラウドを使っていますがここサポートセンターは優しいです。ddとf
これからの「Java I/O」の話をしようwww (11) ： Files クラスのメソッド ～MIME Type を調べる～ - 倭マン's BLOG
Java nio の API を見ていくシリーズ（目次）。 Files クラスのメソッドがあと少し残っているので回収記事をサラリと。 今回はファイルの MIME Type を調べるメソッド Files#probeContentType() メソッド。 MIME type とは XML に対しての「text/xml」みたいなヤツです。 簡単にはファイルの拡張子で分かりますが、真面目な実装だとファイルの内容とかも解析するんでしょうね。 Files#probeContentType() メソッドは結構実装に依存するようで、OS などによって結果は変わりうるそうです。 probeContentType() メソッドの使い方Files#probeContentType() メソッドの使い方は簡単です。 import java.io.IOException; import java.nio.file.
Hybrid concurrency patterns
Ruby developers need to stop using EventMachine. It's the wrong direction. Lost in the "Threads vs Event Driven vs Process Spawning" debate is that you can combine them! Learn how Celluloid is improving thread programming by abstracting them using a higher level framework called Celluloid, how you can use Celluloid::IO to throw a reactor pattern into a thread. Using this approach, you can take adv
IO負荷の高いプロセスを特定する方法 - weblog of key_amb
カーネルの I/O Accounting 機能を利用する Linuxでカーネルのバージョンが 2.6.20 以降であれば、IO Accounting機能を使うとよい。 これが有効になっていれば、プロセス毎のI/O統計情報が /proc/${pid}/io に出力される。 …が、全プロセスについて、これを自前で分析するのは疲れるので、pidstat や dstat のようなツールを使うのが楽。 参考 IO Accounting 機能で I/O 負荷の高いプロセスを特定 :: drk7jp dstatの万能感がハンパない - (ひ)メモ iodump 2.6.19 以前のカーネルではどうすればいいか。 例えば、iodump というツールがある。 これは以前 Maatkit に含まれていた Perl スクリプトである。 使い方としては、以下の通り。 # download iodump wget
世界最速のiOS 8のLT会に参加してきたので内容をまとめる #cmdevio - Think Big Act Local
ブログでおなじみのクラスメソッドさんの勉強会に参加させて頂きました。 iOS 8とかけて8本のLTで構成された勉強会で、iOS 8で追加された新機能やニッチな技術の紹介がありました。とても勉強になったので、メモと併せてまとめてみます。 なお、本家のまとめはこちらになりますのであわせてご参考ください： [イベントレポート] 世界最速LT大会！？新iOS 8発表！で登場した新機能・ニッチな技術を大公開！！ #cmdevio ｜ DevelopersIO LT内容のまとめ 1.ついにiOS 8リリース！今までの歴史を振り返ってみる 大橋さん iPhoneの初期〜iOS 8までの変化を追う iPhoneの機能やiOSでできることの変化について コミュニケーションやメディア、コマースのあり方など、現実世界の変化について iOS 8技術の解説記事を200本出す予定。いま100本出している http:/
ゆっくりとIOさせるツール
ときおり使うコマンドなのですが、ときおり過ぎてコマンド名を思い出せなくなるので、自分向けのメモです。 # cat /etc/centos-release CentOS release 6.4 (Final) # rpm -qi pv Name : pv Relocations: (not relocatable) Version : 1.1.4 Vendor: Fedora Project Release : 3.el6 Build Date: Mon 05 Jul 2010 09:29:34 PM JST Install Date: Sat 15 Sep 2012 02:22:36 PM JST Build Host: x86-17.phx2.fedoraproject.org Group : Development/Tools Source RPM: pv-1.1.4-3.el6.sr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なんかI/Oが刺さってるぞ、という時に... - kotaroito's notes
The Deadlock Empire
GitHub - microsoft/go-winio: Win32 IO-related utilities for Go
talk about IO
宁波逼拘旅行社
