タグ

dorapon2000のブックマーク (1,165)

  • Amazon S3 へデータ転送速度が早いと噂の s5cmd を使って aws s3 cp と比べてみた | DevelopersIO

    はじめに S3 バケットへのファイル転送において一般的な aws s3 cp コマンドと、高速転送可能な s5cmd の転送速度を検証しました。海外リージョンの S3 バケットへ小さなファイルを大量転送時に利用したところ、転送が想像より早かったです。そんな私の中でホットな s5cmd が当に早いのか気になりました。 条件を整えて aws s3 cp と s5cmd cp でファイル転送した転送時間と転送速度を計測してみました。 ところで s5cmd ってなに s5cmd は、S3 と S3 互換オブジェクトストレージ、ローカルファイルシステム上のファイル操作できるコマンドラインツールです。マルチコアをフル活用した並列処理により非常に高速に転送できること強みです。 Mac なら homebrew で簡単にインストールできます。 検証結果早見 実行環境に依りますが、小さなファイルを大量転送で

    Amazon S3 へデータ転送速度が早いと噂の s5cmd を使って aws s3 cp と比べてみた | DevelopersIO
    dorapon2000
    dorapon2000 2025/07/13
    “s5cmd は、S3 と S3 互換オブジェクトストレージ、ローカルファイルシステム上のファイル操作できるコマンドラインツールです。マルチコアをフル活用した並列処理により非常に高速に転送できること強みです。 ”
  • オブジェクト指向のサンプルプログラムがだいたいヒドい理由 - きしだのHatena

    いまだにオブジェクト指向とか言ってるのか、という話ですが、いまだに「プログラミングの勉強はじめました。オブジェクト指向が目標です!」みたいなのがThreadsに流れてきたりして、いつまでも無くならんなぁと思うわけですよ。 で、まあオブジェクト指向を勉強してしまいたくなるのは仕方がないとして、オブジェクト指向推しでのサンプルがだいたいヒドいのが問題だなと思ったわけです。 アプリケーションを見据えていない オブジェクト指向の例として、自転車クラスだとか勇者クラスだとか定義するサンプルをみかけます。 自転車クラスを作る例の場合、車輪クラスがありサドルクラスがありペダルクラスがあり、ブレーキクラスはブレーキシュークラスやブレーキキャリパークラスを内包するな、みたいなことをやりますね。JSONでやれ。 という感じで、単にJSONなど構造データのマッピングになりさがってたりします。 あと、現実の写

    オブジェクト指向のサンプルプログラムがだいたいヒドい理由 - きしだのHatena
    dorapon2000
    dorapon2000 2025/07/13
    “実際、抽象データ型に継承を生やしたものがオブジェクト指向なので、メソッド付構造体としてデータ構造の定義に使うのが一番有用ということになります。”
  • vitestではbeforeEachを使わない

    はじめにlink 最近DBありのテストを記述していた際に、実はvitestではbeforeEachは必要ないのではないか、という考えに至ったのでその理由と設計についてまとめてみる。 下記のリポジトリで実験する https://github.com/koh110/vitest-beforeeach テストでbeforeEachが欲しくなるシーンlink テストを記述する際にbeforeEachが欲しくなるシーンは主に以下の2点ではないかと考えている。 mockの設定/reset seedsの投入 このうち、前者mockの設定/resetはbeforeEachではなくbeforeAll or すべての個別テストごとに設定すべきなのではと考えている。 これは自分がテスト単体での移植性を重視している(テスト単体をコピペしてもなるべくそのまま動かせる)ので、beforeEachでやってしまうとあるテ

    vitestではbeforeEachを使わない
    dorapon2000
    dorapon2000 2025/07/12
    “また、test.extend による拡張のよい所はコンテキストにアクセスしない限りは実行されないという点だ。 ”
  • [Python]これなら分かる「uv」入門:pip+venvやcondaから最速で乗り換えよう

    ITのDeep Insider編集長「一色」が、日ごろの情報収集や開発、執筆・編集を通じて得た“技術的な気付き”や“新たな発見”を自由気ままにつづるオピニオン連載。気になるデータ分析を試したり、AI機械学習で迷走したり、Pythonとツール活用を語ったり。不定期更新ですが、疲れたときの息抜きにどうぞ! 次回以降の新着記事を見逃したくない方は、ぜひ以下のメール通知の登録をお願いします。 なぜ今、uvを学ぶべきか?【筆者の危機感】 長年、pipとcondaを使い、特に不満もなく作業してきた筆者ですが、最近はuvを見かける機会が急増し、「このまま知らずにいると、時代に取り残されてしまうのではないか」という危機感を強く持つようになりました。 実際、Anthropicが提供する“MCP”公式ドキュメントでも、uvを使った環境構築方法しか説明されていません(なお、MCPについては前回記事で解説して

    [Python]これなら分かる「uv」入門:pip+venvやcondaから最速で乗り換えよう
    dorapon2000
    dorapon2000 2025/07/11
    “しかし、最先端技術を扱う公式ドキュメントではuvを前提とした手順が増えており、今後はuvを触らざるを得なくなるのは間違いありません。”
  • AI時代のソフトウェア開発を考える(2025/07版) / Agentic Software Engineering Findy 2025-07 Edition

    AI時代のソフトウェア開発を考える(2025/07版) 開発生産性 Conference 2025 2025年 7月4日(金) https://dev-productivity-con.findy-code.io/2025

    AI時代のソフトウェア開発を考える(2025/07版) / Agentic Software Engineering Findy 2025-07 Edition
  • [速習] 配列から欠けている数字を見つける「XORトリック」の深い理論と実践 - Qiita

    皆さんは『配列から欠けている数字を見つけろ』と言われたら、どう答えますか? 多くの方は「HashSetで解けばいい」と考えるでしょう。しかし、1000万個の要素で実測したところ、Pythonのsetは945MBもの追加メモリを消費し、処理に2.3秒かかりました。一方、XORを使った解法は追加メモリゼロ、C言語なら1ミリ秒で完了します。 なぜこれほどの差が生まれるのか? XORには単なるトリック以上の深い理論があり、配列の欠損値検出だけでなく、RAID 5のデータ復元やネットワークのエラー検出など、実務で幅広く応用されているのです。 追記: ネットワーク転送時のパケットロスやノイズによるデータ欠損、さらには宇宙線がメモリに衝突してビットが反転する「ソフトエラー」により、配列から要素が失われることがあります。 記事では、Florian Hartmannの「That XOR Trick」1を基

    [速習] 配列から欠けている数字を見つける「XORトリック」の深い理論と実践 - Qiita
    dorapon2000
    dorapon2000 2025/07/06
    “パフォーマンスが重要ならC/C++でシンプルに実装 Pythonなら組み込み関数(sum)を活用 メモリ制約がある場合はXOR法が圧倒的に有利”
  • ケント・ベック氏講演録:『グッドハートの法則は楽観的すぎた〜開発生産性の罠と未来〜』 - jgeem

    #共有する 開発生産性カンファレンス https://dev-productivity-con.findy-code.io/2025 2025/07/03 Keynote: 開発生産性測定のトレードオフ 「グッドハートの法則」はもっと悲観的に捉えるべきだった はじめに:25年ぶりの来日と生産性への問題意識 25年ぶりに来日しました。かつて『エクストリーム・プログラミング(XP)』のが日の書店に平積みされているのを見て、とても嬉しかったことを覚えています。(サインしようとして店員に怪しまれ、逃げたという面白いエピソードもありましたが。) 今日は「開発生産性」について話します。より多く、より早く作れば生産性は向上するのでしょうか?ドイツには「物事を良くしようとして、かえって悪化する」という趣旨の言葉がありますが、まさにそれが生産性の議論で起きています。特にAIの登場は、この問題をさらに悪化

    ケント・ベック氏講演録:『グッドハートの法則は楽観的すぎた〜開発生産性の罠と未来〜』 - jgeem
    dorapon2000
    dorapon2000 2025/07/04
    “投資家がプログラマーの価値を判断するとき、PRの数など気にしません。投資に対するリターン(ROI)を見ます。我々もその視点を持つべきです。”
  • 誰もいないのに「誰かいる」と感じる現象を科学的に解明

    夜、ひとりで静かな部屋にいると、ふと背筋がゾクッとして「誰かに見られているのでは…?」と感じた経験はありませんか? 振り返っても、当然そこには誰もいません。 それなのに、背後や部屋の隅に「何か」がいるような、妙にリアルな気配だけが残ります。 昔から人々はそんな感覚を幽霊や霊的な存在と結びつけてきました。 チェコのマサリク大学(MU)で行われた最新の研究によって、暗闇や孤独の中で「誰もいないのに、誰かがいるように感じる」という不気味な現象の正体は、脳が不確かな状況に置かれたときに行う『予測処理』という働きである可能性が明らかになりました。 真っ暗で静かな環境に一人でいると、脳は外部からの情報が不足するため、過去の経験や感覚に基づいて「そこにいない誰か」を作り出してしまうのです。 その予測が強くなりすぎたとき、脳は小さな物音や体の感覚までも「誰かがそこにいる証拠だ」と誤解し、実際には存在しない

    誰もいないのに「誰かいる」と感じる現象を科学的に解明
    dorapon2000
    dorapon2000 2025/07/03
    “予想に反して、空想好きな人は一人で何もない状況に置かれると空想の世界に没頭してしまい、不安を感じるヒマがなくなるために幽霊の存在感覚を抱きにくいのかもしれない”
  • 最強のCSVエディタ「SmoothCSV」を支える技術

    自作の CSV エディタ SmoothCSV (v3) が Generally Available になったので、技術的な工夫とかを書きます。 また7/1 16時からの24時間、Product Hunt でローンチするので応援よろしくお願いします。 About Me 株式会社ヘンリーでエンジニア的なことをしつつ、個人開発してます。 @kohii00 on X kohii on GitHub About SmoothCSV SmoothCSV は、macOSWindows 向けの CSV エディタです。(Linux も近々) 初代 SmoothCSV は15年前に作っていて、昨年 v3 の開発を始めました。 Excel ライクな操作感で、直感的に使える CSVを扱うのに必要な、基的〜応用的なツールが搭載されている 様々なフォーマットや文字コードに対応。列数が異なるCSVでも扱える 高

    最強のCSVエディタ「SmoothCSV」を支える技術
    dorapon2000
    dorapon2000 2025/07/03
    “SmoothCSV ではユーザーがアプリケーションに対して実行可能な操作をコマンドとして定義します。これ自体は前バージョンの SmoothCSV でも同様でしたが、今回は VS Code に似せた API として作っています。”
  • X、検索結果からユーザー名を除外

    Xは7月1日、ポストの検索機能で、検索対象からユーザー名を除外する仕様変更を行ったと発表した。検索ワードがユーザー名に含まれていても、検索結果に表示されなくなる。 これまでは、バンド名や著名人の名前などで検索した際に、その名前をユーザー名に含む人のポストも検索結果としてヒットしていた。 このため、バンドや著名人の情報を収集したくても、「バンド名/著名人のファン」といった名前のユーザーによる無関係なポストまでヒットすることがあった。 今後はそうしたことが起きなくなるとみられ、ユーザーからは歓迎の声が上がっている。 関連記事 Xの代替SNSBluesky」で特定意見が増幅するエコーチェンバー深刻……利用者半減 X(旧ツイッター)を代替するサービスとして注目を集めた新しいSNSBluesky」(ブルースカイ)で、特定の意見や思想が増幅する「エコーチェンバー」が発生し、排他的な言論空間になって

    X、検索結果からユーザー名を除外
  • テスト用に適当なドメインを注入したいときは .invalid を使うとよさそう - Lambdaカクテル

    tl;dr foobarhogehoge.invalidは絶対にリクエストが飛ばないのでおすすめ あらすじ 書いていたコードは、とあるミドルウェア向けに内部利用するURLを環境変数で受け取るようになっていた。普段は実際の内部のURLが書かれているのだが、テスト時には以下のようにダミーを設定していた: FOOBAR_EXTERNAL_URL="https://example.com/foobardummy" テストではこのURLを利用しないのだが、内部で環境変数のバリデーションを行っている都合上、とりあえず適当なURLを指定しなければ起動してくれないから、こうなっていた。重ねて言うが、実際はこの環境変数を利用していないのでこれでいい。 しかしこれだと、うっかり内部の様子がおかしくなったりエンジニアが狂ってしまった場合に、example.comに当にアクセスしてしまう。なおかつ、セキュリティ

    テスト用に適当なドメインを注入したいときは .invalid を使うとよさそう - Lambdaカクテル
    dorapon2000
    dorapon2000 2025/07/02
    “example.ドメインは実在のホストにリクエストが飛ぶ可能性があるが、.invalidはつねに「そういうドメインはないよ(NXDOMAIN)」と応答することが決まっている”
  • 極度の睡眠不足で死ぬのはなぜ? 米国チームが2020年にハエで実験 “寝なくても死なない方法”も検証

    睡眠不足が身体に悪影響を与えることは広く知られているが、極度の睡眠不足がなぜ死に至るのか、その具体的なメカニズムは長年の謎であった。 研究チームはショウジョウバエを用いて、複数の方法で睡眠を妨げる実験を行った。具体的には、温度感受性のイオンチャネルを神経細胞に発現させて睡眠を抑制する方法、機械的な振動を与え続ける方法、睡眠調節遺伝子の機能を失わせる方法などだ。 いずれの方法でも、睡眠を90%以上奪われたハエは約10日後から死に始め、通常の寿命よりもはるかに短命となった。 睡眠不足のハエの体内を調べたところ、脳や筋肉などの組織には大きな変化が見られなかったが、腸だけに顕著な異常が認められた。腸内で活性酸素種(ROS)と呼ばれる有害な分子を蓄積させ、これが死因となることが明らかになった。 腸内では活性酸素種が徐々に蓄積し、10日目にピークに達していた。活性酸素種は不安定で反応性が高い分子であり

    極度の睡眠不足で死ぬのはなぜ? 米国チームが2020年にハエで実験 “寝なくても死なない方法”も検証
    dorapon2000
    dorapon2000 2025/07/01
    “しかし、15日間の回復睡眠を確保した場合、ハエは完全に回復したように見え、その後の生存期間は通常のハエと同程度になった。”
  • マージキューの管理 - GitHub Docs

    マージ キューについて マージ キューを使用すると、pull request のマージをビジー ブランチに自動化し、互換性のない変更によってブランチが中断されないようにすることで、速度を向上できます。 マージ キューは、 [マージする前にブランチを最新の状態にする] ブランチ保護と同じ利点を提供しますが、pull request の作成者が pull request ブランチを更新し、状態チェックが完了するのを待ってからマージを試みる必要はありません。 マージ キューの使用は、多くの異なるユーザーから毎日比較的多数の pull request がマージされるブランチで特に便利です。 pull request が必要なすべてのブランチ保護チェックに合格すると、リポジトリへの書き込みアクセス権を持つユーザーは、その pull request をキューに追加できます。 マージ キューでは、pul

    マージキューの管理 - GitHub Docs
    dorapon2000
    dorapon2000 2025/07/01
    “マージ キューは、 [マージする前にブランチを最新の状態にする] ブランチ保護と同じ利点を提供します”
  • 大規模リポジトリで git fetch 後に OOM が発生する問題と対処法 - Mobile Factory Tech Blog

    駅奪取チームでエンジニアをしている id:kebhr です。 大きな git リポジトリで git コマンドを実行した際、OOM Killer によって git プロセスが強制終了される問題に遭遇しました。その原因と対処法について共有します。 TL;DR git maintenance の自動実行が原因で OOM が発生する場合は、以下のコマンドで無効化できます。 git config --local maintenance.auto false 背景 私たちのチームでは、画像や JS/CSS などの静的ファイルを専用の EC2 インスタンス (t3a.small) から配信しています(以降、「static インスタンス」と呼びます)。これらの静的ファイルは GitHub 上のリポジトリで管理されており、画像ファイルを含むため、リポジトリのサイズは大きくなっています。 static インス

    大規模リポジトリで git fetch 後に OOM が発生する問題と対処法 - Mobile Factory Tech Blog
    dorapon2000
    dorapon2000 2025/07/01
    “特に、今回のケースのように「起動時に一度だけ git fetch を実行し、その後は git を使用しない」という運用では、maintenance.auto を無効化しても実用上の問題はありません。”
  • Claude Codeの「すぐルール忘れる問題」を解決する超効果的な方法を見つけた気がする

    どうもこんにちは Claude Codeを使っている人ならみんな感じてると思いますが、CLAUDE.mdでどれだけ緻密なルールを組んでも3ラリーくらいするとすっかり忘れてどんどん適当に動き出すというどうしようもない現象があります そのたびに「ルールを守ってください」と500000000回は打ち込みましたし、指摘し疲れて「/a」で「ルールを再確認してください」というカスタムコマンドまで組んで対処しているような状況でした この問題で難しいのが、「語尾を◯◯にして」だったりそういうしょうもないロールプレイはずっと守るわりに、「事前に確認を取って」とか「このルールで報告して」とかそういう挙動系のルールをすぐ忘れるという点です これをどうにか解決できないかなーと考えていたのですが、そもそもなぜ語尾ルールは守れるのか?という部分から答えを見つけるべきだと思い調査を開始しました なぜ語尾ルールだけは守ら

    Claude Codeの「すぐルール忘れる問題」を解決する超効果的な方法を見つけた気がする
  • シェルのパイプの速度(進捗バー) は pv で - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

    シェルのパイプの速度(進捗バー) は pv で - Qiita
    dorapon2000
    dorapon2000 2025/06/30
    “pv は進捗バーを出す他は、完全に内容をそのまま通過させるので cat の代わりに使うこともできる。”
  • ターミナルを使う人は、とりあえず「mise」を入れておく時代。  ・・・を夢見て。

    「mise」ってすごい使いやすいんですよ。 miseとは GitHubリポジトリの説明書きに 「dev tools, env vars, task runner」 と書かれているrust製のcliツールです。 この記事ではmiseヘビーユーザーの私が推したい生産性の上がる機能を紹介するので、miseを初めて知った人も、知ってるけど使ってないって人も、ぜひ一読してみてください。 ちなみに最近話題になりやすいAIツールのcliパッケージなどもmiseで管理できたりします。 推したい機能はこれです! ① タスクランナー(私が推したい機能No.1) 私はmiseにおいてはタスクランナーが一番便利な機能だと思っているので最初に紹介します。 タスクランナーはmise.tomlによく使うスクリプトをタスクとして定義しておいて、mise runコマンドで実行する機能です。 ※設定ファイルはグローバルで有効

    ターミナルを使う人は、とりあえず「mise」を入れておく時代。  ・・・を夢見て。
    dorapon2000
    dorapon2000 2025/06/29
    “また、設定ファイルにconfirm = "確認メッセージ"を追加するだけで、実行前に確認のステップを挟むこともできるので、慎重に行う必要がタスクの安全性も担保できたりします。”
  • 「nginx」がHTTPステータスコード『103 Early Hints』に対応 ~Webの高速化に期待/「nginx-1.29.0」Mainlineでサポート開始

    「nginx」がHTTPステータスコード『103 Early Hints』に対応 ~Webの高速化に期待/「nginx-1.29.0」Mainlineでサポート開始
    dorapon2000
    dorapon2000 2025/06/28
    “CDNサービスを提供する米Cloudflareは2021年、『Early Hints』をサポートすることで追加料金なしにネットワーク上のWebサイトを30%高速化できたと発表している。”
  • VueエンジニアがReactを触ってみた感想|Yutori Otsu

    個人の感想でありrantなのであまり真に受けないでほしいです。ちなみに私はフロントエンド専門ではないです。Vue.jsは仕事で5年ほど使っています。React趣味でいじる程度。 Reactはお作法を学び続けないといけないフレームワークReactを触れば触るほど、学ぶべき「お作法」が多いフレームワークだなと思う。例えば hooksの種類が多くて覚えきれない。それぞれの役割を理解するために、Reactの内部機構を多少理解している必要がある。例えば  useReducer とか、useTransitionを名前から使い所を予想することは多分不可能だと思う。 hooksはコンポーネントの関数の中に書かないといけないので関心ごとにhookを書く場所を分けることができない。 ステートを変化させるたびにそのステートが描画に関係ない場所も再レンダリングされる。例えば<input> タグにステートをバイン

    VueエンジニアがReactを触ってみた感想|Yutori Otsu
    dorapon2000
    dorapon2000 2025/06/28
    “ライブラリの作者様の努力には敬意を表しつつも、新規プロジェクトでどのライブラリを選ぶか悩む作業は、かなり認知リソースを使う一方で正直作っているソフトウェアの出来に寄与しない、”
  • 【CSS】まだ width: 100% つかってるやついる⁉︎ いねぇよな⁉︎ - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

    dorapon2000
    dorapon2000 2025/06/26
    これが欲しかった