みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ 加筆/修正 指摘のあった誤字を修正 NVEnc について誤った内容があっ
10年ぶりにテレビ周りを刷新した話
昨年度末になんやかんやあって収支がだいぶプラス寄りになって「なんかバーっとお金使いたいなー」という気持ちが自然発生したものの、生来の貧乏性でお金の使い方がわからない。 安直に高いものといえば家電だろということで、次世代Switchが出る前にゲームプレイ環境を最新化することにした。 [こうなりました] 以前のテレビは2014年に買った東芝「REGZA 58Z9X」という58インチの4K液晶テレビで、タイムシフトマシンという6チャンネルを常時録画して過去番組表から好きな番組を見られる、まあまあ狂った機能がついている。性能的には十分であと何年かは使えると思っていた。 [以前の環境(手前のMacは趣味のスパム報告を自動実行している)] 今回買い替えに至ったのはAVアンプ側の仕様が時代に追いつかなくなったことが大きい。大まかに書くと「ゲーム機→AVアンプ→テレビ」の順に接続しているが、AVアンプが4
自作PC2024
新しいPCを組んだ。 自作PCを組むのはこれで二台目。一台目については以下の記事で紹介している。 自作PC2021 前回の組み立て時に基本的な部分を学べたので、今回は一度やってみたかった本格水冷に挑戦してみることにした。 組み立て後 組み立て前 この記事では、利用した各部品を紹介していく。前半では水冷にあまり関係無い部分、後半では水冷に関係する部分に触れる。自作PC2027を書くことになる頃合いで読み返したい。 ケース Lian LiのO11 EVO RGBを利用した。 Amazon | LIANLI E-ATX対応ミドルタワーPCケース O11D EVO RGB Black リバーシブルデザイン E-ATX（幅280mm以下） / ATX/Micro ATX/Mini-ITX規格対応 RGBストリップ標準搭載 420mmラジエーター搭載可能 日本正規代理店品 | リアンリー(Li LIA
なぜ依存を注入するのか DIの原理・原則とパターン 著者: Steven van Deursen, Mark Seemann 訳者: 須田智之 表紙には.NETやC#の文字はないのですが、前の版は"Dependency Injection in .NET"で.NETを前提した本のようでした。 ただ、はじめにで 本書では、.NETとC#を用いて、依存注入に関する用語や指針を包括的に紹介し、描写しているのですが、本書の価値が.NETの外の世界にも届くことを望んでいます。 とありました。 RustのDIでなにか活かせる教えを期待して、読んでみました。 第1部 依存注入 (Dependency Injection: DI) の役割第1章 依存注入 (Dependency Injection: DI) の基本: 依存注入とは何なのか? なぜ使うのか? どのように使うのか?まず、保守容易性(maint
Xiaomi TV A Pro 43 2025 購入レビュー：「量子ドット」はウソですが･･･コスパは凄い！ | ちもろぐ
粗利益率5%ポリシーの外資系メーカー「Xiaomi」から、戦略的な価格設定の43インチテレビが発売されました。 「Xiaomi TV A Pro 43 2025」です。チューナーレスだから国営放送の電波を受信できず、YoutubeやPrime VideoなどVODサービスをTV本体だけで見られます。 もちろん、パソコンと接続すればPCディスプレイとして利用できます。格安な大型4Kゲーミングモニターに超コスパが良さそうなのでAmazonで1台買って詳しくレビューします。 （公開：2024/9/3 | 更新：2024/9/3） この記事の目次 Toggle Sponsored Link 「Xiaomi TV A Pro 43 2025」はどんなゲーミングモニター？ Xiaomi TV A Pro 43 2025【量子ドット】 Xiaomi / サイズ : 43インチ / 解像度 : 3840
すぐに役に立つものはすぐに陳腐化してしまうから方法ではなく設計の本を読む - API Design Patterns の読書感想文 - じゃあ、おうちで学べる
あなたがさっきまで読んでいた技術的に役立つ記事は、10年後も使えるでしょうか？ほとんどの場合でいいえ はじめに 短期的に効果的な手法や知識は、ソフトウェア開発の分野において、急速に価値を失う傾向があります。この現象は、私たちが何を重点的に学ぶべきかを示唆しています。最も重要なのは、第一に基本的な原理・原則、そして第二に方法論です。特定の状況にのみ適用可能な知識や即座に結果を出すテクニックは、長期的には有用性を失う可能性が高いです。これは、技術や手法が時間とともに進化し、変化していくためです。 learning.oreilly.com 「API Design Patterns」は、このような考え方を体現した書籍です。しかも480 ページもあります。本書は単なる手法の列挙ではなく、Web APIデザインの根幹をなす原則と哲学を探求しています。著者のJJ Geewax氏は、APIを「コンピュータ
ナレッジベース共有ではなく､自分のためだけのクローズドなローカル環境で動作する点において差別化がされている｡何かを発信するのではなく自分自身のためにテキストをまとめるのです｡ このテキストも外出先で書いています｡ 金欠学生はもちろん格安を売りにしたプロバイダーと契約しているので3GB程度しか余裕がないはずです(私は月の半ばでなくなりました)｡しかしローカルで動作するので速度制限を恐れることなく使うことができるのです｡ Obsidianは単なるノートアプリではなくアイデアを書き溜め､思考をまとめ上げ､一つの思想を創り上げる､最強のセカンド･ブレインである｡ —私 メリット 日常的に使えばマークダウン記法に慣れて､サークルや研究室のesaの記事を書く心理的ハードルが下がる QiitaやZennなどの記事を公開するハードルも下がる 有名な使い方としてはドイツの社会学者が考案したツェッテルカステン
社内資料「プロダクトマネージャーのための検索推薦システム入門」を公開します - LegalOn Technologies Engineering Blog
こんにちは。LegalOn Technologies 検索・推薦チームの浅野（@takuya_b / @takuya_a）です。 先日、社内のプロダクトマネージャー（以下、PdM）を主な対象として、検索推薦技術の入門講座を開催しました。このたび、その資料を公開します。 資料の概要 この講座では、検索推薦技術とその周辺について、概要をざっくり理解できるように努めました。技術的詳細、とくに具体的なアルゴリズムにはあまり立ち入らず、できるだけ平易なことばで説明したつもりです。なお、広範な範囲を扱うため、各回1時間（質疑応答込み）で、3回に分けて実施しました。 公開した資料は、PdM だけでなく、エンジニアリングマネージャー（EM）やソフトウェアエンジニアの方々にも読んでいただけると嬉しいです。 以下は、各回で扱ったトピックです。 第1回 全体概要と検索技術入門・・・資料P3~ 検索・推薦とはなに
いまや、DJはもうDJじゃない。デリック・メイと考える人工知能と｢人の意思｣2024.09.20 21:0014,582 照沼健太 AIと人間の区別がつかない時代がもうすぐそこに？ Open AIが脅威の性能を誇るChatGPTの音声対話機能を公開間近。さらにはAppleがiOSやMac OSに組み込む生成AI｢Apple Intelligence｣を発表するなど、AI競争はさらに加速しています。 そんなAIと人間の区別がつかない未来を予見したかのような作品が、95年公開の映画｢GHOST IN THE SHELL / 攻殻機動隊｣です。本作の関連作品として、1997年にPlayStation用ソフトとして発売されたゲーム｢攻殻機動隊 GHOST IN THE SHELL｣のサントラに参加していたデトロイトテクノのオリジネイターの一人、デリック・メイが、今年5月に東京・新宿のZepp Sh
この記事で使用している画像は、公式の github から引用したものです。今回、あまりにも数が多いため引用リンクは省略しています。一部、自身で撮影したものもあります。 ファイル Recent Files ★★★ 最近開いたファイルの一覧を表示してくれるプラグイン。何故これがデフォルトで無いのかがよくわからない。絶対に入れておきたい。 Auto Template Trigger ★★★ 新しいノートを作成する際にテンプレートを選択して挿入できるプラグイン。ノートを書く敷居を下げてくれるので重要。 Quick Explorer ★★★ エクスプローラー機能を強化するプラグイン。ノートが増えてくると非常に便利。 Tag Wrangler ★★★ Tag pane から rename や merge などができるようになるプラグイン。 Quick Switcher++ ★★ ファイル移動のプラグイ
Go でマルチスレッドプログラミングする際に最低限知っておくべきこと - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤 Stage) DAY 10 の記事です。 こんにちは。クラウド基盤本部の野島です。Go は goroutine やチャネルなどの仕組みが備わっており、簡単にマルチスレッドなプログラムを書くことができる言語だと言われています。しかし、マルチスレッドプログラミングには独特の罠があり、何も知らない人が雰囲気でコードを書くとわかりにくいバグを仕込んでしまうリスクが非常に高いです。 この記事では、マルチスレッドプログラミングに詳しくない人に向けて、そのような罠を避けるための方法を紹介します。この記事は Go の基本的な使い方を知っていることを前提としています。 這い寄るデータ競合の恐怖 まずは以下のようなプログラムを考えてみましょう。これは複雑な計算を行って結果を返すような HTTP サーバーのコードです。 // 複雑
動画と音声ガッチャンコでなんでもAI口パク「sync.」。リップシンクはVideo to Videoの時代に突入した（CloseBox） | テクノエッジ TechnoEdge
AIリップシンクにまた大きな波が訪れました。
お久しぶりです、ANDPADボードの tomtwinkle です。 この記事はGoの go:linkname 騒動は 6/18に行われた Go Bash で話した内容を要約したものです。 そもそも go:linkname とは何かといえば internal packageやprivate var/funcなど普通はアクセスできないオブジェクトシンボルをエイリアス出来るようCompilerに指示して、アクセス可能にするcompiler directiveです。 go:linkname はprivateな変数へアクセス可能な便利なものでしたが unsafe packageのimportを必須とする通り、せっかく互換性や安全を考慮して作られているGoプログラムを簡単に破壊できる諸刃の剣でした。 詳細は発表スライドを見てください。 go:linkname 禁止騒動 Go 1.23 のリリースまで2
概要 ソーシャル経済メディア「NewsPicks」SREチームの中川です。 皆さんはバッチ処理基盤はどうされていますでしょうか。 NewsPicks では少し前まではそれらをEC2、cronの組み合わせで動作させていました。 何年も前からこの仕組みだったのですがSREとしてはEC2の面倒見るのも手間ですし、それ以上にcronを変更する際のオペレーションミスが目立ったのが懸念点でした。 その為、まずはAWSマネージド化するための基盤を整備し、その後バッチアプリを載せ替えていくようにしました。 対応前の基盤構成 同じSREチームの安藤さんが CloudNative Days Tokyo 2023 で登壇されたときの資料をお借りします。 ご覧の通り、大体のサービスはマネージド化していましたがバッチ基盤だけは旧来のままEC2インスタンスを利用していました。 10年モノのサービスのインフラを漸進的
チュートリアル: Yjs, valtio, React で実現する共同編集アプリケーション - ROUTE06 Tech Blog
Yjsは、リアルタイム共同編集を実現するためのアルゴリズムとデータ構造を提供するフレームワークです。Notion や Figma のように、1 つのコンテンツを複数人で同時に更新する体験を提供することができます。 Y.Map, Y.Array, Y.Text といった共有データ型を提供し、それらは JavaScript の Map や Array のように利用できます。さらにそのデータに対する変更は他のクライアントに自動的に配布・同期されます。 Yjs は Conflict-free Replicated Data Types (CRDT) と呼ばれるアルゴリズムの実装であり、複数人が同時にデータを操作してもコンフリクトが発生せず、最終的に全てのクライアントが同じ状態に到達するように設計されています。 クイックスタート Y.Map がクライアント間で自動的に同期されるコード例を見てみましょ
ちょっとJavaのsynchronizedをGoに移植しようとしたはずが、なぜか１万文字の作文ができた - エムスリーテックブログ
AI・機械学習チームのブログリレーも9日目になりました。同チームの横本@yokomotodです。 本日はJavaとGoを題材に並行プログラミングまわりの自由研究をしたお話をしてみたいと思います。 3部構成で、パート1では発端となった「排他制御」について、パート2では「メモリの可視化」について、それぞれJavaとGoを比べてみました。 最後にパート3では、それらの動作を規定する「メモリモデル」について、わかりやすく解説されているリソースを紹介します。 長過ぎる！ 3行で！！ パート1: synchronized = 「排他制御」？ Java synchronized vs Go sync.Mutex Goで再入可能なロック？ 仮にGoで再入可能なロックを実装するなら？ Javaが再入可能を選択した理由 パート2. sycnhronized = 「排他制御」＋「メモリ可視性の保証」 Javaの
Intro Chromium にコントリビュートするためには、ソースコードを理解する以外にも、もろもろ必要な周辺知識がある。 ドキュメントはかなり整備されている方ではあるが、そのドキュメントにたどり着くのが難しい場合もある。 レビュアーなどが親切に教えてくれるものをローカルにメモしているが、それも散らばってきたため、ここにまとめることにする。 まずは初期状態で公開するが、どんどん更新していき、長くなっても分割しないで追記を繰り返そうと考えている。 関連サイト 始めて取り組もうとすると、まずどこを見ればわからないところから始まる。 似たようないくつかのサイトがあり、使い分けがされているからだ。 code search https://source.chromium.org/chromium/chromium/src コードをインタラクティブに検索するためのサイト Workspace 風の U
PerlからGoへのシステム移行のアシスト 〜Perl XSとUnix Domain Socketを活用〜 - Mirrativ Tech Blog
こんにちは ハタ です。 Mirrativ では 2020年頃から サーバサイドの技術をPerlからGoへのシステム移行 を行っており、2024年現在でもサグラダファミリアのように移行作業は継続しています PerlとGoという2つの環境を同時に運用していますが、 基本的には 新機能は Go で実装 し、 Perlでは積極的に新規実装を行わない というスタイルで進めていました しかし、既存の機能の一部に手を加えたいとなった場合、まだまだ Perl の実装に手を加えることが一定あり、Perl から Go の機能を呼び出したいというニーズが出てきました （配信やギフトといったビジネスの根幹を支えるレガシーな実装においては顕著） そこで PerlXS を利用することで Perl から Go を直接呼び出せるようにできないかと考え検証を進めることにしました Goの -buildmode=c-shar
ブラウザで動作する地理空間データ処理ライブラリとして DuckDB-wasm を使い、 SQL を TypeScript で管理する仕組みを作る - newmo 技術ブログ
newmo では、地図データや地理情報を扱う場面が多くあります。 たとえば、タクシーやライドシェアでは、営業区域のような営業していいエリアといった地理的な定義があります。 また、乗り入れ禁止区域のようなタクシーが乗り入れてはいけないエリアといった定義も必要になります。 これらの地理に関する定義は GeoJSON のような地理情報を扱うデータ形式で管理されることが多いです。 しかし、GeoJSONなどの定義をテキストとして手書きするのは困難です。 そのため、地図上に区域を作図するエディタやその定義した区域が正しいかをチェックするような管理ツールが必要です。 管理ツールは、ウェブアプリケーションとして作った方が利用できる環境が広がります。 このような地理情報は一度に扱うデータが多かったり、空間的な計算処理が必要になるため、専用の仕組みを使うことが多いです。 このような技術を、地理情報システム（
新Linuxカーネル解読室 - ソケットインターフェース(データ構造と概要編) - VA Linux エンジニアブログ
「Linuxカーネル2.6解読室」（以降、旧版）出版後、Linuxには多くの機能が追加され、エンタープライズ領域をはじめとする様々な場所で使われるようになりました。 それに伴いコードが肥大かつ複雑化し、多くのエンジニアにとって解読不能なブラックボックスとなっています。 世界中のトップエンジニア達の傑作であるLinuxカーネルにメスを入れ、ブラックボックスをこじ開けて、時に好奇心の赴くままにカーネルの世界を解読する「新Linuxカーネル解読室」プロジェクト。 本稿では、旧版第21章で解説されていたソケットインターフェースについて、カーネルv6.8のコードをベースに主にデータ構造を中心に解説します。 はじめに ソケットの実体と概要 ソケット操作関数の実装 ファイル操作関数によるソケット操作の実装 次回予告: ソケット生成編 執筆者 : 須田 哲志、稲葉 貴昭 ※ 「新Linuxカーネル解読室」
Rustで勘違いしていたこと3選 🏄🌴 【100 Exercises To Learn Rust 🦀 完走記事 🏃】 - Qiita
100 Exercises To Learn Rust を題材に Qiita Engineer Festa 2024 投稿マラソン に参加していました！ 7月17日に仮置きを残しながら投稿したのち、 ようやく全記事完成しました！ ので、その記念として、色々話したいと思います！(え、7/17ってもう3週間前...？！) 目次 全記事一覧 100 Exercises To Learn Rustを完走した感想 100 Exercisesの魅力 1. そこそこの長さ 2. 無理のない学習順序 3. 各エクササイズ間に関連がある 4. 効率よく"ミソ"を摂取できる Rustで今まで勘違いしていたこと3選 1. Copy は Clone::clone を...呼び出さなかった！ 2. 不変参照は...実は不変ではなかった！ 3. 値がスレッドを跨ぐには 'static は...不要だった！ 所感 ※
Steam Deckでゲームだけじゃなく音楽もプレイしてみよう！ COSIOが教える初歩からのDJ入門 ライター：COSIO 誰しも“憧れの職業”というものがある。 スポーツ選手やタレント，今だとYouTuberやVTuberもそうだろう。 私・COSIOにとっては，DJこそが憧れだった。 たまたまDJの真似事をする機会に恵まれたのが，大学生時代だ。 そのときの「好きな音楽を流すことで仲間と一緒に盛り上がる」という体験はかなりの衝撃で，それ以来「いつかちゃんとしたDJとして人前に立ちたい」とずっと思っていた（あと，単純にDJってモテそうじゃん？）。 DJとしてステージに立つには，楽器ほどではないがカッコよくプレイするための技術が必要になる。当然，技術がいるということは練習が必要だ。 練習するには機材がいる。当時，DJ用の機材は楽器と同じくらい高価で，しかも嵩張るものだった。そこに手が届かず
Platform Engineering on Kubernetes を読んでCloud Native の現在地を理解する - じゃあ、おうちで学べる
はじめに 近年、Kubernetesの採用が進む中、複数のチームが関わり、複数のクラウドプロバイダーへのデプロイを行い、異なるスタックを扱う組織では、その導入の複雑さが新たな問題となっています。本書 『Platform Engineering on Kubernetes』は、Kubernetes に登場しつつあるベストプラクティスとオープンソースツールを活用し、これらのクラウドネイティブの問題を技術的に組織的にどのように解決するかを示してくれます。 learning.oreilly.com 本書では、Kubernetes上に優れたプラットフォームを構築するための要素を明確に定義し、組織の要件に合わせて必要なツールを体系的に紹介しており、実際の例とコードを交えながら各ステップをわかりやすく説明することで、最終的にはクラウドネイティブなソフトウェアを効率的に提供するための完全なプラットフォーム
Cloudflare の新しいロードバランサ Pingora を試してみる - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド基盤本部の野島です。 今年のインターンシップでは、プラットフォーム(自社基盤)コースとして2名の方を受け入れ、それぞれ異なる課題をやってもらいました。 そのうちの一つは Pingora に関する課題で、覚道さんに取り組んでいただきました。（もう一つの課題は nginx のキャッシュの性能に関するもので、これについては昨日の記事をご参照ください） Pingora は Cloudflare が開発したロードバランサのためのフレームワークであり、Rust を使って好きなロジックを組み込んだロードバランサを書くことができます。 今回のインターンでは Pingora を使って TLS のクライアント証明書を使った認証プロキシを作ってもらいました。 そこで、この開発の中で得られた Pingora や OpenSSL に関する知見を共有しようと思います。 この記事は覚道さんのインター
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
『詳解Rustアトミック操作とロック』（Rust Atomics and Locks） - Don't Repeat Yourself
昨年買っていたんですが、年末年始の時間を使って少し読めました。 著者はRustコンパイラにコントリビューションをしたことがあれば誰でも知っているかもしれない、Mara Bos氏です。 ちなみにですが、原著は下記サイトで無料でも読むことができます。 marabos.nl 書籍は下記です。 詳解 Rustアトミック操作とロック ―並行処理実装のための低レイヤプログラミング 作者:Mara Bosオーム社Amazon なおこの記事内で「本書」と明記する場合、それは『詳解Rustアトミック操作とロック』を指します。また、「筆者」は私自身のことであり、「著者」はMara Bos氏のことです。 内容のメモ 1章 2章 3章 4章、5章 6章 Miri Loom 7章 8章 9章 10章 感想 日本語での別の資料 内容のメモ 読んだ内容のうち、印象に残ったり初見だったものをメモしておきます。 1章 1章
Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog
こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス
PGlite
PGliteEmbeddable Postgres Run a full Postgres database locally in WASM with reactivity and live sync.
TiDBを触ってみて個人的に面白いと思ったものを雑にまとめます。 TiDBのことはある程度知っている人向けの話です。 HTAP（TiFlash） リソース制御機能 Stale Read Follower Read プッシュダウン レコードTTL コメント構文 sync-diff-inspector ローカルPCでTiDBを起動する まとめ HTAP（TiFlash） TiDBといえば、HTAPが有名だと思う。 https://docs.pingcap.com/ja/tidb/stable/explore-htap https://docs.pingcap.com/ja/tidbcloud/tiflash-overview TiDBが苦手とするOLAPを高速に処理するために、 TiFlashという列指向NoSQLを外付けし、 OLAP系のクエリをそこに対して実行するという、 なんとも力技感が
この記事はデータベース・システム系 Advent Calendar 2023の3日目の記事である。昨日の記事も僕でした。 間接参照を巨大仮想メモリで飲み込む メインメモリはハードディスクやSSDより容量が小さく、この問題は当面は解決の目処が立たない。 そもそも今のDRAMより速くて安くて大きいストレージが仮に発明されてもそれがDRAMに取って代わるメインメモリの立ち位置になるだけであってその下のレイヤーには依然としてそのメインメモリより安くて大きなストレージが置かれる事になる。大局的な観点ではストレージの階層構造とは経済活動の鏡像でもある。 バッファプール さて、耳にタコができるほど繰り返しているが現代のデータベースはディスクなどの永続ストレージにデータの本尊が保存され、メインメモリはそれに対する読み書きを高速化するためのデータ一時置き場としての役割を担当している。 代表的なRDBMSは3
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
こんにちは、バックエンドエンジニアの日下です。 CSV から JSON へ変換するスクリプトを、TypeScript で実装する機会がありました。 今回は、CSV のデータのバリデーションに Zod を使った話をします。 スクリプトの目的 システム間のデータ連携が目的です。 連携元のシステムから CSV 出力されたデータを、連携先のシステムで利用する JSON へ変換します。 また、JSON への変換以外にも以下の要件があります。 CSV のデータをバリデーションする 連携先のシステムで利用できるデータであることを保証するために、バリデーションを実行します。 バリデーション失敗時に、日本語のエラーメッセージを表示する スクリプトの実行は業務担当のエンドユーザーが行うため、日本語のエラーメッセージを表示します。 CSV の読み込み 元データとなる CSV の読み込みは、csv-parse を
なるほどTCPソケット
TCP Ruby Jesse Storimer 2024-09-23 i ii API iii Web HTTP API REST JSON API API TCP API Twitter API API TCP JSON XML API 2 API C API iv Web Unix Unix Ruby Ruby Ruby Ruby 1.9 3 1 2 Hello, World v 3 API API API 1983 BSD 4.2 TCP API API API API API 1983 API API 1 API API 2 API API C C API Ruby API vi Ruby API 1 API UDP TCP API API TCP HTTP FTP TCP/IP Vol.1 *1 *1 http://www.amazon.co.jp/dp/4894713209/
無料で使える「Ctrl＋C」でコピーしたあらゆる内容を保存して再利用＆複数PCでの共有もできる「Ditto」を使ってみた
「Ditto」は「Ctrl＋C」でクリップボードにコピーした内容の履歴を表示したり、別のPCにクリップボードの内容を送信したりすることができる無料のクリップボードマネージャーです。どのように使えるのか実際に試してみました。 Ditto clipboard manager https://ditto-cp.sourceforge.io/ まずは公式サイトに行き、ツールをダウンロードします。今回は64bitのPCにインストールするので「Download 64bit」をクリック。 インストーラーをダブルクリックして起動します。 「OK」をクリック。 インストール先は特に変更せず「次へ」をクリックします。 「次へ」をクリック。 「完了」をクリックします。 ネットワークへのアクセス許可を求められるので「許可」をクリック。 Dittoが起動しました。タスクトレイのアイコンをクリックするか、「Ctrl＋
ウェブ上でネイティブアプリ並の機能を実現するPWAで利用できる機能をまとめてテストできるサイト「What PWA Can Do Today」
プログレッシブウェブアプリ(PWA)は、ウェブ上でネイティブアプリと同様の使い勝手を実現するための仕組みで、2015年に概念が提唱されて以来、徐々に機能が増加しています。「What PWA Can Do Today」は、PWAで利用できるさまざまな機能について実際に試せるサイトです。 What PWA Can Do Today https://whatpwacando.today/ サイトにアクセスするとこんな感じ。最初に「Install to home screen」をクリックし、サイトをアプリとしてインストールします。 確認画面が表示されるので「インストール」をクリック。 デスクトップにアプリが追加されました。初回は自動で起動しますが、次回以降はこのアイコンをダブルクリックして起動します。 アプリを起動すると、さまざまな機能をテストできる画面が表示されました。「Media captur
Introducing postgres.new, the in-browser Postgres sandbox with AI assistance. With postgres.new, you can instantly spin up an unlimited number of Postgres databases that run directly in your browser (and soon, deploy them to S3). Each database is paired with a large language model (LLM) which opens the door to some interesting use cases: Drag-and-drop CSV import (generate table on the fly) Generat
syncコマンドはストレージデバイスへのI/Oをキャッシュしているページキャッシュとバッファキャッシュのデータをデバイスに同期(以下「同期」と記載)します。このコマンドについては「syncは同期処理を開始するだけで完了を待たずに終了する」「syncを3回実行すると同期が完了する」などという話が有名です。本記事ではLinux環境においてsyncコマンドの終了時に同期がされるのかについて述べます。syncコマンドはGNU coreutilsが提供するものを対象とします。 本記事ではsyncコマンドによる同期のタイミングに加えてもう一つ、同期処理の実行中にI/Oエラーが発生した場合に、エラーを検出できるのかについても述べます。 まとめ syncコマンド実行後に同期は完了している。ただし仕様上はそうなると保証されていない。 同期中のディスクI/Oエラーは-fオプションを付ければ検出できる。 調査環
はじめに ファイルをアップロードすることができる機能を持ったWebアプリケーションやクラウドサービスは世の中に多数あります。しかし、アップロードしたzipファイルを自動で展開（解凍）してくれて、中身のファイルが閲覧できる機能を持ったサービスは、あまり多くはないかもしれません。 もし、Google Cloud上で、zipファイルをアップロードし自動的に展開してGCSに配置するシステムを作るとしたら、どうやって実現すればよいでしょうか。たとえ100GBのzipファイルでも問題なく展開できるようにするには？ そんな難題に挑み、GCSにアップロードされた100GB級のzip/7zファイルを自動的に展開することができるシステムをGoで実装し、プロダクションレベルで実現しました。その技術について解説します。 背景 PLATEAU VIEWの画面 Eukaryaでは、国土交通省が主導しているProjec
JavaScript is undoubtedly the most used programming language in the world and is hugely influential on one of the largest technologies we have all come to rely on – the internet. With this power comes great responsibility, and the JavaScript ecosystem has been rapidly evolving, making it incredibly hard to keep up with the latest JavaScript best practices. In this blog post, we will cover several
はじめにシステムの状態を的確に捉え、運用に必要なインサイトを継続的に得るための特性は「オブザーバビリティ」と呼ばれます。オブザーバビリティを実現することで、パフォーマンスのモニタリングやトラブルシューティングを効果的に行い、システムの信頼性を高めることができます。 この重要な特性を実現する上で、eBPFやbpftraceは強力なツールとなります。 本記事では、Goアプリケーションにおけるオブザーバビリティを実現するための一つの方法として、bpftraceを用いたトレースの手法を紹介します。 内容が多いため、目次を活用して段階的に読み進めることをお勧めします。 eBPFとbpftraceはじめに、eBPFとbpftraceについて簡単に説明します。 eBPFとはeBPF(Extended Berkeley Packet Filter)はLinuxカーネル内で動作する柔軟なプログラミングフレー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mac やめて Linux PC を自作した - IT戦記
📗 なぜ依存を注入するのか DIの原理・原則とパターンを読んだ感想 | Happy developing
Obsidianが大学生活を変える! 学生必見の活用術 - Qiita
いまや、DJはもうDJじゃない。デリック・メイと考える人工知能と｢人の意思｣
【Obsidian】2023 年でオススメのプラグイン 66 選
Go界隈で巻き起こった go:linkname 騒動について - ANDPAD Tech Blog
EC2とcronで動いていたバッチ基盤をマネージド化した - Uzabase for Engineers
Chromium にコントリビュートするための周辺知識 | blog.jxck.io
Steam Deckでゲームだけじゃなく音楽もプレイしてみよう！ COSIOが教える初歩からのDJ入門
【2024年】AWS全サービスまとめ | DevelopersIO
TiDBには面白い仕様/機能が色々あるという話 - pospomeのプログラミング日記
間接参照を巨大仮想メモリで飲み込む - Software Transactional Memo
Zod を使って CSV からの入力データをバリデーションする - ドワンゴ教育サービス開発者ブログ
postgres.new: In-browser Postgres with an AI interface
syncコマンドのデータ同期タイミングとI/Oエラー検出
GoとGCSで100GBの巨大zipファイルを展開する | Re:Earth Engineering
JavaScript Best Practices | The WebStorm Blog
bpftraceによるGoアプリケーションのトレース｜hayajo