並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 994件

新着順 人気順

rsyncの検索結果41 - 80 件 / 994件

  • SRE NEXT基調講演を終えて - ゆううきブログ

    1月25日に開催されたSRE NEXT 2020 IN TOKYOにて、「分散アプリケーションの信頼性観測技術に関する研究」と題して、基調講演をさせていただきました。 これまで一環してWebオペレーション・SREに取り組んできて、今ではSRE Researcherと名乗っている身からすると、国内初のSREのカンファレンスで基調講演にお声がけいただいたことは大変名誉なことだと思っています。 基調講演について カンファレンスの基調講演は実ははじめての経験で、どのような発表をするかについては、いくらか逡巡することになりました。 SRE NEXTのオーガナイザーをされている@katsuhisa__さんからは、現在僕が取り組んでいる研究内容や、その研究背景として考えていることを講演してほしいという期待をいただきました。 同時に、カンファレンスのタイトルに含まれる「NEXT」には、参加者の皆様とSRE

      SRE NEXT基調講演を終えて - ゆううきブログ
    • GitHub - dropbox/fast_rsync: An optimized implementation of librsync in pure Rust.

      This crate offers three major APIs: Signature::calculate, which takes a block of data and returns a "signature" of that data which is much smaller than the original data. diff, which takes a signature for some block A, and a block of data B, and returns a delta between block A and block B. If A and B are "similar", then the delta is usually much smaller than block B. apply, which takes a block A a

        GitHub - dropbox/fast_rsync: An optimized implementation of librsync in pure Rust.
      • Use Fast Data Algorithms | Joey Lynch's Site

        Disclaimer: There are lies, damn lies, and benchmarks from some random person on the internet. If you are considering taking some of the advice in this post please remember to test your specific workloads, which might have different bottlenecks. Also the implementation quality in your particular software stack for your particular hardware matters a lot. For this post I’ll be playing with a ~5 GiB

        • GitHub Actions を使って WordPress のテーマをデプロイ(アップロード)する |https://wp.yat-net.com/name

          2021年 10月 27日 GitHub Actions を使って WordPress のテーマをデプロイ(アップロード)する カテゴリ: WordPress タグ:GitHub FTP を使ったアップロードが面倒なのでなるべく Git と連携したデプロイをしたい。そうなると CI のサービスが割と主流なんですが、GitHub Actions を使うともっとお手頃にローカルからサーバーへデータ転送ができるのでやり方を書いておきます。 レンタルサーバー WordPress のお仕事だとエックスサーバーやさくらインターネットを使うことが多いのですが、この場合は転送に FTP を利用します。 まず設定するのは、リポジトリにある Settings の secrets に FTP 情報などを登録します。 ここで登録する内容は外部から見えないので安心して利用可能。 テスト環境と本番環境など転送先サーバ

            GitHub Actions を使って WordPress のテーマをデプロイ(アップロード)する |https://wp.yat-net.com/name
          • Linuxコマンドかるた | 『ゲームマーケット』公式サイト | 国内最大規模のアナログゲーム・ テーブルゲーム・ボードゲーム イベント

            Linuxコマンドをテーマにしたゲームです。 一般的なかるたゲームとルールは同じです。 読み札にはLinuxコマンドの主なオプション、コマンドの説明、コマンド名が書かれています。 取り札にはコマンド名だけが書かれています。 読み手が主なオプションからコマンドの説明、コマンド名と順番に読んでいくので取り手はどのコマンドかをいち早く予想して取り札を取っていきます。 どのコマンドかを判断しにくくするために文章などを工夫しています。 収録されているコマンドは、 echo, mkdir, mv, cp, history, grep, pwd, find, ls, exit, less, diff, sudo, free, tail, date, wget, curl, kill, which, top, ssh, cat, cd, ln, rm, su, df, du, ps, man, tar,

              Linuxコマンドかるた | 『ゲームマーケット』公式サイト | 国内最大規模のアナログゲーム・ テーブルゲーム・ボードゲーム イベント
            • 1993年に提案されたCGIを「デプロイ」 Perlとjqを使用したそれぞれのデモ

              「YAPC(Yet Another Perl Conference)」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。まずは、CGI(Common Gateway Interface)のデプロイについて話します。 macopy氏の自己紹介 macopy氏:よろしくお願いします。「デプロイ今昔物語~CGIからサーバーレスまで~」ということで、その(CGIからサーバーレスの)間にいろいろありますけれど、デプロイを次々とやっていって、みなさんを混乱させていくセッションになっています(笑)。 (話す)スピードが速いと思うので……。スピードというか、けっこう(内容を)ぎゅうぎゅうにしているので早口になっちゃうこともあるかもしれないですが、よろしくお願いします。ということ

                1993年に提案されたCGIを「デプロイ」 Perlとjqを使用したそれぞれのデモ
              • GitHub - elpy1/ssh-over-ssm: SSH over AWS SSM. No bastions or public-facing instances. SSH user management through IAM. No requirement to store SSH keys locally or on server.

                Recently I was required to administer AWS instances via Session Manager. After downloading the required plugin and initiating a SSM session locally using aws ssm start-session I found myself in a situation where I couldn't easily copy a file from my machine to the server (e.g. using scp, sftp, rsync etc). After some reading of the AWS documentation I discovered it's possible to connect via SSH ove

                  GitHub - elpy1/ssh-over-ssm: SSH over AWS SSM. No bastions or public-facing instances. SSH user management through IAM. No requirement to store SSH keys locally or on server.
                • ISUCON11予選に参加して予選敗退しました - Mirrativ Tech Blog

                  こんにちわ、エンジニアのタテノです。 8/21 に ISUCON11予選 が開催され、ミラティブから私とかずたかさん、stakmeさんの3人でチームミラティブとして参加しました。 isucon.net 3人ともISUCON参加ははじめてで、各々事前準備しつつ、当日、一時30位くらいまでスコアが伸びる場面もあるなど健闘しましたが、残念ながら予選敗退しました。 ミラティブからは、牧野さんが別チームで参加しており、見事10位で予選通過しました!おめでとうございます! tech.mirrativ.stream 本記事では、チームミラティブでのISUCON予選を振り返っていきます。 参加表明 5/28 にISUCON11 の予選受付日程がアナウンスされ、牧野さんからエンジニアチームに対して、ミラティブチームでも出ませんかとお声がけがあります。 私は、これまでちょくちょくISUCONの話を聞いていたも

                    ISUCON11予選に参加して予選敗退しました - Mirrativ Tech Blog
                  • SRE関連Issue、7年分を振り返る - BASEプロダクトチームブログ

                    この記事は、BASE Advent Calendar 2022の18日目の記事(その2)です。 SRE Group の ngsw です。 先日ネットショップ作成サービス「BASE」は10周年を迎えました。 「BASE」サービスリリース10周年 ~「好きが、売れる。」をコアメッセージに特設Webサイトの公開とクーポンキャンペーンを開始~ | BASE, Inc. 10th Anniversaryクーポンキャンペーン は現在すでに終了しています 好きが、売れる。BASE・10周年特設サイト せっかくの10周年です。ちなんだ記事を書けたら面白いかなとSRE関連のIssuesを振り返っていたのがこの記事のはじまりでした。 BASEの10年分のシステムの課題を読者の皆さんと共有できたならば面白いかな、というのが(後付けの)動機です。 SRE関連のIssuesはGitHub移行後の2016年より存在し

                      SRE関連Issue、7年分を振り返る - BASEプロダクトチームブログ
                    • Raspberry Pi 5に10GbE NICを乗せたやつを2台並べてiperf3で計測すると…… - あっきぃ日誌

                      明日はオープンソースカンファレンス 2024 Tokyo/Springです。この記事の物体を展示予定なのでお近くの方はぜひ。 event.ospn.jp OSCに10GbE NICのデモを持ち込みたい これの続き。 akkiesoft.hatenablog.jp 10GbE NICが動くことがわかったので、OSCでデモをしたら映えるかなと思い、会社からNICを借りてきました。適当に余っているIntel X520を連れ出そうとしたら、部長から「そんな古いんじゃ消費電力デカくね?YOUこれ持っていきなよ(意訳)」と、Mellanox ConnectX-4 Lxを授かりました。社内的にはもう箪笥の肥やしになっていたものですが、10GbEどころか25GbEもいけるNICです。はげしい。<写真> というわけで、これを持ち帰ってカーネルコンパイルを済ませ(mlx5_coreを有効にしました)、動作も確

                        Raspberry Pi 5に10GbE NICを乗せたやつを2台並べてiperf3で計測すると…… - あっきぃ日誌
                      • 冗長化に伴うPush型デプロイの難点を補うために “自律的に”動く「Pull型デプロイ」という提案

                        「YAPC(Yet Another Perl Conference)」は、Perlを軸としたITに関わるすべての人のためのカンファレンスです。ここで面白法人カヤックのmacopy氏が「デプロイ今昔物語 〜CGIからサーバーレスまで〜」をテーマに登壇。さらに「Push型のデプロイ」と「Pull型デプロイ」について話します。前回はこちらから。 Push型のデプロイ macopy氏:というわけで、(ここまで)アーキテクチャやプログラミングインターフェイスに関してデプロイの技術を紹介してきましたが、ここからはサーバーへの反映方法について紹介しようと思います。 今までずっとFTPをやっていましたが、FTPの説明をしていないですよね。ですが、まぁ(先ほどデモを)やったからいいかなと思っていて。(FTPを)使ってデプロイしていたのでとりあえず省略。ああいう感じでファイルをそのままピュッと上げるインターフ

                          冗長化に伴うPush型デプロイの難点を補うために “自律的に”動く「Pull型デプロイ」という提案
                        • 開発生産性可視化の意義とPR TIMESの事例 発表資料 | PR TIMES 開発者ブログ

                          自己紹介 本名:金子達哉 株式会社PR TIMES開発本部長CTO 2021/4入社 達人が教えるWebパフォーマンスチューニング〜ISUCONから学ぶ高速化の実践(技術評論社)(通称:ISUCON本)の著者の1人 6章「リバースプロキシの利用」・7章「キャッシュの活用」・8章「押さえておきたい高速化手法」を担当 catatsuyというIDで各種SNSをやっています かたついと呼ばれることが多いです 数年前のPR TIMES デプロイは1週間に1度あるかどうかという頻度 リリース時のメンテナンスにより、大きな変更をリリース PHPのバージョンが非常に古く、ソースコードにも問題があり機能追加が困難で開発効率が低い フロントエンドもほぼすべて古いjQueryベースで作られており、バグ修正すらできていない ⇒開発速度向上のために、すべて変えたのでざっくり紹介 デプロイ頻度を上げる 小さいPRをど

                            開発生産性可視化の意義とPR TIMESの事例 発表資料 | PR TIMES 開発者ブログ
                          • PR TIMESをオンプレミスからAWSに移行しました | PR TIMES 開発者ブログ

                            こんにちは、開発本部インフラチームテックリードの櫻井です。 今回は2022年9月に行ったオンプレミスからAWSへの移行プロジェクトについて紹介したいと思います。 オンプレ環境の抱えていた課題 弊社の主力サービスである prtimes.jp はAWSなどのクラウドサービスではなく、自社サーバーをデータセンターに置くオンプレミスで運用してきました。 ほとんどのサーバーはVMware vShereを使って仮想サーバーとして構築されていましたが、データベース(PostgreSQL)だけは物理サーバーとして構築されていました。 このデータベースには750GBほどのストレージがありましたがそのうち90%近いデータが保存されており、なおかつ物理的にこれ以上ストレージを増設することができなかったため、データベースのストレージの枯渇を防ぐために早急に別のサーバーに移行する必要がありました。 またデータベース

                            • 「Linux」ディレクトリーを「rsync」を使用してリモートマシンにバックアップするには

                              Jack Wallen (Special to ZDNET.com) 翻訳校正: 編集部 2024-02-01 07:45 「Linux」は市場で最も柔軟なOSだ。このオープンソースプラットフォームでは、ソフトウェアに全くお金を使わずに、プロプライエタリーなOSよりもはるかに多くのことを実行できる。 Linuxを使い始めたばかりの人は、おそらく、コマンドラインを避けたいと思うはずである。少し威圧感があるからだ。しかし、しばらくすると、自分の選んだディストリビューションから、どれだけの性能と柔軟性を引き出せるのか確かめてみたくなる人もいるかもしれない。そういうときに実行できる非常に便利な(そして役に立つ)ことの1つが、rsyncコマンドを使用して、ローカルディレクトリーをリモートディレクトリーにバックアップする方法を学ぶことだ。本記事では、その手順を解説する。 準備はいいだろうか。それでは、

                                「Linux」ディレクトリーを「rsync」を使用してリモートマシンにバックアップするには
                              • ThinkPad T14 Gen3 の Linux 化 - tmtms のメモ

                                ThinkPad T14 Gen3 Intel版を購入 2016年10月に買った ThinkPad T460s をずっと使ってたんだけど、6年前のPCだとさすがに処理が遅く感じることもあったんで、そろそろ新しいのが欲しくなったんで、ThinkPad T14 Gen3 を買った。 安かったんでAMD版にしたんだけど、Intel版との違いはCPUだけだと思ってたのに、AMD版はメモリが増設できないことを知って、キャンセルしてIntel版に変更した。 調べてみたら、AMD版とIntel版の違いは他にも、Intel版は USB Type-C が Thunderbolt4 対応なのに AMD版は USB 3.2 というのがあった。罠っぽい。同じ機種名でこういうのはやめてほしい。 6/16 に注文して、6/28 に出荷、7/5 に届いた。 イマイチだったのが、キーボード右側のキーが正方形じゃなくて縦長

                                  ThinkPad T14 Gen3 の Linux 化 - tmtms のメモ
                                • The Legends of Runeterra CI/CD Pipeline

                                  The Legends of Runeterra CI/CD Pipeline Hi, I’m Guy Kisel, and I’m a software engineer on Legends of Runeterra’s Production Engineering: Shared Tools, Automation, and Build team (PE:STAB for short). My team is responsible for solving cross-team shared client technology issues and increasing development efficiency. We focus on the areas that empower other teams to do more and protect the team from

                                    The Legends of Runeterra CI/CD Pipeline
                                  • ハードウェアのタイムスタンプを使用してネットワークの待ち時間を測定する方法 | IIJ Engineers Blog

                                    I'm a researcher at IIJ Research Laboratory working on the performance, security and reliability of distributed systems. 今回は、IIJの技術研究所にインターンシップとしてドイツから来日していたフォーゲル アーネさんの研究を紹介します。彼は博士号候補者で一緒に働いていました。研究内容は、ネットワークカードのハードウェアタイムスタンプについてです。それではご覧ください。 (以下フォーゲルさんの記事) この投稿では、ハードウェアのタイムスタンプを使用して、単純なpingコマンドよりもきめ細かくネットワークの待ち時間を測定する方法を探ります。 動機 2つのノード間のネットワークレイテンシを調べたい場合どうすればよいでしょうか? シンプルな方法はpingを使うことでしょう: $

                                      ハードウェアのタイムスタンプを使用してネットワークの待ち時間を測定する方法 | IIJ Engineers Blog
                                    • rsync, article 3: How does rsync work?

                                      This post is the third article in a series of blog posts about rsync, see the Series Overview. With rsync up and running, it’s time to take a peek under the hood of rsync to better understand how it works. How does rsync work? When talking about the rsync protocol, we need to distinguish between: protocol-level roles: “sender” and “receiver” TCP roles: “client” and “server” All roles can be mixed

                                      • trivyとGithub Actionsを使用しTerraform設定ファイルのセキュリティスキャンを実行する仕組みを作りました - コネヒト開発者ブログ

                                        この記事はコネヒトアドベントカレンダー21日目の記事です。 コネヒト Advent Calendar 2023って? コネヒトのエンジニアやデザイナーやPdMがお送りするアドベント カレンダーです。 コネヒトは「家族像」というテーマを取りまく様々な課題の解決を 目指す会社で、 ママの一歩を支えるアプリ「ママリ」などを 運営しています。 adventar.org はじめに コネヒトのプラットフォームグループでインフラ関連を担当している@yosshiです。 今年の7月に入社してから早いもので半年が経ちました。時が経つのは本当に早いですね。 今回のブログでは、セキュリティスキャンツールであるtrivyを使って、自動的にIaC (Infrastructure as Code)スキャンを実行する仕組みを構築した話をしたいと思います。 弊社ではインフラ構成をTerraform利用して管理するようにして

                                          trivyとGithub Actionsを使用しTerraform設定ファイルのセキュリティスキャンを実行する仕組みを作りました - コネヒト開発者ブログ
                                        • RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ

                                          私がこれを書く動機 私はKaigi on Railsのオーガナイザーのひとりです。Kaigi on Rails 2023は物理会場にて開催されることが公開されました。そうなるともちろん、会場でのインターネットについてはどうなる、どうする、という問題が出てきます。それに備えて、先輩イベントであるRubyKaigiを参考にしようというわけで、自分の理解のために書くことにしました。 おことわり 私はRubyKaigi 2022のネットワークをお手伝いしましたが、ケーブルの巻き直し、APの設営、撤収時の諸々を手伝ったのみです。よってこれから言及する内容については、一般参加者に毛が生えた程度の事前知識しかありません。 またこれから読み解くコードにおいて、コメントする内容の正確性は一切ないものと思って読んでください。 RubyKaigiのネットワークについて RubyKaigiのネットワークにおけるL

                                            RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ
                                          • macOSはネットワーク経由でファイルをコピーすると書き込み速度が不安定で遅くなるという検証結果

                                            ネットワークを介してコンピューターのストレージにあるファイルシステムをマウントすることで、異なる端末からファイルを扱うことができるシステムがネットワークファイルシステム(NFS)です。YouTuberでエンジニアのジェフ・ギーリング氏が、macOSでNFSを使用した時のファイルの書き込み速度がなぜか遅くなるという問題を報告しています。 macOS Finder is still bad at network file copies | Jeff Geerling https://www.jeffgeerling.com/blog/2024/macos-finder-still-bad-network-file-copies ギーリング氏はRaspberry Piを使った小型NASのテストを行っていましたが、Raspberry Piの内部ストレージ速度や800MB/s以上のPCIeベースのス

                                              macOSはネットワーク経由でファイルをコピーすると書き込み速度が不安定で遅くなるという検証結果
                                            • Visual Studio CodeのRemote DevelopmentとDockerで快適な開発環境をゲット | SIOS Tech. Lab

                                              ◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ こんにちは、サイオステクノロジー技術部 武井です。今回はVisual Studio CodeのRemote DevelopmentでDockerコンテナに接続して、快適な開発環境をゲットしようというお話です。ちなみに

                                                Visual Studio CodeのRemote DevelopmentとDockerで快適な開発環境をゲット | SIOS Tech. Lab
                                              • 他のBSDユーザのためのOpenBSD管理入門

                                                ストレージ、ファイルシステム関連 ディスク関連の設定はインストール時に行われるが、運用開始後に変更や増設をする時に、以下のノウハウを把握しておくと有用: OpenBSDでは、fdiskパーティションとdisklabelパーティションが個別に存在する。 fdiskパーティションとdisklabelパーティションの設定は連動しない。fdiskパーティションのOpenBSD領域とdisklabelパーティションのOpenBSD boundaryはセクタ単位で合わせておく必要がある(インストール時には自動で合わせられる。手動で合わせる場合はdisklabel -Eのbサブコマンドを使用する)。 disklabel -Eコマンドによるパーティション操作は、OpenBSD boundaryの範囲内でのみ可能。 ディスクパーティションは例えば /dev/sd0a のように命名される デバイス wd :

                                                • AlphaFold (ver.2.3.2) インストール - Qiita

                                                  2021年7月16日午前3時頃(日本時間)に公開されたAlphaFold ver.2(以下、断りがない限り単純にAlphaFoldと書く)の論文について。 論文は https://www.nature.com/articles/s41586-021-03819-2 実装は https://github.com/deepmind/alphafold 執筆した日本語総説が出ました:AlphaFold2までのタンパク質立体構造予測の軌跡とこれから Update Information (2023年4月5日) AlphaFold バージョン2.3.2以降で、alphafoldの実行コマンドにおいて、構造最適化(relax)の引数指定が--run_relaxから--models_to_relax=all/best/noneに変更されています。allはすべての構造について構造最適化を実行、bestは最

                                                    AlphaFold (ver.2.3.2) インストール - Qiita
                                                  • 第700回 セルフホスト可能なチャット・タスク管理サービスMattermost | gihyo.jp

                                                    Mattermostと言えば、Slackと双璧をなすFLOSSでセルフホスト可能なチャットサービスです。もともとはチャット機能がメインではあったのですが、昨年リリースされた6.0からは定型ワークフローを管理する「Playbook」と、かんばんライクなタスク管理ツールである「Boards」が統合され、「⁠オンラインコラボレーションツール」とも言えるほど機能が充実しています。今回は改めて、Mattermostのインストールから紹介しましょう。 祝「第700回」! 2008年1月から開始した本連載も、今回で第700回を迎えることになりました。これもひとえに常日頃から本連載をご贔屓にしていただいている読者の皆様のおかげです。ありがとうございます[1]⁠。 思えば連載開始から14年。いろいろなことがありました。100年に一度の大噴火が発生したり、国内では戦後最大級の大噴火が発生したり、100年に一度

                                                      第700回 セルフホスト可能なチャット・タスク管理サービスMattermost | gihyo.jp
                                                    • GitHub - linuxmint/timeshift: System restore tool for Linux. Creates filesystem snapshots using rsync+hardlinks, or BTRFS snapshots. Supports scheduled snapshots, multiple backup levels, and exclude filters. Snapshots can be restored while system is runni

                                                      Timeshift for Linux is an application that provides functionality similar to the System Restore feature in Windows and the Time Machine tool in Mac OS. Timeshift protects your system by taking incremental snapshots of the file system at regular intervals. These snapshots can be restored at a later date to undo all changes to the system. In RSYNC mode, snapshots are taken using rsync and hard-links

                                                        GitHub - linuxmint/timeshift: System restore tool for Linux. Creates filesystem snapshots using rsync+hardlinks, or BTRFS snapshots. Supports scheduled snapshots, multiple backup levels, and exclude filters. Snapshots can be restored while system is runni
                                                      • GitHub - dusanx/saf: Rsync-based time machine for Linux, written in Python, for local and remote backups.

                                                        Basic concepts | Installation | Usage | Commands | File manager integration | Contributing | Related projects | Changelog | License "one backup is saf, two are safe, three are safer" Current saf version is 0.16, saf requires Python 3.10 or newer saf is a simple, reliable, rsync-based, battle tested, well rounded backup system, written in Python. It uses rsync to incrementally back up your data to

                                                          GitHub - dusanx/saf: Rsync-based time machine for Linux, written in Python, for local and remote backups.
                                                        • 第766回 高度なことが簡単にできる多機能バックアップツール、Restic[後編] | gihyo.jp

                                                          今回は前回に続いてResticを紹介します。必ず前回を先に読んでください。 Rclone経由でWebDAVサーバーにバックアップ Rcloneは第725回で紹介した、さまざまなクラウドストレージサービスに接続するフロントエンドです。ResticはRcloneをバックエンドにする機能があるため、Rcloneが対応しているクラウドストレージサービスであればResticのバックアップ先となります。 Rcloneが対応しているクラウドストレージサービスのリストを見てみると、対応していないサービス[1]はもう諦めてもいいかと思えるほどの充実ぶりです。 第725回と重複しますが、試しにTeraCLOUDあらためInfiniCLOUDに接続してみましょう。無料で20GBまで使えるので、練習には充分な容量ですし、気に入ればそのまま契約するといいでしょう。 RcloneもGo言語で書かれており、オープンソー

                                                            第766回 高度なことが簡単にできる多機能バックアップツール、Restic[後編] | gihyo.jp
                                                          • 『GCPからAWSへのデータ移動』について考えて&まとめてみる | DevelopersIO

                                                            最近では『マルチクラウド』環境で仕事を回すというのも珍しい話では無くなって来ました。クラウドプラットフォーム間を連携するというのも普通に挙がってくるテーマかと思います。 そんな『マルチクラウド』の環境間で『データの移動』という部分について考えてみた場合、ざっと見てみた感じだと『AWS』から『GCP』については比較的情報量が多いなという印象を受けました。GCPが公式で『AWS向け』のドキュメントを展開しているというのも大いに関係しているかと思います。 ですが一方で、『GCP』から『AWS』という逆のパターンだとどうでしょう。AWSが個別に『GCP向け』の情報を展開しているというのは現状無さそうです。また、その他情報源についてはどうでしょうか?感覚値的には『AWS→GCP』程は情報量的に多くないのでは、という感じがします。 そこで当エントリでは、『GCP(Google Cloud Platfo

                                                              『GCPからAWSへのデータ移動』について考えて&まとめてみる | DevelopersIO
                                                            • GitHub - hjmangalam/parsyncfp: follow-on to parsync (parallel rsync) with better startup perf

                                                              NB: If you don't want to transfer at least 10s of GB across a network, this is probably not the the tool you want. Use rsync alone if a sync, 'tar and netcat' if a fresh copy, or scp if the copy needs to be encrypted. parsyncfp is the offspring of my parsync (more info here) and Ganael LaPlanche's fpart, which collects files based on size or number into chunkfiles which can be fed to rsync on a ch

                                                                GitHub - hjmangalam/parsyncfp: follow-on to parsync (parallel rsync) with better startup perf
                                                              • 第588回 TimeShiftでUbuntuをホットバックアップする 2019年版 | gihyo.jp

                                                                今回は第399回で取り上げたバックアップツール、TimeShiftの最新情報をお届けします。 TimeShift今昔物語 TimeShiftは4年ほど前の第399回で解説しましたが、現在も活発に開発されています。さまざまな点で当時とは大きく変わっているため、あらためて取り上げることにしました。また、当時はユースケースが思いつかず特に便利とは思わなかったTimeShiftをコマンドラインから実行する方法も新たに解説します。 具体的にどこが変わったのかというと、ユーザーインターフェースは一新され別物になりました。しかし、シンプルさは変わりません。そして、バックアップ先は外部ドライブを指定するようになりました。そこにtimeshiftフォルダーを作成し、バックアップを行ないます。 Ubuntuでは、19.04からTimeShiftがオフィシャルリポジトリに追加され、別途PPAを追加しなくてもイン

                                                                  第588回 TimeShiftでUbuntuをホットバックアップする 2019年版 | gihyo.jp
                                                                • このブログの実装 2020年版 - blog.8-p.info

                                                                  r7kamura さんのこのサイトの実装 2020年版に倣って、このブログの実装を書いてみる。 「サイト」じゃないのは、8-p.info は仕組みなどが似ていながらも別れているからで、それでいうと blog.8-p.info のトップにある目次ページも、別のシステムで動いている。今回は /ja/ と /en/ 以下の話です。 ホスティング S3 + CloudFront で静的ファイルを配信している。 Jekyll をはじめて使ったのは2011年だけど、当時の Makefile を確認すると、どこかの VPS の Nginx に rsync していた。S3 を使い出したのは Amazon に転職したあとの2013年なので、我ながらドッグフード1精神がある。 以前はS3 の静的サイトホスティングだけを使っていて、数年前に HTTPS 対応するべく、CloudFront を追加した。 ドメイン

                                                                  • Ubuntu 22.10 に rbenv を使わずに Ruby をインストールする - tmtms のメモ

                                                                    Ruby 3.1.3 / 3.0.5 / 2.7.7 が出たので普段使いの Ubuntu 22.10 にインストールした。 rbenv とかを使えばいいんだけど、自分は普段から rbenv は使ってないので。 Ruby 3.1.3 特別なことは何もしていない。 % tar xf ruby-3.1.3.tar.xz % cd ruby-3.1.3 % ./configure --prefix=$HOME/ruby31 --with-ext=openssl,zlib,psych,dbm,gdbm,+ % make -j % make install Ruby 3.0.5 OpenSSL 3.0 に対応してないので openssl ライブラリはコンパイルできない。 % tar xf ruby-3.0.5.tar.xz % cd ruby-3.0.5 % ./configure --prefix=

                                                                      Ubuntu 22.10 に rbenv を使わずに Ruby をインストールする - tmtms のメモ
                                                                    • 第653回 Déjà Dupで簡単バックアップ 2021年版 | gihyo.jp

                                                                      今回は第103回以来11年ぶりにバックアップツールである「Déjà Dup」(⁠以降「Deja Dup⁠」⁠)を紹介します。 Deja Dupとは Deja DupはUbuntuにあらかじめインストールされているバックアップツールです。主にユーザーが作成したファイルやフォルダーをバックアップとそれを復元するためのアプリケーションです。 第103回にもあるようにUbuntu 9.04からリポジトリに入り、11.10からデフォルトのバックアップツールとなりました。 Deja Dupはわりと大きな変更を繰り返してきたアプリケーションであり、バージョン42からはユーザーインターフェースが大幅に変更されました。また長らくdeprecated(非推奨)だったAmazon S3またはその互換オブジェクトストレージにバックアップする機能も削除されました。 Deja DupはUbuntuのリポジトリのほか、

                                                                        第653回 Déjà Dupで簡単バックアップ 2021年版 | gihyo.jp
                                                                      • 研究に便利なツールまとめ|ディープラーニングネイティブ

                                                                        情報系の博士学生をしていて使っているツールなどをまとめてみました.しばらく自宅待機で研究室に行けない研究室入りたての人,などの役に立てば幸いです. 筆者の環境 ラップトップとしてMacBook Pro,タブレット端末としてiPad Pro+Apple Pencilを使っています.また,主にUbuntuの外部サーバーにアクセスすることを前提としています. 論文を読む 論文を読む際にはGoodNotesを使って,研究テーマやプロジェクトごとに論文をまとめた上で書き込んでいます.iPadとMacで同期して使うと端末の特徴に合わせた使い方ができます.例えば,論文に書き込みながら読むのにはiPadの方が向いていますし,複数の論文をテーマに応じてまとめるのはMacのほうが楽な気がします. 論文を管理する際にはMendeleyを使っています.Mendeley自体はサポートもあまり良くなく,使いにくいので

                                                                          研究に便利なツールまとめ|ディープラーニングネイティブ
                                                                        • メルペイの事例に学ぶ、SSRとJAMstackのメリット・デメリット

                                                                          2020年1月15日、株式会社メルカリにて「Mercari x Merpay Frontend Tech Talk vol.4」が開催されました。フロントエンドの技術に興味があるエンジニアが集まり、各々の知見を共有します。プレゼンテーション「Pros and Cons of SSR and JAMStack」に登壇したのは、メルペイのSasaki Yutaka氏。JAMstackを使ったマイクロサービスの高速化と、そこから得られた知見について語りました。講演資料はこちら キャンペーンのマイクロサービスの高速化 _sskyu氏:では、「Pros and Cons of SSR and JAMstack」と題して発表させていただきます。 私はSasaki Yutakaと申します。メルペイには一昨年の9月1日に入社しまして、フロントエンドエンジニアをやっております。 今日話す内容ですが、去年の8

                                                                            メルペイの事例に学ぶ、SSRとJAMstackのメリット・デメリット
                                                                          • GitLab GCPに 移行した(中編) - pixiv inside

                                                                            こんにちは、インフラ部の id:sue445 です。 前回に引き続きGitLabのGCP移行について紹介します。 前編の記事はこちらになります inside.pixiv.blog 今回の目次 今回の目次 やったこと2: 実際にGCPに構築した GitLab構築に関係するリポジトリの構成 gcp-gitlab-terraform gcp-gitlab-playbook gcp-gitlab-helm 備考 全体の構成図 webservice (GitLab本体) GitLab CI 3rd party製のDockerイメージから公式のDockerイメージに移行した Docker Swarmは継続利用 GitLabを複数ゾーンで動かすための準備だけした やりたかった構成 現在の構成 Cloud IAPとTunneling SSH Connectionsを利用したgitアクセス Tunnelin

                                                                              GitLab GCPに 移行した(中編) - pixiv inside
                                                                            • A Git story: Not so fun this time | Brachiosoft Blog

                                                                              Linus Torvalds once wrote in a book that he created Linux just for fun, but it ended up sparking a revolution. Git, his second major creation, also an accidental revolution. It’s now a standard tool for software engineers, but its origin story wasn’t so much fun this time, at least for Linus. Linus doesn’t scale 1998 was a big year for Linux. Major companies like Sun, IBM, and Oracle started getti

                                                                                A Git story: Not so fun this time | Brachiosoft Blog
                                                                              • [技術] サーバーの引っ越しとアーキテクチャ変更、SSL暗号化(nginx と PHP-FPM)

                                                                                サーバーエンジニアを行っているinamuuと言います。夏頃にお声がけをいただいてから、ご報告までしばし時間を要してしまいました。 この記事では、最近放置気味となっていた、専用サーバーからメンテナンス性、コスパの良いVPSサーバーへ移行、アップデート過程の作業ログとしてまとめています。 今回実施したことは、大きく分けて以下の3つです。 サーバーの引っ越しとアーキテクチャの簡略化 サイトのSSL暗号化 テスト環境の構築 サーバーの引っ越し もともと専用サーバーを使っており、メモリも大量に積んでいましたが、あまり使用されていなかったことから、VPSサーバーへの移行を実施しました。 スペックについては割愛しますが、専用サーバーへsysstatを導入し、しばらく様子を見て見積もりを実施しました。 次に、アーキテクチャーについては、下記ではnginx+Apache(mod_php)を採用されていました

                                                                                  [技術] サーバーの引っ越しとアーキテクチャ変更、SSL暗号化(nginx と PHP-FPM)
                                                                                • ChatGPT初心者にオススメの使い方10選 | ライフハッカー・ジャパン

                                                                                  ChatGPTを使用する前にまず、ChatGPTを使用するためにアカウントを作成する必要があります。 最初は無料プランでも十分ですが、GPTのAPIの世界を深く探求したいなら、サービス利用量に応じて請求金額が決まる安いプランにアップグレードすると、迅速により良い結果を得ることができます。 また、クエリを正しく表現するコツを学ぶことが重要です。Googleで使える検索ワードも、ChatGPTでは正しく機能しないことがあります。 できるだけ具体的な質問をすること、そして、AIがこちらの言葉足らずを補ってくれると思わないことです。 時差を教えてもらうタイムゾーンを迅速に確認したいとき、ChatGPTを使うと便利です。広告もポップアップしません。 「ニューヨークの午後8時は、インドの何時ですか」というようなクエリを使うと、次のような完全な回答が返ってきます。 ご質問の件ですが、インドには複数のタイ

                                                                                    ChatGPT初心者にオススメの使い方10選 | ライフハッカー・ジャパン