同期エンジンの心臓部を書き換える
0 0 719 0 この 4 年間、Dropbox では、デスクトップ クライアントの同期エンジンを白紙の状態から再構築しようと懸命に取り組んできました。同期エンジンは、デスクトップ パソコン上の Dropbox フォルダの陰に隠れた魔法です。これは、Dropbox で最も長く使われているコード部分であり、最も重要なコード部分の 1 つでもあります。今回、新しい同期エンジン（コードネーム「Nucleus」）をすべての Dropbox ユーザー向けにリリースさせていただくことを、ここに発表いたします。 同期エンジンの書き換えは本当に大変な作業で、多くの環境でマイナスともなりうる構想であったことに鑑みると、手放しで祝う気持ちにはなれません。結果的には Dropbox にとって素晴らしいアイデアであったわけですが、それは、私たちがこのプロセスにどのように取り組むべきかを熟考したからこそ、たどり着
MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクションサイズが大きい場合には tmpdir に注意 mysqldump で絵文字が消えていないか要チェック mysqldump が Error 1412: Table definition has changed... で失敗する mysqldump したデータのリストアが Duplicate entry 'xxx-yyy-PRIMARY-n_diff_pfx01' for key 'PRIMARY' で失敗することがある mysqldump したデータのリストア時のディスク
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います＞＜ 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行
Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不具合と判明し、2.10.2へバージョンアップで解消 Auroraのローカルストレージは自動拡張されないので、残容量の監視をしましょう 事象発生と解決までを時系列で記載。 2021年10月、Auroraに対してクエリが実行出来なくなる 社内メンバーよりBIツールからAurora MySQLに対してのクエリがエラーになるとのことで、クエリに limit 100 を付けると実行出来、 limit 1000だと Error w
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー株式会社のシステム統括本部に所属している奥村です。現在、私はシステム統括本部内でプライベートクラウドを担当しています。私たちのチームはヤフー内のIaaS（Infrastructure as a Service）基盤の開発及び運用を担当しています。 IaaSとはサーバーやストレージ、ネットワークといったインフラリソースを仮想的に定義し、ユーザーへ提供するサービスです。 ヤフーのIaaS基盤は社内のユーザーやサービスに対して幅広く提供しており、ヤフーがエンドユーザーに対して公開している多くのサービス（Yahoo!ニュースや、ヤフオク!など）もこのIaaS基盤を利用しています。 本項では、「構築編」と「運用編」という前
この記事は FIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム(+分散Key Value Store)の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景要約: 素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバ等ありますでしょうか？自分は学生時代からConoHa VPS(コンビニ支払いできるのが学生にやさしい)、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でKu
バックグラウンドアプリの無効化 透明効果の無効化 ディスクのクリーンアップ 仮想メモリの設定 電源オプションの変更 プロセッサの電源管理 不要なファイルの削除（tempフォルダ） 不要なファイルの削除（%temp%フォルダ） ストレージセンサーをオンにする バックグラウンドアプリの無効化 パソコンは画面を開いていなくても、アプリケーションをバックグラウンド（裏）で動作させる機能があります。裏で動作しているということは、目には見えないバックグラウンドでアプリが実行されているということです。 つまり、気づかないところでアプリが動いていて、PCのメモリ（容量）を使っているということになります。 初期設定でいくつかのアプリがバックグラウンドで自動的に実行されるようになっていますが、ほとんどが利用頻度の低いアプリケーションです。 使いたい時に必要なアプリを利用すれば問題ありませんので「バックグラウン
生きたいと思いながら生きるのか、死にたいと思いながら生きるのか、そのどちらが楽かと問われれば、まず間違いなく万人が前者を選ぶことだろう。相反する感情の中で心が押し潰される痛みと哀しみというものが、どれほど筆舌に尽くし難いかなんて、わざわざ書いて説明しなくても分かるし、僕もそんなものについて身を削って書きたくはない。 しかしながら逆に、もっと生きたいと思いながら死ぬのか、もう死にたい、死んでもいいと思いながら死ぬのか、そのどちらかを選ばなければならないのだとしたなら、誰しもがきっと深く悩むことだろう。前者は相反する痛みの中にあり、後者は相反しないまた別の痛みの中にある。死ぬことが決めつけられてしまったとき、一体どちらが楽なのか、僕はそのことばかりをずっと考えて今日も生きている。まもなく来たるべき、その日のために。 ＊＊＊ 「治療をしない、という選択肢がある」 2月最後の朝、名神高速をひた走り
KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ - GMOインターネットグループ グループ研究開発本部
2020.10.05 KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ こんにちは。次世代システム研究室のY. O.です。 筆者はデータ分析のスキルアップのためにkaggleというデータ分析プラットフォームを活用しています。kaggleを始めてから約2年間を経て、スキルアップの枠を超え、趣味・生活の一部・etc.になってきてしまっているのも認めざるを得ません。。。 今回は、先日kaggleの自然言語処理コンペ（Tweet Sentiment Extraction）で2位になった結果を題材に、振り返りの意味を込めて”こうしておけば良かった”という点をMLOpsの観点でまとめていきたいと思います。 ここで、kaggleを取り巻くMLOpsの構成をKaggleOpsと勝手に呼ぶこととし、少なくとも筆者は今後のコンペでも以下にまとめ
スノーフレイク (SNOW) の技術的な企業分析
Snowflake（SNOW）は、2012年に設立されたクラウドベースのデータウェアハウス企業である。カリフォルニア州サンマテオに拠点を置く、同社は9月下旬にニューヨーク証券取引所に上場し、米国での株式公開で過去最大のソフトウェア企業となった。 当初、株式の価格は75ドルから85ドルの間と予想されていたが、同社は120ドルで上場し、取引初日には300ドルにまで急上昇した。これは別の記録を更新した。スノーフレークは、上場初日に株式価値が2倍になった史上最大の企業となり、時価総額は750億ドル近くに達した。 これまで多くの企業データはオンプレミスで保存されてきた。つまり、データは企業が管理する物理サーバーに保存されていた。OracleやIBMなどの現存企業が伝統的にこの領域を支配してきた。 しかし、Snowflakeは根本的に違う。Snowflakeは、データをオンプレミスに保存するのではなく
はじめに Webシステムの開発に携わりたくて転職して9か月，知らない事ばかりで日々勉強しております。 自分の勉強用メモとして知っておくべき技術をまとめようと思いました。 (こちらの記事にインスパイアされたものです) 技術用語について，なるべく2～3行で概要を説明できる事を目指しています。 情報が多過ぎるので，主流な技術は見出しを赤字にしています。(主観強め) また，今後需要が増えそうな技術は青字にしています。(かなり主観強め) とはいえ，新しい技術が登場すれば，数年でトレンドが変わってしまう事も多々あると思います。 ほとんどはあくまでも初心者がネットで情報をかき集めた程度のものです。 誤りがあればご指摘，ご意見など頂きたいです。 ※2023/2/6追記 不正確・不十分だと思った記載はひっそりと随時修正しています。 また，「そういえばこんなんあったな」という項目も追記しています。 あと，自分
マイクロソフトの公式サイトより マイクロソフト自身が開発した、Windows OSのPCの動作が軽くなるソフト「Microsoft PC Manager」が無料で提供されているとして一部で話題を呼んでいる。Windows PC向けのシステム最適化ソフトはマイクロソフト以外からも数多くリリースされているが、それらとは何が違うのか。また、大幅に動作が軽くなるものなのか。IT業界関係者の見解を交え追ってみたい。 PC Managerがリリースされたのは2年前の2022年で、OSの「Windows 10 バージョン 1809」以降に対応。マイクロソフトの中国部門が開発していることもあり、中国語版と英語版のみの提供だったが、昨年には日本語版の提供が開始。これまではベータ版となっており、専用HPにアクセスしてインストールファイルをPCにダウンロードするかたちで使用できたが、今年に入り「Microsof
2022年10月8日紙版発売 2022年10月6日電子版発売 田籠聡 著 A5判／544ページ 定価3,520円（本体3,200円＋税10%） ISBN 978-4-297-13109-8 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto 本書のサポートページサンプルファイルのダウンロードや正誤表など この本の概要 本書は，Fluentdについて網羅的に解説した書籍です。 Fluentdは，ログやそのほかのデータの収集および集約，転送，変換，保存を実現するためのソフトウェアです。すでに多くのユーザーに利用されているほか，Kubernetes環境におけるデファクトスタンダードなログ収集方法として扱われています。そのため，AWS，GCPおよびAzu
AWSエンジニアがAlibaba CloudのECSを理解する為の比較解説｜Engineers' Blog｜SBクラウド株式会社 - SBクラウド株式会社
1. イントロ 2. 仮想サーバー 3. ログイン手順 4. インスタンスタイプ 5. イメージとマーケットプレイス 6. ブロックストレージ 7. コスト 8. オートスケーリング 9. コンテナサービス 10. 高性能コンピューティング 11. あとがき 1. イントロ 技術課の牛嶋です。私が業務を通じてユーザと接する中で、Alibaba Cloudを導入する上で障壁の１つとなるのが学習コストだと分かってきました。 その障壁を小さくする為、元AWSエンジニアとして、AWSの製品や機能の観点を用いた、Alibaba Cloudの類似点と相違点を解説したいと思います。これにより、AWSに精通しているエンジニアがそのノウハウを活かしてAlibaba Cloudのサービスを理解できるようになるという事を期待しております。 今回は以下ECSを始めとした仮想サーバーに焦点を当てたいと思います。 製
こんにちは! ソーシャルゲーム事業部の川添 (@acidlemon) です。 この記事は Tech KAYAC Advent Calendar Migration Trackの8日目です。 今年はみなさまどんな一年だったでしょうか。私もいろいろありましたが、最近ちょっと私がやってたマイグレーションというと自分の開発環境のGOPATHの掃除がありますので、今日はその話を書こうと思います。 2018年までのGOPATH GOPATHというと、昔からGo言語をゴリゴリ書いていた人にはおなじみの、 GOPATH=$HOME/go みたいなのを設定して、go get github.com/kayac/ecspresso すると $GOPATH/src の下に $GOPATH/src/github.com/kayac/ecspresso みたいなディレクトリができてそこにソースコードがcloneされる
『（え？すっごいうるさいけど、まさかHDD搭載PCじゃないよね！？？？）と焦ったぞ』の巻。。。 - 異星人と交信した結果、撃沈。。。。。。。。。。。。。。。。。。
すごいです！！！ 明日（日曜日）配達予定だったPCが、 なんと、今日（土曜日）届きました！！！ Amazon様！どうもありがとうございます！ 対応早すぎてありがたいっす！！！ 昨日まで（これで良かったのか？）と うんうん悩んでいたパナソニックのLet’s Noteなんですがね、 （買ってよかった！）と今のところ満足しております。 ※色々お騒がせしてしまい、すみませんでした。 （あれはなんだったんだ？）と驚くくらい、満足しております(^-^; まず、届いた段ボールを持ってびっくり！！！ PCが入っていると思えないほど、か・る・い！！！ 段ボールを開けてみると、紙や空気の入ったあれで動かないように しっかり固定されています。 ※（あれ）って何？って？？？ うーん、名前が分からん。 段ボールの中に、さらに段ボールが入っていた。 段ボールの、マトリョーシカ状態。 （おぉ！！！PCが壊れないように、
深層学習のための分散キャッシュシステム - Preferred Networks Research & Development
エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加
論文から垣間見るAmazon Redshiftの進化と深化 2022 #jawsug #bdjaws | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日は、2022年5月に発表された論文 「Amazon Redshift re-invented」を実際に読み、難しいところや弊社が実際に検証をした点を補足して解説します。普段はRedshiftの機能や使い方の解説が多く、あまり触れられることの少ないUnder the hoods 的なお話しようと思います。 本エントリはAWS Analytics Advent Calendar 2022の12/24（土）の記事です。 論文の詳細については、2022/12/19のBigData JAWS #22にて、登壇した資料をご覧ください。ブログの中では、紹介した機能についてのブログを紹介しています。 このブログをおすすめする人 オライリーの「データ指向アプリケーションデザイン」や「詳説データベース」とかを読むと、Redshiftの内部が
Windows 11へのアップデートができるかどうかを確認した結果、「このPCではWindows 11を実行できません」と、アップデートできないと表示されてしまうものの、ハードウェア要件・システム要件・最小要件のどこに引っかかっているのかが分からない、といった場合に、Windows 11のシステム要件のどこに引っかかっているのかをそれぞれ確認する方法について紹介します。 また、原因によっては設定変更によって、PCの買い換えや機器の追加購入を行うことなく「このPCでWindows 11を実行できます」に改善できる場合もあるので、そちらについての情報も紹介します。 目次 1. 「このPCではWindows 11を実行できません」エラー2. Windows 11にアップデートできない原因までは表示されない3. Windows 11のシステム要件4. 要注意の要件（ひっかかりやすいポイント）5.
この記事はFIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム（+分散Key Value Store）の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景 要約：素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバー等ありますでしょうか？ 自分は学生時代からConoHa VPS（コンビニ支払いできるのが学生にやさしい）、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でK
AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS GlueでApache Sparkジョブをスケーリングし、データをパーティション分割するためのベストプラクティス AWS GlueはApache Spark ETLジョブでのデータ分析・データ処理を行うために、様々なデータソースから大量のデータセットを準備(抽出および変換)し、ロードするサーバーレスな環境を提供します。この投稿のシリーズでは、Apache SparkアプリケーションとGlueのETLジョブの開発者、ビッグデータアーキテクト、データエンジニア、およびビジネスアナリストが、AWS Glue上で実行するデータ処理のジョブを自動的にスケールするのに役に立つベストプラクティスについて説明します。 まず最初の投稿では、データ処理を行うジョブのスケーリングを管理する上で重要な2つのAWS Glueの機能について説明します。1つ目は、
Amazon SageMakerでのディープラーニング学習時における、GPUパフォーマンスチューニングのためのI/O最適化 | Amazon Web Services
Amazon Web Services ブログ Amazon SageMakerでのディープラーニング学習時における、GPUパフォーマンスチューニングのためのI/O最適化 GPUはディープラーニングの学習スピードを著しく向上させ、学習にかかる時間を数週間からほんの数時間へと短縮させる可能性があります。しかし、GPUを使用する恩恵を十分に得るためには以下の点を考慮する必要があります。 基盤となるハードウェアを十分に稼働させるためのコードの最適化 最新の高性能なライブラリとGPUドライバの使用 GPUの計算と一致する速度でデータがGPUに供給されるためのI/Oとネットワーク操作の最適化 マルチGPUもしくは分散学習の際のGPU間の通信の最適化 Amazon SageMakerは開発者とデータサイエンティストがあらゆる規模で迅速かつ簡単に機械学習（ML）モデルをビルド、学習、デプロイするためのフ
始めに Microsoftは、ローカルで使えるストレージライブラリのFASTERというものを開発している。 このFASTER、最初はキーバリューストアであるFasterKVのみ提供していた。しかし、バージョン2019.10.31.1より、FasterLogという、データの追記に特化した機能が追加された。 少し触ってみると、今自分が実現したい機能を丁度良くカバーしてそうなので、使い方や注意点を書いておく。 FasterKVは論文も発表されているので、特徴や理論的な裏付け等が知りたければそちらも参照のこと。 論文(PDF) 日本語解説 今回紹介するFasterLogは、FasterKVで使用しているストレージ機能のベース部分を利用した、追記と範囲検索に特化したものとなる。 なお、FasterLogは今もなおインターフェイスの更新が行われており、この記事で書かれていることと微妙に差異があるかもし
完全無償化が終了するならGoogleフォトから他のサービスに移行する？ Googleは、2021年6月1日からこれまで無制限であったGoogleフォトの写真保存容量をGoogleドライブのストレージにカウントすると発表した。この機会にGoogleフォトから他のサービスへの移行を検討している人もいることだろう。では、これまでアップロードした写真をどうしたら他のサービスに移行できるのだろうか。その方法を解説しよう。 2020年11月12日にGoogleは、2021年6月1日からこれまで無制限であったGoogleフォトの写真保存容量をGoogleドライブ（Google One）のストレージにカウントすると発表した（ただし、2021年6月1日までに保存していた写真はカウントされない。詳細はGoogle Japan Blog「Googleアカウントのストレージポリシー変更について」参照のこと）。15
Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace（FUSE）は、ファイル システムを Linux カーネル
AWSのMulti-Attach EBS Volumesが「共有ストレージ」に使えるか検証してみた - Qiita
2/19: 検証の結果、詳しいことが分かり、進捗を受けて記事タイトルを改題しています。公式サイトの記事にあるIMPORTANT SAFETY TIPSがまさに記事中の事象を表していることが分かり、追記しました。 ※ 旧タイトル「AWSのMulti-Attach EBS VolumesをWindows Serverで使うと、EBSの容量が実質2倍になる？」 はじめに 2020/2/14のAWSアップデートで、プロビジョンドIOPS (io1) のEBSボリュームに限り、複数EC2から同時アタッチできるようになりました。 これだけを見ると、いかにも「共有ストレージ」 (後述の図のような構成) に使えそうだと思えてきます。 New – Multi-Attach for Provisioned IOPS (io1) Amazon EBS Volumes https://aws.amazon.com
仕事を効率化するアイデア5選。どれか1つは試してみて！ - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
「仕事の効率化」は、あらゆる業界・業種で必要とされています。より短い時間で、より多くの成果を挙げるには、どうしたらいいのでしょうか？ この記事では、以下のアイデアや工夫を紹介しています。 タスクの優先順位を決める方法 集中力を発揮できるスケジューリング 作業時間を短縮できるパソコン操作 業務効率改善に使えるツール など 自分に合った方法が、必ず見つかるはず。記事を読みつつ実践して、仕事を効率化しましょう！ 仕事効率化のアイデア1：段取りを見直す 朝の準備 生産性を考慮したスケジューリング タスクの並び替え 些末な要素の無視 仕事効率化のアイデア2：パソコンの便利ワザを使う ショートカットキーの活用 ショートカットキーの作成 タスクバーの活用 デスクトップの整理 仕事効率化のアイデア3：パソコンの動作を速める スタートアップの無効化 視覚効果の無効化 クリーンアップ＆ドライブの最適化 キーボ
ニコニコ実況 過去ログ API
ニコニコ実況 過去ログ API は、ニコニコ実況の過去ログを XML や JSON データで提供しています。 去る2020年12月、ニコニコ実況はニコニコ生放送内の一公式チャンネルとしてリニューアルされました。 これに伴い、2009年11月から運用されてきた旧システムは提供終了となり（事実上のサービス終了）、torne や BRAVIA などの家電への対応が軒並み終了する中、当時の生の声が詰まった約11年分の過去ログも同時に失われることとなってしまいました。 そこで 5ch の DTV 板の住民が中心となり、旧ニコニコ実況が終了するまでに11年分の全チャンネルの過去ログをアーカイブする計画が立ち上がりました。紆余曲折あり Nekopanda 氏が約11年分のラジオや BS も含めた全チャンネルの過去ログを完璧に取得してくださったおかげで、11年分の過去ログが電子の海に消えていく事態は回避で
# インストール済みの場合はまずアンインストールする npm uninstall -g yarn # v2 を使いたければタグを明示してインストールする npm install -g yarn@berry V1 と V2 の違い 一次情報はこちらのエントリを参照のこと。スクショは公式から引用。 https://dev.to/arcanis/introducing-yarn-2-4eh1 個人的に特に気になっているものに 🍎 (赤いリンゴ) をつけておく。 色々途中なので変化したり間違ってる部分はご容赦ください。 🍏 CLI出力の改善 yarn v1 では絵文字が使われて可愛らしい出力だったが、v2 からは処理の具体的な内容を表示するように変化した。 色はアクセシビリティの関係でまだ変化するかもしれないらしい。 出力には YN***** という番号が割り当てられ、この番号をもとに出力自体
バッファローから、USBメモリそっくりの外観をしたSSD「SSD-PUTA」シリーズが登場した。同じ用途では、USBメモリ以外にポータブルHDDなどの選択肢もあるが、それぞれどのような特徴の違いがあり、本製品はその中でどのような面で有利なのだろうか。メーカーから機材を借用したので、それぞれの特徴をチェックしてみた。 見た目はUSBメモリそのもの。PCからはローカルディスクとして認識 本製品は、USBメモリそっくりの外観が特徴だ。スリム化およびコンパクト化が著しい現行のUSBメモリと比べると、厚みや横幅は多少あるが、先端にUSBコネクターを備えたスティック形状のボディーは、紛れもなくUSBメモリそのものだ。前知識がなければ、USBメモリと誤認しても何らおかしくない。 多くのUSBメモリと同じく、先端のUSBコネクターはスライドして収納できる。これにより、キャップレスでの持ち歩きが可能だ。ボデ
Amazon Web Services ブログ Kubernetes で Spark パフォーマンスを最適化する Apache Spark はオープンソースプロジェクトで、分析分野で幅広い人気を博しています。有名なビッグデータや、ストリーミングといったの機械学習ワークロード、幅広いデータセットの処理、ETL などで使用されています。 Kubernetes は、人気のあるオープンソースのコンテナ管理システムで、アプリケーションのデプロイ、メンテナンス、スケーリングのための基本的なメカニズムを提供します。Amazon EKS は、高可用性コントロールプレーンを提供するマネージド Kubernetes サービスで、AWS で本番環境レベルのワークロードを実行します。お客様は、EKS でマイクロサービス、バッチ、機械学習などのさまざまなワークロードを実行できます。 このブログは、Kubernete
マルチステージビルドの利用
読む時間の目安: 3 分 マルチステージビルドは Dockerfile を読みやすく保守しやすくするように、最適化に取り組むユーザーにとって非常にありがたいものです。 感謝 Alex Ellis 氏に感謝します。 氏のブログ投稿 Builder pattern vs. Multi-stage builds in Docker に基づいて、以下の利用例を掲載する許可を頂きました。 マルチステージビルド以前 イメージをビルドする際に取り組むことといえば、ほとんどがそのイメージサイズを小さく抑えることです。 Dockerfile 内の各命令は、イメージに対してレイヤーを追加します。 そこで次のレイヤー処理に入る前には、不要となった生成物はクリーンアップしておくことが必要です。 現実に効果的な Dockerfile を書くためには、いつもながらトリッキーなシェルのテクニックや、レイヤーができる限り
【超図解】簡単、安心のパーティション管理は本当だった！！おすすめのパーティション管理ソフト「EaseUS Partition Master」をレビュー - Life. Half of the rest ?
パーティション管理ソフトのおすすめ こんにちは、おっちゃんブロガーのじんのん（@deep_sea1）です。 「パソコンにCドライブしかなくて、OSやアプリ、保存データの管理が煩雑～！」 「Cドライブが容量いっぱいで動作が遅い～！」 そんな時はちょっと待ってください。 今回、簡単にパーティション管理ができると噂の「EaseUS Partition Master」を入手しましたので、皆さんと情報共有したいと思います。 それでは、パーテーション管理ソフト「EaseUS Partition Master」のレビューをご覧ください。 PCにおけるCドライブ（起動ドライブ）の困りごとを考えてみる 「EaseUS Partition Master」の入手先 「EaseUS Partition Master」の仕様について 「EaseUS Partition Master」のインストール Cドライブのパー
こんばんはぺこちゃんです。 古いパソコン復活計画 3月28日掲載の続きです。 随分と日がたってしまいました。 HDDをSSDに換装する材料です。 ●サンディスクウルトラ3D SSD1TB ●センチュリーシンプルBOX2.5USB3.0 SATA6G 7ｍｍ ●ORICO（オリコ）ハードドライブアダプタ 2.5to 3.5inch SSDは、コピー元に入っているデータよりも容量が大きい物を購入してください。 約60％以上大きい物を購入するといいみたいです。 私の場合、ほとんどデータが入っていなかったので、1TBで十分でした。 容量が大きくなるとその分値段も高くなります。 ちなみに1TBですと16,000ぐらいします。 パソコンを買うよりは安いです。 SSDはクルーシャルとサムスンと悩みましたが、ネットで色々調べたらサンディスクの方が成功例が多かったのでサンデスクにしました。 失敗例のブログと
ストレージがいっぱいになった💧
ストレージがいっぱい💧 最近少しパソコンが重たいような・・・ ブログに載せている動画をプレミアプロで編集しているのですが https://www.adobe.com/jp/products/premiere.htmlwww.adobe.com 少し前から立ち上げても立ち上がらないで消えてしまうことが出てきてしまいました・・・どうやらストレージの空きが少なくなるとプレミアプロが開けなくなってくることがあるみたい と思っていたらプレミアプロの編集中に保存出来ないのでクラウドに保存しますと通知が出てきました？これは、いよいよなんとかしないといけないのか？とエクスプローラーのPCを開いてみたら 真っ赤です💦 これまで、会計ソフトは重たいと言われながらもいつも沢山空き容量はありました。こんな赤くなっているのを見たのははじめてです(~_~;) 会計ソフトは今までもずっと使い続けているので、急にこん
さくらインターネット、生成AIのニーズに向けてNVIDIA H100 GPUのベアメタルクラウド「高火力 PHY」を発表 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ サーバー ＞ 新製品・サービス ＞ さくらインターネット、生成AIのニーズに向けてNVIDIA H100 GPUのベアメタルクラウド「高火力 PHY」を発表 サーバー サーバー記事一覧へ [新製品・サービス] さくらインターネット、生成AIのニーズに向けてNVIDIA H100 GPUのベアメタルクラウド「高火力 PHY」を発表 2024年1月24日(水)日川 佳三（IT Leaders編集部） リスト さくらインターネットは2024年1月24日、生成AI向けベアメタルクラウドサービス「高火力 PHY（ファイ）」を発表した。同社の石狩データセンターで同年1月31日から提供する。生成AIの用途で需要が大きい「NVIDIA H100 Tensor コア GPU」をサーバー1台あたり8基搭載している。料金（税込み）は月額304万6120円（
BigQuery の新しいワークロード管理と価格体系 : エンタープライズでのワークロード保護、コスト管理をベストなバランスで | Google Cloud 公式ブログ
BigQuery の新しいワークロード管理と価格体系 : エンタープライズでのワークロード保護、コスト管理をベストなバランスで Google Cloud のデータ ウェアハウスである BigQuery に要するコストの予測を可能にする方法については、かねてから Home Depot や HSBC、SKY をはじめとする企業のお客様から要望が寄せられてきました。そこで、私たちは数年前に BigQuery に定額料金プランを導入し、月々の BigQuery 利用料を予測、管理しやすくしました。この定額料金モデルはお客様の間で広く定着しましたが、今までは手作業の利用開始申請と管理が必要でした。 今回、私たちは BigQuery における定額料金プラン向けの簡単で柔軟なセルフサービス プラットフォーム、BigQuery Reservations を数日中にベータ リリースします。BigQuery
Azureのベストプラクティスを紹介していく本連載の第2回では、Azureへ移行する際の「失敗あるある」から、移行におけるベストプラクティスを解説していく。オンプレミスのシステムをAzureに移行することで、設計や運用においてどんな違いが生じるのか、Azureならではのどんな注意事項があるのかを、一般に踏みがちな失敗から考えていきたい。 本記事では「オンプレミスからIaaSへのシステム移行」をターゲットとして説明を行う。システム改修を伴わないIaaSへの移行は、「システムをそのまま持ち上げる」ことから「リフト」と呼ばれ、大幅な改修が発生するPaaS移行などと比べるとハードルが低い。顧客企業においても「まずはリフトから着手しよう」と考えるケースが多いのが実情だ。 ただし、オンプレミスの仮想環境とクラウド上のIaaSの間には、皆さんの想像する以上に違いがある。リフトだからと軽く考えていると、思
PC内のデータを保護するためには、バックアップを取っておくことが大切です。さまざまなバックアップ方法の中から、今回はWindows 10に標準で搭載されている4つのバックアップ機能をご紹介します。4つの機能を用いることで完全に近いバックアップが可能となるため、バックアップ方法でお悩みの方はぜひご覧ください。 Windows 10の4つのバックアップでできること Windows 10に搭載されているバックアップ機能は、以下の4つです。 システムの復元 ファイル履歴 システムイメージ システム修復ディスク、回復ドライブ これらのバックアップを組み合わせることで、文書データや画像データなどはもちろん、アプリケーションやWindows 10のシステム部分まで包括的にバックアップできます。 システムの復元 システムの復元では、Windows 10のシステムファイルをバックアップし、何かあったときに作
ChatGPT x LangChain で独自ドキュメントのベクターストア検索をチューニングする - GMOインターネットグループ グループ研究開発本部
D.Mです。 ChatGPT を開発の現場で活かしていくためにベクターストア活用の方法を検証しました。 結論ファースト A. ベクターストアに入れる元ネタドキュメントの抽出 ⇒ unstructured が使えるかも B. ベクターストアに入れる元ネタドキュメントのチャンク分け ⇒ タイトル。キーワードをメタデータで付加 C. ベクターストアに投げる質問プロンプトの最適化 ⇒ 形態素またはキーワード抽出でプロンプトを精査 D. ベクターストア検索結果の精査 ⇒ ContextualCompressionRetriever による検索結果要約とDocumentCompressorPipeline による検索結果絞り込みがよさげ 「検索結果が質問に沿ったものか精査させる」タスクをChatGPTに担当してもらうことが私の業務課題には適しているのではという気付きがありました。 E. （おまけ）ベク
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
月間800億PVを支えるIaaS基盤の舞台裏（構築編）
Kubernetesもどき、作ってみた！ | cloud.config Tech Blog
Windows10の動作が重いときにする設定｜高速化して軽くする方法
グッドバイ - ヨシナシゴトの捌け口
Webシステム開発で関わる技術のまとめ(2022年に知った物) - Qiita
マイクロソフトが自社開発＆無料提供の「PC動作が軽くなるソフト」が話題
Fluentd実践入門 ──統合ログ基盤のためのデータ収集ツール
GOPATHを掃除してGo Modulesに移行しよう - KAYAC engineers' blog
【Windows 11】「このPCではWindows 11を実行できません」の原因を調べるための手順まとめ
100台くらいスケールする“Kubernetesもどき”を自作してみた！
追記型ストレージFasterLogについて - Qiita
Googleフォトが有償化!? さぁ引っ越しだ
YarnV2 こと Yarn@berry を試してみている - Qiita
バッファローのスティックSSD「SSD-PUTA」を試して分かったこと
Kubernetes で Spark パフォーマンスを最適化する | Amazon Web Services
古いパソコン復活計画② - ぺこちゃんのブログ
「失敗あるある」から考える、Azure移行のベストプラクティス (1/3)
Windows 10のデータをバックアップする4つの機能！必要なものと手順