並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 48件

新着順 人気順

partitionの検索結果1 - 40 件 / 48件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

partitionに関するエントリは48件あります。 SoftwareawsWindows などが関連タグです。 人気エントリには 『AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記』などがあります。
  • AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記

    Amazon AthenaにPartition Projection(パーティション射影)という機能があります。 dev.classmethod.jp ざっくりいうとパーティション管理を自動化して、高速にクエリが実行でき、お財布にも優しいというものです。個人的にはめちゃくちゃ便利だなと思い、特にログの調査に活用しています。 ログ調査対象のサービスの内、大体どのプロジェクトでも使っているものがいくつかあります(ALB、VPCフローログ、CloudTrail....)。 これまではPartition Projectionの設定を行うCREATE文を毎回実行していたのですが、少し面倒なのでAWS CDKで実装し使いまわせるようにしました。 今回の実装の全体像は以下です。 1. 概要 対象のログ 実装方法 2. 実装詳細 プロジェクト構成 実装の流れ 入力のインタフェース Glue データベースを

      AWS CDKで各種ログに対するAmazon AthenaのPartition Projectionを実装する - mazyu36の日記
    • 「AOMEI Backupper」「AOMEI Partition Assistant」などの有償版ライセンスキーが無料配布中!【本日みつけたお買い得情報】

        「AOMEI Backupper」「AOMEI Partition Assistant」などの有償版ライセンスキーが無料配布中!【本日みつけたお買い得情報】
      • パーティション管理ソフトMiniTool Partition Wizardのレビュー記事の依頼がきたので挑戦しました

        今回のレビュー記事の依頼は前回紹介した『AnyTrans』記事を投稿した翌日でGoogleフォームのお問合わせからMiniTool®Software社様からメッセージ届いているのを発見しました。 MiniTool®Software社担当者様: MiniTool Partition Wizardに関する記事書き依頼です。 Mikoto Mikaka 様 おじゃまいたします。 ミニツールの〇〇〇です。 弊社はパーティション管理、データ復元、バックアップなどのソフトウェアの研究開発を行っています。 今回、弊社のパーティション管理ソフトMiniTool Partition Wizardに関して、記事執筆依頼のため、ご連絡差し上げました。 また、記事の報酬に関してはMiniTool Partition Wizardプロ・デラックス版を無料で差し上げます。 ご検討いただけないでございましょうか? ご返

        • 恐怖のphantom Atari partition

          はじめに 本記事は最近Rookで顕在化したデータ破壊問題について解説します。根本原因は思わぬところにあってRook以外でも起こりうること、および、かなり昔から根本原因は存在していたものの偶然に偶然が重なって最近Rookがとばっちりを受けたという事実が興味深かったので、世の中こういうこともあるというのを共有するために書きました。あとAtariという言葉を2021年にもなって歴史的文脈以外で見たのが面白かったというのも理由です。 本記事はRookの公式情報に書かれていることに加えて、Rookについて知識が無い人に向けた情報を付け加えて再構成しました。 用語集 Ceph: OSSの分散ストレージ Rook: Kubernetes上で動作するCephのオーケストレーション。これもOSS OSD: Cephを構成するディスク上に存在するデータ構造 OSD on disk: Rook上にOSDを作る方

            恐怖のphantom Atari partition
          • パーティションの管理が簡単になるMiniTool Partition Wizardを使ってみた

            パーティション管理をしたいけど下手に変更してPCが立ち上がらなくなったらと考えると怖いです簡単に出来る方法はありませんか? 皆さんはパソコンのパーティション管理をしていますか? パーティションを分けたいけど慣れてない人がHDDやSSDの領域を変更するには設定方法も分かりにくいしPCの不具合が出た場合を考えると怖いですよね。

              パーティションの管理が簡単になるMiniTool Partition Wizardを使ってみた
            • 【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO

              CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI

                【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO
              • Partition Projection を使って AWS WAF のログを分析してみた | DevelopersIO

                Amazon Athena(以降、Athena)の利用料金とパフォーマンスは、スキャン対象のデータ量に比例します。 Athena では、パーティションを追加することによって、スキャン対象のデータ量を絞り、コストを減らしスキャン速度を向上できます。 パーティションを追加するには、 ALTER TABLE ADD PARTITION を実行 Glue のクローラで Glue Data Catalog にパーティションを登録 といった方法がございますが、これらはクエリを実行する度に実行しなくてはなりません。 また、多くのパーティションが存在するケースでは Glue Data Catalog からパーティションを取得する API の呼び出しがクエリパフォーマンスのボトルネックとなる可能性がございました。 これらの課題を解決するために Partition Projection を使うことで、パーティ

                  Partition Projection を使って AWS WAF のログを分析してみた | DevelopersIO
                • Improve query performance using AWS Glue partition indexes | Amazon Web Services

                  AWS Big Data Blog Improve query performance using AWS Glue partition indexes While creating data lakes on the cloud, the data catalog is crucial to centralize metadata and make the data visible, searchable, and queryable for users. With the recent exponential growth of data volume, it becomes much more important to optimize data layout and maintain the metadata on cloud storage to keep the value o

                    Improve query performance using AWS Glue partition indexes | Amazon Web Services
                  • Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services

                    AWS Big Data Blog Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes The AWS Glue Data Catalog provides partition indexes to accelerate queries on highly partitioned tables. In the post Improve query performance using AWS Glue partition indexes, we demonstrated how partition indexes reduce the time it takes to fetch partition information during the planning phase

                      Improve Amazon Athena query performance using AWS Glue Data Catalog partition indexes | Amazon Web Services
                    • 無料のパーティション管理ツール「EaseUS Partition Master Free」にポータブル版/

                        無料のパーティション管理ツール「EaseUS Partition Master Free」にポータブル版/
                      • 無料パーティション編集ツール「EaseUS Partition Master Free」がexFATに基本対応/exFATパーティションのクローンやドライブレター・ボリュームラベル変更などが可能に

                          無料パーティション編集ツール「EaseUS Partition Master Free」がexFATに基本対応/exFATパーティションのクローンやドライブレター・ボリュームラベル変更などが可能に
                        • 古い PC に最適な軽量Linuxディストロ7選 - MiniTool Partition Wizard

                          手元にハードウェアの構成が低いパソコンを持っていて、それを再利用したい場合は、軽量Linuxディストロのシステムをインストールすることができます。そこで、MiniToolのこの記事では、古い PC に最適な7つの軽量Linuxディストロを紹介したいと思います。 軽量ディストロ vs 重量級ディストロ1.定義 軽量ディストリビューションは、古いそしてリソースに制約のあるハードウェア向けに特別に設計されたディストリビューションであるため、処理能力、ディスク容量、RAM のスペックが低い古いハードウェアでも、応答性が高く遅延のない計算能力を発揮することができます。 一方、重量級ディストロは通常、最新かつ最高の機能が搭載されており、ユーザーに最高のコンピューティング エクスペリエンスを提供します。したがって、このようなディストリビューションをインストールして実行するには、非常に優れたプロセッサ、R

                            古い PC に最適な軽量Linuxディストロ7選 - MiniTool Partition Wizard
                          • GitHub - privacycg/CHIPS: A proposal for a cookie attribute to partition cross-site cookies by top-level site

                            In order to increase privacy on the web, browser vendors are either planning or already shipping restrictions on cross-site tracking. This includes phasing out support for third-party cookies, cookies sent in requests to sites other than the top-level document's site, since such cookies enable servers to track users' behavior across different top-level sites. Before CHIPS: A browser visits green.c

                              GitHub - privacycg/CHIPS: A proposal for a cookie attribute to partition cross-site cookies by top-level site
                            • 悲報、Win 10 OSクローンソフト無料版ではクローン不可能に(4/4時点、EaseUS Todo Backup Free、MiniTool Partition Wizard)

                              HDDやeMMCからSSDへのWindows 10 OSクローンに便利に使用していたフリーソフトの「EaseUS Todo Backup Free」と「MiniTool Partition Wizard 無料版」。ただし、2020年4月4日現在、双方ともに Ver.12の無料版ではOSクローンができずに有料版の購入が必要となっています。 当サイト、他サイトともに多く紹介されている「EaseUS Todo Backup Free」と「MiniTool Partition Wizard 無料版」ですが、4月4日時点の無料版ではOSクローンができないことを、留意事項として記載します。代替として、私はWindows 10の標準機能を活かして対応予定です。 2022年10月17日、2023年2月26日追記。以下の記事に記載の「Macrium Reflect Free Trials」、および「Mini

                                悲報、Win 10 OSクローンソフト無料版ではクローン不可能に(4/4時点、EaseUS Todo Backup Free、MiniTool Partition Wizard)
                              • 「Paragon Partition Manager」にゼロデイ脆弱性 ~BYOVDランサムウェア攻撃に悪用/修正版が公開、旧版に対してはMicrosoftが脆弱なドライバーのブロックリストで対策

                                  「Paragon Partition Manager」にゼロデイ脆弱性 ~BYOVDランサムウェア攻撃に悪用/修正版が公開、旧版に対してはMicrosoftが脆弱なドライバーのブロックリストで対策
                                • Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog

                                  こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです! この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください! はじめに 使ったツール・サービス・機能 Terraform Amazon Athena Link Partition Projection Link ALB Access logs Link 実装 Terraform - バケット・バケットポリシーの作成

                                    Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog
                                  • 空きの少ないパーティションをワンクリックでサイズ調整「EaseUS Partition Master Free」v15.0/フリーのパーティション編集ソフト

                                      空きの少ないパーティションをワンクリックでサイズ調整「EaseUS Partition Master Free」v15.0/フリーのパーティション編集ソフト
                                    • [Athena] Partition ProjectionでNowを使った場合の動作を確認してみた | DevelopersIO

                                      Amazon AthenaのPartition ProjectionでNOWを使ったとき、どのような動作になるのか調べてみました。 Amazon Athenaには、Partition Projectionがあります。 Partition ProjectionでNOWを使ったとき、どのような動作になるのか調べてみました。 最初に結論 UTC時刻でした。 Partition ProjectionでNOWを使った場合の動作を調べる 調査方法 S3バケットを作成する AthenaでPartition Projectionを使うテーブルを作成する S3バケットに未来の日付でファイルを格納する 上記で格納したファイルの内容がAthenaで確認できるタイミングを調べる なお、今回は「1日毎」で確認しました。 1. S3バケットを作成する S3バケットを作成します。 バケット名: cm-fujii.gen

                                        [Athena] Partition ProjectionでNowを使った場合の動作を確認してみた | DevelopersIO
                                      • Disk2vhdで物理ディスクをVHDファイルに変換する方法 - MiniTool Partition Wizard

                                        MiniToolのこの記事では、Disk2vhd の概要、ダウンロード方法、および使い方をまとめて紹介していきます。そして、物理マシンのディスクを対応する .VHD/.VHDX イメージファイルに変換するためのDisk2vhd 代替ソフトも紹介されます。 Disk2vhdとはDisk2vhdは、Microsoft Virtual PCやMicrosoft Hyper-Vの仮想マシンで使用する物理ディスクの仮想ハードディスク(VHD)版を作成することができるユーティリティです。物理マシンのディスクを.VHD/.VHDXイメージファイルに変換することができるので、システムのバックアップやHyper-V環境での仮想化などに利用することもできます。 提示: VHDXは、Windows Server 2012で導入された新しいディスクフォーマットです。VHDと比較して、VHDXはデータの破損を減らす

                                          Disk2vhdで物理ディスクをVHDファイルに変換する方法 - MiniTool Partition Wizard
                                        • DRAW A LINE 102 Partition A set(FU20029)|収納の通販|ミラタップ(旧サンワカンパニー)

                                          運賃種別 配送運賃 納期 6~12営業日 サイズ W770×H2000~2750×D70mm 入り数 1.00セット 重量 5.30kg/セット 原産国 日本・中国 セット内容 FU20200 DRAW A LINE 003 Tension Rod C 102/106用 ×2 FU20204 101/102用 パーティション ×1 FU20205 101/102用 パーティション用ブラケット ×4

                                            DRAW A LINE 102 Partition A set(FU20029)|収納の通販|ミラタップ(旧サンワカンパニー)
                                          • 【ステップバイステップガイド】WindowsをSDカードから起動する方法 - MiniTool Partition Wizard

                                            使い慣れたWindowsシステムを別のパソコンでも使用できるように、そのWindowsシステムをSDカードに書き込んでブータブルメディアを作成し、それからSDカードからWindowsを起動することができます。今回はMiniToolよりその詳細手順を紹介していきます。 システムをSDカードから起動する原因SDカード(正式名称はSecure Digital Memory Card)は、デジタルカメラ、PDA、マルチメディアプレーヤーなどの携帯機器に広く使用されているメモリーカードである。さらに、ほとんどのノートパソコンでも使用されています。 ほとんどのノートパソコンには、SDカードスロットが装備されています。しかし、写真やデザインを扱う人以外、ほとんどのユーザーはこのスロットを使うことはないでしょう。 そのため、このカードスロットの用途や使い方をご存じない方も多いのではないでしょうか。 ここで

                                              【ステップバイステップガイド】WindowsをSDカードから起動する方法 - MiniTool Partition Wizard
                                            • Windows 10のシステムキャッシュをクリアする方法 - MiniTool Partition Wizard

                                              コンピューターを長時間を使用した後、動きがだんだん重くなる状況にあったことがあると思います。その理由は、コンピューターの使用中にシステムがブラウザーキャッシュを含む大量のジャンクファイルを生成したためです。この状況を改善するには、キャッシュを定期的にクリーニングする必要があります。今回はMiniToolより、システムのキャッシュをクリアする方法を紹介していきます。 キャッシュとはWindowsキャッシュは特別な高速ストレージメカニズムです。それは主記憶装置の予約部分であってもよいし、独立した高速記憶装置で言われることもできます。つまり、キャッシュはデータを格納するために使用されるハードウェアまたはソフトウェアのコンポーネントです。キャッシュされたデータは、以前のリクエストの結果、または他の場所に保存されている既存のデータのコピーのいずれかです。 キャッシュを使用すると、特定のデータに対する

                                                Windows 10のシステムキャッシュをクリアする方法 - MiniTool Partition Wizard
                                              • Windows上でVMwareを使ってMacOSをインストールする方法 - MiniTool Partition Wizard

                                                Apple社のMacOSは、原則として自社のコンピュータ上でしか動作しません。そして、VMware社は、macOSの仮想マシンのインストールを規約で認めていません。しかし、MiniToolより提供するこの記事では、VMwareでMacOSをインストールする方法を解説していきます。 Windows用MacエミュレーターMacとWindowsは互換性のない2つのシステムとして知られています。ユーザー数から見ると、AppleのMacシリーズパソコンは常にニッチな製品であり、ユーザー数はWindowsよりもはるかに少ないです。さらに、同じ構成であれば、Macパソコンの価格はWindowsのほぼ2倍になる場合はあります。 もちろん、Macパソコンにも利点があります。まず、Windows PCに比べて、Mac PCはより美しいデザインであり、より使いやすいです。しかし、その価格は多くの人々を落胆させま

                                                  Windows上でVMwareを使ってMacOSをインストールする方法 - MiniTool Partition Wizard
                                                • 無料の多機能パーティション編集ツール「EaseUS Partition Master Free」v17.9が公開/ドライブの右クリックメニューから利用できるように

                                                    無料の多機能パーティション編集ツール「EaseUS Partition Master Free」v17.9が公開/ドライブの右クリックメニューから利用できるように
                                                  • Amazon Athena のPartition Projection(パーティション射影)の設定方法の確認と、手動でパーティションを追加する場合との比較 | DevelopersIO

                                                    Amazon Athena のPartition Projection(パーティション射影)の設定方法の確認と、手動でパーティションを追加する場合との比較 事業本部Delivery部のアベシです。 AthenaのPartition projectionという機能を使ってみて、手動でパーティションを追加する場合と比べみたので、その際の方法をブログに残しました。 私はまだAthenaの使用歴が短く、自分に対する備忘録も兼ねてできるだけ詳細に書きました。 はじめに データのパーティティションについて データをパーティティションしていない場合、Athenaはクエリの際に全てのデータをスキャンして条件に合うデータを抽出します。 この場合、クエリに時間がかかりパフォーマンスが悪くなり、場合によってはクエリがタイムアウトしてしまう事もあります。デフォルトのクエリタイムアウトは30分です。 また、Athe

                                                      Amazon Athena のPartition Projection(パーティション射影)の設定方法の確認と、手動でパーティションを追加する場合との比較 | DevelopersIO
                                                    • パーティション管理ソフトMiniTool Partition Wizardのレビュー記事の依頼がきたので挑戦しました - みことの引きこもりblog引きこもり講座

                                                      mikotoniomakase.com #MiniTool Partition Wizard #パーティション管理 #ストレージ管理 #SSD #HDD #データ復元 #ソフトウェア #レビュー記事 #ブログ初心者 #みことにおまかせ #WordPress 投稿日2020/09/03 21:00 書いた人Mikoto Mikaka

                                                        パーティション管理ソフトMiniTool Partition Wizardのレビュー記事の依頼がきたので挑戦しました - みことの引きこもりblog引きこもり講座
                                                      • 【SSD換装】SSDクローンフリーソフトおすすめ|2024年11月最新|4DDiG Partition Manager

                                                        こんにちは!今日は皆さんに役立つ情報をたっぷりご紹介しますね! パソコンを長く使っていると、ディスク容量が足りなくなったり、もっと速いデバイスにしたくなったりすることがありますよね。OSが入ったストレージを交換する際は、通常再インストールが必要で、手間と時間がかかります。 でも、そんな面倒な作業を簡単にするのが、SSDクローン作成ソフトです。この記事では、無料で使えるおすすめのSSDクローン作成ソフトとその使い方をわかりやすく紹介します。ぜひチェックして、楽にSSDの交換をしましょう! パート1:SSDクローンフリーソフトって何?SSDクローンフリーソフトは、これまで使っていたHDDやSSDのデータをそのままコピーできる無料のソフトです。手動でのコピーとは違って、隠しファイルやソフトの設定、ドライバ・デバイス情報など、すべてのデータをしっかり再現します。 要するに、元のSSDのデータを丸ご

                                                          【SSD換装】SSDクローンフリーソフトおすすめ|2024年11月最新|4DDiG Partition Manager
                                                        • ChromeのPartition Network Stateについて (Network State Partitioning) - ASnoKaze blog

                                                          Chrome 89で「Partition Network State」という機能の導入が検討されています。 chromestatus.com 「Client-Side Storage Partitioning 」のいち部であり、w3cのPrivacy CGで議論されています。 これは、DNSキャッシュやHTTP/2のセッションといったネットワーク状態を、クロスサイトで共有できなくする機能です。 情報は多くないようですが、眺めていきます。 背景 ブラウザ内全体でキャッシュ情報を共有していると、サイトAで読み込んだキャッシュを、サイトBを表示する際にも使用できます。 この時サイトBではそのリソースの読み込みスピードを計測することで、キャッシュしてたかそうでないかが分かってしまいます。(読み込み速度はonloadイベント等で取得) 例えば、https://a.example/js/hoge.js

                                                            ChromeのPartition Network Stateについて (Network State Partitioning) - ASnoKaze blog
                                                          • Amazon Athena Partition Projectionで設定したHive形式の日付カラムをWHERE句で使う | DevelopersIO

                                                            こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon AthenaではS3 Bucket LocationのパーティションパスをHive形式または非Hive(Non-Hive)形式のいずれでも設定可能です。 import { aws_athena, aws_glue, aws_s3, RemovalPolicy, Stack, StackProps, } from 'aws-cdk-lib'; import { Construct } from 'constructs'; import * as aws_glue_alpha from '@aws-cdk/aws-glue-alpha'; export class AwsCdkAppStack extends Stack { constructor(scope: Construct, id: string, props?: St

                                                              Amazon Athena Partition Projectionで設定したHive形式の日付カラムをWHERE句で使う | DevelopersIO
                                                            • KB5028997: Instructions to manually resize your partition to install the WinRE update - Microsoft Support

                                                              Applies ToWindows 10 Windows 10, version 1607, all editions Windows Server 2016, all editions Win 10 Ent LTSC 2019 Win 10 IoT Ent LTSC 2019 Windows 10 IoT Core LTSC Windows Server 2019 Windows 10 Enterprise and Education, version 21H2 Windows 10 IoT Enterprise, version 21H2 Windows 10 Enterprise Multi-Session, version 21H2 Windows 10, version 22H2, all editions Windows 11 version 21H2, all edition

                                                              • Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみた | DevelopersIO

                                                                Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみた こんにちは、CX事業本部の若槻です。 Amazon AthenaではPartition Projectionを使用することにより、パーティション化されたデータソースへのクエリ処理を高速化したり、パーティション管理を自動化したりすることができます。 Partition Projection with Amazon Athena - Amazon Athena 今回は、Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみました。 やってみた 具体的には、AWSの下記のドキュメントで紹介されている、Amazon Kinesis Data Firehoseが作成する/yyyy/

                                                                  Amazon AthenaのPartition Projectionを設定したGlueテーブルをCloudFormationで作成してみた | DevelopersIO
                                                                • Windows 7/8/8.1/10でMBRを修復する方法 - MiniTool Partition Wizard

                                                                  MBRがパソコンの起動に不可欠なものなので、破損すると、パソコンが起動しなくなります。しかし、MBRの修復方法をよく分からない方は多いそうです。そこで、今回は、素人でもできるMBRの修復方法を紹介したいと思います。少しでもお役に立てればうれしいです。 そもそもMBRとは全称がマスターブートレコードです。Windowsのインストール時、コンピューターの第一パーティションに作成される先頭セクタ(ハードディスクの最初の512バイト)で、ブートセクターの一種である。コンピューターの起動に使用されます。 OSの場所の探しと識別に不可欠なMBRが、Windowsが起動できるようにするための大事な情報です。一般に、MBRが破損していると、コンピューターが起動しないことがあります。 では、MBRが破損したら、どうなりますか? 大事なMBRが損傷すると、コンピュータが起動できなくなり、次のエラーが発生するこ

                                                                    Windows 7/8/8.1/10でMBRを修復する方法 - MiniTool Partition Wizard
                                                                  • 空ディレクトリを検索および削除する方法 - MiniTool Partition Wizard

                                                                    PCでソフトウェアをアンインストールしたり、他の変更を行ったりすると、時々空のファイルまたはフォルダが残されます。それらはディスクスペースを占有しませんが、ディスクの管理において目障りなところがあります。そこで今回はMiniToolより、PC上の空ファイルまたはフォルダすばやく検索して削除する方法を紹介していきます。 PCでエクスプローラーを開き、その中のファイルをチェックすると、用途も知らない、何の内容もない空フォルダを見つけたことはありますか?これらのフォルダのプロパティをチェックしたら、サイズはみんな0バイトと示し、PCのストレージスペースを占有しません。しかし、そのような空のフォルダが多すぎると、ディスク管理に大きな障害が発生します。 では、これらの空ディレクトリを削除できますか?削除したら何か悪い影響でも出ますか? 通常の場合は、これらの空ディレクトリは無用なものなので、削除して

                                                                      空ディレクトリを検索および削除する方法 - MiniTool Partition Wizard
                                                                    • AWS - CloudFront アクセスログを Athena + Partition Projection で解析

                                                                      CloudFront のアクセスログを Athena で集計できる環境を作ったので、やり方を残しておきます。 アクセスログが溜まってもスキャンするデータ量を抑えるよう、パーティション分割もしました。 パーティション分割には、昨年追加された機能 “Partition Projection” を使ってみました。 環境を再現できるように、 CloudFormation のテンプレートも公開しています。 要件と経緯 他社から大量のイベントデータを HTTP GET で受け取って、それを集計したい! という要件が出てきたのが発端でした。 本当なら Kinesis Data Streams などリアルタイム処理も試してみたかったのですが、 とても納期が短かったので、経験のあった CloudFront と Athena で簡単に実現しました。 仕組みとデータフローは、こんな流れです。 他社システムから

                                                                        AWS - CloudFront アクセスログを Athena + Partition Projection で解析
                                                                      • Hiren’s BootCDの使い方およびその代替ソフトウェアおすすめ - MiniTool Partition Wizard

                                                                        Hiren’s BootCDは、パソコンに関するトラブルを修復するためのツールです。ここでは、MiniToolよりHiren’s BootCDの基本知識、機能および使い方を解説していきます。また、Hiren’s BootCDでPCのトラブルを修復できない場合に使用できる代替品をお勧めします。 Hiren’s BootCDとはHiren’s BootCD (HBCD)は、トラブルによって起動できないPCをPE環境で起動したから、デバイスのエラーを修正することができるツールです。ソフトウェアがリリース以来、その使いやすい機能により、多くのユーザーに愛用され、好評を得ています。しかし、Hiren’s BootCDは2012年11月以降、更新されていません。 そのため、Hiren’s BootCDのファンは、Hiren’s BootCD PE(プリインストール環境)を開発しました。これは、Wind

                                                                          Hiren’s BootCDの使い方およびその代替ソフトウェアおすすめ - MiniTool Partition Wizard
                                                                        • Athenaの自動パーティショニングをPartition Projectionで実現する|福井 烈 | Nstock

                                                                          記事中では、 パーティショニングをするには、 ・ALTER TABLE ADD PARTITION, MSCK REPAIR TABLEコマンドを打つ ・Glueのクローラーを利用する の2つの方法があって、ノーコードで自動で行うにはGlueクローラーを利用する必要がある。 ただし、Glueクローラーを利用するにはディレクトリ構成がHive形式になっていることが前提となっていて、ALBのログ出力はHive形式となっていないためマニュアルで対応する必要がある。 と記載しましたが、この記事を読んでくれた元同僚から 「Partition Projectionを利用すれば自動パーティショニングできそうです」 というアドバイスを頂きました。 (2020/06にリリースされたばかりの新しい機能だったので当時調査したときにはなかった) 試してみたところ自動でパーティショニングが実現できたので以降でALB

                                                                            Athenaの自動パーティショニングをPartition Projectionで実現する|福井 烈 | Nstock
                                                                          • Amazon AthenaでPartitionしたParquetファイルを読み込む

                                                                            yyyyとmmはcreated_atから作ったパーティション用のカラムです。保存するときとAthenaでCREATE TABLEする時に使います(*1)。 作成したデータをS3に保存します。 この時、amazon wranglerを使って、parquetかつパーティションを指定して保存します(*2)。 実行すると、Hive形式で保存されます(*3)。 詳しくは公式ドキュメントを確認してください。 import awswrangler as wr wr.s3.to_parquet( df=df, #保存したいDataFrame path='s3://{bucket_name}/{prefix}', #ご自身の環境に合わせてパス指定してください dataset=True, partition_cols=['year', 'month'] #パーティションするカラムを指定。複数指定できます。 )

                                                                              Amazon AthenaでPartitionしたParquetファイルを読み込む
                                                                            • SQL PARTITION BYのサンプル(group byとの違い) | ITSakura

                                                                              PARTITION BYとは 上記図は、partition byとgroup byのイメージ図です。 partition byは、グループ単位で行を表示します。 group byはグループでまとめた行を表示します。 partition(パーティション)は、仕切りという意味です。 partition byの使用例 次のテーブルがあるとします。 salesテーブル id name category price

                                                                              • Awichのオンラインフリーライブ「Awich "Partition Live"」開催

                                                                                株式会社スペースシャワーネットワークは、 有料課金型ライブ配信サービス「LIVEWIRE」にて、Awichのオンラインフリーライブ「Awich "Partition Live"」を8月25日(火)に配信する。 スペースシャワーが手掛けるオンライン・ライブハウス「LIVEWIRE」は、オープニングシリーズ第1弾としてカネコアヤノ、くるり、Yogee New Waves、Suchmosの公演を既に実施。 8月25日(火)にAwichのオンラインフリーライブ「Awich “Partition Live”」が開催されます。 Awichは沖縄県出身のヒップホップアーティスト。 2017年にリリースしたフルアルバム『8』でブレイク後、Red Bullと88risingの共同製作による長編ドキュメンタリー『Asia Rising: The Next Generation of Hip Hop』において、

                                                                                  Awichのオンラインフリーライブ「Awich "Partition Live"」開催
                                                                                • UnstructuredでWebのURLもローカルのPDFも読み込める! さらにユーザはpartition関数を呼ぶだけととっても簡単! (arXivの論文を例に) - nikkie-ftnextの日記

                                                                                  はじめに #ラブライバーに見て欲しいアイマス公式絵 で涙腺崩壊😭😭 異次元フェスの余韻で夢見心地なnikkieです。 存在を知った興味深いライブラリの素振り(初手)です。 目次 はじめに 目次 Unstructured LangChainが使ってます1 partition 動作環境 WebのURLから ローカルのPDFから ファサードpartition 終わりに Unstructured We get your data LLM-ready 訳してみると「あなたのデータにLLMで使う準備を」といった感じでしょうか。 どんなソースのデータもUnstructuredで扱えるのが売りのようです。 80% of enterprise data exists in difficult-to-use formats like HTML, PDF, CSV, PNG, PPTX, and more.

                                                                                    UnstructuredでWebのURLもローカルのPDFも読み込める! さらにユーザはpartition関数を呼ぶだけととっても簡単! (arXivの論文を例に) - nikkie-ftnextの日記

                                                                                  新着記事