「住所の揺らぎ程度のことにAIを使いたいだとかデジタル音痴」だの「住所の正規化なんてExcelで2時間あれば作れそう」だの、たいへんフットワークの軽やかな言説の数々に、位置情報界隈のみならず住所の正規化や名寄せに少しでも関わったことのあるエンジニアが総立ちでマサカリを投げていたのも記憶に新しい今日この頃ですが（2023年6月6日）、この手の騒動は周期的に起こってる印象です。 ということはつまり いつまで経っても解消されない、解決が困難な課題である その困難さが界隈以外に共有されていない であるわけで、その都度Twitterにトリビアが投下されてはTLが賑わい華やかではありますが、そろそろ自分の整理としてもどれだけ日本の住所システムがカオスで、その計算機的な処理がいかに困難かをメモっておこうかと思いました。 なおこの件については既にQiitaにGeoloniaの宮内さんが鼻血の出そうな良エン
平井卓也デジタル改革担当相は11月17日の定例会見で、中央省庁の職員が文書などのデータをメールで送信する際に使うパスワード付きzipファイルを廃止する方針であると明らかにした。政府の意見募集サイト「デジタル改革アイデアボックス」の意見を採用した。内閣府、内閣官房から取り組みを始め、他省庁については利用実態を調査する。 zipファイルの廃止は内閣官房が16日に開催した、河野太郎行政・規制改革担当相らとの対話の場で取り上げられ、その場で採用が決まった。アイデアボックスでの支持が最も高かったという。 霞が関の職員らは文書データを添付する際、zipファイルに加工してメールで送信しており、これまではセキュリティ対策として慣例的にパスワードを別メールで送信していた。 河野氏との対話の場で平井氏は「zipファイルのパスワードの扱いを見ていると、セキュリティレベルを担保するための暗号化ではない」と指摘。河
はじめに こんにちは。事業推進部でOffensive Teamを担当する永井です。 先日のApple発表会では新型のiPhoneやApple Watchなど心躍る製品が色々と発表されましたね。筆者は特に新型iPad miniが心に刺さっています。 さて、今回はApple関連の話として「macOSの暗号化zipファイルはパスワード無しで解凍できる」というネタについて書いていきます。 解凍できる条件 何を言っているんだと思われるかもしれませんが、macOSで作られた暗号化zipファイルは以下の2つの条件を満たす場合にパスワード無しで容易に解凍が可能です。 zipの暗号化方式がzipcryptoである (通常の暗号化zipファイルは基本的にzipcryptoが利用されています) zip内のいずれかのディレクトリの中身が.DS_Storeファイルおよび何らかのファイル1つである このうち1.は基本
Excelファイルの拡張子を「zip」にして解凍（展開）すると、貼り付けられた画像を取り出せる方法がTwitterで「知らなかった」「すごい！」と話題になっています。 Excelファイル内に貼られた画像を取り出したいときは……？（画像提供：@i_kasekiさん） 必要な画像や使いたい画像が、Excelファイル内に貼られて送られてきた場合などに使えるこの方法。やり方はシンプルに上記の通りで、名前の変更から「.xlsx」部分を「.zip」に変更。それを通常のzip形式のフォルダと同様に解凍して開けば、「xl」フォルダ内の「media」フォルダに画像がまとめられた状態になります。 拡張子を「zip」にして解凍したフォルダを開くと Excelファイル内にあった画像が、mediaフォルダにまとめられています 投稿したのは、ニコニコ動画で「世界の奇書をゆっくり解説」シリーズを公開している三崎律日（@
・背景 サムライズムでは創業より一貫して生産性を向上するソリューションを提供しております。またお客様の生産性を向上させるだけでなく、サムライズム自身も生産性を向上してお客様の迅速にお応え出来るよう、最適化された販売管理システムを内製しており、ご依頼より最短で1分ほどで見積の作成や商品の納品を行える体制を整えております。 業務の生産性を向上する上で課題となっているのが注文書などの帳票をzipファイルに圧縮するという日本の習慣です。添付ファイルのzip圧縮は「文字コードやディレクトリ構成の関係で展開に失敗する」、「別送のパスワードが送られてこない・遅延する」、「パスワードがかかっておりウイルススキャンが行えない」など悪影響が多い一方でセキュア化にさほど貢献しません。 また「パスワードは本日の日付です」「パスワードは弊社/貴社の電話番号下4桁です(そして電話番号は署名欄に記載されている)」などと
第５９５号コラム：「私たちはなぜパスワード付きｚｉｐファイルをメール添付するのか」 | デジタル・フォレンジック研究会
第５９５号コラム：上原 哲太郎 副会長（立命館大学 情報理工学部 教授） 題：「私たちはなぜパスワード付きｚｉｐファイルをメール添付するのか」 皆さんの組織でも、重要な情報を含むファイルをメールで外部に送付する際に、その漏洩防止等のため、何らかのルールを設けておられるところが多いのではないかと思います。その中で非常によく見かける方式に、このようなものがあります。 ①添付するファイルをあるパスワードを使って暗号化ｚｉｐファイルにする。 ②そのファイルをメール添付して送信する。 ③続いてそのパスワードをメール送信する。 私が見聞きする限り、多くの日本企業や組織がこのようなファイル送信法をセキュリティ強化策と信じて」内規で義務づけたり、自動化システムを導入したりしています。しかしこの種のメール、少し考えるだけでセキュリティの観点からは効果がないことは明らかです。同一経路でファイルとパスワードを送
平井卓也デジタル改革担当相は2020年11月17日、中央省庁の職員を対象に「パスワード付きZIPファイル」の送信ルールを廃止する方針を明らかにしました。政府の意見募集サイト「デジタル改革アイデアボックス」に投稿された意見を採用したものです。 この流れに乗り、クラウド会計ソフトを提供するfreeeは、2020年12月1日から対外的に「メールによるパスワード付きファイルの受信を廃止する」と発表しました。メールは、当然ですが受信者がいれば送信者がいます。そのため“受信しません”と表明をすることは重要でしょう。 freeeは今後、パートナー企業や取引先からのZIPファイル付きメールを添付ファイルを削除して受信するとのことです。本文はそのまま維持されるため、これで困ることはないと思われます。 プライバシーマーク制度を運営する日本情報経済社会推進協会（JIPDEC）は、2020年11月18日に「メール
GPUでZIPパスワードを解析する - Qiita
企業間のファイルのやり取りにZIPファイルの暗号化がされていることが多いのですが、その暗号は意味がなかったり、弱かったり、余計にセキュリティリスクが高くなっています。ZIPの暗号化が使えないことを証明するにはパスワードを解析するのが一番です。 パスワードが解析できるなら、もうあとからパスワードを送る必要はないのです。 用意するもの Windows PC Windows10を使いました。 GPU できる限り早いやつ ノートPCなので、外付けGPUケースにThunderbolt3でGPUを接続しています。 GTX 2080とケースで 10万円ぐらいかかっています。 CUDA Toolkit あらかじめ入れておきましょう。 hashcat hashcatのWindows版で公式サイトからダウンロードしたもので、バージョンが5.1.0の場合は古いので対応していません。 Windows版のJohn
jp-postal-code-api https://github.com/ttskch/jp-postal-code-api 日本の郵便番号から住所のデータを取得できるWeb APIです。 GitHub Pagesを使用して静的なJSONファイルとして配信している ため、可用性が高いのが特徴です。また、オープンソースなのでクライアントワークでも安心してご使用いただけます。もしリポジトリの永続性や GitHub Pagesの利用制限 が心配な場合は、ご自由にフォークしてご利用ください。 日本郵便によって公開されているデータ を元に住所データのJSONファイルを生成して配信しています。JSONファイルには日本語表記・カナ表記・英語表記の住所データが含まれています。ただし、以下の注意事項があります。 大口事業所個別番号の住所データは以下のように出力されます（元データ の内容がそうであるため）
by Tomas Sobek 数十KBのZIPファイルに見えて解凍すると膨大なファイル容量を食う「ZIP爆弾(高圧縮ファイル爆弾)」は、ZIPファイルの中にZIPファイルを格納し、内側のZIPファイルの中にさらにZIPファイルが……という入れ子構造を用いることで圧縮アルゴリズムの限界をうまく回避していますが、それゆえに多くのアンチウイルスソフトで対策されています。この弱点を乗り越えた「非再帰的ZIP爆弾」は、展開後のサイズこそ高効率で作られた再帰的ZIP爆弾にかなわないものの、わずか10MBから281TBへ2800万倍に膨らみます。 A better zip bomb https://www.bamsoftware.com/hacks/zipbomb/ ZIPの圧縮で一般的に用いられているアルゴリズムは「Deflate(デフレート)」と呼ばれるもので、圧縮・展開速度の速さが特徴的です。圧縮
次世代フロッピーディスクとして有望視されていた「Zip」（100MB、1994年頃～）：ロストメモリーズ File020 | テクノエッジ TechnoEdge
[名称] Zip、Zip Disk、Zip 100 Disk （参考製品名 「Zip 100 Disk」） [種類] 磁気ディスク [記録方法] 磁気記録 [メディアサイズ] 98.0×98.9×6.4mm [記録部サイズ] 直径約93mm [容量] 100MB [登場年] 1994年頃～ ひとつ、またひとつと消えていき、記憶からも薄れつつあるリムーバブルメディア。この連載では、ゆるっと集めているメディアやドライブをふわっと紹介します。 ロストメモリーズの記事一覧 | テクノエッジ TechnoEdge 「Zip」は、Iomega（アイオメガ）社が開発した磁気ディスク。当時のリムーバブルメディアとしては、容量が100MBと大きかったこと、また、速度が最大約1.4MB/sとそれなりに高速だったことから、3.5インチのフロッピーディスクを置き換えるメディアとして期待されました。 1990年代頭
Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった - knqyf263's blog
最初に断っておくと今回は万人向けの記事ではないです。面白かったので自分が忘れないようにまとめているだけです。 本記事の位置付け はじめに 発見経緯 CRCのエラー HTTPアクセスログ 壊れたgzipのtrailerを見てみる 壊れたファイルの法則性 月次ログファイルの生成 Linuxカーネルのバグの可能性 バグ混入の歴史 ログ破損の原因 8バイトの謎 PoCの制約 まとめ 本記事の位置付け Dirty Pipe（CVE-2022-0847）三部作の最後です。ダークナイト三部作で言うとダークナイト ライジングにあたります。ダーティとダークって似てませんか。 spliceを使って高速・省メモリでGzipからZIPを作る 20分で分かるDirty Pipe（CVE-2022-0847） Dirty Pipe（CVE-2022-0847）の発見経緯が面白かった（本記事） 上の1, 2を前提知識と
Facebookが開発した圧縮アルゴリズムZstandardについて調べた(非常に高速)(今日から使えます) - Lambdaカクテル
Common Lispの処理系であるSBCLをインストールしようとしたら、追加でlibzstd-develというのを新たに要求されるようになっていた。見るからに圧縮系のライブラリだけれど聞き慣れないのでちょっと調べてみた。 ちょろっと調べたところ、以下のことが分かった: Zstandard(ゼットスタンダード？)というのが正式な名前。 Facebookが開発した。 Deflateよりも速いことを主眼においている。 BSDライセンス。 Linuxカーネルまわりで使えるようになっているほか、一部のディストロではパッケージの圧縮フォーマットとして使われているようだ。 Webというよりはどちらかといえばバックエンド的な箇所で使われている印象がある。 facebook.github.io zstd コマンド使ってみた 他の名だたる圧縮アルゴリズム同様、Linuxで直接ファイルに対してこれを実行して圧
他人に見られたくないファイルをリモートの相手に渡さなければならない場合、従来は暗号化ZIPファイルとその解凍パスワードをメールで送る、という手段が広く用いられてきた。読者諸氏もそのようなメールを一度は受信したことがあるだろう。 しかし、ZIPの暗号化など運用に手間がかかるわりにセキュリティが十分ではない、と指摘されることが多い。そこで、この方法でファイルを送るのは止めよう、という機運が高まっており、実際、内閣府と内閣官房ではこの手法を廃止すると発表している。 とはいえ執筆時点では、「これだ！」と断言できるような、代わりのファイル送信方法が確立しているわけではない。特に中小企業や個人だと、代替の方法が有償だったりシステム更新に手間がかかったりすると、おいそれと置き換えられない場合が多いだろう。できることなら、すでにある機材やソフトウェア、利用中のサービスなどで代替したいところだ。 そこで本T
データ圧縮フォーマットのひとつであるZIP(ZIP圧縮)や、電子文書フォーマットのPDF、音声ファイルフォーマットのMP3の基礎となったデータ圧縮アルゴリズムのLZ77やLZ78などを開発したイスラエルのコンピューターサイエンティストであるジェイコブ・ジヴ氏が亡くなりました。91歳でした。 Israeli computer pioneer passes away just weeks after famed research partner https://www.ynetnews.com/business/article/bj2k2g0x3 Ziv and Lempel co-invented the famous Lempel-Ziv algorithm that is the basis of ZIP files. Prof. Abraham Lempel died 7 weeks
Linuxのコマンドラインで文字列を検索する際に必要不可欠なコマンドといえば「grep」です。しかし、grepは動画ファイルやPDFファイルの文字列を検索できないのが弱点。そんなgrepの弱点を克服し、動画ファイルのメタデータやデータベースのレコード、画像ファイル内の文字列まで検索可能なコマンドが「ripgrep-all(rga)」です。 GitHub - phiresky/ripgrep-all: rga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc. https://github.com/phiresky/ripgrep-all rgaはLinuxに限らずWindowsやmacOSでも利用することが可能。今回はUbuntu 20.04でrgaを利用してみます。以下のコマンドを
46MBが4.5PBに膨れ上がる危険なZIP爆弾に注意
Fossbytesは7月13日(米国時間)、「This Dangerous 'Zip Bomb' Can Explode 46MB File Into 4.5 Petabytes」が、「Zip Bomb (ZIP爆弾)」と呼ばれる高圧縮ファイル爆弾に新たな方法が発見されたと伝えた。この方法を使うと、46MBのZIPファイルを展開することで4.5PBのサイズに膨張させることが可能とされており、注意が必要。 記事はDavid Fifield氏が公開した次のドキュメントがベースになっている。 A better zip bomb A better zip bomb 説明によれば、ZIPコンテナ内部でファイルを重ね合わせることで高い圧縮率を実現したという。従来は再帰的な方法を使うことで高圧縮を実現していたが、今回発見された方法は再帰的な方法は使っておらず、1回の解凍で完全に展開されると説明がある。こ
Zipファイルのクラック
メールでZipファイルを送って次のメールでパスワードを送るという無意味より悪いセキュリティ対策が問題になっている。なぜ無意味より悪いかというと，Zip暗号化は強度が十分でない上に，次のメールで送るパスワードは無意味で，さらにゲートウェイでのウイルス対策ができなくなるのでウイルス送付に利用されやすいためである。 PythonでZipファイルを展開する方法は文字コードのところに書いたが，同様にしてパスワードをブルートフォースで破ることも原理的には可能である。4桁数字のパスワードで暗号化した test.zip をクラックするには次のようにすればよいであろう： from zipfile import ZipFile with ZipFile('test.zip') as z: for i in range(10000): pw = f'{i:04d}' try: z.setpassword(pw.
はじめに こんにちは。事業推進部でOffensive Teamを担当する永井です。 今回はアドベントカレンダーの11日目として、前回投稿した「macOSの暗号化zipファイルはパスワードなしで解凍できる」という記事に寄せられたコメントのうち、特筆すべきものをピックアップして回答していきます。 前回の記事を読んでいない方や、もう覚えてないという方は是非前回の記事を見てから続きを読んでいただければと思います。 Q. 正解するまでbkcrackを回さなくてもzip内のCRC32値と比較すれば良いのでは？ はい、その通りです。 筆者が前回の記事を書いている時には完全に失念していましたが、zip内にはファイル破損を検出するためにCRC32形式のハッシュ値が含まれています。そのため、bkcrackを正解パターンを引くまで都度回さなくても簡単に正解の.DS_Storeを見つけ出すことができます。 実際に
ChatGPTにgitのリポジトリ渡すと全ソースコード.txtをダウンロードさせてくれるやつ〜〜〜〜（AIに食わせるコード一覧が欲しい時用）
クレデンシャル含むソースコードをChatGPT等のクラウドLLMサービスにアップロードしないでください。 今回のプロンプトはオープンなリポジトリのみを対象としており、シェルスクリプトが実行される環境もChatGPT側のクラウド上のサンドボックス内のみを想定しています。 ローカル環境では以下のシェルスクリプトをそのまま実行せずに、ご自身が作成したシェルスクリプトを利用してください。 以下はソースコードのプロジェクトルートで実行することで、ソースコードのダンプを.txt形式でダンプするシェルスクリプトです。 \`\`\` #!/bin/bash # バイナリファイルかどうかを判定する関数 is_binary_file() { local file="$1" local file_output file_output=$(file "$file") if [[ "$file_output" ==
セキュリティの不十分なサーバーを見つけるためにウェブサイトには日々多数の不審なアクセスが行われています。そうしたアクセスをしてくる相手に対して解凍すると容量が膨れ上がる「ZIP爆弾」を送りつけて撃退する方法がブログにまとめられています。 How to defend your website with ZIP bombs https://blog.haschek.at/2017/how-to-defend-your-website-with-zip-bombs.html ZIP爆弾とは、ZIPの圧縮アルゴリズムを最大限に活用することで巨大なファイルを小さなZIPファイルに収めたものです。例えば下記の記事ではたった10MBのZIPファイルを解凍すると281TBになってしまうZIP爆弾が登場しています。 「非再帰的ZIP爆弾」は10MBのファイルが281TBに膨らむ - GIGAZINE サーバ
暗号化ZIPファイルにして送信。その後、メールでパスワードを追いかけて送る。これは「おまじないにしか過ぎない」。さらには「意味がないだけではなく有害だ」と専門家は指摘する。リモートワークでも障害が出る。
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
IMI 情報共有基盤 コンポーネントツール
URLが「https://」で始まるサイトは、セキュリティ確保のためSSL（Secure Sockets Layer）技術を利用しています。当サイトを利用の際には、SSL技術対応のブラウザをご利用ください。
良い話を含むので概要の最初だけでも読んでもらえると幸いです。この話が実用的かと言うと多分全然実用的ではないので理解しても仕方ないかなと言う気がします。 概要 ファイルフォーマット gzip 10-byteのヘッダ 拡張ヘッダ ファイル本体 フッタ（trailer） zip ローカルファイルヘッダ Data descriptor セントラルディレクトリエントリ セントラルディレクトリの終端レコード gzipからzipへの変換 gzipヘッダの処理 gzipファイル本体の処理 gzip trailerの処理 複数gzipファイルの連結 PoC まとめ 概要 先日Dirty PipeというLinuxカーネルの脆弱性が公表されました。 dirtypipe.cm4all.com この脆弱性の原理自体も面白いのですが、その前に報告者の組織で行っているGzipとZIPの処理で引っかかったのでまず先にそち
ケンオール通信第4号では、郵便番号データの処理方法の最初の一歩として、複数行の結合について紹介しました。データ処理の続きを説明する前に、まず日本の住所とはどういう構造になっているかを紹介します。 日本の住所の構造 郵便番号データの住所構造 京都の通り名 地割 特定の番地に割り当てられた郵便番号 ビルに割り当てられた郵便番号 PyData.Osaka に登壇します ケンオールについて 編集履歴 日本の住所の構造 日本の住所は、領域の大きい地域名から小さい地域に向かって書いていくという構造です。この大から小という構造は、日本の他に中国や韓国、台湾などが用いており、東アジア諸国では一般的な記法ですが、世界的には小さい領域から大きい領域に向かって書いていくという記法が一般的です。 余談ですが、東アジア以外の全ての国が小から大という表記ではなく、ハンガリーなど一部の国で大から小という表記形式を採用し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
とにかく日本の住所のヤバさをもっと知るべきだと思います｜inuro
霞が関でパスワード付きzipファイルを廃止へ 平井デジタル相
macOSの暗号化zipファイルはパスワード無しで解凍できる - NFLabs. エンジニアブログ
「知らなかった！」「これは便利」 Excelファイルを「zip」にして解凍すると画像を取り出せる方法
zipファイルをお送り頂いた場合の手数料について | 株式会社サムライズム
「ZIPで送ります。パスワードはあとで送ります」は、一体なぜダメなのか
無料で商用にも使える日本の郵便番号APIをリリースしました
「非再帰的ZIP爆弾」は10MBのファイルが281TBに膨らむ
「パスワード付きZIP」廃止、じゃあどうすりゃいいのか（OneDrive編）
【訃報】ZIP圧縮やPNG・PDFなどファイルフォーマットの基礎を作ったジェイコブ・ジヴが死去
画像ファイルやデータベースの文字列を「grep」のように検索できる「ripgrep-all」
macOSの暗号化zipの話の続き - NFLabs. エンジニアブログ
ウェブサイトに侵入してくる相手にZIP爆弾を送りつけて撃退する方法
その暗号化ZIPファイルの送付は「意味ないどころか有害」。セキュリティで信用失わないためには
住所正規化のデモ機能を作ったので、日本のヤバい住所を入力してみた
spliceを使って高速・省メモリでGzipからZIPを作る - knqyf263's blog
ケンオール通信第7号： 日本の住所の構造と郵便番号データ - ケンオールブログ