人間にUnicode正規化は難しい - エムスリーテックブログ
【AI・機械学習チーム ブログリレー2日目】 AI・機械学習チームの池嶋 (@mski_iksm) です。 私達のチームでは、機械学習バッチの実行方法やインターンを含む新配属者のPC初期セットアップ手順など多くのドキュメントがGitLab上で管理されています。Gitでドキュメントを管理するのは、Wiki等と比較して更新時のピアレビューがしやすかったり、CIによる自動チェックがやりやすかったりなどのメリットから採用されています。 CIの自動チェックの１つとしてリンクチェッカーがあります。これは切れているリンクがないかを更新時にチェックするものです。 ある日、ファイルはあるように「見える」のに、なぜかリンクチェッカーのCIが落ちているという事象が発生しました。 タイトルでネタバレしているのですが、原因はUnicodeの正規化でした。 この記事では、何が起きていたのか？どのようなケースで起こりう
Unicode正規化 - Qiita
とは 「ア」と「ｱ」, 「①」と「1」など等価な文字の表記を統一する操作. NLPで前処理としてよく使われる "Unicode正規化（ユニコードせいきか、英語: Unicode normalization）とは、等価な文字や文字の並びを統一的な内部表現に変換することでテキストの比較を容易にする、テキスト正規化処理の一種である。" - Wikipedia NFD, NFC, NFKD, NFKC 4種類の正規化形式が存在する. 「NFD (Normalization Form Canonical Decomposition)」 「NFC (Normalization Form Canonical Composition)」 「NFKD (Normalization Form Compatibility Decomposition)」 「NFKC (Normalization Form Com
ファイルアップロードではNFC/NFD問題に気をつけろ！~MacファイルシステムにおけるUnicode正規化の闇~
NFCではそのまま「パ」として表されますが、NFDでは「ハ」（基底文字）と「゜」（結合文字）の組み合わせとしての「パ(UTF-8でe3 83 8f e3 82 9a)」（合成文字）で表されます。試しにNFDで正規化された「パ(e3 83 8f e3 82 9a)」を任意のテキストエリアに貼り付けて削除してみると、半濁音のみが取れて「ハ」のみになると思います。 このように文字列の正規化形式が異なる場合、単純な比較演算子での評価は困難であり、文字列によっては想定外の挙動を引き起こす可能性があります。 特にMacファイルシステムではNFDを正規化方式と採用しているため、NFC/NFD問題が度々引き起こされています。先日(2023年03月27日)リリースされた「macOS 13.3 Ventura (22E252)」では、ファイル名に濁音や半濁音が含まれるファイルがFinderから開けなくなる
Windows 10のbash on Windowsを試す - kkamegawa's weblog
はじめに blogs.windows.com Windows 10のInsiderビルド14316が公開されました。//Buildで発表されたbash on Windowsも入っています。bashなのでbashそのものの挙動はともかく、Windowsで実際にどう見えるのか確認してみます。ベータなので将来変わると思いますので、その点はよろしく。 インストール 初回起動時のbash.exeはコンソールのストアアプリ(Windows Runtimeを使うアプリ)のようで、ちょっと違います。ご注意。公になるものでは初めてのWindows Runtimeを使ってストアにアクセスするコンソールアプリケーションってことになるんでしょうか。理屈上はできることはわかっていましたが。 まずはプログラムの追加と削除からWindowsの機能で「Windows Subsystem for Linux」を追加します。
WindowsにおけるGit利用環境は整った： Git for Windows と SourceTree for Windows - 檜山正幸のキマイラ飼育記 (はてなBlog)
分散バージョン管理システムの利用は拡大しています。そのなかでも最も人気のあるツールはGitでしょう。しかし、GitをWindowsで使うのはなかなか困難でした。 Windows向けのGitであるmsysGitは、bashのコンソールを出して、最小限のUnix風コマンドライン環境を提供するものです。これは使いやすくありません。もう一つの選択肢であるTortoise Gitは、Windowsのエクスプローラー（ファイルマネージャ）に統合されたGUIツールですが、僕は「なんか違うな」と感じてました -- これは個人の感性の問題ですが、ファイルマネージャに横付けすることが、分散バージョン管理システムへの良いUIを提供するようには思えないのです。 ところが、最近は事情が大きく変わっています。使いやすいGUIツールとして、2013年6月に正式公開されたSourceTree for Windowsが存在
文字コードの設定(CHCP)
CHCP コマンドを使用するとコマンドプロンプトで使用される文字コードを設定することができます。ここではコマンドプロンプトにおける CHCP コマンドの使い方について解説します。
sourceforge.jp
We’re getting things ready Loading your experience… This won’t take long.
フリーミアム万歳！Azure無料化で誰でもタダでWindowsServerをクラウドに持てる時代がやってきた：Azureの鼓動：オルタナティブ・ブログ
フリーミアム万歳！Azure無料化で誰でもタダでWindowsServerをクラウドに持てる時代がやってきた クラウドをタダで使うための方法を２つご紹介したい。 最近めっきりネットおよび各種イベント講演での露出が減りつつあるいさごではあるのだが、 サボっているわけではない。戦局を大きく変えるZ計画を水面下で遂行している。 Z計画：エゥーゴがアナハイムエレクトロニクスと進めた高性能モビルスーツ開発計画。 その成果については今後の発表をお待ちいただきたいのだが、 早速Azureをタダで使う方法その１：特別導入プランの刷新からご紹介しよう。 Azureを利用するためのアカウントを新規に作成する場合に選択可能な０円メニュー、 Windows Azure Platform 特別導入プランの無償枠が変更された。 従来からあったものだが、変更点をかいつまんでいうならば、 XSインスタンスを750時間/月
【ハウツー】ゼロからはじめるWindows API - WinMain 関数 すべての始まり編 | パソコン | マイコミジャーナル
C言語を学習するときに必ず最初に出会うことになるprintf()関数を使えば、テキストをコンソール上に表示できます。しかし、普段使っているグラフィカルなアプリケーションと同じように、ウィンドウを表示してその中に図形やコントロールを表示するには、アプリケーションを実行するシステムが公開しているAPIを利用しなければなりません。 本稿では、Windows アプリケーションの開発で必要となるWindows APIを毎回1つずつピックアップして、その機能や具体的な利用法について説明します。C言語を学習して次のステップに進みたい方や、逆に.NET FrameworkやJavaなどの仮想マシン上のアプリケーション開発経験者でネイティブのプログラミングを学習したい方に、参考にしていただければと思います。 現在、多くのアプリケーションが.NET Framerowkに移行していますが、こうした新しい仮想プラ
)
Microsoft Win32 と Microsoft .NET Framework API との対応
Microsoft .NET Framework and Microsoft Visual Studio User Education Teams Microsoft Corporation January 2004 Applies to: Microsoft® .NET Framework version 1.0 or 1.1 Microsoft Visual Studio® .NET Microsoft Win32® functions Summary: This article identifies the Microsoft .NET Framework version 1.0 or 1.1 APIs that provide similar functionality to Microsoft Win32 functions. One or more relevant .NET
レジストリって何者？レジストリクリーニングって必要？そもそもその存在意義とは？ | ライフハッカー・ジャパン
Windows PCの中で、レジストリと呼ばれるものほどミステリアスな存在はないかと思います。今日は「レジストリとは何か？」、「どんな風に作動するのか？」、「クリーニングを行うべきなのか？」の三つに焦点を絞って、お話していきたいと思います。 前述したとおり、レジストリはミステリアスな存在であり、一般的にあまり上手く理解されていないWindows OSのコンポーネントだと思います。まずはレジストリとは何者か？というところから説明していきたいと思いますので、レジストリと既にお知り合いの方は、世の中に数多く存在する、レジストリクリーナーの有効性について説明している「レジストリクリーニングって本当に必要なのでしょうか？」のセクションまでスキップしてもらうと良いかもです。 ■んで、レジストリって何者？ ウィンドウズレジストリとはアプリケーション設定、ユーザーパスワード、デバイスドライバ情報、ウィンド
Gitの基礎練習
バージョン管理ツールGitの基礎練習です。 Windows XPのコマンドプロンプトでGitの基本的なコマンドを動かしていきます。 Gitを学び始めるきっかけにどうぞ。 （筆者もまだGitを使いこなしているわけではありません。 誤りのご報告、改善提案などは大歓迎です。フィードバックからよろしくお願いします） 目次 はじめに ダウンロードとインストール ファイルをGitの管理下に置きましょう 新しいファイルを追加します 新しいディレクトリを追加します 編集からコミットまでの流れはこんな風に進みます ブランチを使ってみましょう ここまでの作業ログを見ましょう この文書に書かなかったこと 関連リンク 更新履歴 ぜひ、感想をお送りください はじめに Windows XPのコマンドプロンプトで、 バージョン管理ツールGitの基本的なコマンドを動かしてみましょう。 この文書の通りに実行すると、 基本的
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF] IntelliJ IDEA Windows/Linux Default Keymap Reference Card - JetBrains
Your Friendly Web Development Companion
teacup. byGMO サービス終了のお知らせ｜GMO MEDIA
Google Code Archive - Long-term storage for Google Code Project Hosting.
http://bearmini.net/blog/View.aspx?bid=1&aid=80
Windows実行ファイル「EXE」の謎に迫る一覧
สล็อตเว็บตรง ไม่ผ่านเอเย่นต์ แท้ 100% แตกหนัก RTP สูง ที่สุด 2024
Windowsでスクリプト言語“Ruby”を導入するための和製インストーラー「Rumix」NOT SUPPORTED