Python 3.15からデフォルトのエンコーディングがUTF-8になります - methaneのブログ
Pythonがファイルを開くときなどに使われるエンコーディングはロケール（WindowsではANSIコードページ）依存でした。 Unixの世界ではどんどんUTF-8ロケールが一般的になっている一方、WindowsのANSIコードページはなかなかUTF-8になりません。 そのために、Unixユーザーが open(filepath) のようにエンコーディングを指定しないままUTF-8を仮定するコードを気軽に書いてしまって、Windowsユーザーがエラーで困るといった問題が発生します。 また、Windowsでもメモ帳（Notepad.exe）やVSCodeはすでにUTF-8をデフォルトのエンコーディングで使用しています。ANSIコードページがUTF-8になるのを待っていたらどんどん周りの環境から置いていかれ、レガシー化してしまいます。 Pythonがデフォルトで利用するエンコーディングをWind
文字エンコーディングの検出方法
こんにちは、技術開発室の滝澤です。 最近（2021年春）、Go言語でメールパーサーを書く機会があり、備忘録的な意味でも知見をまとめておこうかなと思い、この記事を書きました。 メールパーサーを書いていて考慮しないといけないことの一つは、文字エンコーディング（charset）が正しく指定されていないメールがときどきあることです。 MIME（Multipurpose Internet Mail Extensions）関連のインターネット標準であるRFCが公開された1990年代や世間一般にインターネットメールが利用され始めた2000年代初期ならともかくとして、2021年にもなってまだその点を考慮しないといけないのはなかなかつらいことです。 そのようなメールを取り扱うときには、文字エンコーディングの検出を行う必要があります。本記事ではその文字エンコーディングの検出方法について書いてみました。 なお、
MIMEヘッダエンコーディングは複雑すぎてつらい / MIME header encoding is hard
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
Python がテキストファイルを開く時のデフォルトエンコーディングがUTF-8でないことは、多くのWindowsユーザー、特にプログラミング初心者にとって障害になっています。 UnicodeDecodeError で検索すると、多くのWindowsユーザーが問題に遭遇しているのがわかります。 https://qiita.com/Yuu94/items/9ffdfcb2c26d6b33792e https://www.mikan-partners.com/archives/3212 https://teratail.com/questions/268749 https://github.com/neovim/pynvim/issues/443 https://www.coder.work/article/1284080 https://teratail.com/questions/2713
はじめに 本家 OpenAI や Azure OpenAI Service で利用できる各言語モデルで使われているエンコーディングについて情報をまとめました。 エンコーディングとは OpenAI の言語モデルにおけるエンコーディングとは、テキストがトークンに変換される際の (トークナイズされる際の) ルールのようなものです。モデルによって使われるエンコーディングは異なります。 エンコーディングの種類 下記 4 種類のエンコーディングが存在しています。 エンコーディング コメント
Wire type は実際の型を示しているわけではないことに注意してください。Wire type はあくまでも値を読み取るための手がかりにすぎないため、読み取った値をどの型にするべきか知るためには descriptor を参照しなければいけません。 タグは次のようなロジックでエンコードされます。 fieldNumber << 3 | wireType たとえばフィールド foo の場合、フィールド番号は 1、Wire type は 0 なので 08 となります。これはエンコードされたバイト列の先頭バイトと一致しています。 fieldNumber := 1 wireType := 0 tag := fieldNumber<<3 | wireType fmt.Printf("%x", tag) // 08 タグの直後にはそのフィールドに対応する実際の値が続きます。 Wire type に基づい
tomo-makes on Twitter: "動画エンコーディングが分かるとても良い解説記事。 YouTubeなどで何気なくお世話になる動画圧縮。 非圧縮なら140GBもの映像(720p, 1時間)が、なぜ360MB程(たった0.02%!)になるのか? 丁寧に、順を追った… https://t.co/6o3SvQaQGj"
動画エンコーディングが分かるとても良い解説記事。 YouTubeなどで何気なくお世話になる動画圧縮。 非圧縮なら140GBもの映像(720p, 1時間)が、なぜ360MB程(たった0.02%!)になるのか? 丁寧に、順を追った… https://t.co/6o3SvQaQGj
BrotliはHTTP圧縮を強く意識したデータ圧縮形式です。 Brotliの動作確認時にハマりがちなのが、主要ブラウザはHTTPS接続時しかBrotliエンコーディングを要求しないことです。 理由は、通信を暗号化することで、ミドルボックスがデータを書き換えられないようにするためです。 解説 HTTP通信時に、deflate・gzip以外のContent-Encodingを受け取ったミドルボックスの中には、元のエンコーディングを無視してgzipエンコードするものが存在します。 SDCHエンコーディング *1をChromeで展開する際にGoogleはこの問題に遭遇し、Content-Encoding: gzipを頼りにgzipデコードしてもうまくいかないときは、そこからさらにSDCHデコード(Content-Encoding: sdch,gzipでしょうか?)するといった涙ぐましいハックで対応
推奨はしていませんが、YouTube では圧縮音声を利用できます。YouTube では、音声は送信された形式からトランスコードされます。損失のある形式から再圧縮した場合と比べると、無損失の形式からトランスコードした方が音質ははるかに良くなります。 圧縮音声を送信しなければならない場合は、次の仕様にしてください。 コーデック: AAC-LC サンプルレート: 44.1 kHz ビットレート: チャンネル 2 つで 320 kbps 以上（高いほど良い。256 kbps も可） チャンネル数: 2（ステレオ）
「Apache Tapestryの注意すべき特殊な仕様」というタイトルで登壇したのは、諌山貴由氏。「おもしろかった脆弱性」について解説し合い、脆弱性に関する知識を深めるためのイベント「Security․Tokyo #2」で、Apache Tapestry特有の仕様について説明しました。 登壇者の自己紹介 諌山貴由氏：始めたいと思います。最初に自己紹介です。私は、諌山貴由といいます。三井物産セキュアディレクションに所属しています。2008年ぐらいからセキュリティに関わる仕事を行っていまして、趣味は旅行です。 私はふだんWebアプリケーション診断を行っています。今回はその中で見つかった特殊な事例を紹介したいと思います。MBSD（三井物産セキュアディレクション）では定期的にライトニングトークを開催していて、日々の業務などで得た知見をチーム内に共有するという取り組みを行っています。今回の内容は、
MailKitの使い方! エンコーディング指定や添付ファイをメールで送信する方法[C#/VB Tips] 2021年2月10日水曜日 C# MailKit VB MailKitを使ってメールを送るサンプルコードです。（C#）MailKitでメールを送るサンプルです。 UTF8/iso-2022-jpのエンコーディング指定、GMail/YahooのSMTPサーバで送るなど、4つのサンプルコードでMailKitの使い方を紹介します。 スポンサーリンク MailKitって何？ ** 2017年に.NET標準のSystem.Net.Mail.SmtpClientが廃止予定となり、Microsoftより、今後はオープンソースライブラリである、MailKitに置き換えるとアナウンスがありました。 既に現在では、SmtpClientは非推奨にとなっており、今後は廃止されていきます。現在、SmtpClie
![MailKitの使い方! エンコーディング指定や添付ファイをメールで送信する方法[C#/VB Tips]](https://cdn-ak-scissors.b.st-hatena.com/image/square/a7b521a6ed437f00bf18b1438fec21e4b37b6b48/height=288;version=1;width=512/https%3A%2F%2Flh3.googleusercontent.com%2FdG4pmowzYJ_ftuiF2S_gM_VoroGeiqUzRi1Y-Xt8pd_x2piWzM4OcVpfNELpWA62EYmCCxaM5Fml%3Dw1200-h630-p-k-no-nu)
Goの固定長/可変長エンコーディングを理解する
この記事では、標準の encoding/binary パッケージを使ってカスタムフォーマットに従ってバイナリエンコーディングする方法と、その仕組みについて解説します。 はじめに プログラム上で扱うデータ構造をネットワークやファイルに書き込む際は、何らかのフォーマットに従って自己完結したバイト列へとエンコードする必要があります。 プロセス間でデータをやりとりする場合は通常、言語非依存な標準化されたフォーマットを利用します。 しかし、多くの標準化されたフォーマットは冗長すぎる傾向にあります。Protocol BufferやApache Thriftはバイナリエンコーディング形式なので、テキストフォーマットと比べるとはるかにサイズを小さく出来ますが、これらは専用のスキーマを定義することが必須です。一つのプロセスからしかアクセスしないようなケースなど、Go言語特有のフォーマットでエンコードしたくな
こんにちは、めのんです！ 昨日の「文字の正体は整数値」の中で少し触れた、GCCでコンパイルオプションを使ってソース文字集合と実行文字集合を指定する方法について今回はご紹介することにします。 実際には文字集合というよりは文字のエンコーディングを指定する方法なんですけどね。 具体的なコンパイルオプションをご紹介する前に、GCCのデフォルトのエンコーディングについてお話ししておく必要がありますね。 コンパイルオプションで何もしていしなければ、ソースファイルのエンコーディングも実行プログラムが使用するエンコーディングもUTF-8になります。 ソースファイルの先頭にBOM（バイトオーダーマーク）があってもなくてもかまいませんが、いろいろな処理系との互換性を考えると付けておいた方がいいかもしれません。 次にエンコーディングを明示的に指定するためのコンパイルオプションをご紹介します。 ソースコードのエン
自然言語処理を中心に近年様々な分野にて成功を納めているTransformerでは、入力トークンの位置情報をモデルに考慮させるために「positional encoding（位置エンコーディング）」と呼ばれる処理が必要になります。 この位置エンコーディングは通常、トークン系列の開始時点を基準とした絶対的な位置情報を埋め込みます。 しかし、タスクによってはトークンの絶対的な位置ではなくトークン間の相対的な位置関係をモデルに考慮させたい場合もあると思います。 そういった需要に応えるため、トークン間の相対的な位置を考慮した位置エンコーディング技法（relative position representation）がShawら(2018)により初めて提案され、Chengら(2018)により若干の定義変更とアルゴリズムの効率化がなされました。 本記事は、従来のSelf-Attention機構と位置エン
この記事は HRBrain Advent Calendar 2021 2日目の記事です。 qiita.com はじめに Goで構造体をバイナリエンコーディングする際、大抵は encoding/json か encoding/gob を使うと思います。 以下の記事を読んで、標準の encoding/binary パッケージを使えば任意の構造体のエンコード・デコード処理を自前で書けることを知りました。 zenn.dev 構造体のエンコード・デコード処理を自前で書くとどれくらい速くなるのか気になったので試してみました。 単純にreflectionを使わない分速くなりそうです。自前で書いたエンコード・デコードのパフォーマンスを、 encoding/json encoding/gob と比較してみます。 ※最初に言っておきますが実用性は殆ど無いと思います。 型ごとのエンコード・デコード方法 int
特徴量処理（特徴量エンジニアリング）でよく使う処理として、「A,B,C」「1,2,3」といったカテゴリー変数をOne-Hotベクトル化するというのがあります。SkelarnのOneHotEncoderでもできますが、Pandasのget_dummies()を使うと、もっと統合的にすることができます。それを見ていきましょう。 One-Hotエンコーディングとは One-Hot、つまり1つだけ1でそれ以外は0のベクトル（行列）を指します。経済学や統計学では「ダミー変数」と呼ばれることもあります。One-Hotエンコーディングもダミー変数もやっていることはほとんど同じで、カテゴリー変数を0,1の変数に変換して、学習器が学習しやすい形に変換しているということです。 例えば次のようなクラス変数があったとしましょう。0,1,2はクラス0に属する、クラス1に属する、…を表します。 >>> X=np.ar
質問 「HandBrakeにはCUDAはありませんか？なぜHandBrakeでは、cudaハードウェアアクセラレーションエンコーディングができませんか？互換性のあるIntel CPUを持っているなら、HandBrakeのWindowsバージョンはIntel QSV（Intelの高速同期が利用できます。 でも、msi gtx 10708GBゲームx gpuを実行している時、他のプログラムはCUDAエンコーディングを持っているが、HandBrakeにはこのオプションがありません。これらのプログラムのいずれかを使ってもいいだが、それよりもシンプルなHandBrakeを使いたいです。ハードウェアコードの品質が低いことは知っているが、多くの時間を節約できるようです。特にH.265を利用する場合。 では、CUDAエンコーディングはHandBrakeで利用可能ですか？もしできれば、どうやってHandBr
［解決！Python］テキストファイルのエンコーディングを調べて、その内容を読み込むには（chardetパッケージ）
［解決！Python］テキストファイルのエンコーディングを調べて、その内容を読み込むには（chardetパッケージ）：解決！Python 別環境で作られたテキストファイルの内容を読み込む際には、まずそのエンコーディングを調べる必要がある。chardetパッケージを使って、これを行う方法を紹介する。 # chardetによるエンコーディングの判定とテキストデータのデコード # sjis.txtの内容：このファイルはシフトJISでエンコーディングされています from chardet import detect # 「pip install chardet」などでインストールしておく with open('sjis.txt', 'rb') as f: # バイナリファイルとしてファイルをオープン b = f.read() # ファイルの内容を全て読み込む print(b) # b'\x
Amazon Redshiftで列圧縮エンコーディングをALTER TABLEコマンドで変更してみた | DevelopersIO
先日、Amazon Redshiftで列圧縮エンコーディングの変更がALTER TABLEコマンドで実行できるようになったので試してみました！ 嬉しいポイント 既存のテーブルに対して列圧縮エンコーディングを変更する場合は、下記の手間がありました。 新規で列圧縮エンコーディングを定義済みのテーブルを作成、既存テーブルのデータ移行が必要 実際の本番環境で稼働しているRedshiftクラスタなどの場合は、念のために事前にスナップショットを取得する 列圧縮エンコーディングを変更したい対象カラムが１つの場合でも、テーブルを再作成しないといけない 今回のアップデートにより、上記を考慮する必要なくALTER TABLE [対象テーブル名] ALTER COLUMN [対象カラム名] ENCODE [変更したい列圧縮エンコーディング名]コマンドで列圧縮エンコーディングが変更できるようになりました。 動作環
Amazon Web Services ブログ ソシオネクスト、AWS でリアルタイム AV1 エンコーディングを実現 NFL の試合をストリーミングで観戦することや、ミステリースリラー番組「ストレンジャー・シングス」の新シーズンを好きなだけ見たりする事から、消費者はストリーミングビデオ体験に対し、高い映像品質を期待するようになってきています。また、コンテンツ制作者や配給事業者にとって、低遅延且つ高品質のビデオを作成することが不可欠となっています。ただし、拡大するデバイスへの配信や多様なネットワーク接続環境を考慮に入れると、映像品質について高い水準を維持することは困難になっています。 日本の SoC（ System-on-Chip ）テクノロジープロバイダーである株式会社ソシオネクスト（以下、ソシオネクスト社）では、映像伝送にAWS Elemental MediaConnect、AV1エン
Amazon Redshift が最適化されたストレージと高クエリパフォーマンス向けの新しい圧縮エンコーディングである AZ64 をリリース
高い圧縮率と改善されたクエリパフォーマンスの達成を目的として設計された独自の圧縮エンコーディングである AZ64 が利用可能になりました。革新的な AZ64 アルゴリズムは、データ値の小さなグループを効率的に圧縮し、SIMD 命令を活用してデータを並列処理します。このエンコードにより、ほとんどの場合、LZO および ZSTD エンコードに比べて大幅にストレージを節約でき、Amazon Redshift に保存されている数値および日付/時刻データの最適な解凍パフォーマンスが得られます。 AZ64 エンコーディングにより、LZO よりも一貫して優れたパフォーマンスと圧縮が実現されます。AZ64 エンコーディングは ZSTD と同等の圧縮機能を備えていますが、パフォーマンスは大幅に向上しています。テスト対象のワークロードでは、次の結果が確認できました。お客様のワークロードに対してどのようなメリッ
Spring Securityでパスワードエンコーディング未実施のパスワードを使う - unokun’s blog
ちょっとしたテストでインメモリユーザーを使う場合にエラーが発生する。 java.lang.IllegalArgumentException: There is no PasswordEncoder mapped for the id "null" パスワードの前に{noop}を追加すればOK。 変更後 @Autowired public void configure(AuthenticationManagerBuilder auth) throws Exception { auth .inMemoryAuthentication() .withUser("user").password("{noop}password").roles("USER"); } 変更前 @Autowired public void configure(AuthenticationManagerBuilder au
Node.js から PowerShell の標準入力にテキストを渡す際の文字化け回避方法 (chcp でエンコーディング設定を変える) - Neo's World
Node.js から PowerShell の標準入力にテキストを渡す際の文字化け回避方法 (chcp でエンコーディング設定を変える) 以前、PowerShell でテキスト・トゥ・スピーチができるコードを書いた。 過去記事 : Windows の SAPI・Speech Synthesizer で say コマンドもどきを作る Windows 内蔵の Speech Synthesizer という API を呼び出して喋らせたのだが、今回この API を Node.js 経由で呼んでみようと思った。 PowerShell を child_process.spawn() で呼び出してやれば良いだろう、喋らせるテキストは標準入力で渡せばよかろうと思って、次のようなコードを書いた。 const childProcess = require('node:child_process'); try
はじめに 機械学習では、モデルに与えるデータを適切に準備することが非常に重要です。特にカテゴリカルデータ（文字やカテゴリ）を数値データに変換するエンコーディング手法は、モデルの精度に大きな影響を与えます。本記事では、一般的なエンコーディング手法とそのユースケースについて、表形式で詳しく説明します。 エンコーディング手法 エンコーディングは、カテゴリカルデータを数値に変換するプロセスです。これにより、機械学習モデルがデータを適切に処理できるようになります。以下の表に、代表的なエンコーディング手法とそのユースケースをまとめました。 エンコーディング手法 概要 ユースケース
macOS 10.15.4 Catalinaでは日本語エンコーディングを含んだzipファイルが、エラー22で解凍できない問題がようやく修正。
macOS 10.15.4 Catalinaでは日本語エンコーディングを含んだzipファイルが、アーカイブユーティリティで解凍できない問題がようやく修正されています。詳細は以下から。 Appleが2019年10月にリリースした「macOS 10.15 Catalina」では、日本語のShift JISや簡体字中国語のGB 2312エンコーディングされたファイルや、それを含むフォルダをWindows環境で圧縮すると、Catalinaのアーカイブユーティリティで「エラー22 – 引数が無効です。」というエラーが表示され、解凍できない不具合が報告されていましたが、この不具合は本日リリースされたmacOS 10.15.4のアーカイブユーティリティで修正されています。 エラー22 – 引数が無効です。(error 22: invalid argument) macOS 10.15.4 Catalin
前略 カテゴリカル変数のEncoding手法のまとめなどでカテゴリカル変数のエンコーディング手法の紹介がされていたので、pythonでの実現をやってみました。N番煎じですが。。。 ほとんどsklearn.preprocessingで実現できるので、一度公式ドキュメントをじっくり読むと良いかもしれませんね。他にも前処理に便利なものがありそうでした。 データ準備 タイタニックデータを使用します。 from sklearn.preprocessing import LabelBinarizer from sklearn.preprocessing import LabelBinarizer from sklearn import preprocessing import pandas as pd import numpy as np # データセットを読み込み df = pd.read_csv(
はじめに ※ 本記事ではShift_JISを拡張した文字エンコーディングをSJIS系文字エンコーディングと記載しています。 Shift_JIS、Shift-JIS、SJIS、SJIS-win、CP932、MS932、Windows-31J、MS_Kanjiなどなど、、、 SJIS系文字エンコーディングってたくさんありますよね。 「Shift_JISでcsv下さい」って言われたからShift_JISに変換したら「髙」が〜「ハイフン」が〜と言われたことある方は少なくないと思います。 サポートされる文字エンコーディングに記載されている中でよく使用するSJIS系文字エンコーディングは、SJIS、SJIS-win、CP932の3種類だと思います。 サポートされるエンコーディングの概要のShift_JISの説明と注記に「IANA の定義によると、Shift_JIS のコードセットは IBM932 /
チームで制作することが多いウェブサイトのHTML文書は、誰がみてもわかるように、規則やルールに則ってコーディングすることが大切だ。 なので、今回から、必要に応じGoogle HTML/CSS Style Guideに沿って、案内していこう。 最初は、文字エンコーディングとHTMLの基本構造についてだ。 文字エンコーディングはUTF-8 BOM無しで 普段、「文字エンコーディング」という言葉は意識していなくても、パソコンあるいはスマートフォンで、まれに「文字化け」した画面を見たことがあるだろう。特に、受信メールでありがちだ。 文字化けは、コンピュータ上の文字コードが合っていないために起こる。 では、文字コードとは、そしてエンコーディングとはなにか？ 文字コードは、コンピュータ上の各文字に割り当てられるバイト表現のこと。と言われても、なんだかわかりにくいが、 Shift_JIS Unicode
オープンソース CMS 「concrete5」も、 utf8mb4 に完全対応しました。 ただ、昔のサーバーにインストールした時、デフォルトの設定で UTF8 になってしまったので、作成済みの DB や DB 内のテーブルを一括で utf8mb4 に変換する必要があります。その方法です。 手順 1. バックアップ データベースをバックアップします。 2. my.cnf に文字コードを設定 サーバーとクライアントの文字コードを設定
Matter における TLV エンコーディング - Nature Engineering Blog
Nature ソフトウェアエンジニアの桒山です。この記事は、第２回 Nature Engineering Blog 祭の４日目の記事になります！ 今回も引き続き Matter ネタです。今回は少々マニアックな Matter 1.0 仕様における TLV ついて紹介します。 Matter における TLV エンコーディング TLV とは Tag-length-value のことです。情報の種類を Tag、情報の長さを Length、値を Value というセットで表現するフォーマットで広く知られています。 Matter 仕様においても、TLV が様々な情報を表現するのに用いられます。Matter における TLV 仕様は Matter で定義された独自のものです。Matter における TLV 仕様を知らないと、そのままでは読めないと思います。具体的には、Tag も文字列がそのままエンコード
# シフトJISエンコードのテキストファイルの読み込み with open('sjis.txt', encoding='shift_jis') as f: s = f.read() print(s.rstrip()) # このファイルはシフトJISでエンコードされています # UTF8エンコードのテキストファイルの読み込み with open('utf8.txt', encoding='utf-8') as f: s = f.read() print(s.rstrip()) # このファイルはUTF-8でエンコードされています # バイナリファイルとして読み込んだ後にエンコーディングを指定してデコード with open('sjis.txt', 'rb') as f: b = f.read() s = b.decode('shift_jis') print(s.rstrip()) #
今回は稼働しているRedshiftの既存テーブルに対して、圧縮分析・列圧縮エンコーディングの変更をする機会があったのでまとめておきます。 やったこと 既存テーブルの圧縮分析 列圧縮エンコーディングの変更 事前準備 (データが入っている)既存テーブルが必要なため、任意のRedshiftクラスタを作成し、サンプルデータをロードします。サンプルデータは下記ページの一部(lineorderテーブル)を拝借しました。 サンプルテーブルを作成する テーブルを作成します。 ※今回は未圧縮→圧縮の際のデータ容量の変化を確認したいため、未圧縮のエンコーディング(RAW)を指定します。 ※テーブル作成の際に列圧縮エンコーディングが未指定の場合、自動的に列圧縮エンコーディングが割り当てられます。割り当ての仕様についてはこちらを参照ください。 CREATE TABLE lineorder ( lo_orderke
はじめに 時系列性を持つデータに対してターゲットエンコーディングをしたいと思っていて、いざ実装する時に手が詰まったので、メモ代わりに実装を残しておきます。 「もっと良い方法知ってるのに...」や「実装面でもっとこうするといいのにな」等のImpressionがありましたら、ぜひコメントでご指摘していただければ嬉しいです:) ターゲットエンコーディングとは ターゲットエンコーディングとは何かについて、以下に自分の理解をまとめておきます。 ターゲットエンコーディングとは、 教師あり機械学習において、ターゲット(統計学的な文脈では目的変数・被説明変数?)の値を用いて特徴量を生成する方法論。 Kaggleのコンペ等でもよく用いられているみたい。 一方でリークが発生しやすく、特徴量の生成段階での工夫が必要。 本記事で使うデモデータ 本記事では、以下の時系列性を持ったログデータを想定します。 impor
チームで制作することが多いウェブサイトのHTML文書は、誰がみてもわかるように、規則やルールに則ってコーディングすることが大切だ。 なので、今回から、必要に応じGoogle HTML/CSS Style Guideに沿って、案内していこう。 最初は、文字エンコーディングとHTMLの基本構造についてだ。 Google HTML/CSS Style Guideについて 冒頭で触れた通り、HTML文書は、誰がみてもわかるように、規則やルールに則ってコーディングするもの。勝手にコーディングすれば、一緒に制作している人たちが理解できず、結果としてWeb制作が遅れたり、バグが生じる原因となる。 そして、「誰も」とは、同じチーム内のスタッフ同士だけではなく、文字通り「誰も」がわかることが原則だ。それは、人間だけではなく、検索ロボットまでもが理解できることが大切。 なぜなら、自分（たち）のウェブサイトは、
Q-Successから2019年11月のWebサイト向け文字エンコーディングのシェアが発表された。2019年11月はUTF-8がシェアを増やし、ISO-8859-1とWindows-1252がシェアを減らした。 ISO-8859-1とWindows-1252はラテンアルファベットの文字コード標準で、米国、欧州、オーストラリア、アフリカなど広いエリアで使われている。ISO-8859-1とWindows-1252は長期にわたって下落傾向を続けており、これらからUTF-8への移行が起こっていると見られる。 日本語の文字エンコーディングとして使われるShift JISは5位、EUC-JPは8位につけている。なお、Shift JISも長期にわたって下落傾向を続けている。 2019年11月Webサイト向け文字エンコーディングシェア/円グラフ
macOS Catalinaで特定のエンコーディングを含んだzipファイルが、アーカイブユーティリティで解凍できない問題は「macOS 10.15.3 Catalina」でも修正されていないので注意を。
macOS Catalinaで特定のエンコーディングを含んだzipファイルが、アーカイブユーティリティで解凍できない問題は「macOS 10.15.3 Catalina」でも修正されていないので引き続き注意してください。詳細は以下から。 Appleは現地時間2020年01月28日、macOS Catalinaの3度目のアップデートとなる「macOS Catalina 10.15.3 Build 19D76」をリリースしましたが、同バージョンでもmacOS Catalinaリリース当初から確認[.0, .1, .2]されている、特定のzipファイルがmacOSデフォルトのアーカイブユーティリティで解凍できない不具合が引き続き存在します。 この問題は日本語のShift JISや簡体字中国語のGB 2312エンコーディングされたファイルやそれを含むフォルダをWindows環境で圧縮すると「エラー
ちょっと面倒なのでカスタマイズしてみた。 目次 about Chrome Firefox about 自作テキスト(スクリプト)ファイルを Google ドライブ + DriveToWeb に置いたんですが、Shift_JIS なのでブラウザで開くと文字化けしてしまうんですよね... 一例 : Create_MD5_SHA1_memo-sendto.vbs.txt 使う分には問題ないのでいいかなと思いつつ、エンコード変更についてちょっと調べてみました。 Chrome は設定メニューにないので拡張機能を追加 Firefox はメニューにあるけど辿るのが面倒なので、ツールバーボタンを追加 参考リンク : 文字化けに対応するためのエンコード設定 - Google Merchant Center ヘルプ Chrome テキストエンコーディング - Chrome ウェブストア コンテキストメニューに
ネットで検索するとかなりいい加減な情報が溢れているので、 そこまで分かっているわけではないけれどまとめてみた。 「エンコード」 まずencodeとdecodeがわからない記事がいくつか出てくるのでそこから。 データを映像/音声にするのがデコード 映像/音声をデータにするのがエンコード エンコードは動画編集をしているのでなければ、基本的に動画変換のお話。 ハードウェア ハードウェアでやる、というのはCPUに頼らず、ハードウェア側に搭載された専用のチップを使用してエンコーディングする話をしている。 これにより CPUにかかる負荷が低減できる 速度が向上する(かもしれない) というメリットがある。 遅いGPUと速いCPUの組み合わせだと速度向上には必ずしもつながらないが。 だが、GPUは非常に速いので高速化する可能性は高い。 最近の盛り上がり 動画処理というか、変換というかではなくて、 「ゲーム
Auto-Encoding Score Distribution Regression for Action Quality Assessment ビデオとアクションスコアの関係をモデル化するのは難しいため、ビデオからのアクション品質評価（AQA）は難しいビジョンタスクです。したがって、行動の質の評価は、文献で広く研究されてきました。従来、AQAタスクは、ビデオとアクションスコアの間の基礎となるマッピングを学習するための回帰問題として扱われていました。最近では、ラベル分布学習（LDL）の導入により、不確実性スコア分布学習（USDL）の方法が成功しました。ただし、USDLは連続ラベルのあるデータセットには適用されず、トレーニングで一定の分散が必要です。この論文では、上記の問題に対処するために、Distribution Auto-Encoder（DAE）をさらに開発します。 DAEは、回帰アル
STDIN.set_encoding "Windows-31J" str = gets.chomp puts str.encode("Windows-31J", invalid: :replace, replace: '') つまるところ、 Windowsのコンソール入出力のエンコードはWindows-31J なので、まずRubyの標準入力の文字コードをそれに合わせてやる（1行目） しかし、このままだと初めに意味をなさない文字がついてくるので、これを3行目の記述で落としてやる ということ（だと思います）。 ※このあと eval などに文字列を渡しても（もちろん元のstrが文法的に意味を為せばですが）ちゃんと動きました。 ←本当にやりたかったのはこっち ただこれでも完璧ではなくて、getsで全角文字が含まれると改行が上手く認識されず、Enterキーを2回押す羽目になったりします。今の所この回
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonのデフォルトエンコーディングをUTF-8にするために - methaneのブログ
OpenAI 言語モデルごとのエンコーディング一覧
つくって学ぶ Protocol Buffers エンコーディング | メルカリエンジニアリング
なぜHTTPS接続時しかBrotliエンコーディングを要求しないのか? | DevelopersIO
ミュージック ビデオのエンコーディングの仕様 - YouTube ヘルプ
特殊なエンコーディングには気をつけよう Apache Tapestryにおける“注意すべき仕様”
MailKitの使い方! エンコーディング指定や添付ファイをメールで送信する方法[C#/VB Tips]
GCCでのエンコーディング指定方法 | menonfled
Transformerにおける相対位置エンコーディングを理解する。 - Qiita
Goの構造体のバイナリエンコーディングを速くしたい - HRBrain Blog
One-HotエンコーディングならPandasのget_dummiesを使おう
HandBrakeでCUDAエンコーディングが利用できますか？ | Leawo 製品マニュアル
ソシオネクスト、AWS でリアルタイム AV1 エンコーディングを実現 | Amazon Web Services
機械学習で用いるエンコーディング手法とユースケースをまとめてみた - Qiita
カテゴリ変数のエンコーディング - Qiita
PHPのSJIS系文字エンコーディングとエイリアスを表にまとめてみた - Qiita
HTMLコーディングをはじめよう〜副業にも！｜第2章 文字エンコーディングとHTMLの基本構造 | ウラの裏
MySQL のエンコーディングを utf8 から utf8mb4 に変換する方法 - Qiita
［解決！Python］エンコーディングを指定して、シフトJISなどのファイルを読み書きするには
Redshiftで圧縮分析・列圧縮エンコーディングの変更をやってみた | DevelopersIO
時系列性を考慮したターゲットエンコーディング特徴量の生成をPythonで実装してみた - Qiita
一から始めるWeb制作 #4〜文字エンコーディングとHTMLの基本構造 | ウラの裏
UTF-8が94%超 - 11月Webサイト向け文字エンコーディングシェア
PC版 Chrome / Firefox でWebページのエンコーディング変更 - Palm84 某所の日記
Linux的ビデオのハードウェアエンコーディング - Chienomi
アクション品質評価のための自動エンコーディングスコア分布回帰
Windows + Rubyでgetsさせたときのエンコーディング - Qiita