中国人を悩ませるレアな名字の文字コード問題
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 中国では、2023年8月1日に強制力のある国家標準規格「GB 18030-2022」（信息技術中文編碼字符集）が施行される。中国で「強制」という言葉が出ると「また締め付けが強化される」と反射的に考えてしまうかもしれないが、これは文字コードの標準規格を新たに導入するという話だ。珍しい名字などに使われ、既存の文字コードに未登録の漢字に対応しようというものになる。 中国の面積は日本の国土の約25倍で、約14億人の人口を擁している。一部の地域限定で使われている漢字や、少数民族の固有名詞でのみ用いられている漢字もある。文字コードに含まれない漢字を使っている人は約6000万人もいるそうだ。例えば、山東省青島市郊外にシュイユー村という地元ではまあまあ
おまえはもうRのグラフの日本語表示に悩まない (各OS対応) - ill-identified diary
2021/9/10 追記: 改めて更新された話を統合して整理して書き直しました. 以降はこちらを参考にしてください: ill-identified.hatenablog.com 2021/1/15 追記: RStudio 1.4 がリリースされたのでなるべくアップデートしましょう 2020/12/06 追記: Japan.R で今回の話の要約+新情報を『Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck』として発表した. ハイライトは「近々出るRStudio 1.4 があれば fontregisterer はほぼいらなくなる」 2020/10/31 追記: geom
Slack は、メッセージのどこからどこまでハイライトするかを、 Unicode の私用領域 *1の U+E000 と U+E001 を使って表しているらしく、こういう HTML を glitch とかで書いて、 <html> <head> <meta property="og:title" content="Slackでタイトルをハイライトする" /> <meta property="og:description" content="Slackで説明も好きな部分をハイライトする" /> </head> </html> そのページを Slack で展開させたりすることで、好きな部分を勝手にハイライトできて面白い *2 *3。 ちなみに printf "\ue000寿司\ue001が光ったら成功"
弊家では銀行やクレジットカードの明細を BigQuery に取り込んでダッシュボードを作ったりしています。 また、そのために作った BigQuery 向けの Go 製 ETL フレームワークを OSS として公開しました。 本記事ではざっくりどんなもんかを紹介して、どう作るのかを説明します。 Google Cloud Platform Advent Calendar 2020 の 13 日目の記事です。 Google Cloud Japan の Customer Engineer の Advent Calendar もぜひご覧ください。 TL; DR 明細が BigQuery にあると、可視化もできるしアラートも出せるし、まぁなんでもできて便利 銀行明細レベルのデータならほぼ無料で保存、ETL、分析できる ETL フレームワーク bqloader を OSS として公開したから使ってくれよ
海外のガキと喧嘩のすゝめ
ハローエブリワン！こんにちは大学中退引きこもりニートです！ 今徹夜明けでだいぶハイになってる状態で書いてるぜ！例のゲームにハマりすぎてが理由の徹夜だぜ！ 鬼の睡眠12時間をしてた頃に比べれば多少脳がすっきりしている気分だぜ！ 前置きはこの辺で閑話休題（使ってみたかった） ストレスの溜まってるそこの君！是非ともRobloxでキッズと喧嘩して発散することを勧めるなのぜ！（CV:ゆっくりまりさ） 「英語が苦手で出来るかどうか不安」「そもそも喧嘩ってどうやって吹っかければいいんだ？」そんなことはさっぱり忘れろ！ とりあえず俺の体験談を聞いてくれ！ Case1:ロシア人のクソガキ破壊妨害日和ある日のこと、俺は初心者狩り狩りをしていた。初心者狩りx2というのは、初期にもらえる無料の車を乗り回して攻撃的なキッズを集めることだ。 そんな俺の罠に引っかかった哀れなロシア人ガキ。彼はクソデカとまではいかないが
この記事では、 JavaScript で文字コードを扱う際に知っておくべき概念である Code Point や Code Unit、サロゲートペア、といったものについて説明していく。 また、具体的にそれらの概念を使ってどのようにコードを書いていくのかについても扱う。 この記事に出てくるコードの動作確認は以下の環境で行った。 Deno 1.26.0 TypeScript 4.8.3 Code Point （符号位置） プログラムで文字を表現する方法は複数あるが、 JavaScript では Unicode という方法を採用している。 Unicode ではあらゆる文字に対して一意の値を割り振ることを目的としており、この値のことを Code Point （符号位置）という。 Code Point は 16 進数の非負整数で、文章中で表記するときは接頭辞としてU+をつける。 例えばAという文字の
「HTML解体新書」リフロー版電子書籍を作りました - 弁護士ドットコム株式会社 Creators’ blog
4月に発売された書籍「HTML解体新書」。その電子版は今までPDF版しかありませんでしたが、このたびリフロー版が発売となり、Amazonでも購入できるようになりました。 この記事では、HTML解体新書のリフロー版電子書籍を実際に作成した際の流れについて、なぜ作成したのか、どうやって作成したのか、どのようなトラブルがあったか、といった点をご紹介します。リフロー版の電子書籍の作成、出版を検討されている方の参考になれば幸いです。 リフロー版の電子書籍を作った理由 リフロー型と固定レイアウト型 リフロー型とアクセシビリティ リフロー版の電子書籍を作るには 電書協 EPUB 3 制作ガイド 実際の制作の流れ テキスト原稿を用意する XHTMLを作る その他EPUBに必要なファイルを準備する OCFコンテナのメタデータを用意する mimetype container.xml OPFパッケージのデータを
書店員との対話で、メール技術書の不足に気づく 増井氏は技術士として関連知識の教育を提供するとともに、プログラマーとしても活躍している。ネットワークや情報セキュリティの分野でテクニカルエンジニアとしての役割を果たし、情報処理技術者試験やビジネス数学検定1級などの資格試験にも多数合格。ソフトウェア開発では、ビジネス、数学、ITを融合させ、コンピュータの効率的かつ正確な使用法を支援している。 教育の一つとして本を執筆する活動もしており、『Obsidianで“育てる”最強ノート術』（技術評論社刊）『1週間でシステム開発の基礎が学べる本』（インプレス刊）『「技術書」の読書術』『図解まるわかり セキュリティのしくみ』『図解まるわかり プログラミングのしくみ』（翔泳社刊）など多数の書籍を執筆。個人でも同人誌づくりをしたり、シェア型のリアル書店で自身の書籍を販売したりするなどの活動も行っている。 増井氏は
皆様こんにちは、NewsPicksエンジニアの米澤です。 先日 2023/03/30は、こちらでアナウンスしていた通り、サービスの停止を伴うシステムメンテナンスを実施させて頂きました。 NewsPicksをご利用頂いている皆様には、ご迷惑おかけいたしました。 今回はこのメンテナンスの中で行われたDBテーブルのmigrationについてお話ししたいと思います。 ことの始まり やったこと 方針決め utf8mb4に対応していないテーブルを調べる migrationを作成する 影響範囲を調べる 開発環境でリハーサルを行う メンテナンスの日 最後に ことの始まり NewsPicksではバグの検知にBugSnagを利用しています。 ある時、BugSnagにこんなエラーが通知されてきました。 org.springframework.orm.hibernate4.HibernateJdbcExcepti
現在の私たちが何気なく使っている絵文字たち（😀🥺💦💕🏠💻🌊😈🐱💢…）って、実は誰でも提案📝📮することができて、「この絵文字はワシが作った👴」と言えるチャンス💪があることをご存知ですか❓🤔 このスライド📄では、普段あまり知ることのないUnicode Emoji😀（絵文字の代表格）の仕様策定の流れ💨や…
ロリコンオタクのせいで日本人がネットから排除されていた
はてな村村長の語りに便乗して昔話しちゃおうかな 結構多くのWEBサーバのアクセス制限で.co.jp .ne.jp .jpがdeny設定されていたって話である。 https://b.hatena.ne.jp/entry/s/twitter.com/kanose/status/1601270223386324992 2005年までの個人サイト＆自宅サーバブーム個人のネット利用で大きな転換点は2005年くらいで、例えばブログのはしりのはてなダイアリーサービス開始は2003年でアルファブロガー選考開始は2004年、youtubeサービスインが2005年だが、これらの特徴は「アカウントをとって企業のWEBサービスを利用する」という、今では当たり前の方法だ。 だがこの以前にはそういう方式のものは少なく、ISPや借りたレンタルサーバに自分でコンテンツをアップロードして構築するというのが主流だった。 これ
米Googleは2月12日（現地時間）、Android向けキーボードアプリ「Gboard」の新機能「Emoji Kitchen」を発表した。2つの絵文字をミックスしてカスタマイズした絵文字を使える。同日からすべてのGboardユーザー向けにロールアウトしていく。 Gboardをメインのキーボードに設定し、Gmail、Googleのメッセージ、メッセンジャー、Snapchat、Telegram、WhatsAppなどのアプリでの入力で絵文字を選ぶと使える（本稿執筆現在、筆者のGboardではまだできない）。 自分で新しい絵文字を作れるわけではないようだ。公式ブログには、「絵文字をタップすると、Googleのデザイナーが特別に手作りしたステッカーが（候補として）多数表示される」とある。 関連記事 「Unicode Emoji 13.0」決定──タピオカドリンクも遅まきながら登場 Unicode
技術書典13で注目している新刊本
2022年9月11日（日）追記 技術書典が始まって2日経ちました。ありがたいことに筆者の本を買ってくださった方もいらっしゃいます。本記事で紹介した本はすべて購入し、ダウンロード可能なものには全部目を通しました。結論からいうと全部買ってよかったです。買って後悔するような本はひとつもないので、安心してお買い上げください。一部の本には購入後のコメントを書き加えました。しかし皆さんクオリティが高いですね。 もうすぐ技術書典13が始まります。筆者は今回初めて出展者として参加することもあり、とても楽しみにしています。オンラインマーケットも技術書典13仕様になり、新刊特集も登場しました。 新刊特集のキャプチャ（筆者の本も入っています。うれしい！） DiscordやTwitterを見ているとギリギリまで執筆している方も多く、新刊特集の対象本は毎日のように増えています。まだまだ増えそうですが、とりあえず現時
そろそろオープンデータを無秩序に管理するのは卒業したいので📦データを管理するパッケージマネージャを開発した【ツール開発】 - Qiita
今回はdim(オープンデータパッケージマネージャ) v1.0のリリースに伴って開発したツールの紹介をしたいと思います。 オープンデータもパッケージマネージャ(apt、npm、gem、pipなど)と同じようにnpm install xxxxxのような形でオープンデータをインストールして管理すると良いのではないかという話です。 以前のバージョンに関しては以下の記事で紹介 【個人開発】パッケージマネージャーの考えを流用してオープンデータ管理ツールを作ってみた話 以前の記事を読んでいてv1.0からの変更点に関して読みたい方 dim v1.0 変更点 オープンデータを無秩序に管理するのはやめたい ソフトウェアやライブラリの管理は世の中様々な体系化された方法が確立されつつあります。ソフトウェアであればaptやbrewなど、ライブラリであれば言語ごとにnpmやgemなどが存在します。しかし、データに関し
はじめに 2023年、長い時を経て awk がとうとう Unicode (UTF-8) と CSV に対応しました 🎉🎉🎉 awk で日本語がうまく扱えない（場合がある）、Excel が出力する CSV ファイルが扱えない（場合がある）、といった問題が解決に向けて一歩に進みます。 去年、本家 awk (One True Awk, nawk) に Unicode サポートが Brian Kernighan の手によって追加されたと話題になった（参照）ことを覚えているでしょうか？ Brian Kernighan が誰だか知らない方がいるかもしれないので説明すると、オリジナルの awk の開発者の一人で awk の頭文字、Alfred Aho、Peter Weinberger、Brian Kernighan の一人です。通称「K＆R」の「プログラミング言語C」や「プログラミング言語AWK」
QRコードを解読した話【LAWSON presents 夏川椎菜 2nd Live Tour 2022 MAKEOVER 参加記】 - marich1224 のメモ
注意 この記事では，LAWSON presents 夏川椎菜 2nd Live Tour 2022 MAKEOVER (以下，MAKEOVER) 公演中に登場した QR コード*1が何であったのかに関する重大なネタバレがあります．セトリのネタバレは(1曲を除いて)ありません． 発売した Blu-ray を見ながら自力解読したい方はご注意ください． また，あまりにも時間が経ちすぎてしまったため，話の展開に合わせて一部脚色している箇所が(たぶん)あります．そちらもご容赦ください． 追記 (2022年11月14日 4:17): 夏川椎菜さんがこのブログをご覧になったようです． 夏川椎菜さんがこのブログをご覧になったようです． 推しに駄文が読まれてしまいましたね……． 事の顛末を簡潔に説明します． 昨日，2022年11月13日 は 「MAKEOVER」Blu-ray発売記念のプレミア上映会でした．
本稿では、gihyo.jp編集部で利用しているMarkdownファイルの記述方法を主に解説します。 注意：gihyo.jp編集部内でのみ採用しているMarkdownの書き方をまとめた文書を、記事の体裁を取って公開したものです。なお、記事公開後に記述方法を追加・変更する可能性もあります。 Markdownとは？ はじめに、筆者の把握している範囲でMarkdownについて概説しておきます。 近年は一般向けのウェブサービスやテキストエディタでも利用されてきているMarkdown。端的に言えば、テキストファイル上で文書を書くための構文です。文書の読みやすさに焦点を当てており、Markdown形式のテキストファイル（＝Markdownファイル）をそのまま見れば文書とその構造が理解できるように、Markdown特有の編集記号や字下げを用いて表現します。また、MarkdownファイルをHTMLファイルに
杜甫々 （「とほほのWWW入門」サイト管理者） 「とほほのWWW入門」というWeb関連の技術情報を掲載するサイトを運営しています．1996年9月に始めたので，もうそろそろ29年目に突入となります．HTML, CSS, JavaScriptを始め，Python, Rust, Goなどのプログラミング言語，React, Vue.js, Angularなどのフレームワーク，Docker, Kubernetes, OpenSSLなどのツール群，文字コード，正規表現，暗号化などの要素技術などなど，目につくIT関連情報を色々紹介してきました．途中サボっていた時期もありますが，ここ最近は1週間に1つはなんでもよいので記事を追加したり更新したりしています． ある講演会で，私が初めてコンピューターに触れたころの話から，サイト作りを始め，継続してきたことについて一通り語ったあと，来場者からの質問で「続けられる
未だ現役なPerl5.8 ＆ MySQL4.0とどう戦うか？ ライブドアブログが生んだカオスとレガシーからの脱却 Inside of Blog 15年熟成されたサービスの光と影、カオスとレガシーへの挑戦 #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Inside of Blog; 15年熟成されたサービスの光と影、カオスとレガシーへの挑戦」に登壇したのはLINE 開発Bチームの大森貴博氏。後半パートとなる今回は、現役で稼
行きつけのオシャレ美容院からのLINEの文末にいつも必ず絵文字の“うんち”が付いてて謎だったが、原因が判明したかもしれない「大事故じゃん…」
草 @kusa39_39 (´ﾟдﾟ｀)！！！ ってことは、『今夜の晩御飯はあなたの大好きなカレーだよ♪』が『今夜の晩御飯はあなたの大好きなカレーだよ💩』になるのか……(´・ω・｀) あーぁ(´ﾟдﾟ｀) twitter.com/310ich/status/…
島根１区〝かめいあきこ〟問題に終止符 渦中の同名「亀井彰子」氏が出現し陰謀論一蹴！（東スポWeb） - Yahoo!ニュース
与野党一騎打ちのはずが、野党候補と名前の読みが同じ「かめいあきこ」氏の出馬表明で注目の衆院選島根１区。渦中の無所属新人・亀井彰子氏（６４）が３０日、松江市内で個人演説会を開いた。 【写真】こちらが亀井彰子氏 ラフな格好だった 島根１区は、自民党細田派会長の前職・細田博之氏（７７）に対し、前回は比例復活した立憲民主党前職・亀井亜紀子氏（５６）が挑む。地元政界関係者によると、思わぬ〝ダークホース〟の参戦で、亜紀子氏は「名前を漢字で書いてほしい」と票の取りこぼしを防ごうと必死。当初は窮地に追い込まれる見方もあったが、むしろ浮動票層から注目が集まっているという。 一方の彰子氏は、選挙カーがなく運動員もいない。選挙ポスターの掲示も少ないため、多くの有権者に「謎の人物」として受け止められていた。そんな中この日午後、市内の会議室で開かれた３回目の個人演説会には、有権者１５人ほどが「どんな人なんだ？」と集
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINEで働くエンジニアに色々と話を聞いていく「LINE Engineer Insights」。LINEの技術組織で働く人々に、何を重視して技術者としてのキャリアを歩んでいるのか、今LINEで何に取り組んでいるのか、今後実現していきたいことなどを聞いていきます。 今回登場するのは、MySQLエキスパートとして広く名を知られる田中翼（@yoku0825） 。日本人として3人目のMySQL分野のOracle ACEであり、2015年には「default_password_lifetime」の功績でMySQL 5.7 Community Contributor Awardに選出された田中は、2021年6月よりLINEのITSC DB
UTF-8で動くRailsがShift_JISな外部システムと通信する方法 - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部Webアプリケーション開発課のフサギコ(髙﨑)です。部署名が変わりました。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 本記事では、UTF-8環境下で動くRailsがShift_JISな外部APIと通信する方法についてお話しします。 前提知識 文字コード UTF-8環境下で動くRailsがShift_JISな外部システムと通信するには Shift_JISな外部APIに対してPOSTリクエストする べた書きとしては Railsにおいては Shift_JISで使用できない文字が混ざっていないかをバリデーションする Shift_JISな外部システムからPOSTリクエストを受ける おまけ: ユーザのブラウザにShift_JISでPOSTさせる
今回は「異体字」についてお話しします。すこし専門的な部分もあるので、適宜不要な部分は読み飛ばすことをお勧めします。 こんな問題から始めてみましょう。世田谷区の区章とその説明文は以下のように書かれています。 外輪の円は区内の平和、中心は「世」の文字が三方に広がり、人びとの協力と区の発展を意味しています。（世田谷区の紋章、シンボル | 世田谷区ホームページより） 「中心は『世』の文字」とありますが、そうは見えません。なぜこのような形なのでしょうか。 前回の記事 本記事は連載形式で、前回の補足のような内容になっています。前回の記事もご参照ください。 shokaki.hatenablog.jp クリックで目次の表示／非表示 前回の記事 異体字とは 異体字の認識 異体字の使われ方 どこまでが同じ漢字か 誤字か異体字か 異体字はどうできるのか よく使う字は略字化する 画数の多い字は正確でなくても読める
このテキストは岩崎夏海・稲田豊史両氏による、先日絶版・回収になると発表があった『ゲームの歴史』の１、２、３の中で、ゲームの歴史的に見て問題があり、かつ僕が指摘できるところについて記述していくテキストだ。 （11）は３巻の第19-21章を扱ったものになる。 該当の本の引用部は読みやすさを考慮してスクリーンショットからonenoteのOCRで文字の書きだしをしたものを僕が修正したものになっている。なので校正ミスで本文と若干ずれたり、誤植がある場合があるかも知れないが、そこは指摘いただければ謹んで修正させていただく。 シリーズは以下のリンクを読んでいただきたい。 『ちょっとは正しいゲームの歴史』を国会図書館に納本しましたゲームレジェンド新刊『ちょっとは正しいゲームの歴史』できました書籍「ゲームの歴史」について(12/終)書籍「ゲームの歴史」について(11)書籍「ゲームの歴史」について(10)書籍
はじめに Microsoftの提供するVisual Studio Code（VSCode）は、2015年の最初のリリースから、今では開発用エディタの定番の座を占めるまでになりました。これには、無償で使えることも大きいですが、何よりエディタとしての使いやすさ、そしてさまざまな拡張機能によっていくらでも使い勝手を向上させたり、利用の領域を拡げられたりすることも大きいでしょう。本連載では、このVSCodeにフォーカスし、基本的な使い方から拡張機能の活用、そして本格的な開発現場での利用を想定した高度な機能までを紹介していくことで、読者がVSCodeマスターになるお手伝いをします。 対象読者 テキストエディタメインで開発してきた方 Visual Studioより軽い環境が欲しいと考えている方 Visual Sudio Codeをもっと使いこなしたい方 必要な環境 本記事の内容は、以下の環境で動作を確
2024年6月10日 長年にわたりISOイメージ形式で配布してきた「Ubuntu日本語Remix」ですが、Ubuntu 24.04 LTSではリリースしないことに決定しましたのでお知らせします。 理由は以下の通りです。 新しいインストーラー採用に伴うカスタマイズ難易度の増加 Ubuntu 24.04 LTSから新しいインストーラーが導入され、ISOイメージのファイル構成が変更されました。この変更により、ISOイメージをカスタマイズすることが難しくなりました。 多言語ライブ環境の非対応化 Ubuntu 24.04 LTSの公式ISOイメージは英語以外のライブ環境に対応しておらず、日本語ライブ環境を実現するためには大きな変更が必要となりました。 Ubuntu日本語RemixのISOイメージの主な利点は、日本語ライブ環境が使えること、およびインターネット未接続状態でも日本語のデスクトップ環境をス
ChatGPT Code Interpreterで気象データを分析する - Taste of Tech Topics
最近は、健康系アプリにはまっているkonnoです。 今年は本当に暑いですね...過去〇〇年で最高、などと言われることもありますが、でも、実際のところはどうなんでしょうか？ 今回は、データさえ与えればあっという間に分析してくれるCode Interpreterを使って、過去の気象データから気温変化の傾向を見てみたいと思います。 気象データをCode Interpreterで分析 気象データを取得する 今回使用する気象データは、気象庁が公開している「過去の気象データ・ダウンロード」という以下のページから取得しました。 www.data.jma.go.jp 条件としては、以下のようにしています。（※今回は2022年12月31日までのデータを使用しています。） 項目 内容 地点 横浜 項目 日平均気温 期間 1893/01/01 ～ 2022/12/31 表示オプション デフォルト設定のまま ファ
PDF に謎の漢字が含まれるとき
gistfile1.md PDF に謎の漢字が含まれるとき PDF などの中にある一部の日本語の漢字が、見た目は同じだけど異なる謎の文字に変換されていることがある 例 1: https://www.mhlw.go.jp/content/10906000/000628667.pdf 「長野」と「長崎」の「長」が、 U+9577 ではなく「⾧ (U+2FA7)」になっている 例 2: https://www.dpri.kyoto-u.ac.jp/news/12739/ 大量にある、どうしてこうなった PDF ではないので何かからコピーして書いた？ この文字は 康煕部首 (Kangxi Radicals) というもので、部首としての文字である ＭＳ ゴシックなど Kangxi Radicals の字形がないフォントを指定すると表示できないので区別しやすい どこから来たのか？ これらは（フォントに
Kernel/VM探検隊は、カーネルやVM、およびその他なんでもIT技術の話題ジャンルについて誰でも何でも発表してワイワイ盛り上がろうという会です。takeoka氏は、8進数について調査、発表をしました。 よく使う命令は暗記をしていた16進世代 takeoka氏（以下、takeoka）：takeokaです。低レイヤー、長い人生、そして……まぁ、格調が低い話をします。 私は16進世代です。若い人にはわからないかもしれませんが、昔はTK-80しかなく、assembleしてくれる機械なんて持っていなかったので、みんなアセンブラ・ニーモニックでバーっとプログラムを書いて、それが終わったらおもむろに16進コードへの変換を手でやっていました。だからよく使う命令は、基本的に暗記していました。 あれですね。HLレジスタへのimmediateのloadは「21」とか、Aレジスタへのimmediate loa
When you open a document with an encoding different than the one it was created with, it's not possible to display the original text, and instead a garbled mess of corrupted characters are printed out. These are called "mojibake" in Japanese, and the word has also been borrowed into English. While mojibake aren't readable by humans, it turns out that different kinds of mojibake have different visu
MBSDでWebアプリケーションスキャナの開発をしている寺田です。 前記事では正規表現でのURLのチェックについて書きました。今回はその続きでマルチバイト文字を使った攻撃について書きたいと思います。 前提条件 本記事で想定するのは、ブラウザからパラメータとして渡されて来るURLを、リダイレクトやリンク等のURLとして使うケースです。その中でも、以下のようにサブドメイン部分（★の部分）を可変にする状況を主に想定します。 https://★.example.jp/… 攻撃の目標は、異なるドメイン（evil）のURLを与えてチェックをすり抜けることです。前回の記事にも書きましたが、この状況は（半角英数等のサブドメインしか受け入れないような場合を除き）「/」「?」「#」「\」のいずれかをサブドメインに入れることで攻略できることが大半です。 今回はこれらの記号が全て使用できないように対策されているこ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 徹底攻略 AWS認定 クラウドプラクティショナー教科書 第2版［CLF-C02］対応 トレノケート株式会社 高山裕司 超楕円関数への招待 楕円関数の一般化とその応用 松谷 茂樹 手を動かしてわかるクリーンアーキテクチャ ヘキサゴナルアーキテクチャによるクリーンなアプリケーション開発 Tom Hombergs(著), 須田智之(訳) 詳解 AWS CloudFormation 潮村 哲 その決定に根拠はありますか？ 確率思
🚭ด้้้้็็็็็้้้้้็็็็็้้้้้้้้🔞龴⟿ﬨ֞ꆸ௵冫ם෴. ﷼ ℳ✧ ۞ on Twitter: "見事なまでの「あ、男性でしたか。失礼しました」現象。そもそも自分が男であるか女であるかがその主張に対して重要であるのかつー話。 女性差別はやっぱり本当にあるんだなぁ。 https://t.co/G5flEPxAo9"
見事なまでの「あ、男性でしたか。失礼しました」現象。そもそも自分が男であるか女であるかがその主張に対して重要であるのかつー話。 女性差別はやっぱり本当にあるんだなぁ。 https://t.co/G5flEPxAo9
はじめに CSVファイルをExcelで開こうとしたとき、電話番号や郵便番号の先頭のゼロ（0）が自動的に消えてしまったり、文字化けしてしまう...。そんな悩みをお持ちの方はいませんか？この記事では、データを正確に保持しながらCSVファイルを開く方法を簡潔にご紹介します。 1.CSVファイルとは そもそもCSVファイルって何？というところから説明します。 CSVはComma Separated Value（カンマで区切られた値）の略であり、CSVファイルはテキストデータの各項目を、カンマ（,）で区切って表現したファイルです。 言葉では理解しにくいので、画像で見てみましょう。 まず、こちらがExcelでCSVファイルを開いたときの画像です。 普段、Excelでデータを作成・編集しているときと同じように見えますよね？CSVといっても、特に変わったことはなさそうです。 では、Windowsの「メモ帳
まえがき ミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？ それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。なぜそのようなものが登場し、普及することとなったのか、この記事で解説する。 目次 まえがき 目次 凡例 この記事で使う名称について ビルマ語表記 コードポイント ラテン文字表記について Zawgyiの概説と歴史 Zawgyiとは Zawgyiのダウンロード Zawgyi誕生・普及の経緯 複雑なビルマ文字 ビルマ文字とUnicode 回避策としてのビルマ文字フォントの登場 Zawgyiの普及 Zawgyiの実装 実装の方針 文字の並べ替えをせず、左から右に書く 文字の形のバリエーション
漢和辞典は将来的に「絶滅」してしまうのか――。2022年8月上旬、こんな心配の声がインターネット上に飛び交った。 きっかけは、編集者だというユーザーのツイートだ。投稿によれば、漢和辞典の売れ行きは厳しく、内容を改訂できる編集者もほとんどいないという。SNS上では「漢和辞典無くなったら困る」などと動揺する声が相次いだ。 実際、現在の漢和辞典の売り上げはどうなっているのか。改訂の予定はあるのか。漢和辞典を出版する小学館と三省堂、漢字・日本語検索サイト「漢字ペディア」を運営する日本漢字能力検定協会に話を聞いた。 漢和辞典の改訂は難しい状況なのか 漢和辞典とは、漢字・漢語の読み方や意味について説明する辞典だ。漢字の画数や部首、筆順、音訓読み、意味、語源などが一般的に記されている。紙の辞書だけでなく、電子辞書やアプリ辞書、ウェブ辞書といった形のデジタル辞書も存在する。 話題の発端になったのは、編集者
Windowsでは、文字コードに「ユニコード」を使う。Windowsに搭載されているフォントはさまざまあるが、ユニコード文字を表示できるように、多数の文字の形が組み込まれている。 今回は、Windowsでユニコードを“見る”方法について解説する。なお、WindowsではUTF-16LEエンコードをUnicodeと表記する。ここでは、エンコードと混同されないために、文字仕様のUnicodeは「ユニコード」とカナ書きすることにする。 GUIアプリでユニコードを使う ユニコード文字は多数ある。それぞれの文字に割り当てられた文字コードをユニコードでは「コードポイント」と呼ぶ。コードポイントは、「U+」の後ろに16進数4桁または6桁で指定するのが正式な表記方法だ。たとえば、「漢」は「U+6F22」となる。ユニコード関連の文書やもちろん、インターネット内のウェブページでも同様の表記をすることが多い。
実務で使える メール技術の教科書 基本のしくみからプロトコル・サーバー構築・送信ドメイン認証・添付ファイル・暗号化・セキュリティ対策まで | 翔泳社
システム管理者・開発者が知っておきたいメール技術のすべて 【本書の特徴】 ・豊富な図解で、わかりづらい仕組みもよくわかる ・メール技術を軸に学ぶことで、「サーバー構築」「DNS」「セキュリティ」の仕組みが腑に落ちる ・システム開発・運用の実務で「使える」知識を網羅。1冊あれば安心！ 【本書の内容】 SNSやメッセージアプリに押されている印象のメール。 しかし、ほとんどのSNSやWebサービスのアカウント作成にはメールが必要です。ビジネスシーンでは、メールで連絡をする人がまだまだたくさんいます。 つまり、システムやサービスの開発・運営において、メールはいまでも不可欠なインフラなのです。 ところが、メール技術全般について体系立てて説明された情報源は、いつの間にかほとんどなくなってしまいました。結果として実務の現場は、必要な知識だけをインターネットで調べたり、先輩に聞いたりして、「その場をしのぐ
有名人の名前について知っていることを語る会
鳥取県出身。東京都中央区在住。フリーライター（自称）。境界や境目がとてもきになる。尊敬する人はバッハ。（動画インタビュー） 前の記事：ついに出た！ 過去最多＆最高の正解率！〜「ここはどこでしょう？」46回 ＞ 個人サイト 新ニホンケミカル TwitterID：tokyo26 一般人にとって全く不要な情報 有名人の名前はいろいろと面倒くさそうである。 藤岡弘、の最後は読点（、）が必要とか、伊東四朗は、伊藤四郎じゃないぞとか、水卜麻美の「卜」はカタカナじゃないぞ……といったようなことは、一般のひとが普通に生活するうえでまったく必要ない情報だが、メディア関係者はきちんと真面目に向き合わなければいけない。 そこで、大手出版社で週刊誌の校正を担当していた方と、テレビ局の広報部門で働いている方に集まってもらい、知っていることを話してもらった。 右から、出版社で校正を担当する稲川さん、テレビ局勤務のN子
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Slackはハイライト部分をU+E000とU+E001で囲って表していそう - hogashi.*
我が家の BigQuery による台所事情分析 - nownab.log
JavaScript における文字コードの初歩 - 30歳からのプログラミング
きちんと届くメールを実現するには？ 『メール技術の教科書』著者に聞く、古くて新しいメールの世界
MySQLのutf8mb4と戦った話 - Uzabase for Engineers
誰でも簡単⁉️👀 絵文字ができるまで😃👍
Google、絵文字を組み合わせた「ハート付きうんち」などを使える「Emoji Kitchen」開始
awkが新しくなる！？ 本家AwkがUnicode (UTF-8)とCSV対応に！ - Qiita
gihyo.jp編集部におけるMarkdown記法 | gihyo.jp
「継続は力なり」よりも「好きこそ物の上手なれ」｜情報処理学会・学会誌「情報処理」
未だ現役なPerl5.8 ＆ MySQL4.0とどう戦うか？ ライブドアブログが生んだカオスとレガシーからの脱却
MySQLエキスパートyoku0825が目指す、DBAとしての未来像
ゼロから始める異体字の世界【レトロデザインのための近代日本語講座〈2〉】 - マチポンブログ
書籍「ゲームの歴史」について(11) | Colorful Pieces of Game
VSCodeをプログラミングエディタとして強化しよう！ 便利な設定や拡張機能を紹介
Ubuntu 24.04 LTSの日本語Remixについて | Ubuntu Japanese Team
どうして昔の人は8進数でしゃべるのか 「TK80」「Z80」の16進世代が調べたオクタルの歴史
A Field Guide to Japanese Mojibake
マルチバイト文字とURL | 技術者ブログ | 三井物産セキュアディレクション株式会社
ExcelでCSVファイルを「0落ち」や「文字化け」なしで開く方法 - Qiita
ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ
漢和辞典が「絶滅」してしまう？ 窮状伝えた投稿拡散、心配広がる...その現状を出版社に聞いた
Windows上でユニコードを「見る」方法