UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話 利用シーン UTF-8で記述されたテキストをShift-JISエンコードに変換する機会はあります。 UNICODEで表現できる文字の種類の方がShift-JISに比べて圧倒的に広いのですべての文字が変換できるわけではありませんが、「これは変換できてよかろう」というものまでこぼれ落ちるケースは多数あります。 以下こぼれ落ちる例とその対応を示します。 サンプルコード まずはサンプルコード。 rubyで記述していますが、原理はどの言語でも同じです。 str = "あ～あ①髙島屋パバぱ" sjis = str.encode(Encoding::Shift_JIS, :invalid => :replace, :undef => :replace) File.
スクレイピング(RPA)を支える技術-環境構築＆初級編 – 株式会社ルーター
お久しぶりです、エンジニアリードのSakaeです。 本技術ブログ解説以来、弊社スクレイピングエンジニア達がクローリング/RPAにまつわる様々な基礎技術や、クローラーをサーバー上で稼働させるための環境構築方法などについて個別に記事を書きためて来ました。 ここらで、これらのバラバラな基礎技術どうしを一本に繋げて、スクレイピング初級者の方でもモリモリデータ収集を行って頂けるような、1から10まで・・・とはいかないものの、1から5までくらいの技術が身につくまとめ記事を書きたいと思います。 まずはスクレイピングエンジニアとしての心得を学ぶ 拙記事で恐縮ですが、スクレイピング/クローリングエンジニアとはどのような職種で、どのような思考回路が求められるのか？また、データクローリング（データアグリゲーション）が活用されるビジネスの世界について頭に入れて頂ければと思います。 職業スクレイピングエンジニアが考
seleniumでログインやスクロールが必要なSNSサイトのスクレイピング
こんにちは。学生エンジニアのhashimotoです。もう平成最後の年末ですね。 今回は、「selenium（セレニウム）を使ってSNSサイトにログインし、タイムラインをスクロールして自動取得する」という流れをご紹介します。マストドンというSNSのQiitadonというインスタンスを例としてプログラムしていきます。 seleniumを使ってログイン 今回はqiitaでマストドンにログイン、qiitaにtwitterでログインという流れでログインしていきます。 まずはgemのrequireやseleniumの設定です。このあたりは過去記事にseleniumの環境構築の記事がありますのでそちらを参照してください。 require 'selenium-webdriver' require 'nokogiri' Selenium::WebDriver::Chrome.driver_path = "/
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
