SKKの辞書を1つに統合しつつUTF-8で保存する
概要 使い方 iVimにeskk.vimを導入する 余談：MacからiVimを操作する 概要 Macが手元にないときでも手軽にテキストメモを取る環境を検討していた。 昔、iPhoneにBluetoothキーボードを接続してエディタを使ってメモを取っていたが、日本語変換があまりにも微妙すぎるため段々使わなくなってしまった。 私は、MacではエディタはMacVimを使い、日本語入力にはAquaSKKを使っている。 vimもskkも非常に便利だが、慣れてしまうと他のものが使いづらくて仕方がなくなってしまうのが欠点だ。 かなり昔にiOS用のVimというアプリが出て来たことは知っていたが、このアプリは日本語入力ができなかったり、他のアプリとのファイル共有が出来なかったりと使い勝手が微妙だった(ひょっとしたら、どちらも今は出来るようになっているかも?)。 まぁ、iPhoneでvimが動くだけで嬉しいの
注意 この記事は、core.autocrlf=trueの方が結果的に安全になる（一般的にはfalseにしろと言われているけど）、という主旨の記事ですが、既にfalseで運用がされている現場では、もちろん勝手にtrueにすれば混乱を生む可能性があります。 結局チーム全体で話し合って決めることですので、先走らないようご注意ください。 Windows環境でGitを使おうとすると改行コードの扱いに困る Windows環境でGitを使い始める時に最初に悩むのが、改行コードの自動変換設定（autocrlf）です。 テキストファイルの改行コードは、Mac/Linux/Unixの世界では基本的にLFです。しかしWindowsではCR+LFとなっており、MacやLinuxで開発されたコードをWindowsで開くて編集すると、一部の行だけがCR+LFになっている改行コード混在ファイルが出来上がってしまったりし
GitHub ActionsとGitHub PagesでつくるWeb API（郵便番号検索） - @mizumotokのブログ
GitHubが値下げと無料の「Free」プランの拡充を発表しました。昨年はCI/CD機能であるGitHub Actionsをリリースしたり、GitHub Pages（静的サイトホスティング）やPackages（パッケージホスティング）、Projects（プロジェクト管理）などがすでにあり、機能がどんどん充実していきます。 アプリケーションを動かすことはまだできないのですが、GitHub Actionsでプログラムを動かせるようになったので、GitHub Pagesと組み合わせれば、簡単なWeb APIもできます。 さっそく郵便番号から住所を返すAPIを作ってみます。 GitHubが無料の「Free」プランを拡充 GitHubだけでWeb API 郵便番号検索API GitHub Pages 郵便番号データ作成プログラム 処理の流れ データをダウンロードするプログラム ファイルを保存するプロ
過去の記事からもわかるように、僕はmarkdownからhtmlやpdf等に変換する際に、pandocだけでなく、sedも組み合わせてシェルスクリプトやバッチファイルを作る。 Windows環境の場合、これまではsed for Windowsをインストールして、バッチファイルにsedコマンドを並べて処理していた。しかし、 gnuwin32のsedコマンド使用時に半角記号や文字コードで気をつけること - Qiitaでも紹介されているように、同じsedのはずなのに、一部の記号について、Linuxのシェルスクリプトに書いたsedでは問題なく置換してくれるものが、Windowsのバッチファイルに書いたsedではエスケープをつけないと置換してくれない（またはエスケープ方法が分からない）というような状況になっていた。 もういいかげん面倒くさくなってきたので、Linuxでつくったシェルスクリプトをそのまま
HTMLメール作成にあたってのまとめ記事です。 HTMLメールは、通常のWebサイトのようにコーディングが出来るわけではなく、 さまざまな制限の中作成する必要があります。 今回は、レイアウト崩れをなるべくおこさない、HTMLメール作成のポイントをまとめていきます。 HTMLメール作成のポイント meta関連 HTML 4.01を使用する。文字コードはメーラーで使用されている「iso-2022-jp」を使用する。CSSは<style>タグ内またはインラインで記述する。viewportに「initial-scale=1」を基本入れない。(Androidでバグの可能性あり)body要素に「-webkit-text-size-adjust: 100%; -ms-text-size-adjust: 100%;」を指定しておく。colorの指定の際、#fffなど省略記法を使用しない。#ffffffと6
今や懐かしいPerlのワンライナー。 古くなったとはいえ、ちょっとした、でもsedコマンドだけではできないような複雑なテキスト加工処理（CSVファイルも）には適している。 いろいろオプションはあるのだが、最小限に絞って備忘録的に。 よく使うオプション 基本 -e 'スクリプト'： 実行するPerlスクリプトを指定（1行） perl -e 'print "Hello"' output: Hello 入力が前提 -l：（入力から改行を取り除いたうえで最後に）出力結果を改行する。表示制御の目的で使われることが多い。データ加工の際は使わないほうが安全（使うとしても最後の処理として）。 perl -le 'print "Hello"' output: Hello -n：ファイルを読み込んで1行ずつ（whileで）処理する。行の内容は特殊変数$_に格納される。 perl -ne 'func' file
将棋所：将棋所の使い方
ホーム＞将棋所の使い方 将棋所の使い方を簡単に説明します。 ダウンロードと展開 初期設定の引き継ぎ 自動更新 メインウィンドウ エンジン管理 対局 サーバ通信対局 サーバ通信対局(floodgate) サーバ通信対局(電竜戦) 一対一通信対局 リーグ戦 検討 棋譜解析 連続棋譜解析 詰将棋解答 連続詰将棋解答 棋譜の分岐 読み筋コピー、読み筋を棋譜の分岐に追加 棋譜入力 棋譜の読み込み、保存 局面の保存 棋譜解析の読み込み、保存 盤面の画像を保存、コピー 形勢判断グラフ画像を保存、コピー 棋譜や局面のコピー、ペースト 局面編集 ツールバーのボタン操作 対局結果一覧 表示設定ダイアログ デバッグウィンドウ ダウンロードと展開 将棋所を使うためにはまず将棋所をダウンロードする必要があります。将棋所のダウンロードページ上部にある「将棋所x.y.zをダウンロード」（x.y.zにはバージョン番号が入
技術系かるた/カードゲームまとめ - Qiita
世の中はかるたで溢れている プログラミング言語かるたや、Gitコマンドかるたを作っている whiims という制作チームのちげと言うものです。 技術書典 等でも見受けられるように、技術系のかるたが世の中には溢れてきているので、まとめサイトを作りました。ついでに技術系のカードゲームも紹介してます。うちのも紹介して！ってのがあればぜひ Twitter(@Chige12_) へリプ飛ばしてきてください。 技術系かるた Hello Worldカルタ Hello Worldが出力されるコードが取り札、言語の特徴や歴史等の解説が読み札になっている。 プログラミング言語かるたも同時期に出た1 ので、製作者同士で気の使い合いをしていた。手作りらしいので安い。デザインもシンプルで解説文が多いのがいい感じ。僕は買いました。 Hello Worldカルタ on Strikingly むらさきのショップ Twit
目次 qiita.com zenn.dev ■画面作成(WPF/xaml) スタイル/Template(Style/Template) 考え方と基本的な使い方 xaml画面の構成要素の見た目のいじりかた(Style/Templateの使いどき)あれこれ Styleでできることと書き方 Templateでできることと書き方 実際に使ってみる Sliderを改造する中で、標準のコントロールを改造する方法を知る WPFのListBoxをカスタムする styleでアニメーションを動かす(Storyboard) [C#/WPF] Storyboardの動かし方(Startのさせ方) あれこれ Storyboardでアニメーションをつくる Storyboardでアニメーションをつくる2(TargetPropertyの階層的な指定) xaml＋C#で当番決めのためのルーレットを作る(アニメのstart/
VB.NETで書いたMySQLアプリが突然動作不能に - 南無ちゃんのブログ https://namva.net
昨日、とある方から電話があり、私が書いたアプリが動作しなくなった（エラー終了する）というのです。Linux（Ubuntu）上でMySQLサーバーが動作しており、Windows10パソコンからMySQLサーバーにアクセスするというシステムで、Windows10側のアプリはVB.NET 2019で書いています。 今日、電話で詳しく状況を確認すると、Windows10パソコン側でMySQL Workbenchを使ってMySQLにアクセスすると正常にデータベース（テーブル）にアクセスできるというので、ネットワークを含めハードウェアは正常に動作しており、データベースも正常に動作しているようです。 電話では、これ以上のことは分からないと判断し、詳しい状況確認のために、岡山市内まで車を走らせました。VisualStudioを使ってVB.NETアプリを起動してみると、Character set 'utf8
Windows Terminalは、Microsoftがオープンソースとして開発を進めるコンソールプログラム。従来Windowsには、Conhost.exeと呼ばれる組み込みのコンソールプログラムがあった。これは、標準ではコマンドプロンプト ウィンドウで使われている。Windows 11では、いよいよ標準のConhost.exeをWindows Terminalで置き換えることが可能になる。この記事では、こうした将来を見込み、Windows Terminalのキーボード割り当てとそのカスタマイズ方法を解説する。 Windows Terminalとは？ Windows Terminalは、Windows 11からは、標準的なコンソールとしても利用できるようになり、今後、コンソールプログラムの主流になることが予想される。いまのところWindowsに標準で搭載されているわけではないが、Micro
Docker ComposeでLAMP環境を構築します。WebサーバにNginxを使い、SQLはMySQL、PHPはバージョン8.0を使います。 はじめに 他の記事にDocker ComposeでLAMP環境の構築方法を記載(https://codeaid.jp/blog/docker-lamp/)していますが、ここではWebサーバにNginxを使い、PHPのバージョンを8.0にしています。 他の記事では手軽にLAMP環境を構築するためコンテナにphp-apacheを使っています。 Webサーバを別のコンテナにしてサービスをそれぞれで起動して環境を作ることで拡張しやすくなるでしょう。 LAMP環境の構成 ここでは以下のサービスを使ってLAMP環境を構築します。 Webサーバ：Nginx最新版データベース：MySQL5.7DB管理：phpMyAdmin最新版サーバ側スクリプト：PHP8.0
Microsoft PowerPoint - A-3-1
公益社団法人 私立大学情報教育協会 Page 1 A-3-1 標的型攻撃メールと添付ファイ ルのマルウェア（静的）解析 中部大学 岡部 仁 公益社団法人 私立大学情報教育協会 Page 2 目的 A教授に送られた植木総務課長からのメール調査 ・メールヘッダの解析 ・添付ファイルの解析 ① メールヘッダを解析し、メール送信先および問題点を把 握する方法を理解する。 ② 添付ファイルの概要解析方法（正常なファイルでない）を 理解する。 公益社団法人 私立大学情報教育協会 Page 3 メニュー 1. メールヘッダの解析： 演習3-1 2. 標的型メール調査の着目点 � メールヘッダ � 本文表記 3. 添付ファイルの解析: 演習3-2, 3-3 ① ファイル種別の調査 ② 不正な添付ファイル情報の確認 � ツール � オンラインWebサイトの利用 4. まとめ 公益社団法人 私立大学情報教育協
プログラマの数学 プログラマの数学という本があるらしい。 プログラマに必要な数学は引き算だけだと思っている。 だからまだ読んでいない。 計算機に数学は必要だと思っている。 だからプログラマには数学は必要ないというのが持論。 ＜この項は書きかけです。順次追記します。＞ プログラマの英語 それはともかく、「プログラマの英語」について考えてみる。 前提としてプログラマは自然言語が話せる必要はないと思っている。自然言語の日本語も、自然言語の英語も話す必要はないと思っている。 プログラミングには、英単語に基づいた定義がいろいろある。そこで、プログラミング言語によって、知っていると便利な英単語はあるかもしれない。 国際英語 情報技術の国際会議に参加して、 フランス人はフランス語発音の英語を話す、 ドイツ人はドイツ語発音の英語を話す、 スペイン人はスペイン語発音の英語を話す、 イタリア人はイタリア語発音
掲題の通り。設定だけならそれほど大したことはなかったが、一点謎の不具合があってそこそこハマった。 プロジェクトにrubocopを導入。 この辺は公式のReadme等読みつつ雑に実施。 gemfileにrubocopを入れて、.rubocop.ymlを用意するだけ。 参考: https://github.com/rubocop-hq/rubocop 元ファイルはRailsのRubocopをベースに作成。 rubocop-railsやrubocop-performanceを使っている様子なので、こちらもGemfile等に入れておく。 参考: https://github.com/rails/rails/blob/master/.rubocop.yml rubocopの対象外にしたいファイルは除外する。 参考: https://qiita.com/necojackarc/items/8bc160
日本語ファイル名称の文字化け - Qiita
Cソースコードで日本語のファイル名称を設定した際、ちょっとはまったことをメモ。 現象： Linux環境において、Cソースコードで日本語ファイル名称のファイルを生成すると、ターミナル画面以外では正常にファイル名称を表示できない。 ターミナル画面(正常表示) USBメモリ自動マウント時の画面(文字化け) Windows(Windows10)エクスプローラの画面(文字化け) 動作確認環境： OS：Linux(Ubuntu 22.04) / Kernel 5.19 結論から言うと、原因はこの2つでした。 ① ファイル名称の文字コード ② マウントオプション ① ファイル名称の文字コードをUTF-8にする ファイル名称の文字コード変換方法はこちらを参考にしてください： https://qiita.com/tester09/items/2b28b6b37febf2f57123 もちろん、これはソースコ
定番フリーソフト for DOS
_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ _/_/_/_/_/_/_/_/_/_/_/_/_/_/_/_/ 定番フリーソフト for DOS http://pc.2ch.net/test/read.cgi/software/986738175/l50 http://pc3.2ch.net/test/read.cgi/software/986738175/l50 http://pc2.2ch.net/test/read.cgi/software/986738175/l50 http://pc5.2ch.net/test/read.cgi/software/986738175/l50 http://pc8.2ch.net/test/read
はじめに こんな人が役に立つ記事 コーディング業務の効率を上げたい。 コーディングに関するチートシートを知りたい。 打つのもめんどいからコピペでなんとかしたい（笑） 今回は、コーディングに役立つチートシートをまとめました。 VSCODEチートシート エンジニアなら必ず使うであろうVsCodeのショートカットチートシート。これはよく使ってます！ HTML系のチートシート集 HTMLに関するチートシートをまとめてみました。 HTML5 タグチートシート HTML5 のタグチートシート。サイトには 5 から廃止になった避けるべきタグなどもまとめてられており、 PDFでダウンロードできます。 HTML5 入れ子チートシート HTML の入れ子の可否を視覚的に分かりやすく、色づけしてくれます。対象要素の親、子を選ぶだけで、簡単に調べることが出来ますので便利なチートシート 特殊文字一覧：HTMLで使え
"macOSX/Linux/ThinkPad/AWS/Wordpress/Python/Blender/Unity/Drone/DTM/etc…" さてさて、今回はLinuxの圧縮ツールの使い方についての紹介です。 zip形式で圧縮されたファイルはLinuxで解凍する際には「unzip」コマンドで解凍します。 この解凍を行う際、解凍後に文字化けしてしまうケースがあります。 例えば、Winodwsでzip圧縮したファイルをLinuxで解凍する場合には、 文字コードがSJISのまま、解凍されてしまうため、解凍後のファイル名が 文字コード変換されずに文字化けとなります。 今回はこの解決方法について紹介します。 LinuxでWindowsのzipは文字化けする さて、筆者は前の記事でGarudaLinuxのWineでWindows向けのフリーのボカロアプリ、 「UTAU」を紹介しました。 今回はそ
前回、Linuxで文字コードがUTF-8のファイルに対して、BOM付き⇔BOMなしを変換する方法をご紹介しました。 最近ではあまり意識しなくなりましたが、UTFｰ8にはBOM（byte order mark）という厄介な存在があります。今回は、LinuxでこのBOMを付けたり外したりする方法をご紹介します。BOMとは？BOMを簡単に説明すると、そのファイルがUnicodeで符号化されているかどうかを、先... UTF-8のBOM付きとBOMなしを変換する方法（Linux） - Minory 今回は、改行コードのLF⇔CRLFを変換する方法をご紹介します！ 3つの改行コード 面倒なことに、OSによって改行コードが異なります。 LF: UNIXやUnix系のシステム。Linux、AIX、Xenix、macOS、BeOS、Amiga、RISC OSなど。 CR+LF: CP/M、MP/M、MS-
前置き ・パラメータ名がハイフン表記か、アンダースコア表記か常に意識しておく必要有 ・初めてMySQLを起動する前に設定すべき 後でも直せなくはないが、苦行 また、mysql/performance/sysスキーマをalter文で変更するの怖い(一部放置している…) 前提 ・MySQL5.7/8.0におけるmy.cnf(Linux)/パラメータグループ(AmazonRDS)での設定を考慮 ・文字コードはutf8mb4、照合順序はutf8mb4_general_ciに設定 ・データベースのことをスキーマ、MySQLサーバーのプロセス全体をサーバーと記述する 文字コード １．文字コードとは ・みんな大好き文字コードのため割愛 ・MySQL5.7も8.0もutf8mb4が無難 (cp932で保管しないといけないシステムもあるであろうが…) ２．文字コードに関するパラメータ ２．１．charact
スマホ（Android）のTermuxでGraphicsMagick（or ImageMagick）を使って複数の画像を一括縮小 - adbird（広告鳥） 備忘録
※最終更新 : 2020年3月18日。 準備編 Termux インストール tree インストール GraphicsMagick または ImageMagick をインストール 作業フォルダ（「画像リサイズ」）作成 スクリプトファイル作成 resize.sh resize2.sh スクリプトを移動させる 実行編（コマンド入力の場合） 撮影した当日に画像を縮小する場合 撮影した翌日以降に画像を縮小する場合 追記：実行編（ウェジェットでコマンド要らずで実行） Termux:Widget をインストール スクリプトをウィジェットに登録 スマホのホーム画面にショートカットのメニュー一覧またはアイコンを置く。 僕は通話専用のガラケーと、データ通信専用の格安スマホの2台持ちなのだが、スマホの通信プランは月1GB＋前月までの残通信量（最大1GB）＝ひと月、最大2GBという少ない通信量である。まあ、そのお
ローカル完結で、簡単なSMTPサーバーをテストに利用したい 簡易的なSMTPサーバーは色々ありますが、設定がよくわからなかったり、インストールが面倒だったりで、なかなかうまくいきませんでした。（完全に私の知識不足） そこで、下記のライブラリを用いて、node.jsのみで動く簡単なSMTPサーバーを構築しました。 smtp-server（SMTPサーバー用） mailparser（リクエスト内容の解析） jconv（文字コードの変換。nodeで書かれているので、Windows SDKとかの考慮は不要です。） 実装 まずは、各ライブラリをインストールします。 npm install --save smtp-server npm install --save mailparser npm install --save jconv 下記を保存して、nodeコマンドで実行すれば、587ポートでSMT
画像ビューアの作り方(Treeviewに画像と疑似チェックボックス)【Python】 - プログラムでおかえしできるかな
Python Tkinter の Treeview ウィジェットを用いて、画像ビューアを作成しました。 画像は Tkinter でサポートしている GIF、PNG に加え JPEG、WebP も表示します。 JPEG、WebP の表示と画像の情報取得には pillow を使用しています。 チェックボックスにチェックを付けてプレビューすることもできます。 ドラッグアンドドロップにも対応しています。 また、アプリ(exe)にファイルをドラッグアンドドロップすると、アプリが起動し画像を表示します。 画像表示の仕方や疑似チェックボックスの作り方、アプリの作り方をサンプルコードも交えて説明します。 アプリ(exe)も提供しています。 目次 ◆アプリのサンプル画像 ◆機能・特長 ◆記事の構成 ◆Treeviewで画像を表示 ◇画像を表示するには ◇画像オブジェクトの作成 【処理】 【コード】 ◇画像を
【Techの道も一歩から】第12回「基礎的な考え方であるTF-IDFを学ぶ」 - Sansan Tech Blog
Techの道も一歩から こんにちは。 DSOC R&D グループの高橋寛治です。 前回のブログの終わりに書きましたが、今回からは言語処理のアルゴリズムの紹介を行います。 ただ単にアルゴリズムを紹介するだけではなく、実際に実装し動作させた結果も掲載することで直感的な感覚も掴めるものにしたいと思います。 まずは、単純かつよく利用されるTF-IDFから始めていきます。 TF-IDFの基本的な考え方 TF(Term Frequency)-IDF(Inverse Document Frequency)とは、文書中の単語の重要度を頻度を用いて数値化するための手法です。 たとえば次の文書を読んでみましょう。 文書1 自然な会話を行うアルゴリズムを作りました。本アルゴリズムは、最近のディープラーニングで流行している系列変換モデルを用いています。 文書2 豊かな自然の中で会話を楽しめる、そんな場所を作りまし
stone
stoneとは stoneはTCP/UDPの中継ソフトである。 SSL暗号化に対応しており、SSL非対応のソフトウェアの通信を暗号化することができる。 公式ページ:http://www.gcd.org/sengoku/stone/Welcome.ja.html 環境 OS CentOS release 6.4 (64bit) stone Version 2.3e 環境構築 stoneインストール ソースコードからインストール rootになる su - 関連パッケージをインストールする まとめてインストールする場合 yum install gcc make -y コンパイラをインストールする yum install gcc makeをインストールする yum install make ダウンロードサイト:http://www.gcd.org/sengoku/stone/Welcome.ja.
ショートカットキーは、PCを使い勝手よくするものです。ですが、使っていくうちに「ここをこうしたらもっといいのに…」という不満も出てくるものではないでしょうか？Autohotkeyは、PC操作（動作）に対してショートカットキーを割り当てることができるユーティリティソフトです。変数・関数・ポインタ・再帰・APIコールなど一般的なプログラミング言語と同等の機能が用意され、高度な制御が可能になります。使いづらいキーをctrlやShiftに変更したり、無効化したりしとパソコンの操作をより効率化できる便利なソフトです。 対応OS：Windows10・Windows8(8.1)・Windows7・WindowsVista 公式サイト：AutoHotkey - a scripting language for desktop automation Autohotkeyをインストール PCでAutohotk
Pandasを使用してデータ分析を行う際に、日本語の文字化けは一般的な問題です。 この問題を理解し、解決するためには、文字コードとPandasのデータの読み込み・書き込み方法についての基本的な知識が必要です。 文字コードとは？ 文字コードは、文字をデジタルデータとして表現するための規則です。 異なる文字コードを使用すると、同じ文字列でも異なるデータとして表現され、結果として文字化けが発生することがあります。 日本語を扱う場合、よく使用される文字コードには以下のようなものがあります。 UTF-8: 国際的な標準的な文字コードで、多くの言語をサポートしています。 Shift_JIS: 日本国内で広く使用されている日本語専用の文字コード。 EUC-JP: 主にUnix系のシステムで使用される日本語文字コード。 Pandasでの文字化け問題 PandasでCSVファイルなどのデータを読み込む際に、
メールの基本的な技術について体系的にわかりやすく書かれた入門書！「DNS、SMTP、POP、IMAP、SPF、DKIM、DMARC」などの技術を腹落ちできていない方は必読です！ こんにちは！AWS事業本部のおつまみです。 みなさん！メール技術について自信はありますか？私はちょっと不安でした。 日頃、 Amazon SES をよく利用しているのですが、メール技術の基本について腹落ちできていないと感じていました。 そんな中、2024/2/21に「実務で使える メール技術の教科書」が発売されました！ 今の自分にぴったりだと感じたので、さっそく読んでみました！ 本記事では本書の概要と感想を共有します。 章別の概要まとめ 1章：メールが相手に届くまで メール送信にはSMTPサーバー、メール受信にはPOP,IMAPサーバーが利用されている。 これらの複数サーバーを経由し、メールが相手に届けられている。
ここでunknown-8bitと出てきたのでドキッとしてしまいましたが、unknown-8bitはShift_JISのことだそうでホッと一安心。 文字コードを変換する 文字コードを変換するにはnkfコマンドを使います。 //未インストールの場合、Homebrewでnkfをインストール $ brew install nkf //ファイルをShift_JISに変換（上書き保存）する $ nkf -s --overwrite ファイル名 //ファイルをUTF-8に変換（上書き保存）する $ nkf -w --overwrite ファイル名 いろいろなcharset 上記のコマンドをテストしようとして適当にテキストファイルを作成したところ、コマンドはもちろんエディターの設定をいろいろ変えて保存してもfile --mimeでの出力結果がずっとus-asciiになってしまい、大いにハマりました。 原因
2023/04/28 dbt + duckdb でオープンデータの集計 - /home/by-natures/dev*
先日読んだ記事で dbt に DuckDB 用のプラグインがあると知り、dbt と DuckDB の学習も兼ねて試してみることにしました。とても簡単な実験ですが、何かの参考になれば幸いです。 今回実際に試してみて感じたのが、dbt と DuckDB の相性の良さです。手元で動く DWH に対して dbt のデータ変換処理の開発を手早く行うことができ、外部連携部分は DuckDB が吸収してくれるため、dbt は素直に SQL を利用したデータ変換に専念できそうです。以前読んだ記事は、データが巨大でなければ dbt + DuckDB で本番データに対してもデータ変換処理をしてしまおうという趣旨の記事で、面白い内容でした。併せてご覧ください: bynatures.hatenadiary.jp 概要 アーキテクチャ 使ったデータ 環境準備 DuckDB インストール dbt インストール ディレ
NuitkaでPythonのプログラムを実行ファイルにする方法
Pyinstallerを使ってpythonのプログラムファイルを実行ファイル(.exe)にしてきましたが、実行ファイルが大きく、処理速度が遅いと感じていませんか？ Nuitkaを使うと実行ファイルが小さくなり、処理速度も向上します。 ここでは、Nuitkaの概要と使い方を説明しております。 Nuitkaの概要 NuitkaはPyinstallerと同様にpythonのプログラムを実行ファイルにするものです. NuitkaはプログラムやモジュールをC言語に変換してから実行ファイルを作成するためプログラムの処理が速いくなります。 C言語への変換はMSVC(Microsoft C++及びCをコンパイラーを制御するツール)または MinGW64を使っています。 注意点 実行ファイルは作成したのと同じOS上でないと動作しない。 Windowsで作成した実行ファイルはwindowsでないと動かない.
[Lnuxコマンド] ファイル比較を便利に行うsumコマンド
ニッチなシステム作りに、昼夜時間を費やしがちな、ユゲタです。 今回は、ファイル比較についての話です。 gitを使って、ファイルのバージョン管理を便利に行える時代になりましたが、 １つだけのファイルを比較するためだけにgitを利用するには、少々手間がかかるし、 複数のサーバーで、同一のモジュール（ファイル）を管理している時に、それらが、全部同じファイルかどうかを 確認したい場合に、sumコマンドを使うといいという事を、見つけ、これまで知らなかったことを後悔していました。 sumコマンドを知らない人は、このコマンドは、いわゆるチェックサムをするコマンドだと認識しておいてください。 チェックサムについて チェックサム（英: checksum）とは、語列の各語の総計を利用した誤り検出符号の一種である。 他の誤り検出符号と比べて信頼性は低いものの、単純計算で99.6%以上の検出率があるうえに算術が簡
![[Lnuxコマンド] ファイル比較を便利に行うsumコマンド](https://cdn-ak-scissors.b.st-hatena.com/image/square/28245b448b3a98f8f0f8847419cd1a2bd68d856d/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEgX-lMn9C8ar9xI2tWraToQnafchoixpBRxpAktPVFX6fo0Un7GfHYby3boIjg1ybmaaI9aNQzMMFLOCj5qCMM4sK37uzfDty5Aitp2visBVQ3twElbEgwXPflfeMNtjufSXKt86B5rPUKeLzkMk5MthB1XIAK1L1rG2Sv3bdUiUsaCJBvrdYjaDwfa%2Fw1200-h630-p-k-no-nu%2F1631662339_0.jpg)
プロパティーエディターが日本語表示できない。 そもそもプロパティーファイルは、[ISO-8859-1]の文字コードになっている必要あり。 Latin-1と呼ばれているコード（ラテンアルファベット） でこの文字コードを,プロパティーエディターで表示する際に変換する必要があるが、 これを、「native2ascii」が変換するんだが、上手く動いていない。。。 で。。。。 Eclipse 日本語化 | MergeDoc Project 上記から、Pleiadesをダウンロード(All in One) （Limy Prop Editor 1.2.5が含まれているもの）Full Edition 【準備】 DLしたファイル：pleiades-2019-09-java-mac-jre_20191007.dmg １：マウントする ２：Eclipseをコマンド＋右クリックでパッケージ内容表示 ３：Conte
日本語フォントのマージ手順 - KiCad.jp Wiki
はじめに KiCadの回路図エディタやボードエディタ上で、日本語文字列を扱えるようにする手順です。 当初は時間をかけてマルチバイト対応修正することを覚悟していました。 しかし実際には文字列は内部でUnicodeとして扱われており、結果として日本語に対応するフォントデータを既存のフォントファイルへ追加するだけで日本語文字列が扱えるようになることがわかりました。 本手順では、フリーのストロークフォント(直線データで表されたフォントデータ)である[KST32B]を、 既存のフォントデータにマージすることで日本語対応を行います。 既存の図面データなどを開いた際に微妙な文字位置などが変化することを避けるため、 英数字などのフォントデータは、KiCad本来のものを引き継ぎます。 本手順について フォントデータは、ソースコード中でハードコーディングされているため、フォントデータの改変にはソースコードのビ
VSCode の定番拡張機能！ CSV のための RainBow Query Language をご紹介します | 株式会社ビヨンド
こんにちは。 開発チームのワイルド担当、まんだいです。 データの受け渡しには、テキストエディタで簡単に編集できる CSV や TSV が扱いやすく便利だったりするんですが、サイズが大きくなってくると不便な部分が目立ってきます。 そんな時にはぜひ使ってほしい、 VSCode の神拡張機能 RainBow Query Language (RBQL) をご紹介します。 どういう拡張機能なのか 一般的には RBQL は CSV や TSV を VSCode 上で見やすくするツールです、と紹介されていることが多いです。 私も最初はその触れ込みで触ってみたクチです。 まず、 CSV ファイルを開いた時の見やすさがガラッと変わり、その名の通り、列ごとにデータの色が変わります。 行ごとにデータ長が異なるこんなデータをテキストエディタで開いたときの絶望感ッ・・・！ あれから開放されるだけでも十分導入する価値
MPRS-225RでRaspberry PIとシリアル接続
からです。UTF-8の母体であるUnicodeは25年くらい前に制定された標準規格ですが、Linuxの前身UNIXは すでに50年以上の歴史を持ちます、過去の標準規格に未来の標準規格をサポートせよというのは無理な話です ただ、幸いにも過去の規格に対して下位互換性が保たれているため、未来の規格から過去の規格に歩み寄り 「決まりごと」を合わせてあげれば、30年前の機械と21世紀の技術を繋げることができます これが「文字コード」と「シリアル(RS-232C)接続」ですね 実践編です。RaSCSI for SC-98を使っている人は、そろそろ組み立てて98に内蔵しちゃっていいですよー (ネットワークはまだ維持しておいてください) 本記事は「MPRS-225RでRaspberry PIをPC-98からシリアル接続して操作する」をテーマにやっていますが ハード自体は標準的なRS-232C(D-Sub
指定したテキストファイルの文字コードをLinuxではnkfコマンド、またはfileコマンドで確認することができます。 $ nkf --guess foo.txt UTF-8 (LF) $ file foo.txt foo.txt: UTF-8 Unicode text よく忘れるのでメモ。 iconvは変換だけで表示はしてくれないみたいですね。 6日間で楽しく学ぶLinuxコマンドライン入門 コマンドの基本操作を身につけよう (ネット時代の、これから始めるプログラミング（NextPublishing）)posted with amazlet at 19.03.29インプレスR&D (2015-04-24) 売り上げランキング: 3,945 Amazon.co.jpで詳細を見る
![[Linux] 文字コードを調べる - ねこの足跡R](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c671c65bd46867f5c4925a3e6576e9a8f2c3612/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F820878482973262145%2F6801883189061409799%2F1701760985)
SPDX-LiteでSBOMを作ってみよう｜OSS管理ブログ｜ソフトウェア部品管理ソリューション｜日立ソリューションズ
毎々お世話になっております、株式会社 日立ソリューションズの明石と申します。本日はSPDX-LiteでSBOMを作成する手順についてご紹介したいと思います。 免責事項 当記事の内容については、できる限り正確な情報を提供するように努めておりますが、正確性や安全性を保証するものではなく、筆者独自の解釈も含むことをご了承ください。 掲載しているリンク先についても確認などは行っていますが、遷移先で提供される情報、サービスなどについては一切の責任を負いません。 また、掲載内容の活用は読者自身の自由と主体性の元に行うものとし、万が一損害が発生したとしても一切の責任を負いかねます。ご了承ください。 SPDX-Liteとは？ まず、SPDXというのはSPDX WorkGroupが提供しているSBOMフォーマットのことです。このフォーマットにはソフトウェアパッケージの来歴、ライセンス、セキュリティ、およびそ
AWS Glue Python Shell ジョブで CSV → Parquet 変換する ETL を実装する - サーバーワークスエンジニアブログ
はじめに こんにちは。アプリケーションサービス部 河野です。 最近 Glue の Python Shell ジョブを初めて触ったのですが、その際に検証した ETL 実装について備忘録として記載します。 検証では、以下処理を実行する単一の Python Shell ジョブを実装しました。 S3 から CSV ファイルをダウンロード CSV ファイルを Pandas DataFrame に読み込む データ加工（列を削除） Parquet に変換 S3 にアップロード ※ ジョブはコンソールから直接実行します。 前準備 S3 作成 今回は、入力用と出力用は同一バケットとし、入力用を (/in) 出力用を（/out）で Prefix を作成します。 サンプルCSVファイルのアップロード 以下 CSV ファイルを S3 にアップロードします sample.csv id,name,age 001,ta
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows環境のGitの自動改行コード変換（autocrlf）はtrueが基本 - Qiita
WindowsでLinuxのシェルスクリプト（.sh）を実行 - adbird（広告鳥） 備忘録
【ポイントまとめ】HTMLメール作成について｜日々、アップデート
Perlのよく使うワンライナー（テキスト処理） – marketechlabo
目次(WPF/xaml/C#/C++関連メモ) - tera1707’s blog
Windows Terminal ベスト設定 第1回「キーボードカスタマイズ 導入編」
Docker Composeを使ってLAMP環境を作る(Nginx編)
プログラマの英語（C言語編）最初の80単語（例） - Qiita
VSCodeでファイル保存時に rubocopのauto-correct - Qiita
【サボりたいエンジニア向け】コーディングに役立つチートシートまとめ - Qiita
Linuxのunzipで日本語が文字化けする場合の対応方法 – OS.ManiaX
Linuxでファイルの改行コードLF⇔CRLFを変換する方法 | IT NEWS
MySQL5.7と8.0における文字コード/照合順序の設定方法 - 雑記帳
Node.jsでテスト用の軽量SMTPサーバーを動作させる。 - Qiita
使い方「Autohotkey」 | FreesoftConcierge
Pandasの日本語の文字化けについて
【書評】メール技術の基礎を抑えたい方必見「実務で使える メール技術の教科書」 | DevelopersIO
ファイルの文字コードをMacのターミナルで確認する＆変換する - Qiita
プロパティーエディター日本語表示方法 - 備忘録としての外部記憶
[Linux] 文字コードを調べる - ねこの足跡R