普段、筆者がデータの前処理で使っているpandasやNumPy、scikit-learnなどのモジュールの使い方を逆引きのリファレンス形式でまとめました。 一部のサンプルデータや前処理の手法については、データサイエンティスト協会の100本ノック(構造化データ加工編)を参考にさせていただきました。素晴らしいコンテンツをご用意頂いたこと本当に感謝します。 それでは、以下のモジュールをインポートして、この記事をデータ前処理時の辞書代わりにして利用してください。 モジュールのインポート import numpy as np import pandas as pd from sklearn import preprocessing as pp from sklearn.model_selection import train_test_split from imblearn.under_sampli
はじめに バイナリファイルの解析はアプリケーションやファームウェアのデバッグ、マルウェアの解析等目的に応じて手段となるツールが異なります。 本記事はバイナリファイルの解析を行うために必要となる基本的な知識や、リバースエンジニアリングツールの概要について記載しています。 リバースエンジニアリングツールはIDA Proなど有料のプロダクトがありますが、本記事ではフリーで利用可能なツールに着目しています。 バイナリファイルとは コンピュータが処理する情報（データ）は基本的にテキストファイルと、バイナリファイルに大別できます。 テキストファイルはテキストエディタなどを使用して何らかの文字コードでエンコードされたテキストファイルのことです。テキストファイルに書かれた内容は人間にしか理解できません。 バイナリファイルは2進数の0と1が並んだビット列で表現されたファイルです。画像、動画、音声、実行形式の
RubyではWebサイト作成以外にも様々なシステム開発が可能ですが、Webスクレイピングに関しても簡単に実装することが可能です。 本記事では、Rubyでのスクレイピングに利用可能なライブラリ「Nokogiri」について、インストール方法から簡単な使い方までご紹介していきます。 Nokogiriについて Nokogiriは、Rubyでスクレイピング処理を実装したい際に利用される代表的なライブラリです。 スクレイピングって何？ スクレイピングは、WebサイトからHTMLデータを抽出する技術で、特定の要素や画像などを抽出・加工することが出来ます。 具体的な利用用途としては、見出しだけを抽出して目次を作成したり、商品の価格や画像を抽出して一覧として加工するなど用途で利用されます。 Nokogiriのインストール方法 Nokogiriのインストールには、Rubyのパッケージ管理システムである「gem
2ch で見つけたネタ。 参考：【.cmd】 バッチファイルスクリプト %11 【.bat】 | ログ速@２ちゃんねる(sc) 884 ： デフォルトの名無しさん[sage] 投稿日：2017/01/27(金) 21:16:38.29 id:ss8+Q0ea.net こういうのもここで覚えたよ for /f “delims=0” %%I in (‘cmd /u /c echo 〇’) do set BEL=%%I echo %BEL% BEL 文字でビープ音が鳴らせる 元々、コマンドプロンプト上でアスキーコード「7」の「BEL 文字」を Echo すると、コマンドプロンプトからビープ音が鳴らせるということは知っていた。 Rem 「^G」はコマンドプロンプト上で「Ctrl + G」とキー押下すると入力できる Echo ^G 参考：【.cmd】 バッチファイルスクリプト %11 【.bat】
株式会社ホクソエムのブログ
監修させていただいている評価指標入門なんですが、株式会社ホクソエムの代表取締役CEOである私、牧山幸史（以下、コージー牧山）、はじめてこの企画を聞いた時は「その特徴は単に評価指標をまとめた辞書やないかい！そういう”売れそうだから書く”みたいな商業的なマインドが学術界の価値を貶め云々」と思ったのですが、上梓された高柳さん（タカヤナギ=サン）の壮大なるお話を聞いているうちに「これはひょっとして数理モデリングとしても奥深い世界が広がっているの？面白いかも！」と思い監修社として名乗りを上げた次第です。 一方、本書の内容と皆様の期待値がややズレているのではないか？と不安には思っておりまして、これは監修社として一肌脱いでおかなければいかんなと、自然界に存在する第５の力「期待値調整力」を見せなければならないなと思い筆を取った次第です。 以下、私、コージー牧山の視点で「書いてあること・書いてないこと・書き
定価 3,520円（本体価格 3,200円） 発売日 2021年9月20日 判型／ページ数 B5変形／464 ISBN 9784802613378 JavaScriptは、Twitterのようなソーシャルアプリケーションから、PhaserやBabylonのようなブラウザベースのゲームフレームワークまで、現代のほとんどのウェブアプリケーションの中核をなしています。JavaScriptは、初心者が手に取って遊ぶには簡単な言語ですが、本格的なアプリケーションを構築するためには柔軟で複雑な言語です。 『Eloquent JavaScript』の第3版は、JavaScriptを深く掘り下げ、美しく効果的なコードを書く方法を紹介しています。また、クラス表記、アロー関数、イテレータ、非同期関数、テンプレート文字列、ブロックスコープなどの新機能を追加しました。また、多くの新しい演習問題が追加されており、ス
概要 カーソル移動系 モード変更と入力 文字化け系 Shift-JIS の場合 EUC-JP の場合 検索系 普通の検索 grep (vimgrep) タブ幅とか 自動インデント系 ディレクトリ移動とか別のファイルを開いたり系 最後に 参考情報 概要 この記事は、vimに全然慣れていない人向けの内容です。以下に当てはまる方でしたら、良ければご参照ください。 特に vi (vim) とかに興味はない。使い方を極めたいわけではない。 現場のOSがLinuxで、使えるエディタがvimくらい。 基本的にLinuxみたいなコマンドラインでバリバリ作業する環境に慣れていない。普段はWindows。 そのマシンはお客様の所有物であるのでツールとかを勝手に入れてはダメ vimはあるけどデフォルト状態。ネットにあるような便利なプラグインも入っていないし、設定ファイルをいじるのもダメ。 上記のような環境って、
Logic Pro Xをいじりまくって快適な生活を送る 基礎編 Part1 ~Logic Proに触る~ - Qiita
基礎編 Part1 ~Logic Pro1に触る~ まっさらなMacにLogic Pro1を導入するところから完成した曲のバウンスまでの一連の流れを，例示しながら紹介する． 本当に初見ユーザのための単なる例示であるため，既に一通りのワークフローを把握している方は次パートへ行った方が良い． Part1/24 全Part一覧：【予告】Logic Pro Xをいじりまくって快適な生活を送る 基礎編1 Next : Part2/24 Logic Pro Xをいじりまくって快適な生活を送る 基礎編 Part2 ~デジタルなデバイス~1 ↑まだです 買ってインストールしよう 値段は各自で確認するべし． App Storeから 検索窓で「Logic Pro」と検索すると，Apple提供の欄にお目当てのアイコンが見つかるので，金額表示をダブルクリックすると購入手続きに進める． （私は購入済みなので，同じ場
MSYS2で標準出力をクリップボードにコピーしたい。要するに「pbcopy」が使いたい。え？WSL？ギリギリまでWindows 7だよ。 で、「pacman -S pbcopy」ってやっても、「pacman -S xsel」ってやっても、なもんねぇと言われた。マジかー。 と思ってたんだけど、なんと、Windowsには標準で「C:/Windows/System32/clip.exe」というpbcopyがあったらしい。ということは、これにpbcopyのaliasを貼ればpbcopyが使えるジャマイカ！ というわけで、~/.bash_profileに以下を追加記述。ちなみに、MSYS2のbashはログイン時に.bashrcを読み込まない設定になっている。 alias pbcopy="/c/Windows/System32/clip.exe" これで、pbcopyが使える様になった訳なので、早速試
Zoltraak使おうぜみんな① - Qiita
フリーレンでいうところの「魔法史の本」に該当します。 時系列順に魔法学を学ぶことで得られる知見もある。 参考資料 Qiitaで編集する都合上、先頭にある方が参照しやすいのでまとめます。 元木大介@生成AI塾&魔法Zoltraak創造中（@ai_syacho）さん / X dai-motoki/zoltraak zoltraak チュートリアル web版※名称不明 dai-motoki/niwatoko niwatoko チュートリアル web版※名称不明 2024年5月10日コメント XのコミュニティやDiscordなどもあるのですが、取り急ぎXとGithub（Zoltraak）から情報を編纂しているので私よりも早いペースでキャッチアップしたい方は探してみてね 前書き Zoltraak（ゾルトラーク）という「自然言語プログラミング」言語が2024年4月に生まれました。 生まれて程なくして、
さて、PDFの構造について日本語でお勉強できる資料というのは少なくて、わたしも過去にAdobeSystemsからリリースされたリファレンスの第２版を読んでいました。ところがですね、あれって、専門用語に関する訳に難がありまして、理解を妨げるような書き方の部分のあったりします。なによりPDF1.3の解説ですから今となってはちょっと古いです。 という事で数年前から片手間にPDF1.7リファレンスの翻訳を行ってるんですが、これ、色々な絡みでそのままお出しできませんです。という事で細切れで解説していきたいと思います。ご存知の通り元となったドキュメントもと～っても分厚い資料ですからどれだけやるかってのはあるのですが、最低でもAcrobatの構造表示を読み解くレベルまでは続けようかと思いますです。 では、１回目としては、そもそもPDFってなに？って所から始まります。 ※各見出し付加された数字は原本の章番
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話 利用シーン UTF-8で記述されたテキストをShift-JISエンコードに変換する機会はあります。 UNICODEで表現できる文字の種類の方がShift-JISに比べて圧倒的に広いのですべての文字が変換できるわけではありませんが、「これは変換できてよかろう」というものまでこぼれ落ちるケースは多数あります。 以下こぼれ落ちる例とその対応を示します。 サンプルコード まずはサンプルコード。 rubyで記述していますが、原理はどの言語でも同じです。 str = "あ～あ①髙島屋パバぱ" sjis = str.encode(Encoding::Shift_JIS, :invalid => :replace, :undef => :replace) File.
[2019-09-21追記] 当該サイトは，6300ページ超のPDFの公開をやめ，検索できる地図とアプリを公開しました。以下はすべて昔話になりました。 [追記] KamimuraさんがPythonコードをデバッグ・改良してくださいました（未マージ）。 [追記] uriboさんがRで実装してくださいました（「ただしJavaのメモリ不足になるため固定店舗の5533ページ分を読み込むには分割して実行する必要が ...😂」とのこと）。 [追記] PDF 571ページの 23,872 の最後の 5% が pdftotext -raw ではページ下に飛んでしまいます。バグのようです。 キャッシュレス消費者還元事業の「消費者のみなさま」のページ，ちゃんと go.jp を使っているところは偉いが，「使えるお店を探す 登録加盟店一覧はこちら」をクリックすると，なんと3600ページ6300ページ以上のPDF
【チートシート】G検定の試験当日のカンペ
はじめに G検定に向けたカンペを作っておこうと思う。 ネットと書籍の情報だと、カンペはOKらしいので、 2021年7月の公式サイトのシラバスに乗っている単語を中心に記載する。 カンペ 人工知能の定義 人工知能とは何か コンピュータを使って、学習・推論・判断など人間の知能のはたらきを人工的に実現したもの。 AI効果 人工知能で何か新しいことが実現され、その原理が分かってしまうと、「それは単純な自動化であって知能とは関係ない」と結論付ける人間の心理的な効果 人工知能とロボットの違い ロボット：あらかじめプログラムされた動作を正確に行う。自己判断で進めることはできない。 人間で例えると「体」 人工知能：自立して発展していく。自ら学習して精度を高めることができる仕組み。 人間で例えると「脳」 エージェント 事前に定義された目標を達成するためのコードまたはメカニズム 「チャットボット」「ソフトウェア
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python(pandas、NumPy、scikit-learnなど)によるデータの前処理大全
独学リバースエンジニアリング バイナリファイルの解析 - Qiita
RubyでのスクレイピングにはNokogiriを使おう！ | ポテパンスタイル
コマンドプロンプトでビープ音を鳴らす - Corredor
流麗なJavaScript（マリン・ハーバーベーク） | 書籍 | ソシム
現場でvim慣れていない人が知っておくと便利なTips - いろいろ備忘録日記
MSYSで標準出力をクリップボードにコピー - プログラムdeタマゴ
PDFの構造について 1 – Automation Skill
UTF-8からSJISに変換する時にはShift-JIS系エンコードの種類だけじゃなくてUNICODE正規化も気にしないとダメという話
キャッシュレス消費者還元事業登録リストのCSV化