Excel2016のソート仕様が想定外で苦しんだ件 - まなめはうす
140MBのExcelデータをいじって分析をしていて、悩まされた事象を紹介。 ソート仕様どうなってるのー！というお話。 この結果を見てもらえばわかると思うんですよ。 「重複の削除」で、「A」と「a」が同じ文字として削除されるのはまだいいんです。 だから、ソートしても同じ文字と扱われて並びも変わらない。 まあ同じ文字と認識されてるんだから仕方ないのかなって思うわけですよ。 でもね、ひらがなとカタカナの方の仕様はどうかと思うんですよ。 重複の削除で削除されないってことは別の文字と認識しているってことじゃないですか。 にもかかわらず、昇順ソートしたら順番が整列されない！ お前、別の文字って言ってるじゃんかよそりゃねーよ！ これの対応で半日浪費してしまった・・・ いや、時間浪費の主な原因はファイルでかすぎてSUMIF駆使し過ぎたら応答全然返ってこなくなったことだけど。 Excelー！おれだー！応答
Rust のパフォーマンスに何が影響を与えているのか - Qiita
動機 The Rust Performance Book という書きものを見つけました。いろいろなパフォーマンス改善テクニックが書かれているわけですが、実際に普段書いてる Rust コードの中で一体何がパフォーマンスに与える影響が大きいのか？という点が気になってベンチマークを取ってみました。 今回パフォーマンスを計測するプログラムはビットマップ画像（1600px x 1200px）をグレースケールに変換する処理です。I/O のパフォーマンスは無視します。&[u8]から RGB をそれぞれ 1byte ずつ（合計 3bytes）取ってきて、それをグレースケールの 1byte に変換してVec<u8>にする時間を計測します。イメージとしては下記のような関数です。 // source が カラーのビットマップ画像のデータ fn sample(source: &[u8]) -> Result<Ve
ロジスティック回帰とElo Ratingの関係 - ブログのとさか
はじめに 対戦ゲームのレーティングシステムとして多く採用されているElo Ratingですが， その計算式を見ると内部で行っていることはロジスティック回帰とほとんど一致することがわかります． この記事ではロジスティック回帰とElo Ratingについて簡単に説明し，それらの関係について見ていきます． また，ついでにこの事実を応用した格闘ゲームのキャラ相性解析のアイデアについて紹介したいと思います． ロジスティック回帰 ロジスティック回帰は2値分類問題の推論や分析に利用される一般化線形モデルの一つです． ロジスティック回帰ではロジット（対数オッズ）を線形モデルで予測します．*1 このことは予測確率を，線形モデルの出力を，ロジスティック回帰の重みベクトルを，バイアスを，入力ベクトルをとした時以下の式で表されます． 予測確率の計算 予測確率は以下の式で求まります．*2 更新式 ロジスティック回帰
自作軽量 TS コンパイラが tsc より高速になった / mints v0.1
実際、コード量に比例して遅くなります。 これは tokenize のステップがなく、すべての構文ルールが正規表現を個別に実行するのが遅い理由でした。またそのせいで空白制御のために構文定義が冗長になっていました。 そのため、事前に tokenize ステップを用意し、pargen を事前に分割された token 列を受け取るパーサコンビネータとして再実装しました。(元の pargen はあれはあれで使いやすいので別実装になってます) mints v0.1 の ベンチマーク 試した環境は MacBookPro M1 Max 64GB です。 --------- 2416chars [tsc] 58ms [esbuild] 14ms [mints] 6ms [mints_para] 12ms --------- e2981chars [tsc] 14ms [esbuild] 1ms [mints
macOSのメモからMarkdownを作るショートカット - cockscomblog?
macOS Montereyから、「メモ」アプリに「クイックメモ」という機能がついた。 インターネットブラウジングをしていて気になったことを書きつけていくのにちょうどよさそうなので、使ってみることにする。ある事柄に関連するリンクをひとつのメモに連ねていって、ちょっとテキストで補足を書いておく。 これをブログで手軽に共有できたら、なおいい。Markdown形式に変換したい。 メモの本文を取得する メモの内容を取得するには、Apple Script的なやつを使う。ここではJXA (JavaScript for Automation)というので、JavaScriptっぽく書く。選択中のノートの本文を得るには、次のようにする。 const app = Application("Notes"); console.log(app.selection()[0].body()); これでノート本文がHTM
TypeScript 4.5 以降で ESM 対応はどうなるのか？
本記事で記述した Node.js ESM 対応は2022 年 5 月に TypeScript 4.7 で正式版としてリリースされました。 本記事の内容との差分はmodule:node12がmodule:node16に変更されたことぐらいです。node16では top-level await が使え、現時点ではnodenextとの差分はありません。 他に関連する機能としてresolution-modeや--moduleDetectionが追加されましたが、一般利用者が意識することはないでしょう。 先日リリースされた TypeScript 4.5 Beta で、待望の Node.js ESM 対応がアナウンスされました。 その後、ユーザーからのフィードバックを経て、TypeScript チームは TS 4.5（11/16 リリース予定）では ESM 対応を stable リリースせず、Nigh
Vtuberにも人気のAIボイスチェンジャーが新音声変換エンジンを追加し、Voidol 2へ。声は自在に作り込む時代に｜DTMステーション
自分の声をAI機能でアイドルの声やキャラクタの声などにリアルタイムに変換するユニークなソフトとして、これまでも何度か紹介してきたVoidol。これはクリムゾンテクノロジー株式会社が開発するリアルタイム音声変換技術「リアチェン voice」を搭載したアプリケーションで、VTuberやゲーム実況などの世界でも幅広く使われているWindowsおよびMacで動作するソフトとなっています。 そのVoidolがこれまでのAIリアルタイム音声変換機能に加えて、まったく新たな音声変換エンジンを搭載し、Voidol 2へとメジャーバージョンアップすることが関係者への取材から分かりました。正式な発表・発売は10月20日になるとのこと。税込み価格は13,200円（12月26日までは発売記念価格の8,800円）が予定されています。今回Voidolに加わった最大のポイントは、声をリアルタイム処理でシンセサイジングす
pdf2txt.py 便利すぎる（PDF表をテキスト化） | ず＠沖縄
SARS-COV-2関連情報を集めていると、国や自治体、企業が公開している情報がPDFなのにムカついてしまう。ExcelをPDF化したものもあって、素直にxlsも出せよと思う。 （それでも画像データで公開している組織に比べればかなりマシなのが悲しい） 例えば、沖縄県のワクチン接種率の情報がPDFだ。「沖縄県のワクチン接種進捗状況／沖縄県」に掲載されている「県内市町村ごとの新型コロナワクチン接種件数」がPDFだ。タイトルは .xlsx になっているので、元々はExcelであったのだろう。 ご丁寧なことに情報が更新されると過去のPDFが消されてしまうので、接種率の変化を追っかけたい場合はPDFを手元に保存しておかないといけない。沖縄県の情報公開はこういうところがダメダメだと思う。消すなよ。 表から情報を抜き出す情報を抜き出すツールとしては adobeの【無料】PDFをExcelに変換 – Ad
BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方 | terashim.com
昨年12月に Dataform の Google Cloud 加入が発表 されて以来, 関心を持って調べています. Dataform は BigQuery などのデータウェアハウス上で SQL を中心としたデータ変換パイプラインを構築するための仕組みです. 先日は Dataform で Google Analytics 4 の BigQuery Export データ を変換するパイプラインを作ってみたりもしました（GitHub: terashim/dataform-google-analytics-4-example）. Dataform は非常に強力なツールで, 簡単な SELECT 文を書けば CREATE TABLE 文や MERGE 文などデータ更新用のクエリを自動生成してくれます. しかし詳しく調べていくにつれて, より本格的なパイプラインを構築するにはやはり BigQuery
RBSからTypeScriptに変換するGem (rbs2ts) を作ってる - memo_md
Ruby3.0 からは、型定義を処理するための rbs gem が同梱されていて、これは外部の *.rbs ファイルに記述した内容に従って、Rubyコードの型チェックを可能にしてくれる。 github.com 最近、この RBS の型定義を TypeScript の型定義に変換できないかな〜と思い、 rbs2ts という gem を実験的に作ってる。 結構荒削りなので、細々した部分での挙動は正直怪しいが、ある程度それっぽく動くようになったので公開してある。 rubygems.org github.com Gemのいまのところの挙動 いまのところ次のような変換ができる Alias RBS type TypeofInteger = Integer type TypeofFloat = Float type TypeofNumeric = Numeric type TypeofString =
パスワード解析などに使われる「レインボーテーブル」の仕組みとは？
パスワードやアクセスキーなどの重要なデータは「ハッシュ関数」で一方向の変換を行うことで、漏えいの被害を最小限に抑えることができます。しかし、パスワードとハッシュ値の組み合わせを記録したレインボーテーブルによって、ハッシュ値からパスワードを解析される攻撃を受ける危険性もあります。そんなレインボーテーブルの仕組みについて、ソフトウェアエンジニアのKestas "Chris" Kuliukas氏が図解しています。 How Rainbow Tables work http://kestas.kuliukas.com/RainbowTables/ ハッシュ関数は文字列を別の文字列に変換することができる関数で、変換前の文字列から変換後の文字列を計算することはできますが、変換後の文字列から変換前の文字列を計算することはできません。変換前の文字列は「平文(Plaintexts)」、変換後の文字列は「ハッシ
Scala 初心者が米田の補題を Scala で考えてみた
このスライドは、2020/10/17 - 18 に開催された「ScalaMatsuri」で発表したものです。Read less
メイリオの罠 - espresso3389の日記
まぁ、自分のコードがあんまりちゃんとテストされていなかったと言えばそれまでなんですが、自分の作っている仮想プリンタドライバでは、OEMTextOutをフックして、印刷されたテキストをテキストデータとして出力するような処理をしています。 一般的に、OEMTextOutに渡されるデータは、いわゆるUTF-16(Unicode)ではなく、グリフインデックス(Glyph Index)というものになって渡されます(SO_GLYPHINDEX_TEXTOUTフラグ時)。 一方で、 KB241020:How To Translate Unicode Character Codes to TrueType Glyph Indices in Windows 95 のような情報が提供されており、この情報を使えば、フォントファイルの情報を使って、グリフインデックス→Unicodeの逆変換が行えます。普通は・・・
React17におけるJSXの新しい変換を理解する
今日発表された公式ブログの記事によれば、React17では新しいJSXの変換がサポートされます。これはどういうことなのか、我々にどういう影響があるのかをまとめました。 JSXの変換とは ほとんどの人は、Reactを使う際に以下のようなJSX記法を使っているはずです。具体的には次のようなもので、<div>のようなHTMLに近い記法がJSXです。 const Foo = () => { return <div> <p id="a">I am foo</p> <p key="b">I am foo2</p>> </div>; } これらは純粋なJavaScriptではないため、そのままでは実行できません。そのため、何らかの方法でただのJavaScriptに変換する必要があります。現代では、それを担うのはBabelやTypeScriptです。これらによって、上記のJSXを含むコードは次のように変換
Elasticsearchで日本語のサジェストの機能を実装する
サジェストは、優れた検索エクスペリエンスにおける重要な要素です。一方で、この機能は一部の言語では実装が難しい場合があり、日本語もそのような言語の1つです。このブログでは、日本語のサジェスト機能を実装する際の課題と、Elasticsearchを使用してこれらの課題を克服する方法をご紹介します。 日本語のサジェストの特徴次の図にはGoogleの日本語サジェスト候補を表示しています。この例では、キーワードは「日本」です。 日本語のサジェスト機能の実装が英語よりも困難であることには、いくつかの要因があります。 単語の区切りがわかりにくいサジェストの機能を実装するには、単語を分割するためのアナライザーが必要です。英語を含む大半のヨーロッパ言語では、単語がホワイトスペースで区切られるため、容易に文章を単語に分割できます。しかし、日本語では個々の単語をホワイトスペースで分割することはありません。そのため
[数学・numpy] 高速フーリエ変換(FFT)による畳み込み | maspyのHP
概要 「Python で競技プログラミングをやる」の文脈で、高速フーリエ変換を使うための基礎知識を整理します。 高速フーリエ変換自体は競技プログラミング以外の文脈でも重要なアルゴリズムですが、そうした需要に応えることは、本記事では想定していません。 高速フーリエ変換の詳しいアルゴリズムにはこの記事では触れません（既存の解説が多数ありますし）。代わりにフーリエ変換についての基礎知識について、少し整理しました。ここは、使用言語に関係しない部分です。 最低限、Python での実装だけ見たい人は大部分を飛ばしてよいと思います。 フーリエ変換の性質 フーリエ変換の定義 詳しくは、本記事では扱いません。 $K$ を $1$ の $n$ 乗根を $n$ 個持つ体とします（競プロの文脈だと、$K=\C$ および $K=\F_p$ が重要です）。 $K$ に値を持つ数列 $A = (a_0,a_1,\ld
![[数学・numpy] 高速フーリエ変換(FFT)による畳み込み | maspyのHP](https://cdn-ak-scissors.b.st-hatena.com/image/square/d3b83cb0b151f85f4ab582d54745629884ec04db/height=288;version=1;width=512/https%3A%2F%2Fmaspypy.com%2Fwp-content%2Fuploads%2F2023%2F01%2F5Dth6Yjz_400x400.jpg)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nintendo Switchやスマホの映像をTVに出力できるHDMI変換ケーブル、動画配信アプリにも対応