はてなブックマーク

https://github.com/gollum/gollum 研究室内の連絡・情報共有は、フロー型の情報ならSlackで、ストック型の情報ならWikiで。 という方針になったので、学内ネットワークで閲覧編集可能な自前Wikiサーバーを立てる。 開発環境は macOS, 本番環境は Ubuntu 18.04 → 20.04 → 22.04 LTS. ソフトウェア選定 pukiwiki 学生のときの研究室で使ってたので馴染み深い。 でも独自記法だしphpとか文字コードとか考えたくないので却下。 crowi Node.js + MongoDB で動くモダンな Markdown wiki。 生のファイルが見えないデータベースっぽいので管理が難しそう。 growi はこれをフォークしたもので、 機能もドキュメントも強化されてるし、 docker-compose とかですぐ使えるのも楽ちん。 日本

環境に合わせた Makefile を自動生成する。 似たようなことをする configure スクリプトと比べて動作が高速で、 ライブラリの依存関係なども簡潔・柔軟に記述できる。 configure ではそれを生成する開発者だけが autotools を使うのに対して、 CMakeでは開発者と利用者の双方がCMakeをインストールして使う。 https://cmake.org/cmake/help/latest/ 基本 CMakeLists.txt を各ディレクトリに配置して、階層的に管理する。 プロジェクトのトップに置くものは、以下のようなコマンドで始める必要がある。 cmake_minimum_required(VERSION 3.15) project(helloworld VERSION 0.1.0 LANGUAGES CXX) add_executable() や add_lib

pywtl/ ├── LICENSE ├── README.md ├── pyproject.toml ├── src/wtl/ │ ├── __init__.py │ └── hello.py └── tests/ リポジトリ名(pywtl)とパッケージ名(wtl)は必ずしも一致してなくてもよい。 ソースコードは src の中に入れる流派と、ルート直下に置く流派がある。 落とし穴が少なくて推奨されているのは前者。 開発向けの -e,--editable オプションをつけたローカルインストールではコピーが起こらず、 編集後に再インストールしなくてもそのまま反映される。 pyproject.toml パッケージ作成に関わる全てのメタ情報を書いておくファイル。 setuptools に依存しない形式として PEP 517, PEP 621 で決められた。 過去によく使われていた setup.p

概要 Global Interpreter Lock (GIL) の制約により、 1つのPythonインタープリタでは同時に1つのスレッドしかコードを実行できない。 したがってCPUバウンドなピュアPythonコードを threading でマルチスレッド化しても速くならない。 subprocess による外部プログラム実行やI/OなどGIL外の処理を待つ場合には有効。 一方 multiprocessing は新しいインタプリタを os.fork() で立ち上げるので、 CPUバウンドなPythonコードもGILに邪魔されず並列処理できる。 ただし通信のため関数や返り値がpicklableでなければならない。 それらの低級ライブラリを使いやすくまとめたのが concurrent.futures (since 3.2) なので、とりあえずこれを使えばよい。 新しい asyncio (sinc

matplotlib はPythonにおけるデータ可視化のデファクトスタンダード。 とはいえユーザーが直接これを使ってグラフを描ききるのは難しく、 Rでいうgridパッケージに近い階層と見なしたほうがいいかもしれない。 seaborn 越しに使うのが便利。 基本 https://matplotlib.org/stable/users/explain/quick_start.html import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns iris = sns.load_dataset('iris') # Create an empty Figure fig = plt.figure() # Add an Axes to this fig ax = fig.sub

初学者向け講義資料 Rを用いたデータ解析の基礎 2024-04 東北大学 (学部3年生向け進化学実習の一部) 導入: データ解析の全体像。Rを使うメリット。Rの基本。 データの可視化、レポート作成 データ前処理: 抽出、集約、結合、変形 統計モデリング: 確率分布、尤度、一般化線形モデル Rを用いたデータ解析の基礎と応用 (石川由希 2024 名古屋大学): 初心者に寄り添ってさらに噛み砕いた説明。 実験生物学における「とにかくt検定」脱却を目指した統計解析パートも実践的で充実。 よくあるエラー集が特に重宝。 R環境のインストール R本体 コマンドを解釈して実行するコア部分 よく使われる関数なども標準パッケージとして同梱 https://cloud.r-project.org/ からダウンロードしてインストール RStudio Desktop Rをより快適に使うための総合開発環境(IDE)

タブ区切りテキストやCSVファイルを読み込んでdata.frameにするツール。 .gz や .xz などの圧縮ファイルも透過的に読み書き可能。 標準でも read.table() や read.csv() があるけど、それらと比べて 場合により数倍高速・省メモリ 列の名前や型を指定しやすい 指定した列だけ読み込むこともできる 生data.frameより安全な tibble として返してくれる 空白行を勝手にスキップする (1.2から skip_empty_rows = TRUE) 勝手に列名を変更しない する (2.0から name_repair = "unique") stringsAsFactors = FALSE とイチイチ書かなくて文字列を読める R 4.0 から標準関数もこの挙動。 tidyverse に含まれているので、 install.packages("tidyverse

自分で書いた関数が多くなってきたら、まとめてパッケージを作るとよい。 少しだけ面倒だが、以下のようなメリットがある。 普通に変数や関数を定義するとワークスペースが名前でいっぱいになってしまうが、 パッケージ内で定義されている変数や関数は ls() で出てこないのでスッキリ 既存のオブジェクトと名前が衝突するような場合でも、 mypackage::func1 のように名前空間を明示的に指定して呼び出せる CRANに上げる程ではないとしても、 GitHubに公開しておけば誰でも使えるようになるので、 共同研究者と解析環境を共有したり、 ひとつの論文のワークフローを置いておいたり、いろいろ使い道はある。 Rパッケージ https://r-pkgs.org/ How to develop good R packages (for open science) 最低限の作成手順 開発支援パッケージをイ

<cstdlib> の std::rand() は乱数の質も悪く、速度も遅いので非推奨。 C++11 から標準ライブラリに追加された <random> を使う。 <algorithm> の std::random_shuffle() は引数省略で std::rand() が使われてしまうので非推奨。 C++11 で追加された std::shuffle() に生成器を明示的に渡して使う。 非標準の生成器としてはSFMTやdSFMTが高速で高品質。 徐々にPCGやXorshift系の利用も広がってきている。 <random> https://en.cppreference.com/w/cpp/numeric/random https://cpprefjp.github.io/reference/random.html https://cplusplus.com/reference/random

data.frameに対して抽出(select, filter)、部分的変更(mutate)、要約(summarize)、ソート(arrange)などの処理を施すためのパッケージ。 前作plyrのうちdata.frameに関する部分が強化されている。 purrr や tidyr と一緒に使うとよい。 tidyverse に含まれているので、 install.packages("tidyverse") で一括インストール、 library(tidyverse) で一括ロード。 https://r4ds.hadley.nz/data-transform.html https://github.com/tidyverse/dplyr パイプ演算子 |> による関数の連結 x |> f(a, b) は f(x, a, b) と等価。 左の値 x を第一引数として右の関数 f() に渡す。 一時変数

data.frameを縦長・横広・入れ子に変形・整形するためのツール。 dplyr や purrr と一緒に使うとよい。 reshape2 を置き換えるべく再設計された改良版。 tidyverse に含まれているので、 install.packages("tidyverse") で一括インストール、 library(tidyverse) で一括ロード。 https://r4ds.hadley.nz/data-tidy.html https://github.com/tidyverse/tidyr vignette("tidy-data") demo(package = "tidyr") https://speakerdeck.com/yutannihilation/tidyr-pivot パイプ演算子 |> についてはdplyrを参照。 Pivoting: 縦長 ↔ 横広 https://

“The Grammar of Graphics” という体系に基づいて設計されたパッケージ。 単にいろんなグラフを「描ける」だけじゃなく「一貫性のある文法で合理的に描ける」。 Rのグラフ描画システムにはgraphicsとgridの2つが存在しており、 R標準のboxplot()やhist()などは前者の上に、 本項で扱うggplot2は後者の上に成り立っている。 使い方が全く異なるので、前者を知らずにいきなりggplot2から始めても大丈夫。 tidyverse に含まれているので、 install.packages("tidyverse") で一括インストール、 library(tidyverse) で一括ロード。 初学者向け講義資料2025 https://ggplot2.tidyverse.org https://r-graphics.org/ https://r4ds.hadle

R標準のbaseパッケージが提供する関数でも文字列処理は可能だが、 stringrのほうが統一的なインターフェイスに合理的な挙動で使いやすい。 factor と character を同じように扱う 引数オブジェクトの各要素の名前や位置を保持する 長さゼロのオブジェクトを引数として与えた場合には長さゼロの結果を返す 引数オブジェクトに NA が含まれる場合はその部分の結果を NA とする 対象文字列が一貫して第一引数で、パターンが二番目 何をやる関数なのか名前から分かりやすい (標準が覚えにくすぎ: grep, grepl, regexpr, gregexpr, regexec) ICU4C (via stringi) を使って動くため高速 ICU正規表現 の仕様が明確 今や stringr は stringi のラッパーだし、 どちらもほぼ同じインターフェイスなので、 もし前者に不足があ

jobs システム全体のプロセスが見える上記コマンドとは違い、 これで見えるのはそのシェルから実行したジョブだけ。 末尾に&をつけてバックグラウンドで走らせたジョブや、 ctrl-z でsuspendしたジョブを眺めるのに使う（下記）。 ジョブコントロール 何らかのプログラムを実行: top ここで ctrl-z を押すと、プロセスはバックグラウンドで一時停止する: [1] + 19310 suspended top バックグラウンドのプロセスを確認するには jobs コマンド。 左からジョブ番号、カレントジョブか否か、状態、コマンド内容: jobs [1] + suspended top フォアグラウンドで再開するには fg コマンド。 引数としてジョブ番号かプログラム名をパーセントに続けて指定する (%1 とか %a.out とか)。 zsh なら補完もしてくれる。 引数を省略すると、

岩嵜 航 東北大学 生命科学研究科 進化ゲノミクス分野 牧野研究室 特任助教 Watal M. Iwasaki, PhD Project Assistant Professor in Laboratory of Evolutionary Genomics, Graduate School of Life Sciences, Tohoku University Address 980-8578 仙台市青葉区荒巻字青葉6-3 東北大学 理学部生物棟 Biology bldg., Tohoku University, Aramaki Aoba 6-3, Sendai, 980-8578, Japan +81-22-795-6693 Contacts heavywatalあgmail.com Read More

http://www.riverbankcomputing.co.uk/software/pyqt/ http://pyqt.sourceforge.net/Docs/PyQt5/index.html クロスプラットフォームなGUIアプリケーションを作るためのC++ツールキットである Qt をPythonから利用するためのライブラリ。 ほかのPythonバインディングとしては Qt プロジェクト公式の PySide があるけど、 なぜかそれよりもこちらのほうが早く Qt 5 や Python 3 に対応したりしてる。 単独で実行可能なファイルに固めるには PyInstaller を使う。 Installation Linuxなら apt-get を使ってもよい。 Qt Library をインストール SIP をインストール http://www.riverbankcomputing.co.

はじめに 速いプログラムで得られるメリットを超えるようなコストを払わないように。 まずは動くプログラムを書いて目的を達成することが大事。 自分律速じゃなくてプログラム律速だなと感じた段階でリファクタリングを考える。 プログラム本来の意図が読み取れなくなりそうなマニアックな高速化は避ける。 清く正しくメンテナンスしやすいプログラムを書くほうが結局は生産的。 学習目的でない限り、車輪の再発明を避ける。 やろうとしていることはきっと既に誰かが実現し、 再利用可能な形で公開してくれているはず。 まずは標準ライブラリとかBoostを探してみる。 あとGitHubでスターが多いやつとか。 頑張れコンパイラ Intelの icc でビルドされたプログラムは速いらしい。 gcc や clang の最適化技術も着々と進歩しており、 新しいコンパイラを使うほうがその恩恵を受けられる。 最適化オプション htt

理想 ビルド不要でヘッダ1つ 標準ライブラリのみに依存していてポータブル ヘルプを自動生成してくれる オプション定義時に格納先の変数を紐付けできる (argc, argv) だけでなく std::string とかからも読み込める 読み込める形式で全ての値を書き出せる マクロではなくtemplateやlambdaなど真っ当なC++ (できればC++11以降の簡潔なスタイル) で書ける GNU getopt https://www.gnu.org/s/libc/manual/html_node/Getopt.html UNIX的な環境ならインストール不要だがC/C++標準ではない ヘルプなど自動生成してくれない C++というよりCなので手作業が多い boost::program_options https://www.boost.org/doc/html/program_options.ht

コピーと同時に終了せずモードや選択状態を維持したい場合はキーバインドを copy-pipe や copy-pipe-no-clear に変更する。 copy-pipe* の宛先はデフォルトでtmux内のバッファになっており、 ペーストはtmux内で prefix] するしかない。 macOSで次のように設定しておけば、 ⌘commandcと同じところにコピーして、 アプリを超えて⌘commandvできるようになる: if "command -v pbcopy" "set -s copy-command pbcopy" 設定 設定ファイル： ~/.tmux.conf https://github.com/heavywatal/dotfiles/blob/master/.tmux.conf prefix <key> 使えるのは ^h や ^[ のようなASCIIキャレット記法が存在するもの。