『Ruby コードレシピ集』の執筆で工夫したポイント
共著で執筆した『Ruby コードレシピ集』（技術評論社）が本日2024年8月26日に発売されます。 【新刊】2024年8月26日発売『Ruby コードレシピ集』本体3,400円+税，山本浩平，下重博資，板倉悠太 著，Rubyでやりたいことがスグに逆引きできるレシピ集。定番機能から実践テクニックまであますところなく集めました。https://t.co/jQkdmYD9tp pic.twitter.com/hPKJyU4K0V — 技術評論社販売促進部 (@gihyo_hansoku) August 6, 2024Ruby コードレシピ集とは#本書は技術評論社のレシピ集シリーズのひとつです。 いわゆるクックブックや逆引きレシピと呼ばれるスタイルで、Rubyの基礎知識や実践で役立つテクニックを目的別にまとめた書籍となっています。2023年にリリースされたRuby 3.3までの機能に基づいて書かれ
参考文献 ※1 EDINET API機能追加に係る利用者向け説明会資料 ※2 EDINET API仕様書 Version2 ①会社名の選択 まず会社一覧及び、会社のEDINETコードが必要になってきます。 これについてはAPIで取得する方法はなく公式サイトからZIPを落としてくるか ここからプログラム的に自動でダウンロードする必要があります。 今回は手動であらかじめダウンロードしたものを使います。 公式サイトからダウンロードすると毎回リンクが変わる、上記の直接リンクだと固定という謎仕様のようです（ドキュメントにもそうかいてある） ZIPを展開するとShift-JISのCSVが手に入ります。文字コードに注意しましょう。EDINETからダウンロードするCSVはUTF16なのにこっちはShiftJISなのです。 中身は上記のようなもになっています。 末尾に0がついているものの証券コードも入ってい
今日もbq loadが失敗して涙を流していたデータエンジニアのid:syou6162です*1。このエントリではbq loadを使ったデータ取り込みで泣かないで済む、あるいは泣いても致命傷まではいかないようにするための色々なTipsを書きます。 bq loadをベースに書いていますが、SDKを使ってBigQueryにデータを取り込む際もほぼ同様のことを考えれば十分な場合が多いです。 bq loadの基本形 スキーマを自分で指定する 取り込み失敗時の対処方法 パーティショニング列やクラスタ列を指定する 必要であればbq queryと組み合わせて使う 洗い替えしたい場合 パーティション指定で洗い替え 一癖あるデータと戦う Shift-JISやEUC-JPのファイルを読み込む レコード内に改行を含むCSVを読み込む --max_bad_recordsオプションは最小限に 運用中のスキーマ変更に立ち
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
StreamlitでEDINETから有価証券報告書をダウンロードして分析するWEBアプリをサクっとつくろう
知っておくと運用で役に立つbq loadのTips - yasuhisa's blog