はてなブックマーク

はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャート化しました。それぞれの特徴や使い方を、次章にて解説していきます。 用語の整理 先に、解説で使用する用語をざっくり整理します。 コレクション(Collection)型

はじめに みずほリサーチ＆テクノロジーズ株式会社の@fujineです。 いきなりですがAIエンジニアの皆さん、scikit-learnが実験的にGPUに対応していたこと、ご存知でしょうか？ scikit-learnは機械学習分野における古参パッケージの1つです。多様な機能を提供する一方、FAQにて「GPUに対応する予定はない（キリッ）」と公式宣言しており、scikit-learnが好きな自分としては「勿体無いなぁ」と常々感じていました。 そんな中、何気なくRelease Highlights for 1.2を読んでいたら以下文面を発見！しかも約半年前の2022年12月にリリースされてる… Experimental Array API support in LinearDiscriminantAnalysis Experimental support for the Array API sp

はじめに みずほリサーチ&テクノロジーズ株式会社の@fujineです。 本記事ではpandas 2.0を対象に、CSVファイルの入力関数である read_csvの全49個（！）の引数をじっくり解説 いたします。具体的には、 各引数には、どんな効果や（公式ドキュメントにも記載されていない）制約があるのか？ 引数を工夫することで、処理時間やメモリ消費量などのパフォーマンスが具体的にどれだけ改善されるのか？ pandasのver2.0では、それ以前のバージョンからどう変化したのか？ 多くの引数を保守しやすく管理するにはどうしたらいいか？ を体系的に整理・検証することを目指します。 新入社員/若手社員向けのレクチャーや、これまで「何となく」使っていた引数を「効果的に」使えるようになるためのノウハウ集としてご活用下さい！ read_csvの引数が49個もある理由 「ただCSVを読み込むだけなのに、な

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検

Overleafはウェブブラウザ上でtex文書を作成できるクラウドサービス． texは環境構築が結構面倒なので（昔に比べりゃ楽になったが，時間がかかるのは変わらない），このサービスは非常にありがたい． ただ，日本語論文を作成するにはちょっとひと手間必要になる． 以下，備忘録として日本語論文作成方法をメモする． 以下のページを参考： http://doratex.hatenablog.jp/entry/20180503/1525338512 プロジェクトの作成 まあ，まずはプロジェクトを作らないことには始まらないので，プロジェクトを作成． Overleafそのものは日本語化されているので，これは簡単にできるはず． まあ，まずは空のプロジェクト作成でよいと思う． 作ると勝手にtexファイルも作ってくれる． 試しに日本語を打ち込んでみるが，エラーになって反映されてない． ちなみにコンパイルはCt

改変履歴 '21/1/26 DeepLのテキストエリアのCSSセレクタが変更になったようなので、関数の方も修正。 `21/5/18　またまたCSSセレクタが変更になったようなので、修正 やりたいこと とりあえず、Science Directから書誌情報＋アブストをゲットした。次は、これをDeepLに流し込んで翻訳させていく、っていう処理をしたい。有料プランに契約すれば、ファイルを一気に翻訳させることが可能になるけど、まあ、ものは試しということでselenimuとchromedriverでやってみようということでチャレンジ。 準備 ##とりあえずCSVファイルをpythonに読み込む。 import pandas as pd df = pd.read_csv("DB.csv",header=None, delimiter=",", quoting=1) print(df.at[0,1]) #

初心者向け解説によくある例です。 これが現時点（2019年5月時点）で非推奨な書き方だと、初心者は気付くことができない。つらい。 【JavaScript初心者のつらいところ】 初心者向け解説（チュートリアル）のvarをconstやletに置き換えなきゃいけない 何も知らずvarで写経すると悪癖がつく 他にも「今は覚えなくていい書き方」がどうやらたくさんある 「歴戦のJavaScripterがモダンJavaScipt知識をアップデートするためのまとめ」を読むには、そもそも必要とされる前提知識を持ってない 「何が正解かわからない→ググる」と、正しい情報探しに時間が消える 解説途中でググらなくても良い、チュートリアル的に読み通せるサイトってどこ！？！？ そんな私のニーズを満たせそうなサイトにたどり着いたので、記事にしてみます。 【js-primer】 js-primer これからJavaScri

この記事のターゲット読者 この記事はなんらかのチームに所属しているまだ経験の浅いエンジニアの方や、組織の業務効率に課題を感じていらっしゃる方に向けた内容です。 設計や実装スキル以前に求められるスキル、コミュニケーション能力 エンジニアとして活躍する上で技術的な知識・スキルだけでなくコミュニケーション能力もとても大事です。コミュニケーションをないがしろにすると、いくら技術力があったところでコミュニケーション能力が足枷となってしまい、パフォーマンスを最大化することができません。コミュニケーション能力と一口に言っても様々ありますが、この記事ではチャット（Slack等）やメールなどの文字を利用したコミュニケーションにおいて意識すべき点を私なりに纏めます。 コミュニケーションをないがしろにするとどんな問題が起こるのか？ 開発を進める上で工程や立場にかかわらず、基本的に誰しもが誰かしらとコミュニケーシ

初心者向け解説によくある例です。 これが現時点（2019年5月時点）で非推奨な書き方だと、初心者は気付くことができない。つらい。 【JavaScript初心者のつらいところ】 初心者向け解説（チュートリアル）のvarをconstやletに置き換えなきゃいけない 何も知らずvarで写経すると悪癖がつく 他にも「今は覚えなくていい書き方」がどうやらたくさんある 「歴戦のJavaScripterがモダンJavaScipt知識をアップデートするためのまとめ」を読むには、そもそも必要とされる前提知識を持ってない 「何が正解かわからない→ググる」と、正しい情報探しに時間が消える 解説途中でググらなくても良い、チュートリアル的に読み通せるサイトってどこ！？！？ そんな私のニーズを満たせそうなサイトにたどり着いたので、記事にしてみます。 【js-primer】 js-primer これからJavaScri

はじめに 【2019年4月版】Google SpreadSheetから音速でPWAが吐きだせるってホントに？！ を拝見して面白そうだったので、自分が欲しいと思っていたアプリ（というよりデータ集）を作ってみました。 本当にあっという間に作れてしまって最高ですね！！！ 作成時に疑問に思った点は 公式サンプルアプリ を眺めて解決したのですが、それについて書いてみます。 作成アプリとソーススプレッドシート まずは参考用に以下リンクです。以降の文章で言葉不足で不明点がありましたら参考にしてください。 【アプリ】非公式 BLEACH キャラクターまとめ 【ソース】スプレッドシート 【疑問】メニューで項目をタップした後、更に別項目へ展開する機能の実装方法は？ 単純にスプレッドシート作っただけだと、この「画面展開→画面展開……」と続ける方法がわからなかったんですよね。 別メニューの画面へリンクが飛ぶわけで

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?