2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
SSH接続を10倍速くするたった3行の設定 - Qiita
今回は、SSH接続を劇的に高速化する方法をご紹介します。たった3行の設定を追加するだけで、接続時間を10分の1に短縮できます。しかも、2回目以降の接続では認証も自動的に行われるので、パスワードやパスフレーズの入力も不要になります。 要点 .ssh/configファイルのHost *セクションに以下の3行を追加するだけです。 詳しい説明 1. ControlMaster auto この設定で、1つのSSH接続で複数のセッションを共有できるようになります。新しくSSH接続を確立するたびに認証情報を入力し直す手間が省けて、接続がぐっと速くなります。具体的には： 初回の接続時のみ認証が必要 2回目以降は既存の接続を再利用するため、認証プロセスをスキップ パスワードやパスフレーズの入力が不要になり、接続がほぼ瞬時に完了 2. ControlPath ~/.ssh/mux-%r@%h:%p Contr
東京大学のAWS入門資料がいい感じだったので最新のAWS環境でも実行できるようにしてみた - Qiita
きっかけ 東京大学のAWS講義「コードで学ぶAWS入門」、いわゆる東大AWSってやつがが良いらしいと聞いたのでやってみました。 確かにこれは良いです。クラウドをこれから学びたい方にぜひおすすめ。 集中講義的に休日に半日もあれば学べます。 かかるAWS費用もわずか。 ほとんどのチュートリアルがAWSの無料枠で実行できてしまいます。ディープラーニング用のGPUインスタンスをぶん回すところは有料です。それでも数百円で済みます。 これは一通りハンズオンをやってみたAWSの費用です。 もはや学ばない理由が見当たりませんね。 これを書いた理由 けっこう有名な講義資料なのでいまごろ紹介するまでもないネタかと思っていましたが、いざやってみたらハンズオンのコードが最近のAWS環境では動作しない箇所がいくつかあったので。 動作するように修正した手順をまとめておきました。 本記事がはてブを950件ももらってしま
しょーもない事務作業を快適にするためのツールを作りたいとき 〜セキュア意識の高い会社編〜 - Qiita
Pythonインストールできないんだけど！ なんかいつもこれ同じ作業してるよな、自動化出来ないかな…よしやったる！ ↓ みんなー！こんなツール作ったよー、使ってみてー！ ↓ そして起こる「ちょっと、俺、.pyとかいう拡張子使えないんだけど」の声。 会社のPCって外部のアクセス禁止だったり新規ソフトウェアのインストール制限があったりと、色々制約がありますよね。この制約のせいで、作ったはいいが使えなかった、みたいな理不尽なハマり方したり、一方で試してみたら意外とこれ動いちゃうんだ！？みたいなこともあったりするので、ここではそんなずる賢い業務改善を必死に考える社員のみんなに、どれでやれば利用可能なツールづくりができるのか、その選択肢を載せていくよ。 Python + exe化ツール(Pyinstaller) やっぱ中身含めてファイル操作系でちょこちょこやるならPythonが楽だよね。ただ、Pyt
知っておくと仕事が捗る便利ツール17選 - Qiita
はじめに 知っておくと仕事が捗るブラウザ上で動く超便利なツールを17個集めました。 Squoosh Googleが開発した画像変換・圧縮用のWebサービス。 プレビュー画面で変換前後の画質をリアルタイムで確認しながら圧縮設定を調整することができる。 Documatic Documaticは、プロジェクトドキュメントの開発プロセスを削減するためのツール。API リファレンスからユーザー ガイドまで、コード ベースを簡単に文書化できる柔軟なテンプレートとユーザーフレンドリーな編集ツールを提供する。 transform jsonからyamlの形式に変換したい等、あらゆるデータ形式から別の形式に変換するサービス。 jsonからyml、htmxからjsxへの変形、jsonやGraphQLのIDLからTypeScriptのinterfaceまでも、ブラウザ上で生成することができる。 Roadmap.s
「なぜ」と聞かずに理由を引き出す！「詰めてる」感を減らす言い換えテク - Qiita
こんにちは。KDDIアジャイル開発センターのサービスデザイナー よねみちです。 生成AIを用いたto Bプロダクトのスクラム開発や、お客様のDX・新規事業創出のきっかけとなるデザインスプリント支援などを行っています。 はじめに レビューや会議で誰かが「詰められてる」様子、心にきますよね。自分がやられるのはもってのほかですが、周囲で発生するだけでも心がすり減ります。。 特に、何か問題が発生したときや、参加者間の誤解が解消できないときに「詰め」が生じがちです。 質問する側の、焦りや不安から「なぜ？」「どうして？」「つまり？」と質問マシーンになってしまう気持ちも理解できるのですが。 問い詰めてしまい心理的に不安全な状況に陥ると「ミスを隠そう、自分が責められないようにしよう」と回避する力が働きはじめ、結果として「正確な状況がわからない」「適切なアクションが取れない」といったチームとして重大なリスク
エンジニアのための十徳ナイフ「DevToys」がバージョン２になってクロスプラットフォームやCLI対応しさらに便利すぎる - Qiita
はじめに 以前紹介させていただき、2022年Qiitaのいいねランキング18位、ストックランキング20位を記録したこちらの記事の続編です！ DevToysはリリース後しばらく定期的なバージョンアップが続けられていましたが、去年の7月からぱったりとアップデートが止まっている状態でした。 リポジトリや作者のXを見るとバージョン２の開発を行っているようで、今か今かと待ち続けていましたが数日前リリース予告のポストを見つけて、今日ついにプレリリースされました！ ということで早速紹介していきます！ DevToysとは DevToysは「開発者のためのスイスアーミーナイフ」の紹介文の通り、開発時によく使うツールを十徳ナイフのようにまとめたアプリとなっています。 JSONの整形とかエンコードデコードetc... プログラミングや保守運用の調査でやりがちな作業をいちいち変換サイトを探したり、エディター拡張機
エンジニア以外でもSQLを使いこなす社内勉強会の取り組み - Qiita
概要 CBcloudでは、各部署のKPIをモニターし、業務改善に必要なデータを可視化するために、Metabaseを活用しています。データに基づいた意思決定を迅速に行い、業務効率を高めることができます。 しかし、データの抽出や可視化においては、エンジニアのサポートが必要とされる場面が多く、迅速に対応することが難しい場面も多々あります。そこで、私たちはエンジニア以外の社員が自ら必要なデータを抽出できるようになることを目指し社内でSQL勉強会を開催したいな〜と思っていたところ、社内からGASやSQL学びたい！という声が！！！ ということでSQL勉強会を @aipacommander と共に開催する事になりました！開催は発起人のパートナーズサクセス本部I.A氏を中心に進めてもらっています。いつもありがとうございます！ 前提 CBcloudは物流ラストワンマイルの配送プラットフォーム「ピックゴー」を
Linuxの面白いコマンド9選 - Qiita
はじめに Linuxの面白い（あんまり使い道のないどうでもいい）コマンドを9個まとめてみました。暇な時ぜひ試してみてください！ ※環境によっては、コマンドのインストール方法が異なる場合があるので、本記事ではインストール方法を記載しません。 1.メッセージをつぶやくウシ cowsay cowsayは、メッセージをつぶやくウシ(オプションで他の動物を指定することも可能)のアスキーアートを生成するプログラムです。 下記コマンドを実行すると、「Hahaha」というセリフを言うウシが表示されます。 $ cowsay Hahaha ________ < Hahaha > -------- \ ^__^ \ (oo)\_______ (__)\ )\/\ ||----w | || || $ cowsay -f turtle Hahaha ________ < Hahaha > -------- \ __
急に仕事で英語を使うことになった社会人に贈るまとめ(便利ツール/コンテンツ) - Qiita
急に仕事で英語を使うことになった社会人に贈るまとめ(便利ツール/コンテンツ/勉強本) 新規案件参画初日。 Goやk8sを使えることなってワクワクしていたあの日、 参画してすぐにチーム内のエンジニアで日本人が自分以外に一人であること、 それ以外のチームメンバー全員が外国籍のメンバーになることを知らされた そこのあなた！ 数年前の私です（笑） さらに2ヶ月後には、開発チームで唯一の日本人になって死にそうになりました。 その時は突然にやってきます。 当時、私の英語の経験というと大学受験の対策のみと言っていいほどで、 そこから10年以上経過していたため、高校英語すらも怪しい状態でした。 英語学習を開始して 半年ほど経過した時のレベルがTOIEC450程度だったので、学習開始当初はおそらく400点を切っていたレベルであると思います。 そこから英語学習を開始し、2年ほど経過した今では、便利ツールを活用
時系列データの代表格！株価のデータの取得と推論モデルの開発を5分で行う - Qiita
Yahoo! Finance APIとProphetを使ってとにかく素早くモデルをつくってみる 時系列データの分析を練習したい時、株価のデータはとてもおすすめです。 💡その理由は3つ！ 長期で欠損の少ない、扱いやすいデータが多い 銘柄を変えるだけで変動傾向の異なるデータが手に入る グラフを書いた時に株価変動がわかって役に立った感じがする 実際には時系列データを解析するときは、欠損値補完、標準化、ノイズの除去、局所化など前処理に時間をかけます。モデル開発についても自己相関係数を調べたり、LSTMなどのモデルでは計算やパラメータ調整に時間を要します。 この記事では、素早くデータを得ること、素早くモデルをつくることを目的にしています。まずは目に見える制作物が欲しいです！ 全体のコードはこちら # パッケージのインストール !pip install yfinance import yfinanc
Git不慣れ勢を束ねて安全なチーム開発をするメモ - Qiita
本稿は当初チーム開発時のメンバー向けにまとめたものです。 ある程度、端折っていた背景などを記載しました。 git初心者同士でのチーム開発において、git操作を詳しく知らないメンバーも含め安全に行う必要がありました。しかし、開発期間はごくわずか...この状況を回避するために、下記の対応をとりました。 Gitコマンドの基礎的な内容を理解する（私） 各種操作をGUI上で完結させる拡張機能を色々と導入する シンプルな開発フロー(Github flow)を採用し、コマンド実行に相当する操作を限定する 各操作をGUI上での操作に置き換え、チームメンバーに教える 本稿はその際の、コマンドやGUI操作に関するメモをまとめたものになります。 こういった取り組みのおかげか、チームの開発をすんなりフローに乗せることができました。 ■ 前提条件 対象とする動き Github flowを回すうえで、 cloneする
PythonでChord Diagramをプロットする方法 - Qiita
Chord Diagramプロット方法 pyCirclizeを利用したChord Diagramのプロットコード例・図例を以降に記載しています。 1. 行列テーブルからプロット プロット方法は簡単で、Circos.initialize_from_matrix()メソッドから行列データ読み込み及びChord Diagramプロット設定を行い、savefig()メソッドで図を出力するだけです。プロット設定は各要素間のスペース度数やカラーマップ、ラベル位置・サイズ、リンクの方向等の設定が可能です。 1-1. Example1 (3 x 6 行列) from pycirclize import Circos import pandas as pd # Create matrix dataframe (3 x 6) row_names = ["S1", "S2", "S3"] col_names =
知的・技術的進歩のスピードを限界まで加速するノートアプリ『Heptabase』 - Qiita
はじめに 1年半ほどObsidianというノートアプリを使い、Qiitaにも記事を３つほど公開をしていました。 効率的に成長するためのデジタルノート術(Obsidian x Zettelkasten(LYT Framework)) コーディングのようにノートを取る技術 がんばらないObsidianノート術 確かにNotionやEvernoteとは違う感覚のノートアプリであり、双方向リンクを利用したグラフで繋げていくノートに当時は感動を覚えました。 その反面、Obsidianを百パーセント有効に活用できていたかと聞かれると「はい」と答えることは難しいと感じています。がんばらないObsidianノート術の記事はまさにその一角であり、Obsidianの拡張性と自由度に翻弄されてしまわないように書いた記事です。 1年半を通して紆余曲折した中、先日新しいツールとの出会いがあり、自分に合うツールを見つ
本当のAWS基礎 昭和～平成～令和の時代の変遷システムの変化と今昔物語 - Qiita
内容 社内でAWS知らない人でもこれだけは覚えていてほしいという動画を作成して欲しいとリクエストあり。その内容を資料化したものです。小学生の子供に説明してみましたがになんとなくAWSが分かったと言っていたので今回は結構分かりやすくまとめられたと思います。 システムを構築する時 システムを構築する際、サーバやネットワークなどのインフラが必要になります。昭和の時代は物理サーバを買ってきてラックマウントしてネットワークに接続してと物理的な作業が多く発生していました。 その後、物理サーバの上に仮想的なサーバを作成できる仮想化技術の発展により、仮想サーバが主流となりました。最初に物理サーバを用意して、仮想化基盤を構築する必要があります。仮想化基盤構築後は、新しいシステムを作りたい場合はすぐに仮想サーバの準備を行うことができ、物理環境の時と比較すると大きな進展がありました。 仮想化基盤を自社で構築する
LINE BOT が チラシをくれた(3) 〜最後まで - Qiita
前回まででPUSHしてくれるところまでできた。 LINE BOT が チラシをくれた(1) 〜おうむ返し編 LINE BOT が チラシをくれた(2) 〜PUSH編 追記 この記事は、LINE Messaging APIになる前のbot trialの内容である。 内容 あまり長くなるのもあれなのでこれで一応最後まで書きたいと思う。 昨日として詰めようと思うのは 友達追加時のメッセージ 本命のチラシ データベース接続 かな？？ 順番に説明していく。 1. 友達追加時 そもそも友達追加した時とかブロックした時とかブロック解除した時ってサーバー側でなんか起こってるの？と疑問に思った。 結果は。。。。。 できる！！だ。 実際にやり方を説明する。 まずはLINE BOT APIから eventType mean
初心者でも大丈夫！GitHub Copilot Chatで始めるKaggle画像系コンペ - Qiita
この記事は Safie Engineers' Blog! Advent Calendar 2023 の3日目の記事です！ はじめに セーフィー株式会社 で画像認識AIの開発エンジニアをしている水野です。2023年10月1日付で現職にジョインしたのですが、本業で語れるネタがまだ無いので趣味でたまに参加している Kaggle と流行りの生成AIを絡めた記事を投稿します。KaggleについてはKaggle Competitions Masterのランクを保持していますので、コンペに関する知見も織り交ぜながらお話しできればと思います。 早速ですが、このような悩みをお持ちの方はいないでしょうか？ Kaggleに登録し、定番のタイタニックコンペを終えて、次は画像系コンペに参加してみたいが、どのように進めたらいいのか分からない 公開Notebookをベースラインとして作業をしているが、コードの意味が理解
データサイエンティストこそGitHub Copilotを使うべき3つの理由 - Qiita
GitHub Copilotは、一見するとエンジニアやプログラマー向けのツールに見えますが、実はデータサイエンティストにとっても非常に役立ちます！ 役立つどころか、むしろエンジニアよりデータサイエンティストこそ使うべきだと思ったので、その理由について語ります！ GitHub Copilotとは まず最初に簡単にGitHub Copilotについて解説します。 GitHub Copilotは、AIを活用したペアプログラミングツールで、コメントやコードのオートコンプリート機能により開発者の生産性を向上させます。 このツールの主な機能は、大量の公開ソースコードから学習したAIが提供する高精度なコード補完で、これまでのコード、コメント、関数名などからあなたが次に書きたいと思っているコードを予測し、自動で書き出します。 例えば、実装したい関数の内容をコメントで書くだけで、GitHub Copilot
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニアにも知って欲しいChatGPT基本テクニック - Qiita
Ubuntuの/var/log/messagesを設定する - Qiita
