普段お世話になっているwebツール達の紹介です。 以下のサイトはすべて 無料 & 登録不要 です。 正規表現 regexper 正規表現を可視化してくれます。 複雑な正規表現を書くときやコードリーディングのお供に重宝します。 Rubular Rubyの正規表現をテストできます。 JSON JSON FORMATTER & VALIDATOR JSON系のツールが集まったサイト。 それぞれ、サイト名とドメインが違うのでリンクはそのうちの１つになっています。 (画像クリックでそれぞれのツールに飛べます。) ひとつずつ紹介します。 JSONをフォーマットしてくれます。 出力結果は折りたたむことができるので、長いJSONを読むときにも便利です。 JSONを含めた様々なデータ形式を変換できます。 Inputの以下に対応。 CSV INI JSON XML YAML Outputは以下に対応。 JSO

JavaScript Primer 迷わないための入門書 Tweet Watch Star Twitterのハッシュタグ: #jsprimer これからJavaScriptを学びたい人が、ECMAScript 2015以降をベースにして一からJavaScriptを学べる書籍です。 プログラミングをやったことがあるが、今のJavaScriptがよくわからないという人が、 今のJavaScriptアプリケーションを読み書きできるように書かれています。 初めてのプログラミング言語としてJavaScriptを学ぶ人は、まずは「はじめに」から読んでみてください。 書籍版 このウェブサイトの内容はアスキードワンゴから書籍として出版されています。 書籍版の内容はウェブサイト版と同一ですが、本として読めるように最適化されています。 書籍版は次のサイトから購入できます。 Amazon 達人出版会（電子書籍版

こんにちは、HACARUSでデータサイエンティストをしている増井です。先日、Christoph Molnar氏の Interpretable Machine Learning というAIの解釈性に関するの教科書の和訳プロジェクトを進めていることをこちらのブログにて紹介させていただきました。 11月ごろから和訳活動を始めていたのですが、遂に全ての和訳の公開が完了しましたのでお知らせします。 この書籍は、CC BY-NC-SA 4.0 のライセンスで提供されており、原著、和訳ともに web上で全編無料で読むことができます。和訳版は以下の URL からご覧になれます。 https://hacarus.github.io/interpretable-ml-book-ja/ ちなみに、Google 検索で、”Interpretable ML 和訳” と調べていただいても、上位に表示されると思います。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん

当サイト【スタビジ】の本記事では、尖度と歪度について解説してきます。尖度とは「分布が正規分布からどれだけ尖っているか表す指標」、歪度は「分布が正規分布からどれだけ歪んでいるか表す指標」と定義されています。歪度と尖度を求めることで、データの分布がどのような形状になっているかある程度分かるようになります。今回は歪度と尖度の定義と目安について解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ 今回は歪度と尖度について解説していきます！ 歪度は「分布が正規分布からどれだけ歪んでいるか表す指標」、尖度は「分布が正規分布からどれだけ尖っているか表す指標」と定義されています。 歪度と尖度を求めることで，データの分布が正規分布に近いものであるか確認することができ，分布の形もある程度推測することが可能になります。

データを入手したとき、最初に実施するタスクの1つが、探索的データ分析 (EDA) です。 探索的データ分析 (EDA) は、データをより深く理解するプロセスにおける重要なタスクです。 データの大まかな概要を把握するためのツールがいくつかあります。例えば、Tableauです。Tableauは無料ではありません。それなりにコストがかかります。 PandasやPolarsのデータフレーム（DataFrame）を、Tableau風のユーザーインターフェイスで操作できるようにするPythonライブラリーがあります。 PyGWalkerです。 PyGWalkerは、Tableauの代替品とも言われているオープンソースであるGraphic Walkerを利用したものです。 以前、Jupyter上でPyGWalkerを使う方法について簡単に説明しました。 Tableau風にデータ操作できるPythonライ

Jupyter NotebookやJupyter Labといった、Notebookでデータ分析業務をする人が、ここ数年で増えてきました。 Notebook上でデータ分析をするとき、外部のCSVファイルやDBのデータテーブルなどからデータセットを取得する必要があります。 よくあるのが、Pandasを利用し取得したデータセットをデータフレームに格納するケースです。 データ規模が大きいほど、ある問題が起こります。 例えば、メモリの消費の問題です。 データフレームに格納するということは、PCなどのメモリをそれだけ消費します。 多くの場合、読み込んだ直後のデータフレームは、そのままデータ分析に使えることは少なく、何かしらの加工なり処理がなされ整えられます。 ある程度整えられたデータセットの状態で、データフレームとして格納した方が、メモリの消費量は少なくてすみます。 他には、外部DBのパフォーマンス低

この記事は 「JavaScriptの勉強してたらみんなNode.jsの存在を前提に話が進む。でもNode.jsってWebサーバじゃないの？ なんでインストールしなきゃいけないの？ なんでみんな使ってるの？」 といった疑問を解消することを目的としています。 基礎：JavaScriptの特徴 まずはJavaScriptと他のプログラミング言語の違いを知っておく必要があるので解説します。 JavaScriptはChromeやFirefoxといった「ブラウザ上」で動作するプログラミング言語です。 対してPythonやRubyのような一般的なプログラミング言語は通常「パソコン上」で動作します。1 このことが生み出す違いは、OSの機能にアクセスできるかどうかです。 「OSの機能」とは例えばファイルの読み書きや、ネットワーク通信などの機能のことです。 パソコン上で動作するアプリケーション（Pythonや

OpenAIのGPTの真骨頂とも言える機能が「Function calling」ですFunction callingの凄さは、「AIとの自然な会話で様々なソフトウェアを扱えるようになる」点にあります。 とてつもなくすごいことなのですが、ChatGPTと違って利用するのにプログラミングが必要なため、いまいち凄さが伝わっていない感があります。 本記事は、Function callingをノーコードでサクッと動かし、その凄さを体感してもらうための記事です。 ※本記事は、会話型AI構築プラットフォームmiiboを開発する、株式会社miiboの提供です。 どんな事ができるのか？例えばこんなことができます。 ・AIチャットボットとブレストした内容をNotionで記事化しておいてもらう ・AIチャットボットにSNS発信内容を考えてもらい、ツイートをしてもらう ・AIチャットボットが受け付けたお問い合わせ

Microsoftが表計算ソフト「Excel」上でPythonを動作させることを可能にすると発表しました。Microsoft 365 Insider Programを通して使用できるベータ版のExcelで既にPythonが利用可能になっています。 Announcing Python in Excel https://techcommunity.microsoft.com/t5/excel-blog/announcing-python-in-excel-combining-the-power-of-python-and-the/ba-p/3893439 新たに導入される「PY」関数を使用すると、セルに直接Pythonのスクリプトを書き込むことができ、書き込まれたスクリプトがMicrosoft Cloud上で実行されてシートに結果が表示されます。サーバーで実行されるPythonにはデータ分析用

Pythonにおけるimportの危険性とは　全ての運用関係者が知っておくべきPython特有のセキュリティリスク：便利だが攻撃者による悪用の可能性も Pythonのimportステートメントには、開発者や企業が注意する必要があるセキュリティリスクが伴う。これがどのように機能するのか、そしてなぜ簡単な解決策がないのかを解説する。 Pythonを使用する場合に対応が必要な、あまり注目されていないリスクが存在している。 最新のソフトウェア開発言語は全てモジュール式であるため、開発者はコードの大きなセクションを、より管理しやすい小さな部分に分割できる。これにより、通常はライブラリにグループ化されたコード単位を再利用できる。これらのライブラリは社内で作成されていないことが多く、グラフ作成、データベース接続、配列計算などの一般的なタスクを実行するために作成されたオープンソースコレクションだ。 コード

「LlamaIndex v0.7」をはじめる方法をまとめました。 ・LlamaIndex v0.7 【最新版の情報は以下で紹介】 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install llama-index==0.7(2) 環境変数の準備。 以下のコードの <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料) import os os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"(3) ログレベルの設定。 import logging import sys # ログレベルの設定 logging.basicConfig(stream=sys.stdout, level=logging.

Dockerを触りながら学んでいく、初心者向けの記事です。 用語の解説等はほとんどせずに、とにかく触ってみることを目的としています。 Phase 1: Dockerの基本 コマンドを試しながら基本操作を学びます。 Phase 2: Dockerfileをもう少し書いてみる Dockerfileを使って、簡単なWebアプリケーションを作成します。 Phase 3: Docker Composeを使ってみる Docker Composeを使って、複数のコンテナを一括管理します。 Phase 1: Dockerの基本 Dockerの基本的な操作を試してみます。 プロジェクトフォルダの作成 次のコマンドを実行して、プロジェクトフォルダを作成します。

前回まで ITエンジニアなのにまだ投資やってないの？ITエンジニアならChatGPTでクオンツシステム作って儲けようぜ ITエンジニアなのにまだ投資やってないの？ITエンジニアならChatGPTでクオンツシステム作って儲けようぜpart2 ネトフリは面白い 僕はネトフリのヘビーユーザーなんですが、投資系にも リーマンショックまでの経緯と仕組みを実録インタビューで振り返る「インサイドジョブ」や AIテック系の話で、チェスは機械には勝てないと言われてAIが勝ち、「人間の高度な知的能力でしか勝てない」と言った囲碁の世界王者に勝ち、今では7、8年も訓練を積んでようやくなる戦闘機のエースパイロットにも勝ち、AIの実用速度の高さをドキュメントした「アンノウン」なんかも面白いし勉強になります。 投資思考では技術力UPは悪手 投資思考って事業でも人生でもとても大事です。 例えば、収入に不満を持ってるエンジ

はじめに 今回の記事では、私の独断と偏見でエンジニアリングにおける必須の書籍を、以下の分野に分けて40冊共有する。 Web開発 行動経済学 ソフトスキル その他 対象とする読者 プログラミング初心者 どの書籍から読み進めればいいかわからないプログラマー なにか新しい書籍を読みたいひと なんとなくタイトルが気になったひと Web開発 『リーダブルコード』 良質なコードの原則と具体的なテクニックを丁寧に解説している。プログラミング初心者はまずこれを読むべき。良質なコード―要は、メンテナンスしやすいコードを書く上で重要なヒントを教えてくれる。コーディングで一生役立つ知識が満載だ。何度読んでも決して色褪せることのない不朽の古典である。 『14歳からのプログラミング』 図解付きでプログラミングの基礎(例：変数、関数、条件分岐)を理解できる。小難しい専門用語が一切なく、初心者でも問題なく理解できるよう