どういうもの？ このように関数を使ってデータを取り込めます。 背景 元々は「インターネット上のWebAPIのデータをExcelに取り込みたい」と思ったのがきっかけです。 VBAマクロを使えば簡単ではありますが、マクロは使いたくないという方も多いのではないでしょうか。かくいう私も勤務先が属人化を防ぐためにマクロの使用を推奨していません。 そこで、関数を使用する方法を選択しました。 ExcelにはWEBSERVICE 関数という指定したURLの応答データを取り込む関数があります。 しかし、この関数は大変便利な関数ですが、ExcelはHTMLやJSONのパーサーを用意していません。結局取り込んだHTMLやJSONの処理にはVBAマクロが必要になります。 また、欲しいWebAPIが存在しない問題もありました。 そこで、Excelでデータを編集するのではなく、元々のWebAPIをExcel用に作れば
未経験から1ヶ月でWeb系企業に就職する勉強法
取り上げた技術は、本格的な開発でも役に立つもので、最も学習コストが低いものを選んだ。 重要度が低いものは載せていない。たとえばHTMLとCSSなんてググりながら書けば全く問題ない。Bootstrapなどのフレームワークも全くやる必要はなく、仮に就職先で使っていたら覚えればいい。 逆に言えば以下に挙げる技術は、そもそも概念自体がプログラミングにとって普遍的なものであり、（基礎的な部分を）調べながら使うようではエンジニア失格ということ。 基本的に現在では、バックエンド・フロントエンド・運用保守全てができないエンジニアに価値は無い。 以下に挙げた技術（①⑤⑥は他の言語やフレームワークで代替可能）が身に付いていなければまともな企業に就職することは難しい（もちろん、下らない業務システムを下請けで作ってる底辺企業には入れるだろうが）。 経験者でも、これらができない/わからないのは、相当恥ずかしいことだ
Google、ORMが生成するSQLが遅いときの調査を容易にする「sqlcommenter」をオープンソースで公開。Rails、Spring、Djangoなど主要なフレームワークに対応
Google、ORMが生成するSQLが遅いときの調査を容易にする「sqlcommenter」をオープンソースで公開。Rails、Spring、Djangoなど主要なフレームワークに対応 SQL文を直接書かなくとも、自動的にSQL文を生成、実行してくれるORM（Object-Relational Mapper）は、プログラミングを容易にしてくれる技術としてRailsやHibernate、Springなどさまざまなフレームワークなどで活用されています。 一方で、ORMが生成するSQL文はときに複雑に、あるいは非効率なものとなり、データベース処理の遅さにつながることもあります。 このとき、SQL文の生成と実行を明示的にコードとして記述する必要がないというORMの特徴が、なぜデータベース処理が遅くなったのか、どのようなSQL文が生成され、そのどこに原因があるのか、といった調査を難しくている面があり
はじめに Web技術は日進月歩で新しい技術が増えているが、実務でそれらすべてを触る機会はない。そこで、今回の記事では2023年下半期に赤の他人に勧めたいWeb技術を個人の独断と偏見で解説する。 対象者 これから何をすればいいのかわからないプログラマー 新しい技術に興味があるひと スキルセットを拡大したいひと タイトルでなんとなく気になったひと フレームワーク FastAPI FastAPIはPythonでAPIを開発するために開発された軽量のWebフレームワークだ。FastAPIでは、主に以下の特徴がある。 Node.jsやGo言語に匹敵する高速なアプリケーションを開発できる 構造が簡単(Flaskの影響を受けている) Pythonに型定義を含められる 環境構築がコマンド一つで終了する 非同期処理を簡単に実装できる Pythonで開発されているので、機械学習との相性が抜群 RESTとGra
はじめに 対象イベント 読み方、使い方 Remote Code Execution(RCE) 親ディレクトリ指定によるopen_basedirのバイパス PHP-FPMのTCPソケット接続によるopen_basedirとdisable_functionsのバイパス JavaのRuntime.execでシェルを実行 Cross-Site Scripting(XSS) nginx環境でHTTPステータスコードが操作できる場合にCSPヘッダーを無効化 GoogleのClosureLibraryサニタイザーのXSS脆弱性 WebのProxy機能を介したService Workerの登録 括弧を使わないXSS /記号を使用せずに遷移先URLを指定 SOME(Same Origin Method Execution)を利用してdocument.writeを順次実行 SQL Injection MySQ
実装の参考の当たり 前口上: オープンソースの実装を読もう 普段Web開発をしているとこの書き方は普通か、実装の方向性はよさそうか不安になることがあります。そういった際、同じリポジトリの既存実装や会社の他のリポジトリ、技術ブログや本、過去の経験、他のメンバーの意見などを参考にしつつ当たりをつけるわけですが、リファレンスが増えるに越したことはないです。 有名な言語、フレームワークではオープンソースのWebサービスがGitHub、GitLab上などにあがっていることがあり、参考になります。 それぞれライセンスがあり、とりわけGPL汚染などは要注意ですが、収集した一覧が溜まってきたのでまとめておきます。ある程度有名なものメインでスクリプト言語+Go。 Ruby Ruby on Railsは有名なので採用しているWebサービスが多数あります。 Redmine イシュー、プロジェクト管理ソフトのRe
私がDjangoでWeb開発を行う理由
はじめに 今回の記事では、私がPythonのWebフレームワーク「Django」で開発を進める理由を独自の視点から徹底解説する。今回の記事の読者の対象は主に以下の通り。 個人開発でDjangoを使おうとしているプログラマー Djangoについて深く理解したいプログラマー Djangoを個人開発(Web開発)に採用するメリット・デメリットを把握したいプログラマー すでにRailsやLaravelなど他のWebフレームワークを使った開発を経験しており、他のWebフレームワークの特徴を把握しておきたいプログラマー Web開発の技術選定で困っているプログラマー Djangoとは DjangoはPythonで開発されたWebフレームワークである。フレームワークを簡潔に説明すると、開発に必要な機能をデフォルトで揃えているものを意味する。WebフレームワークはWebアプリケーションの開発を効率化させるた
なんかいけそうな気がしたので Code Interpreter でシュッと Web アプリつくってもろた｜bbz
ちゃっす(/・ω・)/ 今日も ChatGPT Code Interpreter さんと戯れていましたの。 で、タイトルの通りなのだけれど、仕様書書いて渡したら Web アプリシュッと作ってくれんじゃね？( ・ω・) という闇の遊戯をした。 という話。 目標実行や指示はすれどもワタクシは一切コードを書かぬ！！ 普通にエラー修正とか自分でやった方が早いけどやらぬ！！ 全てを ChatGPT への指示で完結する！！ で、納品されたもの(/・ω・)/ 納品物 トップページ 登録画面 ログイン画面 Activity 一覧 Activity 修正 レポート画面 すごない？( ・ω・) やったこと～ChatGPT との対話を残すでござる( ・ω・) ※ ChatGPT Code Interpreter Plugin が使えないと同じ事はできないぞ☆ 仕様書を提供しますので、 仕様にそった Flask
【徹底解説】FastAPIの特徴と課題点
はじめに 今回の記事では、PythonのWebフレームワーク「FastAPI」の特徴・課題点を簡潔に解説する。本記事の読者は主に以下のようなものを対象とする。 FastAPIを知らない人 FastAPIを実務で活用したい人 技術選定でFastAPIを選ぶ理由を検討している人 PythonでWebアプリケーションを開発したい人 すでにDjangoやLaravelなどの他のフレームワークに着手していて、別のフレームワークに関する情報を収集している人 FastAPIとは FastAPIとは、Djangoと同様にPythonのWebフレームワークである。主にWeb APIを開発するために利用される。 FastAPIの特徴 FastAPIの特徴は以下の通り。 Node.jsやGo言語に匹敵する高速なアプリケーションを開発できる。Pythonフレームワークの中では最も高速。 少ないコード量で実装できる
copilot-explorer
Copilot Internals | thakkarparth007.github.io Github Copilot has been incredibly useful to me. It can often magically read my mind and make useful suggestions. The thing that surprised me the most was its ability to correctly “guess” functions/variables from surrounding code – including from other files. This can only happen, if the copilot extension sends valuable information from surrounding cod
Python is Actually PortableUpdate (2024-04-15): The Python executable build process described in this post is from 2021, and both Cosmopolitan Libc and the surrounding tooling have improved since 2021. The build process is much simpler now, you can download Python 3.11.4 Actually Portable Executables built via Github Actions at https://github.com/ahgamut/superconfigure – one of the Python binaries
入門 Python 3 第2版
データサイエンスやウェブ開発、セキュリティなど、さまざまな分野で人気を獲得してきているPython。本書は、ベストセラー『入門 Python 3』の6年ぶりの改訂版で、プログラミング初級者を対象としたPythonの入門書です。プログラミングおよびPythonの基礎から、ウェブ、データベース、ネットワーク、並行処理といった応用まで、実践を見据えたPythonプログラミングをわかりやすく丁寧に説明します。Python 3.9に対応し、f文字列などの新機能も追加され大幅にボリュームアップしました。Pythonの機能をひと通り網羅し、リファレンスとしても便利です。 正誤表 書籍発行後に気づいた誤植や更新された情報を掲載しています。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷数をご確認の上、ご利用ください。 第1刷正誤表 ※2022年4月更
Python学習におすすめの本27選！初心者・中級者・上級者別に紹介 - アンドエンジニア - エンジニアのこと、エンジニアから。
この記事でわかること PythonはAI開発やデータ分析、ゲーム開発など幅広い用途で使われている言語 Python初心者はイラストが豊富で専門用語少なめで解説されている本がおすすめ Python中級者・上級者は現場で使える実践的なスキルを網羅している本がおすすめ 【関連記事】【Pythonのライブラリ管理ツール】pipインストールを徹底解説！Windowsでも簡単？ 【関連記事】PythonのコードをEXE化するには? PyInstallerやその他ツールの特徴や使い方 【関連記事】Pythonで自動化できること7選！面倒な作業を効率化してより便利に 目次 1. Python独学にはどんな本がおすすめ？ 1-1. Pythonとは？ 1-2. Pythonでできること 1-3. Python学習のコツ 1-4. レベル別に本を選ぶのが重要 2. Python初心者におすすめの本11選 2-
開発者がWeb開発向けのフレームワークを評価、採用する際には、ドキュメントの完備状況、ツールの統合、効率的なロード時間、セキュリティ機能、ベンダーやコミュニティーによるサポートといったさまざまな点を考慮する。 Djangoは、強力なフォームライブラリや組み込みのテンプレートエンジンを備えており、高度なセキュリティ機能も持っている。Flaskは「WSGI」（Web Server Gateway Interface）標準に準拠しており、「Jinja2」テンプレートエンジンを最適化することで、軽量でスケーラビリティに優れたモジュール型プログラミングをサポートする。 DjangoとFlaskはどちらも「Python」製のオープンソースWebフレームワークであり、フロントエンドとバックエンドの機能を提供することで効率的な開発を実現する。それぞれに強みと弱みがあり、用途に応じて選択する必要がある。 な
SQLAlchemyを何となくで使用していたのでこの機会に入門してみました。 Flask-SQLAlchemy を用いてRDBをORMとして扱い、REST APIを作成します。 ORMとは ORM（Object-Relational Mapping）とは、データベースとオブジェクト指向プログラミング言語とのマッピングを行うことを指します。 ただこれだけ聞くと、イメージしづらいですが、簡単に言うと、SQL文を直接記述せずに、通常のオブジェクトを扱うようにデータベースを扱うことができるということです。 Pythonでは、ORMモジュールの1つに SQLAlchemy があります。 SQLAlchemy SQLAlchemyは、Pythonでポピュラーに使用されているORMライブラリの1つのようです。 SQLite、Postgresql、MySQL、Oracleなどさまざまなエンジンにも対応して
Back to blog How we added full networking to WebVM via Tailscale WebVM is a virtual Linux environment running fully client-side in the browser. It is based on CheerpX: our WebAssembly-powered x86 virtualization technology. Thanks to a powerful JIT recompilation engine, and an ext2 block-based filesystem, it makes it possible to run large-scale use cases: GCC / Clang / Python / Node.js / Ruby and m
脆弱性が診断ツールで見つかったり見つからなかったりする話
はじめに 「脆弱性診断内製化ガイド」が注目を集めていたことをきっかけに、「診断ツールで見つけられそうな脆弱性が見つかったり見つからなかったりする」話を書けないかな？と思い立ちました。本記事では、診断ツールを用いて簡単なアプリケーションをスキャンした結果を紹介します。 背景 脆弱性診断内製化ガイド 2025年7月31日、情報処理推進機構（IPA）から「脆弱性診断内製化ガイド」というドキュメントが公開されました。 これは「中核人材育成プログラム 卒業プロジェクト」によるもので、企業が自社内で脆弱性診断を行う「内製化」を推し進めるためのガイドです。内製化に必要な組織体制・人材育成、スモールスタートから始める導入ステップ、外部委託と比べたメリット・デメリットなどが述べられています。 診断ツールによる脆弱性の検出 一方、SNSでは「あるページ」に注目が集まっているように感じました。それは、P.51か
【SQLAlchemy】sessionの作成はどの方法がいいのか？考えてみた - とりあえずの独り言
概要 sessionクラスを使う session_markerクラスを使う scoped_sessionクラスを使う（オススメ) session のクローズについて 補足(auto_flush, auto_commit設定について) 補足(トランザクションについて) 概要 SQLAlchemyでは、sessionの作成方法が複数あって結局どれがいいの？っていうのをいろいろ考えてみた。 ちなみに、Flaskなどのフレームワークを利用している場合はSQLAlchemyをラップしたFlask-SQLAlchemyなどがあるのでここら辺を利用するとsession周りは良しなにやってくれます。 フレームワークを使わないような、ツールやバッチ系などではSQLAlchemy単体で使うことも多いと思うのでそういう人向けです。 参考： SQLAlchemyのSession生成方法 - Qiita 【Pyth
AI駆動プログラム開発、一気入門
AI駆動プログラム開発、一気入門 AI Driven Development このドキュメントは、全てMarkdown AIで作成しました。2024.11.18 <div Align="right">作成：Markdown AI ファウンダー兼アーキテクト coke_kouichi</div> AI駆動開発とは？ AI時代がやってきた！ あの大変だったプログラミング作業を、AIが勝手にやってくれるという、とんでもない時代がやってきました。 そこで、本書ではVercel社のv０、Stackblitz社のBolt、Replit社のReplit Agent、Anysphere社のCursor+Clineの5つのツールを用いて、AIプログラミングに挑戦します。 プログラミングは難しい、昔プログラミングに挑戦して挫折した、そんな方もAI時代は大丈夫です、ご心配なく。 本書でもう一度プログラミングに挑
前々からフリーランス案件の言語別単価を比較＆集計してみたかったので実際に調査してみました フリーランス案件の情報は下記サイトを元に集計しました 各言語のページに集計情報があったのでそれを元にしています レバテックフリーランス https://freelance.levtech.jp ※2020年11月21日時点のデータです Cloud.csv created_at,skill,count,avg_price,max_price,min_price 20201121,OpenShift,5,62,65,60 20201121,Amazon VPC,1,70,70,70 20201121,Google Cloud Platform,55,80,105,53 20201121,Dynamics CRM,1,65,65,65 20201121,Amazon S3,2,80,85,75 202011
ソーシャルメディアやウェブアプリケーションでは、ユーザーがコンテンツに対して「いいね」や「いいね」ボタンを押す機能が一般的です。これはユーザーエンゲージメントを向上させ、コンテンツの評価や共有を促進するための重要な機能です。今回は、Pythonを使用してシンプルないいね機能を実装する方法について説明します。 いいね機能の基本的な仕組み いいね機能の基本的な仕組みは、ユーザーがコンテンツに対していいねを押すと、その情報がサーバーに送信され、データベースに反映されるというものです。具体的には、各コンテンツに一意なIDがあり、ユーザーがボタンを押すとそのIDとユーザーIDがデータベースに保存されます。 データベースの設計 まず、いいね情報を格納するためのデータベースを設計します。以下は、SQLiteを使用した簡単な例です。 import sqlite3 conn = sqlite3.connec
はじめに 今回の記事では、FastAPIでREST APIを開発する手順を簡潔に解説する。 本記事の対象読者 Pythonの基本文法(データ型、条件分岐、繰り返し)を理解している人 RailsやLaravel等のWebフレームワークで簡単なWebアプリケーションを開発できる人 FastAPIで簡潔にREST APIを開発したい人 用語解説 FastAPI FastAPIの公式ドキュメントによると、以下のように説明されている。 FastAPI is a modern, fast (high-performance), web framework for building APIs with Python 3.7+ based on standard Python type hints. 簡潔に言えば、FastAPIはPythonでAPIを開発するために開発されたWebフレームワークである。P
PythonとFlaskの魔法：Webアプリ開発を効率化するFlaskとの連携 - Python転職初心者向けエンジニアリングブログ
### PythonのWebアプリケーションフレームワークとして広く利用されているFlaskは、シンプルで柔軟な構造により、開発者に優れた自由度を提供しています。この記事では、PythonとFlaskの連携に焦点を当て、具体的なコード例を交えつつ、Flaskを使用したWebアプリケーションの開発手法や豆知識を掘り下げていきます。 Flaskとは何か FlaskはPythonの軽量なWebアプリケーションフレームワークで、マイクロフレームワークの一種です。シンプルながらも強力で、必要最低限の機能を提供しつつ、拡張機能を導入することで柔軟に機能を拡張できます。これにより、小規模なプロジェクトから大規模なアプリケーションまで、幅広い開発ニーズに対応できます。 Flaskの基本的な機能 Flaskが提供する基本的な機能を理解することで、開発の初めての一歩を踏み出すことができます。以下に、Flask
【学習ロードマップ】DS学習歴1年半ほどの理系大学生の勉強記録をまとめてみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 学習ロードマップ（DSL CORE エンジニアリング代表：@mohki7） Data Science League COREのエンジニアリング代表、大木です。 僕がこれまでにやった教材とその感想、そしてそれをやった結果どうなったかをまとめます！ 皆さんの勉強に役立ったら嬉しいです😆 何か質問があれば、いつでも遠慮なくお気軽にSlackまたはTwitterのDMまで！ 追記：DSLエンジニアリングメンバーの清水さん（ @tomato_boy77 ）にも学習ロードマップを書いてもらったので、そちらもぜひ。 AWSやアプリ開発が自分のより多
はじめに ユーザーがアプリケーションにログインできるようにすることは、Webアプリケーションに追加する最も一般的な機能の一つです。この記事では、Flask-Loginパッケージを使用してFlaskアプリケーションに認証を追加する方法を説明します。 ログインしていないユーザーは見ることができない保護されたページに、ユーザーがログインしてアクセスできる、サインアップとログインページを構築します。ユーザーモデルから情報を取得し、ユーザーがログインした時にプロファイルがどのように見えるかを保護されたページに表示してシミュレーションします。 この記事では、次のことを説明します。 セッション管理に Flask-Login ライブラリを使用 組み込み Flask ユティリティを使用して、パスワードをハッシュするときに使用 ログインしているユーザーのみがアクセスできる保護されたページをアプリケーションに追
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
SQLAlchemyはPythonでよくつかわれるORマッパー。DjangoのORマッパーは使ってたけどSQLAlchemyは最近よく使うようになったのでDBからのデータ取得やCRUDなどをまとめます。 以前の関連記事。Flaskで Flask SQLAlchemyを使ったDBデータ取得、作成、更新、削除を行ってます。 Djangoで同じような記事書いてたので一応リンク載せます。 今回のSQLAlchemyとはORMと言うだけであまり関係ないですが、Django ORMでもSQLAlchemyでもどちらかできればそれほど違和感なく使えるようになるかと思います。 ついでに、SQLAlchemyの方がSQLの書き方に近い感じはします。 環境 この記事の最後に補足に今回使うSQLAlchemyの環境構築書いてますのでそちらを参照。 db_sessionと言う名前に意味はないので記事や書き方によっ
AWS App Runner × FastAPI で作る REST API パターン 3 選 - サーバーワークスエンジニアブログ
こんにちは。アプリケーションサービス部の河野です。 アプリケーションサービス部では、週に一回、技術発表会という形で、発表者が興味がある技術について自由にプレゼンテーションしています。 その中で「App Runner で REST API 開発するの良いぞ」っていう話をしたので、本ブログでも紹介したいと思います。 導入 コールドスタート問題 デプロイ容量問題 serverless.yaml 書くのツラい問題 ローカルのテストしづらい問題 App Runner とは？ FastAPI とは？ 環境 パターン①: データストアなし パターン①: 実践 ローカルで動作確認 ECR を作成 イメージをビルド&プッシュ App Runner デプロイ 上手くいかない場合は？ パターン②: DynamoDB パターン②: 実践 ローカルで動作確認 fastapi コンテナ localstack コンテナ
こんにちは！ 僕は普段趣味としてプログラミングをぼちぼち勉強しています。 その中で学んだことや感じた事などを素人なりにまとめて、備忘録的な感じも含めてnoteに投稿させていただいてます。 僕が書いたこの記事が誰かの役に立てば嬉しいなと思います。 今回はPythonの『Flask』と『SQLite（Flask_SQLAlchemyを利用）』を使ってデータベースを構築してWebアプリで利用するやり方を少し勉強したので、簡単なToDo管理アプリを作成しながら説明しようと思います。 flaskでアプリを作るやり方を調べるとメインのプログラムやデータベース、テーブルのモデルなどでファイルを分けてアプリを作成している説明が多いと思います。 なので今回はテンプレート以外は１つのファイルにまとめて、できるだけ全体像がイメージ出来るような形で書いてみました。 まずはじめにFlask_SQLAlchemyって
WebVM： Tailscale経由のフルネットワーキングによるWebAssemblyでのLinux仮想化
WebVMは、ブラウザ上で完全にクライアントサイドで動作する仮想Linux環境です。 CheerpX（WebAssemblyによるx86仮想化技術）をベースにしています。強力なJITリコンパイルエンジンとext2ブロックベースのファイルシステムにより、大規模なユースケースの実行が可能です： GCC / Clang / Python / Node.js / Rubyやその他多くのものがすぐにサポートされます。 しかし、重要なことが欠けていました。 ネットワーキングはWebVMで最も要望の多かった機能で、それには理由があった。ネットワーキングがないと、ターミナル経由でしかデータを入出力できず、OSイメージに含まれているものしか使えないからです。 この機能を追加する際の主な難点は、ブラウザがUDPやTCPのような低レベルのプロトコルへのアクセスを公開しないことです。できるのはHTTP(S)だけで
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
個人開発で「Excel専用のWebAPI」を作りました
2023年下半期に他人に勧めたいWeb技術まとめ
【2020年】CTF Web問題の攻撃手法まとめ - こんとろーるしーこんとろーるぶい
アーキテクトがチェックすべきオープンソースのWebサービス一覧
Python is Actually Portable | Blog Needs a Name
「Django」か「Flask」か 成功するプロジェクトのための最適解はどっち？
Flask SQLAlchemy で REST API を作ってみた | DevelopersIO
How we added full networking to WebVM via Tailscale
リアルガチで言語別単価データを集計＆比較してみた by Python - Qiita
Pythonでいいね機能を実装する方法 - Python転職初心者向けエンジニアリングブログ
FastAPIで学ぶPythonによるREST API開発の基本
Flask-Login を使用してアプリケーションに認証を追加する方法 | DigitalOcean
【SQLAlchemy】PythonでQueryデータベースから取得,【CRUD】 - Qiita
PythonのFlaskでデータベースを利用する方法(Flask-SQLAlchemy)｜Junya