Invoke-WebRequestでエラーレスポンスを取得 - ROBOT PAYMENT TECH-BLOG
こんにちは。決済システムでエンジニアをやっております hoshino33 です。 今回はPowerShellのInvoke-WebRequestを実行した際に2XX系以外でHTTPステータスコードが返ってきた際にレスポンスボディが取れなかったので、その際に対応した内容になります。 はじめに 2XX系のレスポンス（レスポンスボディなし） 2XX系以外のレスポンス（レスポンスボディなし） 2XX系以外のレスポンス（レスポンスボディあり） 2XX系以外のレスポンス（レスポンスボディあり）を対応してみる SkipHttpErrorCheckについて まとめ はじめに Invoke-WebRequestを使用しつつ、curlでもどのようになるか比較しながら見てみようと思います。 Invoke-WebRequestとcurlは以下のバージョンで確認を行っています。 > $PSVersionTable
はてなブログのAPIを叩いて最新記事一覧を取得する[Javascript] - cangoxina
はてなブログの記事一覧を取得して、自分のポートフォリオに最新記事を貼り付けたいってことありませんか？ 僕はありました。 今回は、JavascriptではてなブログのAPIを叩いて最新記事一覧を取得する方法を記します。 また、今回、コチラの記事を参考にしました。 cartman0.hatenablog.com 目次 はてなブログAtomPub やりかた 流れ 詳細 はてなブログAPIを呼び出す XMLをオブジェクトに変換し、記事一覧と次のURIを取得する。 下書きの記事を除外し、記事を配列に格納する 固定数の記事が得られるまで繰り返す JSON形式でファイルに保存 コード 実際にホームページに組み込んでみた おわりに はてなブログAtomPub はてなブログにははてなブログAtomPubというAPIが用意されています(以下はてなブログAPIと呼称する)。 ブログエントリ一覧の取得や、ブログエ
![はてなブログのAPIを叩いて最新記事一覧を取得する[Javascript] - cangoxina](https://cdn-ak-scissors.b.st-hatena.com/image/square/7bfdc3955a1900a858ae19717ede552b27a9e8e5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkorosuke613%2F20190627%2F20190627195506.png)
☆ はてなブックマーク用のconsultコマンドを作っている これはemacs Advent Calendar 2021の25日目の記事です。 minad氏による、Emacsの最近のパッケージの一つ、consultをすごく気に入ったので、自分のはてなブックマークを検索するパッケージを書いています。 https://github.com/Nyoho/consult-hatena-bookmark です。 はてなブックマークはソーシャルブックマーキングサービスです。 ソーシャルなので、ブックマークするときだけでも他の人のコメントを見て勉強になります。 そんな一期一会な使い方も面白いですが、ストックしていくものとしても便利です。そこで欲しくなるのが「自分のブックマークを全部検索する」機能です。実は、サイト上でもできます。これがEmacs上でもすばやくできたら楽だし楽しいなと思います。 couns
![[emacs]はてなブックマーク用のconsultコマンドを作っている - ワタタツの日記!(2021-12-25)](https://cdn-ak-scissors.b.st-hatena.com/image/square/01c240ff4151b907edc648eb749cc44147c4864c/height=288;version=1;width=512/https%3A%2F%2Fi.gyazo.com%2Fe747484479228d8934f92aea1b330a26.png)
はてなブログのスターの数とブックマークの数をカウントして CSV ファイルに出力するアプリをアプリを作成しました。 はてなブログ AtomPub、はてなスター取得API、はてなブックマーク件数取得API を使用しています。 機能的には次の特徴があります。 ◎自分のはてなブログのURLを指定して各記事のスターの数とブックマークの数を出力 ◎スターの数は色ごとに出力 ◎結果は CSV ファイルに出力 ◎出力する記事の数を指定可能 各 API の使い方をサンプルコードも交えて説明します。 アプリはお使いいただけます アプリ(バイナリ)を使ってみたい方は、別記事から取得できます。 📄『はてなブログのスターとブックマークの数を取得するアプリ【フリー】🔗』 目次 ◆機能・特長 ◆考え方 ◆はてなブログ - AtomPub ◇用語 ◇URIと操作 ◇WSSE認証 ◇コレクションURI - ブログエン
はてなブログのカテゴリーページのURLも、Google Indexing APIにpublishする - 『７回目の出直し🌻』
sitemap_indexファイルとsitemapファイルに載っているURLについては、URL単位でIndexing APIを投げることはできました。 心残りなのは、カテゴリページが対象にできていないことですね。 カテゴリページも対象にするためにプログラムを作りました。もちろん自動化します カテゴリページとは カテゴリの記事がまとまって、リスティング（一覧化）されているページです。 blogdomain/archive/category/カテゴリ名 というURLのパターンで作られるページです。URLの最後の部分が変えるだけで、カテゴリのページに行きつきます。 例えばここです（サイトマップのカテゴリ一覧） https://kanaxx.hatenablog.jp/archive/category/sitemap カテゴリページ自体の文字情報は多くないので、カテゴリページがインデックスされるこ
Zeep: Python SOAP client¶ A fast and modern Python SOAP client Highlights: Compatible with Python 3.7, 3.8, 3.9, 3.10, 3.11 and PyPy Build on top of lxml and requests Support for Soap 1.1, Soap 1.2 and HTTP bindings Support for WS-Addressing headers Support for WSSE (UserNameToken / x.509 signing) Support for asyncio via httpx Experimental support for XOP messages A simple example: from zeep impor
2020-12-22 はてなブログで書いていたブログを Hugo で作り直したいと思い、 Go の勉強も兼ねて簡単な移行ツールを作ってみました。 目次 概要 経緯 AtomPub を利用して記事を参照する 参照用エンドポイントにアクセスして XML を取得 Go で XML をパースする 完成したもの 特徴 使い方 まとめ 概要 はてなブログに投稿していた記事を Hugo 用の Markdown ファイルとしてエクスポートするツールを作りました。 経緯 このブログとは別に、趣味のバイクに関する記事をはてなブログで書いています。(最後の更新は一年以上前ですが…) はてなブログに移行する前は WordPress で書いていたため、独自ドメインをそのまま使うためにはてなブログ Pro を契約して使っています。そのはてなブログ Pro の更新が来年の 1月末ということで、それまでに移行したいなと思
ふと思い立ってめちゃくちゃ今更だけど当ブログ（はてなブログ）への記事投稿に関わる作業を自動化した 自分は現在MkDocsではてなブログに書く記事、下書き、ただのメモ書きとすべて保存してプライベートリポジトリに持っています（後で見返す時用にいつもMkDocsをローカルに起動している） そこから記事にするものを書き上げてWebのUIでコピペして画像をフォトライフに上げてっていう感じのだいぶ面倒な作業をしていました ライブラリなども軽く調べてみたものの画像とセットでやってくれるようなものが見つからなかったので自分で書くかということになった 「はてなブログに記事上げるのを自動化しました」という記事はそれなりにあるが画像も含めて上げたみたいな記事が見つからなかったので残しておく はてなのAPI OAuth認証で認証してXMLを送ることで記事の取得や投稿などができる だいたいWSSEでやりましたーって
某ブログサービスでコマンドラインからAPIで記事を投稿するのに、 WSSE認証とBasic認証の二択だったので書いてみました。 なにか書き方が間違ってるのか、たまにエラーになります。 結局、はてなブログにしたので、そこらへんは未検証のままです。 package main import ( "crypto/rand" "crypto/sha1" "encoding/base64" "fmt" "net/http" "time" ) type WSSE struct { username string password string nonceSize int } func New(username, password string, nonceSize int) *WSSE { if nonceSize < 1 { nonceSize = 20 } return &WSSE{ user
RESTにとって変わられがちですが、ちょっと触る機会があったので、 表題の件を簡単かつざっくり解説していきます。 なお連携対象はOracle B2C ServiceのSOAP APIの想定です。 環境 Python3.8 AWS Lambda プロキシ統合あり ライブラリ suds-py3 1.4.4.1 準備 まずはライブラリをインストール import os import json from suds.client import Client from suds.wsse import * from suds.sudsobject import asdict WSDL = os.environ['WSDL'] # 指定のWSDLのURLを記載 APP_ID = os.environ['APP_ID'] USERNAME = os.environ['USERNAME'] PASSWORD
はてなの自分の記事一覧をサクッと取得できるようにしたかったのですが、意外と Node.jsで書かれている 結果をJSONにする ものが見当たらなかったので結局自分で作ることにしました！ ツールの流れ はてなから自分の記事一覧を取得する流れは下のようになります。 はてなのAtomPubを使う（認証はこの記事ではBasic認証を使います） エンドポイントをGETすると最新の記事が10件とれる 結果はXMLなのでJSONに変換する 2のレスポンスに次の10件のURLが記載されているので、全部取得終わるまで2, 3を繰り返す はてなのAtomPub はてなのAtomPubの仕様については以下Hatena Developer Centerに記載されています。 developer.hatena.ne.jp 認証のところに書かれていますが、取得時に使える認証は OAuth認証 WSSE認証 Basic認
ソース置換 フィード内から新着記事を取り出す前に、フィードのソースを置換します。 検索表現とこれに対する置換文字列を、入力欄に1行ごと、2行1組で繰り返し記述します。 想定外の XML 要素をフィルタ対象の要素に置換したりできます。 URL抽出 HTML 文書中のリンクなど、検索表現に一致する新たな文字列を新着 URL として抽出し、更新通知します。 検索表現に一致しさえすれば、検索対象は特に A タグには限りません。 検索順序 検索表現に一致した文字列に対して、新着と判断する基準です。 上から : チェック対象を上（先頭）から検索し、前回の検索結果の一番上のものが出てくるまでを新着とします 下から : チェック対象を下（末尾）から検索し、前回の検索結果の一番下のものが出てくるまでを新着とします 全部 : チェック対象を全て検索し、前回はなかったものを新着とします URL検索 チェック対象
PHPではてなブログのAPIで自動投稿する方法です。 ある書籍を読んでいてはてなブログにAPIがあることを知りましたが PHPの自動投稿の方法が検索してもあまりがない感じでしたので😌作りました。 （はてなのデベロッパーのヘルプを見て作りましたよ😂） <?php require "./config.php"; function hatena_blog($title = "タイトルです", $content = "本文です", $category = "category") { $username = USERNAME; $api_key = APIKEY; $name = NAME; $draft = DRAFT; $nonce = sha1(time() . rand() . getmypid(), true); $date = new DateTime(); $blognow = $
はてなブログの不満の一つが、エクスポート機能が無いということ。 他社のブログに移行したいわけじゃないが、そのうち引っ越しを考えるかもしれないし、そもそもWebサービスは無保証なんだから、PCにバックアップぐらいしておきたい。 幸い、AtomPubという機能を使えば、ブログ記事を取得したり更新したりできるので、Python3.3を使って、ブログの全記事をダウンロードしてみた。 AtomPubの説明はこちら。 はてなブログAtomPub - Hatena Developer Center やりたいこと AtomPubを使って、自分のブログの全記事をダウンロードしたい。 （できれば）他の形式に変換したい。 AtomPubでは、記事をXML形式でダウンロードすることになるので、他社のブログに移行するのなら、他の形式に変換する必要があるだろう。 今回は、とりあえず1のダウンロードまでやってみる。 開
今回の記事は前回の続きで実装編です． pythonコードを丸ごと載せているので，前回記事で取得した情報を使って一部書き換えることで動作することができます segoro.hatenablog.com 変更するのはsetting部分のみで，usernameにの''の間に自分のユーザーネームを入力してください． 同様に，blognameにブログの名前，blogtitleにブログのタイトル，api_keyにブログのキーを入力してください． こちらが実装のコードとなります． from datetime import datetime import requests as req import hashlib import random import base64 import requests # setting -------------------------------------------
Rubyで記事をAtomを使用して更新する方法としては、「atomutil」というgemを使用するのが定番のようだが いろんな記事を見てみると、新しいRubyのバージョンだと、文字エンコーディングのエラーが発生するため 「atomutil」をforkした「ruby-atomutil」というgemを使用している記事が多い。 [参考] はてなブログのAPIを使って、記事を投稿するRubyサンプル · GitHub Ruby | はてなダイアリーAtomPubをRubyから利用してブログ記事を投稿する - Tbpgr Blog しかし、2018年9月4日で最新版(0.1.5)が更新されて この文字系のエラーが解消されているので以下のように書けば、記事を作成できる。 インストール gem 'atomutil', '~> 0.1.5' コード def initialize @user_id = EN
はてなブックマークのapiを使って自身のブックマークしたURLを使ってbotを作りたい。 Pythonを使って自分のブックマーク情報にアクセスしたいのですが、OAuth認証を使用して行う事は出来ますか？ドキュメントを読んだのですがそのような記載が見当たらないので困っています。 アクセストークンは取得しています。 ここのページに書いてあるような事をOAuthを使ってやりたい。 WSSE認証を用いたブックマークデータの取得 というのを見つけたのですが、こちらの記事のようにOAuth 認証を使用して行う事は可能ですか？ WSSE認証を使ってやれば良いと思うのですが、こちらはサービス終了の予定はないでしょうか？ 可能であればせっかく取得したOAuth認証で行いたいです。 以下のURLに書いてあるhttp://api.b.hatena.ne.jp/{version}/my/bookmarkにgetで
sharepointにcurlでファイルを upload する ってなことをやって見ました。sharepointのRESTAPIをcurlで利用します。SAMLに認証ってややこしい。 この記事で記述されている方法は williamvanstrien.blogspot.com ここに書かれている内容を元にしています。 プレイヤの整理 認証を通すためと、ファイルを突っ込むためにプレイヤは4人でてきます。 クライアント カスタムSTS O356の認証(login.microsoftonline.com) エンドポイント(tenant.sharepoint.com) カスタムSTS( Security Token Service) は利用形態によってはないところもあるかも。 手順 手順はこんなかんじ。 クライアントからO365へ customSTS のURL を聞く 上記で帰ってきたレスポンスから
概要 2019年に書いたはてなブログの振り返りとして、自分のブログ記事のWordCloudを作ろうと思い立ちました1。 少し調べると、JavaScriptではてなブログのAPIを呼び出している記事を見つけました。 そこでPythonで同様のことを実行してみました。 手を動かして分かったことをこの記事にまとめます。 この記事で扱うスクリプトは以下のことをします。 自分が書いたはてなブログの記事の一覧を取得する はてなブログに書いた記事をファイルに分けて手元のコンピュータに保存する 説明するトピックは以下の2つです。 はてなブログのAPIを呼び出すまでの準備 はてなブログのAPIのレスポンス（XML）の解析方法 動作環境 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildVersion: 18E226 $ python -
はてなフォトライフへの画像アップロードがHTTPSのみになっていたので対応 - fftester06’s blog
はてなブログへの自動投稿がいつからかエラーとなるようになっていた。 気づいてはいたものの、「画像投稿数か容量上限かな」と思い放置していたが、調べて見ると画像は月ごとの容量に制限はあるもののトータルは無制限とのこと。 そこで原因を探って対処する。 アップロードするアプリのログ： 画像のアップロードに失敗しました status_code: 500 message: Bad requestAtom feed body is required. a.jpg ：エラー ( 1 / 2 ) 画像のアップロードに失敗しました status_code: 500 message: Bad requestAtom feed body is required. b.jpg ：エラー ( 2 / 2 ) 送信対象の画像がありません. 完了しました はてなサービスへの認証の手順は以下の通り。 http://deve
前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか？ 三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。 requestsを使用しそのURLにアクセスすればダウンロードが始まるのかと考えたのですが、URLが明らかに固定ではなさそうなのでどのようにアクセスして良いのかわかりません。 ご教授いただけないでしょうか？ http://b.hatena.ne.jp/dump?mode=bookmarks ログイン画面が出てくるのですがパスワードを打ってもログイン出来ません。 追記 はてなのapiを使用すると全件取得できるようなのですが、以下の文章の意味がよく分からないです
2020年12月08日07:00 ハリーポッターの強さランク作ったわ Tweet 1: 名無しさん＠おーぷん 20/12/07(月)15:28:06 ID:dGx SS ヴォルデモート ダンブルドア S グリンデルバルド オブスキュラス A+ マクゴナガル セブルス ベラトリックス フリットウィック キングズリー スラグホーン リリー A アバフォ ルックウッド ドロホフ ルーピン レギュラス トンクス ジェームス シリウス クラウチジュニア ムーディ[ニュート ティナ クイニー ナギニ] B ピーター ハリー ルシウス ロンママ トレローニー スプラウト ビル ペティグリュー ハグリッド C ハーマイオニー トンクス セドリック チャールズ ロンパパ クラム マクシーム フレッジョ ヤックスリー クィレル D ネビル ロン グレイバック ルーナ カロー兄妹 フラー ジニー ドラコ クラッ
とりあえずはてなAPIをサクッとshellで実行したい人に向けて。 自分の記事を取得する curl -u {はてなID}:{APIキー} https://blog.hatena.ne.jp/{はてなID}/{ブログID}/atom/entry はてなAPIはOAuth認証、WSSE認証、Basic認証のいずれかを行う必要があるので、curlで一番楽なBasic認証を使用する。 curlでのBasic認証はcurl -u ユーザーID:ユーザーPASSでいけますね。 はてなID、ブログID、APIキーは「はてぶのダッシュボード > 設定 > 詳細設定 > AtomPub」から取得できる。 ダッシュボード>設定>詳細設定>AtomPub 記事の取得のエンドポイントは/entryなので、 実際に記事を取得するときは以下のような感じ。 curl -u hatena_id:XXXXXXXXX htt
はてなフォトライフへ画像をアップロードするアプリの作り方(AtomAPIの使い方)【Python】 - プログラムでおかえしできるかな
はてなフォトライフに画像をアップロードするアプリを作成しました。 はてなフォトライフAtomを使用しています。 WSSE認証、requests.post を使用した送信、安全な nonce の生成を検討しています。 機能的には次の特徴があります。 ✅画像を exe にドラッグアンドドロップするだけでアップロードします。 ✅はてなフォトライフのフォルダを指定できます。 ✅ファイル名をタイトルに設定します。 ✅はてな記法（fotolife記法）をログに出力します。 アプリの作り方をサンプルコードも交えて説明します。 アプリはお使いいただけます アプリ(バイナリ)を使ってみたい方は、別記事から取得できます。 📔 [はてなフォトライフへ画像をアップロードするアプリ【フリー】🔗 目次 ◆機能・特長 ◆考え方 ◆はてなフォトライフAtomAPI ◇WSSE認証 ◇PostURI - 新規写真の投稿
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[emacs]はてなブックマーク用のconsultコマンドを作っている - ワタタツの日記!(2021-12-25)
はてなブログ、スター、ブックマーク用APIの使い方【Python】 - プログラムでおかえしできるかな
Zeep: Python SOAP client — Zeep 4.1.0 documentation
はてなブログの記事を Hugo に移行するツールを作ってみた - michimani.net
はてなブログ、フォトライフのAPIを使って投稿を自動化する - notebook
Go言語(golang)でWSSE認証する - golangの日記
AWS Lambdaからsuds-py3を使ってSOAP API連携をしてみた - Qiita
Node.jsではてなの自分の記事一覧を取得する - kenfdev’s blog
WWWC用改造HTTPプラグインの設定方法
PHPではてなブログのAPIで自動投稿する方法。 - Qiita
Python3.3で、はてなブログAtomPubを使ってみた - summer_tree_home
【備忘録】pythonからはてなブログを自動投稿(更新)する方法<実装編> - SE吾郎の備忘録
【Ruby】はてなブログをAtomAPIを使用して作成してみた - とーますメモ
はてなブックマークREST APIを使ってブックマーク情報を取得したい
sharepointへcurlでファイルをuploadする - rougeref’s diary
PythonからはてなブログのAPIを呼び出して、自分のブログの記事を個別に手元のPCに保存する - Qiita
Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。
ハリーポッターの強さランク作ったわ : 哲学ニュースnwk
はてなAPIをcurlでサクッと実行する - ハイパーマッスルエンジニア