[Python] HTTP通信でGetやPostを行う - YoheiM .NET
こんにちは、@yoheiMuneです。 本日はPythonでHTTP通信を行う色々な方法をブログに残したいと思います。僕自身、http通信の実装を良く書きますが、全部は覚えきれていないので、備忘録の意味も込めたブログです。 ※注意 本ブログはPython3系を対象にしています（2系は実装が異なります）。 目次 最もシンプルな方法 最も簡単にhttp通信を行うなら、以下のようにすることでGET通信を行うことができます。 import urllib.request with urllib.request.urlopen("http://www.yoheim.net") as res: html = res.read().decode("utf-8") print(html) urllib.request.urlopen関数を使えば、シンプルなGET通信を行うことができます。resはRespon
![[Python] HTTP通信でGetやPostを行う - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/271362d8aaba61f1bb9cdafe696109830a53588b/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F389.jpg)
curlコマンドをPythonやnode.jsのコードに変換する方法 - Qiita
curlでAPIを試す curlコマンドでAPIの振る舞いを試すということがあると思います。 振る舞いがわかれば、あとはそれを実際にコードの中で使おうという流れになると思うのですが、私の場合pythonのrequestsモジュールを使って書き換えようと思ったときに、少しつまづきました。 APIのリファレンスを見ると、こうやってcurlで書くと取得できるよと、curlコマンドのサンプルが記載されていたりするのですが、それをそのままコピーして使うことはもちろんできても、コードに書き換えるときに、 curlのこのオプションは一体何を表しているのか 他のモジュールを使って書く場合は、どうやって書けばいいのか など発生します。 そんなときに見つけたのが、こちら コピペするだけ Convert curl syntax to Python, Node.js, PHP curlコマンドをそのまま左側のテキ
複数の機械学習モデルが動くシステムをモデルごとにマイクロサービス化したお話 | メルカリエンジニアリング
はじめまして。メルカリのAIチームでSysMLエンジニアをしているChicaです。 SysMLという言葉はあまり馴染みがないかもしれませんが、「Systems and Machine Learning」の略で、AIを実際にサービスに組み込むためのミドルウェア・インフラを整備することを言います。 メルカリではAIを使った多くのサービスが動いていますが、今回はその中でも特にたくさんの機械学習モデルが動いている違反出品検知システムをモデルごとにマイクロサービス化したお話を紹介します。 メルカリで動いている違反出品検知システムとは メルカリには禁止されている出品物に記載しているように、出品していただくことのできない(例えば現金のような)アイテムが存在します。対象のアイテムが出品されてしまったときに、間違って購入されないようCS(カスタマーサポート)チームが監視しています。 AIチームでは、CSチー
Embeddingを高速に取り出すMagnitude - Technical Hedgehog
word2vecなど分散表現が活躍するシーンは多いですが、実行速度やメモリなど利用する上で気がかりになる面もあります。この記事では分散表現をすばやく便利に使うためのパッケージであるMagnitudeの説明と実行速度について実験した結果を紹介します。 What's Magnitude? Magnitude は簡単にすばやく単語ベクトルを扱うためのライブラリです。 github.com EMNLP2018で発表された Magnitude: A Fast, Efficient Universal Vector Embedding Utility Package の著者実装となります。論文中で挙げられているように、Gensim の代替を想定しているようです。 Magnitude Object について Magnitudeではベクトル取得を高速化するために、事前に分散表現を変換したものを用います。そ
「寝つきがよい」「どこでも眠れる」はホントに健康的？ それは危険なサインかも（読売新聞（ヨミドクター）） - Yahoo!ニュース
こんにちは。精神科医で睡眠専門医の三島和夫です。睡眠と健康に関する皆さんからのご質問に、科学的見地からビシバシお答えします。「寝つきがよい」「どこでも眠れる」と睡眠自慢をする人がいますが、実は、それは体の「危険信号」かもしれません。 「寝つきが悪い」「枕が変わると眠れない」 不眠で悩む人からよく聞く訴えです。寝床に入ってから寝つくまでに1時間も2時間もかかる、枕が変わるなどのちょっとした環境変化があると眠れない……。そうなると、苦しい夜を過ごすことになります。 それに対して、「寝つきがよい」「どこでも眠れる」は、健康的な眠りの証拠に見えるかもしれません。でも本当でしょうか？ 実は、睡眠時間が十分に満ち足りている人が、消灯してから寝つくまでに15分程度かかるのはざらにあることです。夜になって、眠りに入る体内環境がしっかり整ってから、眠気は緩やかに訪れます。寝床に入る時刻が早すぎると寝つくのに
そろそろWEB作家は投稿サイトに搾取されていると気付くべき
某投稿サイトの今日(2019.02.28)付けの日間ランキングの上位５作品の過去５日分のアクセス数を見てみた 少なくても４～５万、多い日は20万以上の日もある アドセンスでのPVあたりの収益は0.2円とかいわれているので、数千円～5万円の収益に相当する。月間ではなく日々の収益。 大手投稿サイトで連載するメリットとして、 ・人気作には出版社からの声が掛かる ・コンテストが開催されてたりする ・読者が多い ・投稿が簡単 と、良い事だらけなのではある ではあるが、 ・上位は人気作家の実験場と化している →既に書籍化作品があり、ファンも多い作家が次の書籍化狙いで投稿している。複数作品同時進行もよくある。 ・人気作家以外でもライバルがべらぼーに多い ・書籍化以外の恩恵がほとんどない ということを考えると、別にお金なんていらないと考えている書き手以外は別の選択肢を探し始めるのが当然だろう 数年前からい
電車も街中もアホだらけ！？ 突如現れた嫌な相手への対処法 | AERA dot. (アエラドット)
田村耕太郎さん 街中でアホに合ったら即回避！？（※イメージ写真） 「アホとは戦うな。時間の無駄である」と提唱する、元政治家であり、現在はシンガポール・リークアンユー政治大学院で教鞭を執る田村耕太郎さん。しかし、70万部を突破した著書『頭に来てもアホとは戦うな！』の読者からは、「それでも戦ってしまう……」と多くの悩みの声が寄せられているという。 日々の仕事・暮らしの中で「アホ」に悩んでいるあなたに、ちょっとでも気持ちが楽になるヒントを田村さんが提案する連載「アホから解放される相談室」。今回は「街中で出会うアホへの対処法」について。 ＊ ＊ ＊ 【相談】24歳女性です。私は、外見がひ弱に見せるせいか、街中で知らない人からクレームを受け、とても嫌な思いをすることがあります。 就職活動をしていたとき、こんなことがありました。それほど混雑していたわけではなかったのですが、電車の中で「かばんが当た
DL違法化「必要な議論尽くされた」「バランスの取れた内容」…文化庁の説明資料入手 - 弁護士ドットコムニュース
ダウンロード違法化の範囲を拡大する著作権法改正案をめぐり、文化庁が「必要な議論は尽くされた」「バランスの取れた内容になっている」という考えを示していることがわかった。2月22日の自民党の合同会議で配布された資料で明らかにされた。改正案をめぐっては、著作権法などの研究者や弁護士が反対しており、波紋を広げそうだ。 ●研究者が「さらなる慎重な議論を重ねるべき」と声明を発表していたが・・・ 自民党の文部科学部会・知的財産戦略調査会合同会議は2月22日、文化庁がまとめた著作権法改正案を了承した。（1）違法アップロードされた漫画など、あらゆるコンテンツについて、海賊版と知りながらダウンロードすることを違法とする、（2）正規版が有償で提供されているものを継続的にダウンロードする場合は「刑事罰」の対象とする――という内容だ。 弁護士ドットコムニュースは、合同会議で、文化庁が配布した説明資料を入手した。資料
dockerイメージのリポジトリ名とタグを設定する - 前人未踏の領域へ WEB・インフラ・プログラミング全般編
Dockerの設定が完了したのでImageにタグをつけたい、またはDockerfileからビルドしたものの名前を付け忘れた、そんな時に。 $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE <none> <none> a1e05daa2311 2 minutes ago 428.8 MB ubuntu 14.04 90d5884b1ee0 9 hours ago 188 MB <none> は困るね、ということでイメージID a1e05daa2311 に対して $ docker tag a1e05daa2311 hoge/ubuntu-mongodb:latest とかやっておく。すると $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE hoge/ubuntu-mongodb la
Dockerでsaveとexportを使用した環境のバックアップと再作成
Dockerでsaveとexportを使用した環境のバックアップと再作成Tue, 04 Jul 2017 12:47:19 GMT仮想化 Docker ということをやったのでその記録。 都度buildしたらアカンのか？ Dockerを用いて環境を作成する際に都度buildすると下記のような問題点に遭遇することがあります。 公式のイメージを利用している場合にlatestのタグを指定してると意図せずバージョンが上がる Dockerfileその他でインストールしているパッケージ・ライブラリが非対応のバージョンに変わっていたりする 使用しているパッケージ・ライブラリのリポジトリのURLが変わっていたりする 別に都度修正すればよいのですが、特に本番だと使用しているライブラリバージョンをむやみに上げたくないということもありますし、今動いている環境と同様の環境を作成したいということも多々あるでしょう。こ
Dockerイメージの差分管理 - Qiita
最近，研究室内の勉強会で調べる機会があったのでメモメモ... 12/6 に追記 イメージは差分の集まり Dockerのイメージは複数のレイヤが重なって構成されています． レイヤとは docker run でコンテナを立ち上げてから docker commit でイメージ化するまでの間に発生したファイルの差分にあたります． 例えば， こちらのようにDebianのベースイメージを元に A というものを追加した B というものを追加した という差分が重なることでイメージが構成されます． 差分の管理方法 Docker はAUFSというファイルシステムを使っているらしい... ディストリビューションの標準ストレージ・ドライバを使うそうです。Docker をインストールする時， システム上の設定に応じてデフォルトのストレージ・ドライバを選択します． AUFSはLinuxのライブCDに使われています．ラ
人工知能もついにココまで！写真やイラストが健全か、健全でないのか判定できるJavaScriptライブラリ -NSFW JS
人工知能を使用して、写真やイラストなどの画像が健全なのか、健全ではないのかを判定するためのシンプルなJavaScriptライブラリを紹介します。 NSFW JS NSFW JS -GitHub NSFW JSの特徴 NSFW JSのデモ NSFW JSの使い方 NSFW JSの特徴 NSFW JSはTensorFlow.jsのマシンラーニングをベースに、画像を識別するJavaScriptライブラリです。画像を以下の5つのクラスに分類します。 NSFW JSは15,000枚以上の画像を検証し、その正解率は90％以上とのことです。 健全ではない場合は自動的にぼかしのプロテクションがかかります。 NSFW JSのデモ 下記ページで実際の動作を試すことができます。
ビル・ゲイツを5分で動かした男、中島聡の“生き様”と“思考”に隠された超AI時代の生き方 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Rubyでもbcryptはバイナリセーフではない - Qiita
RubyのBCryptはバイナリセーフなのか 徳丸先生が注意喚起としてあげられていたこちらの記事に関して “bcryptの72文字制限をSHA-512ハッシュで回避する方式の注意点 | 徳丸浩の日記” https://t.co/AA1yFVd0TH — 徳丸 浩 (@ockeghem) 2019年2月24日 記事ではPHPの例が上がっていましたが、Rubyではどのような影響があるのかが気になります。 BCryptは非常にメジャーなアルゴリズムで、例えば Devise や Sorcery などの定番の認証gemを使う場合、デフォルトでBCryptを利用する設定になっています。Railsアプリを開発されている方なら、ほとんどの方が使っているのではないでしょうか。 詳しくは徳丸ブログを見ていただくとして、以下ではbcrypt-rubyについて、同じ現象が起こるのかどうか簡単に調査しています。 T
続・Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのがそれ単体で勉強するのが難しく勉強しようとすると何に手を付けるべきかさっぱりわからないということは、先日のブログで述べたとおり。 自分が経験の中で得てきた知見は正しいのかどうか、世間の人に見てもらいたかったというのが書いた動機。 そして、新たな視点や指摘をゲットしてより不測の事態を考慮できている最高なバッチを作りたいという目的があったわけだ。 で、いろいろな意見をもらったのだけどその中で特に辛いと感じたのはこれ。 基幹システムにおけるバッチ処理みたいなものに関する知見については、カジュアルに学ぶ方法はありません。それを体系化した知識として整理した上で、実装できる組織があるんなら、それでメシが食えるんじゃないですかね。— 太一 (@ryushi) 2016, 2月 18 読んでいると 「俺達は障害でつらい思いをしてるし当然先人達も障害でつらい思いをしているはずだ。 なのに、
Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
化学系研究者が完全未経験からWeb系自社開発企業に転職するまで - Qiita
はじめに 先日、Web系自社開発企業から内定をいただき、3/1よりエンジニアとしてのキャリアをスタートできることになりました。 そこで今回は、初心を思い出すことと、この半年間の振り返りを兼ねて、化学系研究者が完全未経験からWeb系自社開発企業に転職するまでの過程を執筆したいと思います。 この記事を読んでくださった方の刺激になる、あるいは、少しでも役に立つ情報を提供することができれば幸いです。 結論 長くなりそうなので、エンジニアへの転職活動を通してやってよかったことや反省点について先に結論を書いておきます。 1. やると決めたからには1点集中。まずは環境作りから。 2. SNSでのアウトプットはメリットばかり。 3. 「何となく」から脱却し、将来のビジョンの設定をする＆そこに辿り着くには何が必要かを考える。 4. 基礎固めしてからポートフォリオを作るのではなく、ポートフォリオを作ってから基
田舎のジジババがITに触れるにはスマートスピーカーしかない
最初はQiitaに書こうかと思った。Qiitaと言うのは技術者専用のポエム投稿サイトだ。 しかし書いてるうちにトイレの落書き感が強くなってしまったので、よりふさわしいこちらに投稿させてもらう。 3行でまとめる田舎のじいちゃんばあちゃんのIT知識のなさはやばいよ。原始時代とか江戸時代並みだよ彼らが今からITに慣れ親しむにはスマートスピーカーにワンチャン賭けるしかないよ。それでも現状いろいろ大変だよそこまでやっても効果は疑問だよ。それでもやらないより遥かに良いよ後の駄文は暇な奴だけ読んでくれれば良い。 俺の田舎と周辺集落からわかるIT知識のなさ俺はトトロが出てきそうな緑あふれる田舎で育ち、今は東京でSEをしている。 地元に住んでいるのは皆、カンタのばあちゃんを具現化したような御老人方である。 彼らはガラケー、ビデオデッキ、固定電話といった最新機器は当然使えない。ぱそこん？何かそういう難しい機械
今夜はじめて豚汁を作る予定なので
調べて集めたベストっぽい作り方をメモする。今夜～明日の昼の弁当まで用だから、大体三人前くらいの予定。ダシとかにこだわってないのでそこは適当。追い追いちゃんとしていきたい。味噌を今日買うくらい味噌汁初心者なので。 用意するもの大根、人参、牛蒡、長ネギ、里芋（冷凍）、こんにゃく、豚肉、油揚げ、味噌、昆布（このうち人参と長ネギと豚肉は家にあるので、それ以外を買って帰る） 作る手順①食材を切る ※こんにゃくは手でちぎるかスプーンで切る（味が染みこみやすいらしい） ※牛蒡のささがきは縦に十字の切り込みを入れてからするとやり易いらしい。切った傍から黒ずむみたいなので、水にさらしておく →こんにゃくと牛蒡は熱湯で15秒くらい下茹でする。（アク抜きのため） ②炒める 鍋にごま油をひき、豚肉から。（ここでにんにくと生姜の摩り下ろしを入れるとパンチ効いて美味いらしい。冷蔵庫にあるから面倒でなければやる） その
ミリンの焼酎割りが旨いとは思わなかった
焼酎とミリンを混ぜた飲み物があります。「本直し」（「柳蔭（やなぎかげ）」とも言う）と言われ、江戸時代には夏場に井戸水で冷やして飲んでいたそうです。 ミリンは蒸したもち米に米麹を混ぜ、焼酎や醸造用アルコールを加えて2か月ほど熟成させて出来ます。昔は飲料として飲まれる事も多かったが、今は調味料として使われることがほとんど。 どんな味か気になるので作って飲んでみました。 1972年生まれ。元機械設計屋の工業製造業系ライター。普段は工業、製造業関係、テクノロジー全般の記事を多く書いています。元プロボクサーでウルトラマラソンを走ります。日本酒利き酒師の資格があり、ライター以外に日本酒と発酵食品をメインにした飲み屋も経営しているので、体力実践系、各種料理、日本酒関係の記事も多く書いています。（動画インタビュー） 前の記事：酒まつりを開催してみた ＞ 個人サイト 酒と醸し料理 BY 工業製造業系ライター
みりん飲もうぜ
みりんは元々高級な酒として製造されていた。そう知ってからみりんを飲むようになったのだが、これがうまい。日本酒よりも米の甘味や香りが強烈だ。甘口の日本酒のうまさを語る人は多いが、甘いのが飲みたいならみりんを飲むべきだ。みりんの甘さは砂糖だと勘違いしていたが、本みりんの甘味は全て米由来のものだ。みりん風調味料という砂糖を原料にしたまがい物と間違えるなよ。 みりんの飲み方を語ろう。そのまま飲むならかなり甘いので、食後や風呂上りにちびりちびりとデザートとして味わうのがいいだろう。氷水で割って清涼飲料水として飲むのもいい。安い日本酒もみりんと混ぜれば芳醇な高級酒に早変わりだ。大五郎などの味気ない焼酎甲類も、みりんの甘味と香りでぐっと飲みやすくなる。ストロング系チューハイと混ぜると、口の中でまろやかな甘味と強炭酸が矛盾を起こして愉快な気持ちになれる。ちなみに、梅や果実をみりんに漬け込むとアルコールが醸
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【 pdffonts 】コマンド――PDFファイル内のフォント情報を表示する
「不満」のビッグデータから、新規事業創出のヒントを見つけ出す ── 自然言語処理AIによる課題解決の可能性 | Ledge.ai
いらすとやの絵が苦手な人にとってはどこに行っても"ヤツ"が現れるのは悪夢じみているっぽい「窓に、窓に！」