スクレイピング対策の対策についての所感 - Qiita
スクレイピング対策について 直近でECサイトをいくつかスクレイピングする業務に携わっていました。 ただ、スクレイピング用のスクリプトを回していてしばらくすると 以下のようなポップアップが出ることがあります。 例えばこのAmazonの例だと、このポップアップが出るとこいつが邪魔をして処理が進まなくなってしまいます。 サイト側も情報を取られたくないので、こういった外部からの機械的なアクセスを遮断するための対策を講じています。 「いやWebサイト上で誰でも見れる情報だから守る意味がないのでは？」と思った方もいるかもしれませんが、ECサイトではレビュー情報や販売データを企業に販売しているケースがあり、そのデータが勝手に抜かれていると困るのです。 私の場合ECサイトの動向を追うため定期的に同じサイトをスクレイピングしていたため、よくこの類のポップアップに邪魔されていました。 そうなってくると「スクレ
人工知能に柴犬の画像を集めてもらいたかった - ニートの言葉
柴犬って可愛いですよね。 ネットのまとめサイトでも定期的に柴犬画像の記事がアップされるほどの人気ぶりです。 そんな可愛い柴犬たちの画像を集めたいと思ったことは誰でもあると思います。 とは言え、ネット上に大量に溢れている画像から柴犬画像だけを集めるのは大変です。 そこで、最近話題の人工知能（ディープラーニング）を使って、柴犬の画像だけ集められないかと考えました。 今回はその試してみた記録です。 前置き 人工知能とは？ ディープラーニングとは 今回の流れ 1.学習フェーズ 2.収集フェーズ 3.分類フェーズ 1.学習フェーズ どうやって学習させたのか どんなデータセットを学習させたのか 2.収集フェーズ 柴犬画像をどこから集めてきたのか どのような形式で収集したのか 3.分類フェーズ どうやって分類したのか どうやって確認したのか 結果 柴犬カテゴリの場合 なぜ失敗したのか 区別できない例 区
人工知能に柴犬の画像を集めてもらいたかった - ニートの言葉
柴犬って可愛いですよね。 ネットのまとめサイトでも定期的に柴犬画像の記事がアップされるほどの人気ぶりです。 そんな可愛い柴犬たちの画像を集めたいと思ったことは誰でもあると思います。 とは言え、ネット上に大量に溢れている画像から柴犬画像だけを集めるのは大変です。 そこで、最近話題の人工知能（ディープラーニング）を使って、柴犬の画像だけ集められないかと考えました。 今回はその試してみた記録です。 前置き 人工知能とは？ ディープラーニングとは 今回の流れ 1.学習フェーズ 2.収集フェーズ 3.分類フェーズ 1.学習フェーズ どうやって学習させたのか どんなデータセットを学習させたのか 2.収集フェーズ 柴犬画像をどこから集めてきたのか どのような形式で収集したのか 3.分類フェーズ どうやって分類したのか どうやって確認したのか 結果 柴犬カテゴリの場合 なぜ失敗したのか 区別できない例 区
僕の「IoT」が電子工作の域を出なかった理由 - ニートの言葉
こんにちは。あんどうです。 最近はArduinoやRaspberry Piの登場によって様々なものを簡単にインターネットに繋ぐことができるようになりました。 いわゆる、モノのインターネット化（= IoT）です。 IoTとは モノのインターネット（Internet of Things : IoT）とは従来は主にパソコンやサーバー、プリンタ等のIT関連機器が接続されていたインターネットにそれ以外の様々な"モノ"を接続する技術です。 モノのインターネットとは（IoT：Internet of Things） - モノワイヤレス株式会社 僕が作った「IoT」 僕は普段はWeb系の開発に携わっているのですが、趣味でIoTを始めてみたところすごく簡単に以下のようなものを作れるようになりました。 空調管理機能付きペットモニター 部屋の温度・湿度が確認ができ、スマホからエアコンの操作が出来るペットモニターで
Arduinoを自作して量産して販売する(超小型Arduino互換機 8pinoを例に) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 田中章愛と申します。友人の高橋良爾とVITROというデザインユニットで作品を作ったり、品川周辺の仲間と放課後ものづくりコミュニティ品モノラボで活動しています。普段はメーカーでハードウェアエンジニアをしています。 このAdvent CalendarはArduinoがテーマと言うことで、読者の皆様はすでに一連の連載でArduinoの使い方はある程度ご存じなのかなと思い、今回はいざという時に役立つArduinoの自作・販売方法について説明したいと思います。 ちなみに書いてみるとかなり長文になってしまったのでご注意ください。。 本記事のテーマと
Arduinoを自作して量産して販売する(超小型Arduino互換機 8pinoを例に) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 田中章愛と申します。友人の高橋良爾とVITROというデザインユニットで作品を作ったり、品川周辺の仲間と放課後ものづくりコミュニティ品モノラボで活動しています。普段はメーカーでハードウェアエンジニアをしています。 このAdvent CalendarはArduinoがテーマと言うことで、読者の皆様はすでに一連の連載でArduinoの使い方はある程度ご存じなのかなと思い、今回はいざという時に役立つArduinoの自作・販売方法について説明したいと思います。 ちなみに書いてみるとかなり長文になってしまったのでご注意ください。。 本記事のテーマと
副業で作り始めたwebサービスの1年を振り返る - ニートの言葉
こんにちは、あんどう（@t_andou）です。 副業でスタートしたwebサービスですが、作り始めて1年が経過しました。 まだ成功とも失敗とも言えない状況ですので物語としては大して面白くもないとは思いますが、備忘録としてこの1年の振り返りをまとめておきたいと思います。 この記事に書いてあること 何を作ったのか なぜ作ったのか なぜ競艇なのか 経緯 2017年9月 2017年10月 2017年11月 2017年12月 2018年1月 2018年2月 2018年3月 2018年4月 2018年5月 2018年6月 2018年7月 2018年10月 2018年11月 2018年12月1日 現在の状況 メンバーについて 収支について ユーザー数について PVについて 良かったこと その1.完成度はともかく公開してみたこと その2.有料のサービスにしたこと 最後に 対象読者 ・Webサービスを作ってみ
PJSIPとAquesTalk Piを使って自動応答の音声ガイダンスを作る
Raspberry PiにIP電話をかけると、音声ガイダンスで端末の状態を教えてくれると面白いなと思い、作ってみることにしました。ソースコードはGitHubにのせています。 概要 SIP(Session Initiation Protocol)による着信に自動応答し、ガイダンスを発話、DTMF(Dual-Tone Multi-Frequency)入力を待ち受けます。DTMF入力があった場合、入力された値に応じて、CPU温度、メモリ容量、起動時間、ヘルプを発話します。相手が電話を切ると、待機状態に戻ります。プログラミング言語にはPython(2.7)を使っています。 必要なもの PJSIP(PJSUA) C言語で書かれたオープンソースのマルチメディアコミュニケーションライブラリ。 AquesTalk Pi 株式会社アクエストから公開されている音声合成プログラム。個人が非営利の目的に使う場合は
Amazonだけじゃない！海外販売のもうひとつの選択肢、eBayショップのメリット・デメリットとは？ | 越境EC ・海外WEBマーケティング専門の世界へボカン
越境ECで中国の次に大きい市場であるアメリカ。進出を検討するにあたって、AmazonやeBayなどの通販プラットフォームは販売手数料と引き換えに低いリスクでスタートできるのは魅力的です。 また自社サイト構築時にかかるような初期投資も必要がないため、自社商品のテスト販売として市場のニーズを見極める事にも活用できます。 さてそんなプラットフォームの中でもアメリカでは二大巨塔でありながら、Amazonと違って日本人にはあまり馴染みがないeBay。 今回は越境ECサイトの運営経験を持ち、Amazon・eBay両方のプラットフォームに出店した筆者の実体験も交えてeBayの特徴とメリット・デメリットをご紹介します！ * AmazonマーケットプレイスとFBAについての記事はコチラをご覧ください。 *販売手数料などのは2018年9月執筆時のデータです。最新のデータはeBay公式サイトをご参照ください。
サラリーマンがセミリタイアをする前にやっておきたいこと - たぱぞうの米国株投資
サラリーマンがセミリタイアをする前にやっておきたいこと サラリーマンがセミリタイアをする前にやっておきたいことは、どのようなことがあるでしょうか。 まず、必須なのは資産運用です。平均的なサラリーマンの場合、これをやらないとセミリタイアは殆ど無理と言って良いでしょう。所帯持ちならば、まず無理です。自分だけでなく、家族の生活を養う必要があるからです。 逆に独身ならば貯蓄だけでも、セミリタイアできる可能性があります。あるいは、生まれついての資産家、例えば地主さんや経営者のご子息なども、その限りではないですね。 セミリタイア前の株式投資はすべての投資の基本になる いずれにしても、資産運用をして、お金がお金を稼ぐ状態を作り出すことが肝要と言えるでしょう。最も手軽で、参入障壁が小さいのが株式投資ということになります。この場合はインデックスなどのつみたても含みます。 株式は、知らない人からするとリスク商
【株式投資、必読の基本書】おすすめの米国株投資本１０選 - たぱぞうの米国株投資
おすすめの米国株投資本１０選 米国株投資というのはまだまだマイナーです。そのため、関連書籍も多くはありません。しかし、多くはないものの、米国内で出版された書籍が日本語訳として日本国内で出版されるケースがあります。 この場合、すでに「売れた良書」というフィルターがかかっているので名著であることが多いです。訳者次第なところもあるのですが、時代を超えて読まれる投資本に出会えることもあります。 米国は投資の歴史が古いです。また、金融商品も最先端を行っており、株主の立場も非常に尊重されています。たとえばバンガードやブラックロックのETF群の信託報酬を見てもそうですし、高配当銘柄や連続増配銘柄の配当への考え方を見てもそうです。 そういう金融先進国の米国で売れた本ですから、質が高いのはある意味当然と言えるのかもしれません。そのため、おすすめの投資本１０選は訳書がほとんどです。 インデックス投資と個別株投
ブートローダーをアンロックするとできること
ブートローダーをアンロックすると何が出来るのかよく分からない… ブートローダーアンロックする時の注意点 ・ブートローダーアンロックを行うとユーザーデータが初期化される。 ・メーカー保証の対象外になる。(中国スマホには関係ないｗ) ・メーカーFWアップデート(OTAアップデート)ができなくなる。 ・アンロックしてあると使えなくなるアプリがある。 ・カスタムリカバリ導入済みの状態でunlock/lockを行うと動作しなくなる可能性がある。 ブートローダーアンロック方法 ブートローダーのアンロックにはfastbootモードを使用します。 (Android5.0以降)開発者向けオプションの「OEMロック解除」を有効にしておきます。 fastbootモードで起動し直します。 コマンド「fastboot flashing unlock(fastboot oem unlock)」を実行 スマホ画面に警告
ファーウェイ、ブートローダーアンロック対応方針を撤回。 - すまほん!!
Huaweiコンシューマービジネス部門の余承東（Richard Yu）CEOは独ミュンヘンにて、これまではセキュリティーのためにBootloader Unlock（BLU）を制限していたが、消費者がカスタマイズを行えるようMate 30 / 30 ProのBootloader Unlockに対応する計画方針であると、プレスに対して述べたことを、海外情報サイトAndroid Authorityが伝えていました。 一方で、Huawei広報はAndroid Authorityに対し、Mate 30シリーズでBootloader Unlockに対応する計画はないと述べました。わずか3日で方針が撤回されてしまった形になります。 Mate 30シリーズはGMS認証を取得しておらず、AndroidアプリストアGoogle Playを含むGoogle関連サービスを使えない状態で出荷されますが、もしBoot
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How dare you! どういう意味？: ネイティブの英語表現 〜英語の感覚を掴もう！〜
shakkinengineer.com