Pythonを使ったWebスクレイピングの比較的メジャーなライブラリBeautifulSoupのメソッドを一挙紹介します。 このページを読めばBeautifulSoupのほとんどの動作、メソッドを確認することができます。 以下の目次は展開でき、逆引きリファレンスの形式になっていますので、調べたい操作がある方は、気になる箇所へすぐにジャンプできます。 BeautifulSoupとは 一言で言うと、HTMLをパースするPythonのライブラリです。 スクレイピングという処理は、HTMLの取得と解析の二段構成です。 僕はHTMLの取得にはrequestsというモジュールを使うことが多いです。 一応標準のライブラリでもあるにはあるんですが、Pythonのhttpアクセスのディファクトスタンダードはrequestsかなと個人的には思っています。

ちょっと自分のIQに興味があって、一々仰々しいペーパーテスト受けるのもアレだったので、ネットで「ちょっと真面目に」IQ測れそうなテストをいくつか探して、挑戦してみました。 ネット上で、特によくFacebookなんかで見かける、簡易なアプリで「これが解けたらIQ150！」みたいなヤツは眉唾で、ほとんど信用できません。 というより、ああいうのはほぼ遊びですね。 何故ネット上の簡易なIQ測定が信用できないのかは、IQという数字の性質を知る事で理解できるようになります。 当記事前半でIQという数字の性質を少し詳しく解説しています。 後半では今回受けたIQテストと結果を合わせて紹介しています。 「別にテスト以外興味ないよ」って方は目次をクリックするとジャンプできます。 IQとは？ 知能指数（ちのうしすう、独: Intelligenzquotient, 英: Intelligence Quotient

こんにちは、臼田です。 皆さん、Lambdaしていますか？ 今回はAPI Gateway + Lambdaでprodやdevのエンドポイント毎に対応したバージョンのLambda関数を動かしてみたいと思います。 API Gateway + Lambdaのセットアップは下記ブログをご参照下さい。 ゼロから作りながら覚えるAPI Gateway環境構築 何がしたいか APIを作成して運用していく中で、本番用のエンドポイントとは別で、開発用のエンドポイントを用意して、それぞれ別のバージョンのLambdaを実行したくなります。 API Gatewayには1つのAPIを複数のステージにデプロイし、エンドポイントを複数作成することができます。例えば下記のようになります。 https://xxxxxxxxxxxx.execute-api.ap-northeast-1.amazonaws.com/dev h

あちこちで見かけるカードUI、ブログなどにも使いやすいですよね！そこで、カードUIにぴったりなサムネイルのhoverエフェクトをいくつか作ってみました。 CSSをコピペすれば何となく使えると思うので、CSS初心者の方や実装が面倒な方はサクッとお使いください！hoverエフェクトとかPCでしか恩恵には預かれませんが…そこはご愛嬌。 ではいってみましょうー！ 目次 基本のエフェクト Type1. シンプルオーバーレイ コード構成 基本の仕組み hoverエフェクトアイディア Type2. モノクロ+ぼかし+ズーム Type3. モノクロからカラーに Type4.　カラーオーバーレイ+ワイプイン Type5. モノクロ+ライン Type6. 波動+ズーム Type7. グラデーションアニメーション Type8. ぼかし+枠線アニメーション Type9. ひし形ワイプイン Type10. 透かし+

ワードプレスが遅い！ 一言でワードプレスが遅いと言っても、たくさんの要因が考えられます。個別のサイトの何が遅いかという特定は、見てみないと何とも言えないところがあります。 ざっくり要因としてあげるとしたら、 重たいデータ 重たい処理 この二つのどちらかです。 ちょっと当たり前の事ドヤ顔で言ってみましたが、ワードプレスが重い！と言う方はどっちかが出来ていないワケです。 かなり長いんで、全部読むのがめんどくさい方は目次から特定の項目にスキップどうぞ。 表示の遅いサイトは何がヤバい？ 「そりゃ、遅いより早いほうがイイに決まってるけど、具体的に何がヤバいの？」 ってところは気になりますよね。 UXの低下 UXってのは、ユーザーエクスペリエンス。 要するに、体験の事です。 ちょっと古い記事ですが。 操作開始時間が1秒のサイトと3秒のサイトを比較しても、3秒のサイトは1秒のサイトに比べ、ページビューが

Torをスクレイピングで使いやすくするPythonのモジュール作ってみた TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 Torを使ったWebスクレイピング Webスクレイピングに、そのSocksプロキシを流用することで、簡単にIPアドレスを変更することが可能になります。 つまり自分のIPではないIPを使って色んなWEBサイトにBOTアクセスすることが可能になります。 Torを使ったスクレイピングはどういった場合に便利なのか？ WEBアクセスの自動化、スクレイピングやBOTアクセスというのは年々、制限が厳しくなっているサイトが増えています。 例えばブックオフオンラインというサイトで、20回ほど連続でF5ボタンを押してみてください。 ブックオフオンラインは割と昔か

Google AdSenseはブログや運営Webサイトを収益化するために、今や欠かせない手段となっています。 そんなアドセンスですが、特定の条件を満たすと、同じくGoogleが提供するWebサイトの速度測定サイトPageSpeed Insightsのスコアを大きく下げる要因になることが判明しました。 AdSenseの自動広告はスコア低下の要因 まずは結論からです。 非常に便利な自動広告ですが、PageSpeed Insights の評価では、モバイルのスコアを大きく落とす要因となります。 あくまで、スコアと表現しているのは、実際に[text type=marker color=pink]体感の表示速度はほとんど変わらない[/text]からです。 詳細は下記記事なども参考にしてください。

転職・就活情報から未経験向け求人や動画学習まで、IT／WEBエンジニアに特化した総合求職・学習サイト「paiza（パイザ）」。 プログラミングスキルチェックを提供し、学歴や職歴ではなく「技術がある人」が評価され、活躍できる社会の実現を目指したサービスを提供しています。

メンサの合格基準であるIQ 130（標準偏差15）は、WEB上にあるオンラインIQテストで言うところのどのくらいのものなのか、一通りやってみた結果と、WAIS-III(*A)を受けた際の手応えと比較した印象、算出されたIQの信憑性について私見をまとめてみた。 ほとんどのオンラインIQテストにおいて、スコアの高い人をより高く見せる傾向が見られ、恐らくは問題数が少ないことが原因かと思われる。IQ 70から160を測定するとして、３刻みでも最低30問はないと計測できないはずだ。一方で100に近づくにつれ、より妥当性が増す印象があるため、120を超えたあたりからの正確性が疑わしい。 ある一定レベルで「満点」に達し、それ以上が計測できなくなるから、満点を出す人が増えてしまうことで全体の分布が壊れ、「全人口の上位２％がIQ 130以上」の定義も危うくなる。言い換えると、100人中３人以上がIQ 130

Google が2014年に発表したマテリアルデザインは、ウェブだけでなくグラフィックデザインでもますます人気となっており、さまざまな方法で採用しているケースをよく見かけるようになりました。 今回は HTML と CSS、わずかな JavaScript で実装できる、今後の参考にしたいカード型レイアウト用コードスニペットをまとめてご紹介します。コードニペットは各レイアウト別にカテゴリ分けしているので、ウェブサイト制作に活用したものを見つけてはいかがでしょう。 【2017年版】HTML/CSSで表現できる、すごいテキストエフェクト66選 イメージスライダーを魅力的に！コピペ実装できるHTMLスニペット24個まとめ ウェブをもっと面白く！コピペ可能なHTML/CSSスニペット45個まとめ 2016年12月度 コンテンツ目次 1. ブログコンテンツ用レイアウト 2. 名刺型レイアウト 3. グリ

Amazon（アマゾン）の在庫切れ商品を検索するにはどうすればいいんだろう？具体的なやり方が知りたい…。 せどりの中でも最もベーシックなのが、Amazonせどりです。Amazonせどりで効率よく売上を上げるには様々なコツがありますが、Amazonの在庫切れ商品を探して仕入れるのもポイントになります。 過去のAmazonせどりでは、在庫切れ商品を検索するのに「モノレート」が活用されていました。モノレートはリサーチしながら簡単に在庫切れ商品を見分けられたので重宝されていたのですが、残念ながらサービス終了してしまっています。そのため、別の方法で在庫切れ検索をしなければいけません。 そこで今回は、Amazonの在庫切れ商品を検索するメリットや具体的な検索方法について、徹底解説していきます！これからAmazonせどりを始める人でも理解できるようにわかりやすく解説していくので、ぜひ参考にしてみてくださ

どうもかつをです。 賢威8ではいくつかのCTAパーツが用意されています。 CTAパーツとは「Call・To・Action」の事で、読者に行動を促す訴求のためのパーツです もともと組み込まれたCSSによるデザインをHTMLタグで呼び出すことによって適用されます。 以下に記載するソースコードをコピペすれば、あなたの賢威8のサイトでも同様のデザインとしてお使いいただけます。 ソースコード <div class="commentary-box"> <div class="commentary-box_inner"> <h3 class="commentary-box_title title_no-style p100-r"><span>賢威8</span><br> 刷新された圧倒的デザイン<br>強力な訴求力のCTAパーツ</h3> <div class="talker-thumb"><img a

こんなでしょうか。 Sub sample1() Dim ie As Object Dim elm As Object Dim r As Long Set ie = CreateObject("InternetExplorer.Application") 'ie ie.Visible = True 'ie表示 ie.Navigate "http://www.javari.jp/s/ref=topnav_sk__d/378-0438828-4240813/?onsale=&showDesigner=&node=53270051&keywords=&x=5&y=11#__page%3D5%26node%3D53270051%26nodes%3D53270051%26sort%3D-product_site_launch_date%26ref%3Dsr_pg_b_5_next%26pageCode

前回の記事で、Surface Pro 3のデフォルト設定ではInstantGoモードのスリープ開始から4時間経過すると休止状態に移行することになっていることの変更方法を述べました。 ↓のサイトを見て気づいたのですが、電源関係の多くの隠し設定は、どうやら、コンパネの電源オプションの画面に表示させて設定ができるようにすることができるようです。 http://news.mynavi.jp/column/windows/200/ http://news.mynavi.jp/column/windows/299/ レジストリエディタで、 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Power\PowerSettings 以下のエントリーについて、Attributesの値を1→2に変更すると、当該エントリーが電源オプションの詳細設定に現れるよ

In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...