Web Scraping with Go
Overview Introduction Ethics and guidelines of scraping Prerequisites Make an HTTP GET request Make an HTTP GET request with timeout Set HTTP headers (Change user agent) Download a URL Use substring matching to find page title Use regular expressions to find HTML comments Use goquery to find all links on a page Parse URLs Use goquery to find all images on a page Make an HTTP POST request with data
COBOLをシートに手書きしていた頃。80〜90年代、OSS普及前の開発風景に学ぶこと - エンジニアHub｜若手Webエンジニアのキャリアを考える！
COBOLをシートに手書きしていた頃。80～90年代、OSS普及前の開発風景に学ぶこと インターネットが一般的ではない時代にエンジニアはどのように仕事をしていたのでしょうか。WebDINO Japanの瀧田佐登子さんに、かつてのエンジニアの姿、そしてオープンソースという概念が一般化していく過程を、貴重なエピソードとともに聞きました。 オープンソースというカルチャー、そしてそこから生み出されるソフトウェアは今やあらゆる開発活動に不可欠なものです。多くのIT、インターネット関連企業の開発は、オープンソースなくしてもはや成り立たないでしょう。 一方で、言うまでもなくオープンソースという概念がまだ一般的ではない時代もあり、そしてその時代にも開発は行われていたのです。 「オープンソース」という言葉は、1998年に『伽藍とバザール』の著者、エリック・レイモンドによって発表されましたが、この言葉が指し示
画像のノイズを落としたり容量を小さくしたりするにはどのようなコードを書く必要があるのか？
手書きのメモをスキャンししたときにどうしても発生してしまうノイズを取り除くとともに、ファイルサイズも減らす方法を、スワースモア大学准教授のMatt Zuckerさんが具体的に公開しています。 Compressing and enhancing hand-written notes https://mzucker.github.io/2016/09/20/noteshrink.html Zuckerさんが持つクラスの中には教科書を使用せずに行うものもあり、そうした場合Zuckerさんは「学生書記官」を任命してノートを取ってもらい、スキャンしてアップロードするそうです。 例えば、以下の画像のようなページをスキャンする場合を考えてみます。この画像は300DPIでスキャンされており、約7.2MBのPNG形式で保存されています。それを画質85でJPGに変換すると約790KBになりますが、1ページで7
DB負荷試験をやった話
こんにちは！インフラチームの川田です。 業務では社内ネットワーク構築・運用やツールの検証などしています。 本記事では、1月末から2月初頭にかけて行ったDB検証のベンチマーク結果をまとめたいと思います。 試験環境 今回は以下4つの環境を対象にMySQL 5.7互換のあるDBを構築し、ベンチマークを測りました。 Google Compute Engine (以下GCE) Google CloudSQL Amazon EC2 Amazon Aurora サービス概要 GCE及びEC2は、仮想マシンを構築することができるサービスです。 CloudSQLとAuroraは、フルマネージド型DBサービスです。どちらも簡単なので、とりあえずDB構築してみたいという初心者にオススメです。 CloudSQLはチューニング項目はありませんが、AuroraではMySQLのmy.cnfで設定できる項目の一部を変更で
LForMを使ってみた - 涅槃を目指す
LForMて何？株式会社エーピーコミュニケーションズさんが公開している、ネットワーク機器のリアルタイムログ解析ツールです。公式サイト OSSで公開されていてFortiGateに対応しているとのことなので、社内のFortiGateで試してみました。 インストールLForMダウンロードに必要事項を記入するとマニュアルURLがメールされてくるので、その通りにやってください。簡単でしたよ。 公式にも説明がありますが、fluentdでSNMPやSyslogデータを受け取りelasticsearchに保存し、kibanaで見る仕組みのようです。nginxはbasic認証のために置いたのかな？弊社でも同じような構成でログの監視をしています。 今回の環境今回は以下の環境で試しました。動作確認済みのファーム（FortiOS）は5.2.3とのことですが、最新の5.6.3でやってみました。 兄さん！最新でも大丈
技術的負債のパターンと悪影響・原因・返却方法について考える - $shibayu36->blog;
先日飲み会で技術的負債についての雑談をしていた。結構いろいろな側面の話をしていたのだけど、技術的負債って一括りにしているのが今はあんまり良くなくて、負債の性質によって技術的奨学金、技術的FX、技術的年金などと言葉を変えると良いのではみたいな半分冗談で会話をしていた。 いろんな問題が技術的負債という一言にまとめられてしまっているので、負債の性質に合わせて、技術的奨学金、技術的FX、技術的年金、など用語を分けると良いのではないか、という話をした— 趣味はマリンスポーツです (@hitode909) 2018年3月27日 技術的負債について - hitode909の日記 それで技術的負債のパターンを見つけて、それによりどういう悪影響があるか、それがなぜ起こるのか、どう返却するかについて考えておくと良いのではと思ったので、今日思いついた3つのパターンをメモしておく。 思いついたパターンは3つ。 変
PythonとKerasを使ってAlphaZero AIを自作する | POSTD
自己対戦と深層学習でマシンにコネクトフォー（Connect4：四目並べ）の戦略を学習させましょう。 この記事では次の3つの話をします。 AlphaZeroが人工知能（AI）への大きなステップである2つの理由 AlphaZeroの方法論のレプリカを 作って コネクト4のゲームをプレイさせる方法 そのレプリカを改良して他のゲームをプラグインする方法 AlphaGo→AlphaGo Zero→AlphaZero 2016年3月、DeepmindのAlphaGo（アルファ碁）が、囲碁の18回の世界王者、李世乭（イー・セドル）との五番勝負で、2億人の見守る中、4-1で勝利しました。機械が超人的な囲碁の技を学習したのです。不可能だとか、少なくとも10年間は達成できないと思われていた偉業です。 AlphaGo 対 李世乭の第3局 このことだけでも驚くべき功績ですが、DeepMindは、2017年10月、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
