Fukuoka.go#10 https://fukuokago.connpass.com/event/81056/
Overview Introduction Ethics and guidelines of scraping Prerequisites Make an HTTP GET request Make an HTTP GET request with timeout Set HTTP headers (Change user agent) Download a URL Use substring matching to find page title Use regular expressions to find HTML comments Use goquery to find all links on a page Parse URLs Use goquery to find all images on a page Make an HTTP POST request with data
ここでは、私がたどりついた最善のやり方を紹介しましょう。個人的に過去数年にわたって大量のGoコードと付き合ってきた経験から集めたものです。これらは全て非常にスケーラビリティがあると思っています。私が、スケールする、と言うときは次のような意味があります。 アプリケーションが求める環境は、アジャイル環境の中で変化していきます。開発の3、4か月後に、全てをリファクタリングする必要が出てくるなど、考えたくもないはずです。新しい機能は簡単に追加できなくては意味がありません。 あなたのアプリケーションは多くの人々によって開発されます。可読性が高く、維持しやすいものでなくてはなりません。 あなたのアプリケーションは大勢の人々に使われます。バグは容易に特定でき、修正できなくてはなりません。 長期的にみるとこれらのことが重要になる、ということを私は今までに学んできました。小さなことであっても、多数に影響しま
たぶん逆引きが無いから探せないのかなと思ったので path/filepath にどういう機能があるのか書いておく。 filepath.Join 使って下さい。 / “Go言語でクロスプラットフォーム的にパスとファイル名を結合するには? | 非IT企業に勤める中年サラリーマンのIT日記” https://t.co/ehXCf0u8X9 — 自称mattn (@mattn_jp) October 24, 2017 パスからファイル名を得る filepath.Base を使う。 package main import ( "path/filepath" ) func main() { println(filepath.Base("C:/foo/bar")) } この場合 bar が表示される。 パスからディレクトリ名を得る filepath.Dir を使う。 package main impor
Hi everyone! Today's objective is to describe and document a bunch of golang patterns. As you know from my previous posts (go concurrency and go lambdas), I have recently entered the Go-land and found out quite soon that common idioms I knew from my previous experience did not quite apply to golang. Well, I found out that there are some patters that are so common that in my humble opinion should b
NTT データ数理システムでリサーチャーをしている大槻 (通称、けんちょん) です。 今回はソートについて記します。 0. はじめに データ構造とアルゴリズムを学ぶと一番最初に「線形探索」や「ソート」が出て来ます。これらのテーマは応用情報技術者試験などでも頻出のテーマであり、アルゴリズムの Hello World とも呼ぶべきものです。 特にソートは、 計算量の改善 ($O(n^2)$ から $O(n\log{n})$ へ) 分割統治法 ヒープ、バケットなどのデータ構造 乱択アルゴリズムの思想 といった様々なアルゴリズム技法を学ぶことができるため、大学の授業でも、アルゴリズム関連の入門書籍でも、何種類ものソートアルゴリズムが詳細に解説される傾向にあります。本記事でも、様々なソートアルゴリズムを一通り解説してみました。 しかしながら様々な種類のソートを勉強するのもよいが、「ソートの使い方」や
どうも、まさとらん(@0310lan)です! 今回は、Webサイトやアプリなどを簡単に多言語対応できるJavaScriptライブリをご紹介します! HTML要素に「属性」を追加するだけで簡単に翻訳できるので、既存のWebサイトなどに適応しやすいという特徴があります。 グローバルなサイト作りにご興味のある方は、ぜひ参考にしてみてください! 【 Glottologist 】 ■「Glottologist」の使い方 それでは、まず最初に「Glottologist」を使えるようにするための準備から始めましょう! 必要になるのはライブラリの「JavaScriptファイル」1つです。 npmでインストールする場合は次のとおり! npm i glottologist --save また、ライブラリを「scriptタグ」で読み込む場合は次のように記述しましょう。 <script src="https://
2018年4月現在ではブロックチェーンといば仮想通貨を支える技術という印象が強い気がしますがもちろん同技術は金融にとどまらず色々な領域に活用されていくものです。そんな一例として気になる海外サービスを見つけました。次世代出版プラットフォーム「Publica」です。本稿では既存の出版業界の仕組みや既存サービスに触れながらPublicaの何が新しく、それがどのように出版のあり方を変える可能性があるのかについて考察しようと思います。 ■Publicaとは? 簡単にいうとPublicaは、独自のトークン「PBL」を使い、 著者が読者から直接本の代金を受け取れる仕組みです。実際に本ができあがるまでの流れを見るとわかりやすいです。下記の図と併せて御覧ください。 まず作品を形にしたい作家は必要な費用を算定してPublica上で クラウドファンディングを実施し、興味を持った読者から資金をPBLで集めます。支
デスマーチの実例の一つとしてYRP 軍曹が携帯電話開発の現状を語るが有名です。 この状況を今の開発スタイルだったら、どれだけ脱却できるのかどうかを考えてみました。2004年頃にはまだなかったツールや普及していなかった考え方があることに気づきました。それらのツールや考え方を利用すると、ツールがだいぶ便利になってきているので、だいぶ改善されます。 しかし、マネージメント自体による部分が大きいことが分かりました。 事例 「まず、仕様書が無い。」 今でも: 十分に起こることです。 仕様書なしのコーディング 仕様書を書かずにいきなりコーディングを始めてしまう。どの時点でどのようにして設計方針を組織として承認したのかが不明確なままになっている。 サーバーが失われる ドキュメントがおかれていたサーバーが運用停止になって、ドキュメントにたどれなくなることこともあります。せっかく、ソースコード上にドキュメン
こんにちは。Mackerel開発チームディレクターの id:daiksy です。 Mackerelチームでは、開発プロセスにおけるプラクティスや、チームをうまく機能させるための様々な取り組みに対して、普段から定期的なカイゼンを行っています。 世の中は新年度を迎え、いろいろと新しい取り組みにチャレンジしやすい時期でもありますし、Mackerelチームで行った最近のカイゼンの様子を簡単にまとめてみようと思います。 振り返りでKPTをやめた Mackerelチームではスクラムをベースとした開発サイクルを採用しており、1スプリント2週間というペースで開発イベントが計画されています。スプリント最終日に振り返りを実施し、2週間の間に起きた出来事や課題などを議論して、次のスプリントでカイゼンをする、というルーチンです。 チームではこれまで長い間、KPTという振り返りのフレームワークを採用していました。K
マイクロサービスや自作ミドルウェアのAPIをメンテナブルにしたいよねっていう文脈で、OpenAPIやGraphQL、gRPCといった技術が採用されるのを最近よく目にする。 バックエンドを実装しているWebエンジニアとしては、こういう仕組みが整備されつつあるのはありがたい。APIをシステムの外に公開しようとすると、ドキュメンテーション/バリデーション/クライアントの実装など、意外と副次的な作業が必要なので、、汎用化されたツールに頼れるのは助かる。マイクロサービスを用いたアーキテクチャを考えるにあたっても、システム間のアダプタをイメージしやすくなる。 そういう背景で、最近家ではgRPCを調べている。このあとはgRPCについて調べたことのメモや感想のコーナーになっているので、興味があったらどうぞ。 主な情報源 だいたいこのへんを眺めておくと、gRPCの基本については抑えることができる。 grpc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く