【Go】Webスクレイピングのやり方 - Qiita
関連 【TypeScript】Webスクレイピングのやり方 - Qiita はじめに GoでWebスクレイピングをしたい時にはgoqueryという便利なパッケージがある ただ、文字コードがEUC-JPのサイト等に使おうとすると文字化けするので、その辺りの文字コード変換を自前で実装する必要がある。 goqueryの使い方については以下の記事を参照。 goqueryでお手軽スクレイピング！ - Qiita 準備 必要なパッケージをダウンロードする。 $ go get -u github.com/PuerkitoBio/goquery $ go get -u github.com/saintfish/chardet $ go get -u golang.org/x/net/html/charset package main import ( "bytes" "fmt" "io/ioutil" "
Golangの言語仕様を全部読んでまとめる - Qiita
トークン トークンは5種類 識別子 キーワード 演算子 約物(句読点) リテラル 空白(スペース, タブ， CR, LF)は無視される セミコロン セミコロンは文の終りを示す 一行に複数文を書きたいときのみ， 明示的にセミコロンを必要とする 識別子 識別子は文字始まり， 文字+unicode数字が続く キーワード break default func interface select case defer go map struct chan else goto package switch const fallthrough if range type continue for import return var 整数リテラル _を区切り文字として使える． 123_456 0bで2進， 0oで8進， 0xで16進を示す 小数リテラル ．が1つ含まれる数字 1e+01： 指数表記 0x_1
Golang 初めての Unit テスト #golang - Qiita
以前の記事（Golang と Line Notify を利用して API の証明書期限切れチェック）を作りましたが今回は単体テストを追加します。 Golang の単体テストとは ざっくり調べた感じだと、以下の感じで作ってみたら良さそう テスト対象のコードと同じ階層に置く（標準パッケージが同じ構造になっていた） testing パッケージを利用する テスト用の関数のプレフィックスに「Test」をつける Assert が用意されていないため、自分で条件を記載する （テストケースを失敗させたいときは「testing.T.Error」や「testing.T.Fatal」を利用する) testing.T.Error：以降の処理を継続して実行される testing.T.Fatal：以降の処理が実行されない テストコードを記載 テスト対象のコード package main import ( "flag"
Go の入れ子の配列の構造体をポインタにするか、値渡しにするか？ - Qiita
業務でGoプログラミングをする必要があった。過去にTerraform に貢献をしたこともあったが、ちゃんと理解しているかはとても怪しいものだ。この際しっかりと理解して生産性を高めたい。 業務では、複数の構造体が入れ子構造になったもので、頻繁に出てくるタイプのものだ。 type Team struct { Id string Challenges *[]Challenge } type Challenge struct { Id string Histories *[]History Logs []Log } type History struct { Id string } type Log struct { Message string } 大抵のインターネットのコードでは、Challenge の Histories のようにポインタ渡しになっている。どういうときに値渡しとポインタ渡しを
Go言語開発を便利にするMakefileの書き方 - Qiita
Go言語開発での makeコマンド と Makefile Go言語の開発ではmakeコマンドをタスク自動化ツールとしてよく使います。 よく使うコマンド、自動化したいタスクをMakefileに記述しておくと、開発に使う複雑なコマンドをすぐに実行したり、チームで共有出来ます。 Makefileに対して、難しいイメージを持っているかもしれませんが、超基本のMakefileの書き方はとてもシンプルなものです。 この記事の目的 Makefileの超基本がわかる Go言語開発のタスク自動化ツールとしてのMakefileの書き方がわかる 前提知識 シェルスクリプト についての知識 書き方 書き始める前の準備 EditorConfigを設定して、タブ / スペース によるインデントのトラブルに会わないようにしましょう。 公式サイトにあなたのエディタが、EditorConfigをサポートしているか、プラグイ
プログラミング言語の作り方 〜 Go によるアセンブラ、バーチャルマシン、コンパイラの実装 - Qiita
はじめに プログラミング言語を作ったことはありますか？ 私はプログラミング言語の実装なんて難しいことはできないと思っていましたが、コンピュータシステムの理論と実装を読んで理論を学び課題に従って実装していくことで、簡単なものではありますがプログラミング言語を作ることができました。 コンピュータシステムの理論と実装について この本ではコンピュータを理解するためにゼロからコンピュータを作っていきます。 まずはハードウェア記述言語を使って仮想ハードウェアを作り、その仮想ハードウェア上で実行可能なマシン語のためのアセンブラを作り、そのアセンブラで実行可能なコードを生成するバーチャルマシン変換器を作り、そのバーチャルマシンで実行可能なコードを生成するコンパイラを作ります。 マシン語やアセンブリ言語、バーチャルマシン語やプログラミング言語の仕様はそれぞれ決められており、それぞれの理論について説明を受けな
Go でローカルにある JSON を読み込む - Qiita
やりたいこと ローカルにある JSON を Go の構造体として読み込む ローカルにある JSON ファイル (sample.json) { "posts": [ { "id": 1, "title": "Post 1" }, { "id": 2, "title": "Post 2" }, { "id": 3, "title": "Post 3" } ], "comments": [ { "id": 1, "body": "some comment", "postId": 1 }, { "id": 2, "body": "some comment", "postId": 1 } ] } type Post struct { ID int `json:"id"` Title string `json:"title"` } type Comment struct { ID int `json:
goでクロスコンパイル - Qiita
$ go tool dist list aix/ppc64 android/386 android/amd64 android/arm android/arm64 darwin/amd64 darwin/arm64 dragonfly/amd64 freebsd/386 freebsd/amd64 freebsd/arm freebsd/arm64 illumos/amd64 js/wasm linux/386 linux/amd64 linux/arm linux/arm64 linux/mips linux/mips64 linux/mips64le linux/mipsle linux/ppc64 linux/ppc64le linux/riscv64 linux/s390x netbsd/386 netbsd/amd64 netbsd/arm netbsd/arm64 openbs
DockerでGoの開発環境を構築する - Qiita
Go言語の勉強を始めたので備忘録がてら書いてみます。 今回は環境構築のみですが、Go言語でのAPIサーバーの開発編を続編で書けたらいいなと思ってます。 なぜDockerで？ Dockerでの環境構築は、様々なメリットが存在します。 どのOSでも簡単に環境構築が出来る ホストOSと開発アプリが隔離されるので安全 デプロイやテストが楽になる ホストOSにインストールするソフトウェアが減る Dockerは最高です。 そもそもDockerとは？ コンテナ型の仮想環境を扱うためのプラットフォームです。 コンテナと呼ばれる軽量、高速に動作する仮想マシンのようなものを作成、配布、実行することができます。 詳細についてはさくらナレッジの記事がわかりやすいのでそちらをご覧ください。 さくらナレッジ Docker入門（第一回）～Dockerとは何か、何が良いのか～ Dockerのインストール Windows
macOSでDockerを使ったGoのアプリケーション開発を爆速にするホットリローダを作った - Qiita
はじめに メリークリスマス！！ みなさんは Go のアプリケーション開発をどのような環境で行っていますか？ 弊社ではゲームのアプリケーションサーバに Go を採用しており、開発は macOS で Docker for Mac を利用しています。開発当初はこの構成による不満は特に感じていませんでしたが、1年半ほど経ってプロジェクトの規模が大きくなったことで、無視できないレベルで開発スピードを低下させる要因となってしまいました。 弊社ではアプリケーション開発にソースコードの自動生成を多用しており、その影響もあってかコードベースの Go のコードは 150万行を超える規模になっています。 加えて、ビルドする際は cgo 経由で利用している C++ のコードもそれなりの量絡んでくることもあり、 Docker for Mac を使った Docker コンテナ上でのビルドに要する時間は、 メモリ8GB
Go Modules - Qiita
普段あまり Go を使わない人が仕事で使ってるソースが突然 Go Modules になって困って調べたメモ。 問題の背景 Go では GOPATH という特殊な概念があって、Go のコードはライブラリも含めてすべて $GOPATH/src 以下に置くという約束になっている。そうするとプロジェクトごとにライブラリのバージョンを変えたい場合に困るので、プロジェクト固有のライブラリは $GOPATH/src/プロジェクト/vendor の下に入れても良いことになっている。そうすると go コマンドは vendor 以下を優先して見てくれる。面白い事に、vendor ディレクトリの管理は govendor 等色々なサードパーティツールを使う。 将来の Go 1.12 からこのやり方を改め、$GOPATH/src や vendor は廃止となり Go Modules という物を採用する事になった。現
Goでテキストファイルを読み書きする時に使う標準パッケージ - Qiita
先日Goでテキストファイルを読み書きする機会があり、その時に調べた自分用メモです。インターネット上には同様の内容の記事が数多く存在しておりますので、そちらも検索＆参照してみてください。 私なりのざっくりイメージ バイト配列や文字列の単位で読み書きするなら「os」パッケージ バッファリングしながら読み書きするなら「bufio」パッケージ 一括で読み書きするなら「ioutil」パッケージ 共通の注意点 main()関数ではなく別関数にしているコードは、ファイルを閉じる処理のdefer呼び出しを有効にするためです。 一括の場合、ファイルの内容を全てメモリに保持するのでメモリ不足などの注意が必要です。 各関数やメソッドによって改行コードの出力有無が異なるので、その辺りも楽しんでみてください。 読み込み 読み込むテキストファイル「read.txt」の内容は次の通りです。 各Goコードを実行すると同じ
Goの構造体のフィールドに関数を埋め込んでDIを実現してみる - Qiita
使い所 会社の先輩にこの埋め込みの関数の使い所を聞いたところ、「関数をDIで渡したいときとかに使うと便利だよ」 と教えていただいたので、実際に簡単にサンプルを書いてみた。 サンプル Strategyパターンもどきを実装してみた。 Strategyパターンは、以下のようなもの。 Strategy パターンは、コンピュータープログラミングの領域において、アルゴリズムを実行時に選択することができるデザインパターンである。 引用元 : Strategy パターン - Wikipedia インターフェースと構造体の埋め込みを用いてDIしたパターンと、関数の埋め込みを用いてDIしたパターンを実装してみたい。 インターフェースと構造体の埋め込みを用いてDIしたパターン package main import ( "fmt" ) type Strategy interface { ExecuteStrat
【Go】関数からポインタを返すのは値を返すより遅くなる？ - Qiita
はじめに Should I Use a Pointer instead of a Copy of my Struct?といった記事をいくつか最近目にしました。 func NewMyStructVar() myStruct な関数と func NewMyStructPtr() *myStruct な関数はどう使い分けたら良いか腹落ちさせるために実験してみました。 この記事では計測して得たプロファイル結果を踏まえて私の"考察"、"推測"を記載しているのでご注意ください。確認が不足してる点もあるので随時更新したいです。 TL;DR どちらが結果的に速いかというのは一意に決められません。返された値・ポインタの寿命と使われ方に依ります。 端的にまとめると、寿命が短く頻繁に呼ぶような使い方の場合は値の方が良く、低頻度に呼ばれ他の処理に渡して長く使い回すような場合はポインタの方が良いと言えそうです。 環
GO言語をubuntuにインストール - Qiita
1.ubuntuへGO言語をインストール 【メモ】その手の記事は沢山あるけど自分への備忘録として記録 【メモ】今更感はあるけど気にしない、ともかくやってみる ubuntuのバージョンは18．04 ouraboros@******:/etc$ cat os-release NAME="Ubuntu" VERSION="18.04.2 LTS (Bionic Beaver)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 18.04.2 LTS" VERSION_ID="18.04" HOME_URL="https://www.ubuntu.com/" SUPPORT_URL="https://help.ubuntu.com/" BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/" PRIVACY_P
Goコンパイラをゼロから作って147日でセルフホストを達成した - Qiita
もはやただのアセンブリコードで、コンパイラどころかGo言語の影も形もありません。ここから機能を付け足してGoコンパイラに育て上げました。 興味深いことに、7コミット目あたりですでにコンパイラ全体の骨格ができています。 なんで作ろうと思ったの もともとGoコンパイラを作るなどという発想は1㍉もなかったです。 当時、仕事でGoを触る機会はあったものの、週1-2回くらいしか触らないのでなかなか上達しないという焦りを抱えていまいた。 そんなとき Rebuildfm で ruiさんが8ccを作った話を聞いてすごく興味を持ちました。 Rebuild: 153: Connecting The Dots (rui314) さっそく git clone して1コミット目から読んでみたら自分でもやりたくなって、 Go言語に移植してみようと思いました。 1コミット目から順番に、Cで写経してからGoに移植しました
NeovimでのGolang開発環境を整理する - Qiita
僕はGolangで開発する際、Neovimを使用しています。 Golangのバージョンアップに伴い、gocodeによる補完がうまく動かなくなったりと色々と問題が発生したので、プラグインや設定の見直しを行いました。その際の備忘録を書いていきます。 前置き プラグインマネージャーにはdeinを使わせてもらっているので、他のツールを使っている方は適宜読み替えていただけると助かります。 メインで利用するプラグインは以下の通りです。 vim-go LanguageClient-neovim deoplete 以前まではvim-goのみで補完や文法チェック、フォーマッティングまで全部お任せできていたのですが、上述したようにgocodeを利用した補完が難しくなったため、LSP(Language Server Protocol)に一部機能を任せる形に設定しています。 Golangにおけるgocode/LS
go言語でHTMLをスクレイピングしてそれを送信するslackbotを作成する - Qiita
はじめに 普段はvueとかtypescriptとか使って、フロントエンドを書いています。 純粋に興味がありgo言語を1から勉強し始め、試しにスクレイピングして取ってきたデータを定時実行で送るslackbotを作成しました。 結構似たようなこと書いてる記事が多いのですがあまり最新の情報がなくメモのためでもあります。 go言語触り始めたばかりなのでコードが理解できず不要なのが混じっているかもしれませんがご了承ください。 完成したのはこんな感じです、ローカルで試したときなので時間はおかしいです。 ソースコードはこちらにあります、よかったらstar押していってください！ 環境、使ったパッケージ go version go1.14.3 github.com/PuerkitoBio/goquery slackの設定 他の方の記事にいくらでも乗っているので詳しい説明は省略します、slackbot 設定と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GVMを使ってGoの開発環境を管理しよう！
GVMを使ってGoの開発環境を管理しよう！ - Qiita
