goqueryでお手軽スクレイピング！ - Qiita
こんにちは、Qiita二回目の投稿です、 yosuke_furukawa と申します、Golang勉強中です。 Qiitaの一回目の投稿もScrapingネタだったのですが、二回目もGolang勉強中ということでQiitaのScrapingネタで行きます。 まず、goqueryの説明に行く前に単純なやり方でscrapingしてみます。 Golangで単純なスクレイピングをするためには、以下のモジュールを利用するとできます。 - net/http httpリクエストを送るためのモジュール - code.google.com/p/go.net/html html解析をするためのモジュール 超シンプルなサンプルとして、該当のurlのaタグのhrefにある値だけ取得する場合は以下の様な感じになるかと思います。 go.net/htmlで頑張る package main import ( "code.
若いエンジニアへ
エンジニアなら誰でも突貫工事に喜びを見出した経験がある。深夜2時の夜食を共にした同僚のことは、その職業人生を通じて忘れることはない。しかし、そこにいかなるドラマがあろうとも、突貫工事は例外である。これを常態としてはならない。 メーカーの組込みプログラマとしてエンジニアのキャリアをスタートした私は、「よい製品はよいプロセスから生まれる」ことを頭に叩きこまれた。素晴らしい製品を生み出す工場は静かである。常に誰かが大声で叫んでいるような工場には明らかにプロセス上の問題が認められ、素晴らしい製品を生むことは決してない。 本物のエンジニアは突貫工事を好まない。突貫工事とはプロセス上の誤りであり、つまり誰かが大声で叫ばなければならないということだからである。エンジニアの仕事は計画され、コントロールされたものでなければならない。 長時間労働によって成果を生み出そうとすることも、やはり例外としなければなら
The Twelve-Factor App （日本語訳）
はじめに 現代では、ソフトウェアは一般にサービスとして提供され、Webアプリケーション や Software as a Service と呼ばれる。Twelve-Factor Appは、次のようなSoftware as a Serviceを作り上げるための方法論である。 セットアップ自動化のために 宣言的な フォーマットを使い、プロジェクトに新しく加わった開発者が要する時間とコストを最小化する。 下層のOSへの 依存関係を明確化 し、実行環境間での 移植性を最大化 する。 モダンな クラウドプラットフォーム 上への デプロイ に適しており、サーバー管理やシステム管理を不要なものにする。 開発環境と本番環境の 差異を最小限 にし、アジリティを最大化する 継続的デプロイ を可能にする。 ツール、アーキテクチャ、開発プラクティスを大幅に変更することなく スケールアップ できる。 Twelve-F
Elasticsearchのデータを簡単にimport/exportする - (ﾟ∀ﾟ)o彡 sasata299's blog
2013年12月04日16:03 JavaScript Elasticsearchのデータを簡単にimport/exportする 最近、Kibana と Elasticsearch と Fluentd の組み合わせでログを可視化するの見かけたので僕も試してみました。とても簡単に可視化できて素晴らしいですね〜 :D ただ、開発環境で Elasticsearch のデータを作るのはメンドクサイです。うーん、何か良い方法は無いものかと探していたら、elasticsearch-knapsack (ナップサック!!!1) という Elasticsearch のデータを import/export してくれる gem を見つけました。これは便利そう！！ これを使って、本番環境のデータをちょろっと手元にコピーしてみました。 まずエクスポートから。github で書かれている通り、エクスポートさせたいサー
Web API Design
Web API Design Crafting Interfaces that Developers Love Brian Mulloy 2 Table of Contents Web API Design - Crafting Interfaces that Developers Love Introduction............................................................................................................................................ 3 Nouns are good; verbs are bad....................................................................
HubTech - Latest Technology and Gadgets News
Curious about the ETH to USD conversion rate? Experts predict a significant surge in Ethereum’s…
Node.js — Ben Noordhuis's Departure
As of this past weekend, Ben Noordhuis has decided to step away from Node.js and libuv, and is no longer acting as a core committer. Ben has done a tremendous amount of great work in the past. We're sad to lose the benefit of his continued hard work and expertise, and extremely grateful for what he has added to Node.js and libuv over the years. Many of you already have expressed your opinion regar
ポータブルなwebアプリケーションとそのインフラの未来の一考
naoya さんのポータブルな Web アプリケーションを受けて最近思ってることをば。140 文字で時々書いてるんだけど、まとまりがないので一回まとめておきます。 12-factor app ステートフルなアプリケーションについては、Heroku の人が提唱してる 12-factor app というのが現在の状況をよく表してます。 The Twelve-Factor App The Twelve-Factor App（日本語訳） Heroku や他の PaaS によってもたらされたこうした一種の”制約”によって、アプリケーションの新しいカタチが生まれてきています。引き算によって新しい価値が生まれてきているわけですね。 とはいえ、PaaS は PaaS でそれぞれに独自の仕様を持っているわけですが、Heroku の buildpack という仕組みを使って、Heroku とインタフェース仕様
[#JSX] コンストラクタから他のコンストラクタを呼び出す方法 - kazuhoのメモ置き場
※この記事はJSX Advent Calendar 2013の一部です。 JSXでは「this(...)」と書くことで、あるコンストラクタから別のコンストラクタを呼び出すことができます。下の例はJSXのコンパイラからの抜粋。 class NodePlatform extends Platform { function constructor () { this(node.path.dirname(node.__dirname)); // <----- ココ } function constructor (root : string) { this._root = Util.resolvePath(root); }また、親クラス（あるいは Interface あるいは Mixin）のコンストラクタを呼び出す際には、「super(...)」あるいは「親クラス名(...)」とします。 Javaと
![[#JSX] コンストラクタから他のコンストラクタを呼び出す方法 - kazuhoのメモ置き場](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e993b5070b131ea6f6187c74fd17577ba41b91c/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127106341284%2F17680117127106343928%2F1556845840)
ランゲージ・バリア – hkmurakami's Japanese blog
なんだかいつもこんな内容の記事を書いている気がしますが、今日もことばについてです。 以前ちょっと書いたと思うんですが、僕は現在MBAに在学しています。生徒の３割ほどは留学生で、東洋人はその半分くらいでしょうか。で思ったんですが、東洋から来てる人のほうが間違いなくドメの学生より地頭はいいし、キャリアもすごいですね。年齢も平均してドメ学生より５－６くらい上です。 ただ僕自身日本語で経験していることなんですが、第二言語を使うと考えの半分も出ないみたいですね。ぼくが日本語を使うと英語の６－７割しか出ないので、日本から来てるクラスメイトが英語を使うと正直１－３割くらいしか考えが出ない印象です。特にとっさに０．３秒で考えを言わないといけない場合とかあるんですが、そういう場面は特にきついっぽいですね。逆に時間をかけて文章を書けるとまだマシになる印象。 まあこれはしゃーないんですが、これ実はドメの僕らがす
AngularJS 20min #ng_jp
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
InnoDBのロックの範囲とネクストキーロックの話 - かみぽわーる
この記事はMySQL Casual Advent Calendar 2013 3日目の記事です。 はじめに 以前にSELECT ... FOR UPDATEとロックの挙動 - walf443's blogの記事にTwitterで少し言及したんですが、それの補足というか、InnoDBのロックの範囲について僕はこう理解していますよという話です。 MySQLといえば、InnoDBをネットワークサーバとして使うためのフレームワークであり、SQLはInnoDBのインデックスにアクセスするためのDSLといっても過言ではないでしょう。 InnoDBのロックとはつまるところインデックス行のロックなので、InnoDBのロックの範囲を理解するためにInnoDBのインデックスについて少し前置きしておきます(だいぶ端折ったけど長くなった…)。 クラスタインデックスとセカンダリインデックス すでにInnoDBのイン
今年npm publishしたモジュールについて - 四角革命前夜
この記事はNode.js Advent Calendar 2013 - Adventarの3日目の記事です。 今年npm publishしたモジュールについて、ということで（今年、ってまだ12月終わってないのだけど）私が2013年01月01日から今日2013年12月03日までにpublishしたモジュールについて書いていきます。 mktemp npm / github このモジュールは、mktempコマンドのようなモジュールです。 var mktemp = require('mktemp'), temp; // "ランダムな値.tmp"というファイル名の空ファイルが生成され、 // tempには"ランダムな値.tmp"が代入される。 temp = mktemp.createFileSync('XXXXXXXXXX.tmp'); というような使い方をします。 例に書いた同期関数だけでなく、非
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
