くだらないAPIなんていらないよ – 2016年のウェブスクレイピング事情 | POSTD
ソーシャルメディアのAPIとそのレート制限は、あまり気分のよいものではありません。特にInstagram。あんな制限つきAPIを欲しがる人がいったいどこにいるんでしょうね？ 最近のサイトは、スクレイピングやデータマイニングの試みを阻止するのがうまくなってきました。AngelListはPhantomJSすら検出してしまいます（今のところ、他のサイトでそこまでの例は見ていません）。でも、ブラウザ経由での正確なアクションを自動化できたとしたら、サイト側はそれをブロックできるでしょうか？ 並行性を考えたり、さんざん苦労して用意した結果として得られるものを考えたりすると、Seleniumなんて最悪です。あれは、私たちが「スクレイピング」と聞いて思い浮かべるようなことをするためには作られていません。しかし、賢く作り込まれた今どきのサイトを相手にして、インターネットからデータを掘り当てるための信頼できる
2016年にJavaScriptを学ぶとこんな感じ
このストーリーは、Circle CIに投稿された”It’s the future”というストーリーにインスパイアされたものです。オリジナルはこちら。ここに書いたことは一つの意見というだけで、他のJavaScriptフレームワークもそうですが、過剰に真に受けないでください。このストーリーを執筆中に新たなJavaScriptフレームワークは作成されていません。 やあ、今新しいプロジェクトをやっているんだけど、実はここ数年ウェブのコード書いていなくてさ、しかも以前とは少し変わったとも聞いているよ。それで君が一番この辺でウェブ開発に詳しいって聞いたんだけど？ -フロントエンドエンジニア、といったほうが正しいが…まあ、俺なら間違いない。俺のは2016年のウェブだからな。ビジュアライゼーション、ミュージックプレイヤー、サッカーをするドローン等々。JsConfとReactConfから帰ってきたばかりだか
Apple（日本）
Apple Footer 記載のiPhone 15の月々の支払い金額（税込）は、ペイディあと払いプランApple専用で金利0%の36か月分割払いを選択し、iPhone 13（128GB）を下取りした場合のiPhone 15（128GB）の金額です。iPhone 13（128GB）を下取りした場合のiPhone 15（128GB）の総支払い金額は実質79,800円から、下取りがない場合のiPhone 15（128GB）の総支払い金額は124,800円からです。下取りサービスは、Appleの下取りプログラムのパートナー会社によって提供されています。下取りの見積もり額は目安であり、実際の下取り額は見積もりよりも低くなる場合があります。下取り額は異なる場合があり、下取りに出すデバイスの状態、年数とモデルにもとづきます。一部のデバイスは下取りの対象ではありません。成人の方のみが対象です。下取り額は新
学術論文の査読システムが崩壊の危機に瀕している | BioMedサーカス.com - 医学生物学研究の総合ポータルサイト
学術論文の査読システムが崩壊の危機に瀕している 査読（英語ではPeer-Review）とは、同分野の研究者が他者の研究内容を評価することを示します。研究活動をする上で、ほとんどの研究者は自身の研究成果を発表する前段階の論文査読は避けては通れません。論文の査読は、研究成果が世に出る前にその内容が科学的に正しいかどうかを判断する目的で使われており、科学分野にとって必要不可欠なシステムです。 しかしここ数年、特にバイオ系の学術雑誌に投稿された論文の査読プロセスが、非常に好ましくない状況に陥っています。好ましくない状況というのは「投稿された論文が同分野の研究者によりその研究内容を科学的に評価される」という査読システムの根本が崩壊寸前であるということです。 何故そのようなことが起きてしまったのでしょうか。1番の原因は、現在の査読プロセスに種々の問題が含まれていることが挙げられます。そこで本オピニオン
Webサイト監視サービス Pingdom できることまとめ - Qiita
お手軽にWebサイトなどの死活監視ができる外部監視サービスのPingdomを少し調べたのでモニタリングとアラートの部分をさらっとまとめておきます。 Pingdomとは Webサイトの監視サービスです。 Pingdomのサーバから登録したWebサイトに対してヘルスチェックを行い、レスポンスタイムのレポートや障害時のアラート通知をやってくれます。 Webサイト以外にも、メールサーバやTCPの監視ができます。 通知はメールやSMS、Twitterなどに送れます。 Standard以上のプランだとステータスページを公開することもできます。 Standard以上でなくても、StatusPage.ioなんかと組み合わせると簡単にこんなステータスページを作れます。 特徴として、Pingdomサーバからのアクセスのみで監視をするため、Webサイトのサーバにエージェントなどを仕込む必要がありません。 また、
Wantedlyを支えるモニタリング - Qiita
Introduction Wantedly Advent Calendar 2015 11日目です。 インフラチームの 坂部 @koudaiii です。 Wantedlyでは開発スピードが早く、また主力のサービスも日々拡大が進み、どんどんサービスの分割、新規サービスを出しています。 Wanteldyを支えるインフラ作りとして、Wantedlyが利用しているモニタリングを紹介したいと思います。 モニタリングは大きく監視と観察の2つの側面があります。 具体的には、 Application Metrics(Work Metrics)とSystem Metrics(Resource Metrics)とEventsとLog の4つに大きく分類して、Metricsを取得し傾向を掴みます。 またAlertを設定することで監視としても利用されます。 Application Metrics(Work Met
レガシーシステム上のJavaScriptをモダンビルドにしていくwebpack利用実例 - Qiita
(function(){ var self = this; $("button").click(function(){ // }) })() // 古いコードはglobalに定義された何か SomeLib.prototype.foo = function(){ // } 下記のような特徴があります。 ライブラリ系（jQueryやjQuery.functionなど）は別途読み込み common.jsのようなよくある共通ファイルが存在 1ページ中で、scriptはファイル単位で複数読み込み 原始的なJavaScript配信状態（Sprocketsのようなビルドプロセスとは全く無縁な状態） jQuery以外に、ライブラリ・フレームワークなどは基本入っていない 色々とJavaScript初心者殺しな記法が多い (function(){})()を利用したglobal汚染回避 self = thisの
はてなで役立ったSIer時代の経験・スキル - はてな2代目社長のブログ
この記事は、はてなディレクターアドベントカレンダー2016の3日目です。昨日はid:yashitani_wの「これからマネージャーになるエンジニアのあなたへ」という記事でした。 ここ2年ほどは社長としての仕事ばかりで（当たり前ですね）、ディレクターとしての業務を離れて久しいですが、ディレクターに関することというお題なので、ディレクターだったときに「SIerで培った経験・技術で、はてなに転職して役立ったこと」について書いてみたいと思います。 私は2008年10月に東京の大手SIerを退職し、はてなの京都オフィスへと転職してきました。SIerとひとことで言っても、実に色々なプレイヤーがいますので、私がSIerでどんなことをしていたかをざっくりと紹介しておきます。 SIer時代 私が所属していた部署は「旅行系システム」を担当していました。いわゆる旅行の予約サイトはもちろん、特殊な端末での予約シス
Dockerコンテナを本番環境で使うためのセキュリティ設定 - Qiita
はじめに Dockerを開発環境で使うことが多くなってきてますね。 使い捨てできる環境は本当に便利なので、本番環境にも使いたいなーと思って、本番運用で注意すべきセキュリティ周りを調べてみました。 基本的な考え方 基本的な考え方は以下になります。 コンテナ内部に入られるな 権限は最小限にせよ 監視を怠るな DockerといえどVPSやオンプレのセキュリティ設定と考え方は同じですね。 ここではDockerにまつわる話を書いていきます。 コンテナ内部に入られるな 信頼できるイメージを使う 多くの場合、ベースとなるピュアなOSイメージはDockerHub上のイメージを使いますが、元となるイメージがセキュアであるかどうかを確認して使うようにしましょう。 既知の脆弱性を含んでいる場合や、最悪の場合、悪意のあるスクリプトが仕込まれている場合があります。 既知の脆弱性が含まれているかどうかはDocker
【定番】 新しいWebサービスを開発・運営するときに使いたいサービス 【2016年末版】 - Qiita
トレタ アドベントカレンダー3日目担当の増井です。 最近、新しいサービスリリースに少し関わることがあり、そこに向けてオススメした開発で役に立つサービスをここでもまとめてみることにしました。 私が、実際にトレタやキタヨンを作るときに使ったサービスを中心に上げています。特に使った方がいいサービスには [必須]を書いてみました。 他にもオススメのサービスがあったら、コメントで教えていただけると嬉しいです！ BrowserStack [必須] https://www.browserstack.com http://qiita.com/tags/BrowserStack 言うなら"Browser as a service"。色々なブラウザをリモートで操作してWebの動作確認をしたり、指定したURLのスクリーンショットを多種多様なブラウザで撮ってきてくれるサービス。 Chrome Extensionを
サポートからディレクターになって - 日直地獄
こんにちは、id:AirReaderです。この記事は、はてなディレクターアドベントカレンダー2016の4日目です。昨日は id:chris4403 の「はてなで役立ったSIer時代の経験・スキル」という記事でした。 経歴 2008年にはてなサポートにアルバイトで入社しました。当時、はてなワールド*1というサービスでどっぷり遊んでいたところアルバイトに誘われたのがきっかけです。アルバイトの最初の面接で、当時副社長の川崎さんに「人力検索に『人の殺し方を教えてください』という質問が投稿されたらどうしますか？」という質問を受けたことは今でもはっきりと覚えています。サポートとして投稿された情報をどう取り扱い判断するかを見るのにとてもいい質問だと思いますし、ぼんやりと問い合わせに答えるという業務を考えていたのが、今後そういった判断が必要な場面に直面していくのだろうという気持ちにさせられるものでした。
まとめサイトに写真をパクられたので請求書を送って合計18万円支払ってもらった件
2016年12月2日NAVERまとめ対策,著作権侵害対策 このほどDeNAは、運営するキュレーションサイト10サイトのうち、WELQを初めとする9サイトを非公開にした。キュレーションサイトとは写真や文章をネット上からパクって再構成するまとめサイトのこと。 作品を無断転載されて怒り心頭のブロガー・イラストレーター・カメラマン・ライターは数知れない。下らないまとめサイトが表示されてうざいと呆れる読者も多い。今回の騒動にはみなさぞ溜飲が下がったことだろう。著作権侵害を平気でしている会社は窃盗団と同じだ。日本社会の暗黒面をここにみた。 画像の無断使用には料金請求する ぼくはこの秋に、まとめサイト５つを含む、合計８サイトに当ブログの写真が無断使用されているのを発見し、そのすべてに料金を請求した。 そうでないと、普通に使用料を支払ってくださっている他のクライアントに不公平になる。 母校の日芸を写し
珍しいSHA1ハッシュを追い求めて - プログラムモグモグ
「SHA1ハッシュってあるだろう？」 放課後、いつものように情報処理室に行くと、高山先輩が嬉しそうな顔でそう言った。 「ええ、SHA1、ありますね」 「SHA1って何桁か覚えているかい？」 「えっと…」 一年下の後輩、岡村が口を開いた。 「50桁くらいはありましたっけ…？」 先輩はパソコンに向かって何かを打ちはじめた。 現在、情報部の部員は三人しかいない。部長の高山先輩と、二年の自分と、後輩の岡村だ。いや、正確に言うと、先輩の学年にはもう少しいたのだが、もうほとんど部室に来ることはなくなってしまった。無理もない、この季節になると先輩たちは受験勉強で忙しくなる。 「例えば、こういうふうに… 適当なSHA1の長さを…」 echo -n | openssl sha1 | awk '{print length}' 部長だけは今も部活に来てこうやって色々なことを教えてくれている。本人曰く、普通に勉強
情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ
情報処理学会インターネットと運用技術研究会が主催されているIOTS2016という研究会で、「サーバモニタリング向け時系列データベースの探究」というタイトルで招待講演をしてきました。 講演のきっかけ インターネットと運用技術研究会(以下IOT研究会)というのは僕にとっては id:matsumoto_r さんが所属されている研究会です。 matsumotoryさんが、ちょうど2年前のアドベントカレンダーで書いた僕の記事に日本語だとIPSJのIOTは分野的にもインターネットの運用技術が含まれるので興味深い論文が沢山あると思う とコメントしていただいたのが最初に研究会の存在を知るきっかけだったと思います。 そのときはそんなものもあるのかと思ってちょっとプログラムを眺めた程度でした。 しかし、まさかその2年後にこうして招待していただくことになるとはもちろん思っていませんでした。 id:MIZZYさん
家族のチャットにSlackを利用している - masawadaの日記
これはmasawada Advent Calendar 2016 5日目の記事です。 昨日書いた通り、家族でSlackを使っている話を書きます。といっても、我が家では単純にLINEの替わりに使っているだけです。 3年くらい前までは家族間の会話にはEメールかSMSを使っていました。父親以外*1にはGoogle Appsのアカウントを発行してキャリアメールを使わず連絡をとるようにしていました。 ある時、そろそろ不便なので何らかのチャットサービスに切り替えようということになりました。当時父と自分がLINEを使うことに反対していたため、それ以外で検討をしました。 スマートフォン向けのクライアントがあること プッシュ通知があること 電話とアカウントが1対1で結びつかないこと あたりが条件でした。ChatWorkやSlack、Skypeなどいくつか見ましたが、Slackが一番良いだろうということで決め
だいたい10分でざっくり押さえるDockerの基本
まだ使ったことがないけどいまさら人には聞けない……そんなエンジニアのために、Dockerの基本的な使い方をざっくりと解説。この土日に試してみて。 アプリの構築、依存オブジェクトとサービスのインストール、デプロイの自動化、まだまだありますが、すべてはDockerfileから始まります。Dockerfileの文法を基本から応用まで説明し、Dockerイメージを作成するベストプラクティスを紹介します。 この記事では、配布するアプリケーション向けに最小構成のLinux（ベースイメージ）を選択するようにDockerに指示をするDockerfileを書き、選択したツールと必要な設定を盛り込んで配信する、すなわち、自分のアプリを動かすのに適した専用のLinuxディストリビューションを作成します。 Dockerを選ぶ理由 Dockerなら「ビルドして配信すればどのようなアプリをどこででも」動かせます。つま
まったくの初学者はJavaScriptをどう学ぶべきか？ 失敗しない学習法を考えてみた
動くモノを作るのは確かに楽しい。でもまったくの基礎を持たない状態でスライドショーを作ることは、JavaScriptを学習するのに良い方法と言えるのでしょうか？ 「ただプロジェクトをやってみる」というアドバイスはJavaScriptを学習する者にとって、もっとも驚くほど危険な言葉の1つです。 誤解を避けるために言っておけば、プロジェクトがコーディング言語学習にとってすばらしい方法であることは確かです（『最新技術を学び続けるのは疲れる？ フロントエンド開発者なら変化を楽しもう』参照）。しかし、なにが良いのか判断できるだけの基礎知識が十分にないまま特定のプロジェクトを始めると、問題が起こります。 これは大事なポイントです。なぜなら、プロジェクトへの挑戦を急いで始めてしまうと、多くの人がJavaScriptの学習を完全にあきらめてしまう原因の1つになるからです。 失敗をして欲しくないので、次のよう
エンジニアにSEOを依頼するときに絶対押さえるべき9か条【保存版】
「SEOやっておいて」とWeb担当者がエンジニアに指示するときに役立つ、9つのチェックリスト。サイト立ち上げ時などのために保存しておくと便利かも。 どの商用Webサイトでも、オーガニック検索からの訪問は最重要です。オンラインショッピングの顧客のほぼ半数が、検索エンジンで商品を検索してから買い物を始めていますし、Eコマースのトラフィックの3分の1は検索結果からの訪問です。実店舗を構えている場合でさえ、オーガニック検索の世話になっている可能性が高いのです。なぜなら、モバイルで検索した人の半数は検索から1日以内に店舗を訪れるからです。 結局は1つの事実に行き着きます。Webサイトから収益をあげたいなら、オーガニック検索からの訪問客が必要だということです。ではどうやって訪問客を得ればよいでしょうか。それは、SEO（検索エンジン最適化）です。 SEOは通常、マーケッターやライターの範疇だと思われてい
もう使ってる？ たった3行で美しいSVGアニメが作れる「Vivus」がスゴい
まるで「見えないペン」で描いているような手描き風のSVGアニメーション。CSSとJavaScriptの知識があれば実装できる、定番アニメーション表現ですが、Vivusならもっと手軽に実装できちゃいます。 90年代初期のBLINKタグから、最新のCSS3トランジションやアニメーションに至るまで、Webページやアプリケーションの要素を移動する機能は、いつも魅力的な目標であり続けています。 今日では、SVGなどのテクノロジーを使えば、「見えないペン」と呼ぶエフェクトを比較的容易に実現できます。閲覧者は、まるで見えないペンで描かれたかのように、1ラインずつ表示される絵を目にします。 そのアイデアは新しいものではありません。よく知られているように、1953年の「Duck Amuck（カモにされたカモ）」にまでさかのぼると、のちにバッグス・バニーだと判明した見えざる手は、周りの世界を何度も消しては描き
これは制作者泣かせ！ 新作WordPressテーマ「Extra」がハイクオリティ
ドラッグ＆ドロップでページを組み立てられる新作WordPressテーマ「Extra」。あらゆる要素を備えたメディアサイトが手軽に構築できます。 私の記事を読んだことがある人なら、Elegant ThemesのWordPressテーマ「Divi」について知っていると思います。そこでお知らせです。Elegant Themesが、いろいろなタイプの記事またはコンテンツを発信するブロガーやWebサイト向けの新テーマを作りました。 新テーマは「Extra」という名前で、非常に優れた、ユニークな機能があります。さっそくこの記事でExtraをチェックし、どのようなことができるのかを説明します。 ExtraにはDiviのモジュールがすべて入っている ExtraにはDiviで使い慣れていたモジュールがすべて搭載されています。Diviを使ったWebサイト作りに慣れている人がExtraを使うと、うれしい安心感が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fujitsuのカレンダー | Advent Calendar 2016 - Qiita
https://gigazine.net/news/20161204-modernist-british-safety-poster/