なぜUber EngineeringはPostgresからMySQLに切り替えたのか | POSTD
はじめに Uberの初期のアーキテクチャは、Pythonで書かれたモノリシックなバックエンドアプリで構成されており、データの永続性のために Postgres を使っていました。当時から比べて今のUberのアーキテクチャはかなり変わっており、 マイクロサービス のモデルや新しいデータプラットフォームになりました。特に、以前Postgresを使っていたケースの多くで、今は Schemaless 、つまりMySQLの上で構築された新しいデータベースのシャーディングレイヤを使います。今回の投稿では、私たちが見つけたPostgresの欠点を探り、MySQLの上でSchemalessと他のバックエンドサービスを構築するに至った経緯について説明していきます。 Postgresのアーキテクチャ 私たちはPostgresで以下のような多くの制約に直面しました。 書き込みでの非能率的なアーキテクチャ 非能率的
無料で使えるスクレイピングツール「Octoparse」の使い方。コードを書くことなく自由度の高いデータ収集が可能。
Octoparseとは Octoparseは、どんなWEBサイト上のデータも手軽に抽出することができる無料スクレイピングツールです。 無料版だと、一部機能に制限がありますが、ヘビーユーズでもしない限りは、十分すぎるくらいの機能があります。無料版と有料版の違いについては、Pricingを参照してみてください。有料版だと、タスクの登録数や自動実行数が多くなり、クラウド上で動作させることもできます。 実際に使ってみた感じでは、視覚的に分かりやすくデータ抽出箇所を設定することができ、実行することができるツールになっています。 例えば以下のようなデータ抽出なら簡単にできてしまいます。 単一ページ上のデータを抽出するページネーションを移動しながらリストデータを取得するリストのリンク先もたどって取得するURLを複数指定して全てのページから指定したデータを取得するOctoparseは、上記のように様々なス
SEO対策で大切な被リンクの調査方法と管理方法 - webhack / 猫とウェブ技術が好き
2016 - 01 - 24 SEO対策で大切な被リンクの調査方法と管理方法 SEO ウェブマーケティング 写真はうちのミーコ。 被リンクの調査方法はあまり変化がなく固定化されています。この記事はその調査方法の要点をまとめたものです。 被リンク情報の取得について 1. Google Search Consoleを使う（旧名：Google Webmaster） Google Search Console からCSVで被リンクをダウンロードできます。一般的な「被リンク調査」と呼ばれる作業を行う対象がこのCSVファイルです。 CSVファイルの内容は以下2項目です。 被リンクが見つかったページのURL 被リンクをGoogleが検出した日付 今もリンクが残っているのか？アンカーテキストは何か？の情報は含まれませんので、場合によっては検出されたURLにアクセスして必要情報を抽出する必要があります。 こ
ADVFN - 日本国内外の株式市場や外国為替、世界中の指数やストリーミングリアルタイム株価チャート
ライブオプションフロー 包括的なオプション データを調査し、オプション フローで高度なフィルターを使用します.
【永久保存版】日本株投資での単純移動平均線（SMA）と移動平均乖離率の具体的な使いこなし方。
チャートを学ぶとき、一番最初にマスターしておきたいのが移動平均線の使い方です。 どんな投資情報サイトでも観れる数少ない情報の１つ。それが、単純移動平均（Simple Moving Average）です。大手ファイナンスのサイトではどこでも見られる指標で、言い換えれば、誰もが注目する重要な指標です。 単純移動平均は、ジョセフ・グランヴィル（Joseph E. Granville）というテクニカル分析の父によって生み出されました。投資をしている方ならば誰でも知っている、グランヴィルの法則の生みの親も、彼。単純移動平均も同様にポピュラーで、既に50年近くもの長い間、慣れ親しまれています。 もともとは米国で生まれた単純移動平均ですが、日本人投資家にも絶大な人気を誇っています。 しかし、人気な指標ではあるものの、上手く使いこなせるのは、全体の1%もいないでしょう。 そこで今回は、単純移動平均を誰でも
まだAPIで消耗してるの？ サクッとデータが欲しいなら「Blockspring」を使おう！ – GUNMA GIS GEEK
各サービスのAPIの仕様なんて覚えてらんねぇ！という人は是非。 Blockspringとは Blockspringは、TwitterやFacebookなどのソーシャルメディアをはじめ、Amazon、Youtubeなど様々なサービスからのデータを、プログラマがAPIを直接触ることなく表データとして取得することができるサービスです。サービスごとに規格の異なるWebAPIを利用するには学習コストが結構かかるわけですが、Blockspringはそういったサービスとプログラマーの間に立ち、データ取得のインターフェイスを抽象化してくれます。 非常に沢山のサービスに対応しています。 「ちょこっとデータが欲しいだけなのに、サービス毎のWebAPIを勉強するのもう疲れた」 そんな時はBlockspringを利用してみてください。 インストール BlockspringはGoogle スプレッドシートとエクセル
既存Webシステムをリニューアルすることまで見据えたモバイル化に必要なフレームワーク／ツールと進め方
既存Webシステムをリニューアルすることまで見据えたモバイル化に必要なフレームワーク／ツールと進め方：Webスクレイピングで始める業務システムのモバイル化（終） 既存Webシステムをモバイル化するに当たっての課題を明確にし、それらを解決するためには何が必要なのかを考えていく本連載。最終回は、モバイルWebアプリ開発フレームワーク／ソリューションをいくつか紹介し、段階的なモバイル化の進め方を説明する。 連載目次 前回の「Webシステムの双方向連携で知らないと損するスクレイピングライブラリ／ツール8選＆主な使い方」では、Webスクレイピング技術を用いた既存Webシステムからのデータ抽出方法について、いくつかのツールなどを紹介しながら実例を交えて説明しました。 今回は、抽出されたデータを使用したモバイルソリューションの紹介と、将来的なリニューアルを見据えた移行手法について説明します。 抽出したデ
経費精算アプリの「Staple（ステイプル）」がバージョン2をリリース、交通系ICカードからの履歴読込に対応 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
クラウドキャストが提供する経費精算アプリの「Staple（ステイプル）」がバージョン2をリリース、Suica や Pasmo に代表される交通系 IC カードからの履歴読込に対応した。 Staple は Android と iOS 向けにアプリが提供されているが、今回、交通系 IC カード履歴読込に対応するのは Felica の NFC 仕様に対応した Android 端末のみ。そこでクラウドキャストは、Felica 非対応の Android や iPhone ユーザを救済する観点から、履歴読込に特化した Felica 対応 Android 端末向けの履歴読込専用アプリ「Staple リーダー」もあわせて公開した。想定されるユースケースとしては、企業では Staple リーダーをインストールした Felica 対応 Android 端末を社員共用としてオフィスに配置しておき、社員はこの端末
市場平均に勝てることは既に実証されている！？ Online Portfolio Selectionについて - stockedge.jpの技術メモ
ポートフォリオ最適化と聞くとMarkowitzの平均分散モデルを思い浮かべる人が多いかもしれない。しかし最近はオンラインポートフォリオ選択（Online Portfolio Selection、以下OLPS）という手法が研究されており、これが目覚ましい成果を挙げている。その成果の割にはOLPSの存在があまり知られていない気がするので、ここで紹介したい。 突破口を開いたAnticor 事の発端は2004年に公開されたこの論文。 [1107.0036] Can We Learn to Beat the Best Stock 著者らはAnticorというアルゴリズムを提案している。このアルゴリズムを使うと、市場平均リターンを超えるリターンを得られる上に、そのリターンは最も値上がりした個別株のリターンすらも超えるというのだ。 Anticorでは、ある一つの株価の時系列には負の自己相関があり、複数の
Google Drive スプレッドシートの本気で使える裏ワザ＆アドオンまとめ | Ledge.ai
ども お久しぶりな中村です。 さて、今回は以前書いたドライブドキュメントネタの続編みたいな感じですが、皆さんも（多分）大好きなGoogleスプレッドシートの裏ワザ＆アドオンのまとめとなります。 なんとなーくエクセルの代わりになるよねーくらいでしか使ってない人は確実に損してると思うので、ぜひぜひ使い倒してみてください。 レポート瞬間生成！満を持して登場したGoogleアナリティクス公式アドオンGoogle Analytics add-ons もはや説明の必要は無いでしょう。ついに出たんですよ…Google Analytics公式のスプレッドシートアドオンが。 完全無料で！Google Analyticsのレポートを！一切の機能制限なく！スプレッドシート上で生成＆管理できるようになったんですよ！ 連携したら最初に アドオン＞Google Analytics＞Create New Reportで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
