ツイートを長期間収集する実験(プログラム準備編(1)) - Qiita
注意事項の追記(2022年5月時点) 最初に作成したときから既に7年とか経ちそうな割に、未だにLGTMとかされているため、念のために追記します。 本稿記載のAPIは、現時点で既に存在しないAPI(2018/08に廃止)です。 代替として、「/statuses/filter」を用いる手段がありましたが、こちらも2020年10月末の廃止が宣言されました。 API 2.0の「/2/tweets/search/stream」が使えるようですが、こちらについては調べていません。 私自身は、「/search/tweets」を使って遡って取得する方向に逃げました。詳細はこちら。 前回まで とりあえず要求仕様(?)は決まった。 10月末までに、1月中旬までTwitterの特定ワードを含むツイートすべて取得するプログラムを作る 手持ちの機材使うので、ひとまずクラウドは無し。Dockerとか組み合わせて実行環
ツイートを「大量に」収集する実験 - Qiita
2016/10なので、ざっくり1年半くらい前、「ツイートを長時間収集する実験」という記事で、お目汚しさせていただきました。その後、仕事の多忙と作業(隠語)の多忙等でこちらに経過を書くタイミングが無かったのですが、その後の経過についてざっくりと。 1年前からの経過 Pythonで作ったプログラムで、TwitterのPublic Streamからデータを収集し、MongoDBに格納する(そのあとのことは後から考える)のが目的。 環境はDocker、Python3、MongoDB、Tweepy。 最初の投稿で目標としていた、91(定数)の想定期間、2016/10/28～2017/01/15 の間のツイート取得は、おおむね順調に動作。総ツイート取得数279万件(RT等含む)。 トラブル等で取得できなかった時間は、トータル5時間程度、総稼働時間に対する不稼働時間の割合は0.2%。 トラブルとしては、
【GCP News】GCPでMongoDB Atlas無料枠を提供 | インターステラ株式会社 技術ブログ
こんにちは。高木です。 今回は6月27日に発表されたGCPでMongoDB Atlasの無料枠が提供されたということでそれについて書いていきたいと思います。 今日、アイオワ（us-central1）、ベルギー（europe-west1）、シンガポール（asia-southeast1）リージョンでMongoDB Atlasが無料枠で使えるようになりました。 無料枠はMongoDBのM0インスタンスです。 まず、MongoDBコンソールにログインし「新しいクラスタを構築する」を選択→「Google Cloud Platform」を選択→「無料枠利用可能」を選択。 以上です。 Announcing MongoDB Atlas free tier on GCP ←元記事はこちらです。
MongoDB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongoDB 4.0で。性能劣化はないと
MongoDB、マルチドキュメントの操作に対応したACIDトランザクションをサポートと発表。今年夏に登場予定のMongoDB 4.0で。性能劣化はないと 複数ドキュメントに対する操作をコミット／ロールバック可能に 今回実現するマルチドキュメント対応のACIDトランザクションとは、「start_transaction」によりトランザクションの開始を宣言したあとで、複数のドキュメントに対する操作を行い、そのいずれかが失敗したときにはロールバックしてすべてのドキュメントをトランザクション開始前の状態に戻す、というもの。 ドキュメントに対する操作がすべて成功し、「commit_transaction」でトランザクションのコミットが宣言された場合、その状態が確定されます。 同社共同創業者兼CTOのEliot Horowitz氏は、こうしたACIDトランザクションの実装による性能劣化はないと説明してい
MongoDB 4.0 Release Notes 翻訳 - Qiita
Release Notes for MongoDB 4.0 Release Notes for MongoDB 4.0の翻訳です。 Creative Commons Attribution-NonCommercial-ShareAlike 3.0 Unportedライセンスにて配布されています。 自分用のメモを整形しただけなので、誤訳表記ゆれリンク間違いなどいっぱいあると思います。 コメントを頂ければありがたいです。 まとめを一言で 複数ドキュメントでのACIDトランザクションがサポートされた。 ただしレプリカセットまで。 シャード内でのトランザクションサポートは、次期4.2でサポート予定。 https://docs.mongodb.com/manual/release-notes/4.0 Multi-Document Transactions MongoDBはバージョン4.0から、レプリ
MongoDB 4.0 では複数ドキュメントの ACID トランザクションがサポートされます | DevelopersIO
こんにちは、菊池です。 MongoDB使いのみなさん、ニュースです。 少し前になりますが、現在開発中であるMongoDBの次期メジャーバージョン4.0で、複数ドキュメントのACIDトランザクションがサポートされることがアナウンスされました。 MongoDB’s Drive to Multi-Document Transactions Upcoming Features in 4.0 | MongoDB Documentation 新機能ロードマップ 上記のブログの中で、開発中機能が紹介されています。 今年の夏にリリースを予定されている、MongoDB 4.0 ではレプリカセット内でのトランザクションがサポートされるようです。他にも、Replica set point-in-time-readなんかも気になります。 シャードをまたがるトランザクションは、4.0のさらに次の、MongoDB 4
mongo shellの操作まとめ - Qiita
> use test > db.product.insert([ {no:1, name:"うまい棒", price:10, variety:[{flavor:"メンタイ", ppl:3},{flavor:"サラミ", ppl:3},{flavor:"ピザ", ppl:2},{flavor:"オニオンサラダ", ppl:2},{flavor:"コーンポタージュ", ppl:1}], snack:true, activate:true, update_dt:ISODate("2015-01-01T00:00:00+09:00") }, {no:2, name:"ポテトフライ", price:30, variety:[{flavor:"ステーキ", ppl:2},{flavor:"フライドチキン", ppl:1},{flavor:"カルビ", ppl:2}], snack:true, acti
MongoDB超入門 - Qiita
概要 MongoDBの薄い本を読みながらMongoDBを勉強し始めたので、自分の理解を試すために書きます。 簡単なCRUDの説明になります。 また、以下の内容で簡単なMongoDBの使い方がわかった方は、[Groovy] MongoDBを簡単に扱えるイケてる言語Groovy -基本的なCRUD-を見ていただければ、プログラミング言語Apache GroovyからMongoDBを扱う方法も確認していただけます。 インストール Synapticパッケージマネージャからインストールします。 mongodb というパッケージを選択してインストールしてください。 インストール構成はまぁ普通な感じでしょうか？？ 重要そうなファイルは以下のように配置されています。 /usr/bin/mongo /usr/bin/mongod /etc/mongodb.conf /var/lib/mongodb (con
MongoDB Stitch (beta) | レコチョクのエンジニアブログ
最新のIT技術を駆使して音楽関連サービスを展開しています。 日々の活動内容から得た知識をお届けする開発ブログです。 MongoDB StitchはMongoDBをベースにしたのBaaSです。(参考) 25GBまでは無料(それ以上は$1/GB追加料金)ということで早速使ってみました。 まずはこちらから登録 カード登録不要で使い始められるのは良いですね。 Get started free から登録をすると MongoDB Atlas から登録メールが来ました。 Atlasは同社の提供するMongoDBのホスティングサービスですがStitchはAtlasを含むサービスのようです。 提供されるSDKからStitch APIを呼ぶことで利用でき、 現在はiOS, Android, JavaScriptの3言語に対応していました。 MongoDBのクラスタを作成する ログインしたら最初にMongoDB
Welcome to the Atlas Device SDK Docs - Atlas Device SDKs
Atlas Device SDKs are deprecated. Refer to the deprecation page for details. Atlas Device SDK is a suite of app development tools optimized for data access and persistence on mobile and edge devices. Use the SDKs to build data-driven mobile, edge, web, desktop, and IoT apps. The SDKs provide tools to read and write Atlas data from devices. Your app can sync automatically with MongoDB Atlas and oth
MongoDB as a Service：MongoDB Atlas に無料プランが登場しました！ | DevelopersIO
こんにちは、菊池です。 AWSで稼働するMongoDBのマネージドサービス、MongoDB Atlasに利用料無料のFreeプランが登場しました！ MongoDB Atlasについては過去の記事も参照ください。 MongoDB as a Service：MongoDB Atlasを試してみた MongoDB AtlasにVPC Peeringで接続してみた MongoDB Atlasで3.4アップグレードを試したら一瞬で完了した MongoDB Atlas：Freeプラン これまで、最小のインスタンスでも$0.08/時間の利用料が発生していましたが、Freeプランでは一切のコスト無しで起動することが可能です。 MongoDB Atlas Pricing スペックと機能 Freeプランのスペックと利用可能な機能は以下の通りです。 512MBのストレージ メモリは共有 3ノードのレプリカセット
MongoDB-as-a-Serviceの「Atlas」がAWS/Azure/GCPに対応。クロスリージョン、クロスクラウドのクラスタ構成も実現へ。MongoDB World 2017
MongoDB-as-a-Serviceの「Atlas」がAWS/Azure/GCPに対応。クロスリージョン、クロスクラウドのクラスタ構成も実現へ。MongoDB World 2017 NoSQLのひとつ、ドキュメントデータベースとして知られる「MongoDB」を提供するMongoDB社は、6月20日、21日にシカゴで同社の年次イベント「MongoDB World 2017」を開催しました。 基調講演で同社は、MongoDBをマネージドサービスとして提供する、いわゆるMongoDB-as-a-Serviceの「MongoDB Atlas」を強化し、これまでのAWS上でのサービス提供に加え、Microsoft Azure、Google Cloud PlatformへもAtlasをデプロイして利用可能にしたと発表しました。 MongoDB AtlasはMongoDBの運用を同社が担当するため、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - yuhkan/restCrawler: 指定キーワードのツイートを、遡れるだけ遡って取得するヤツ(サンプル版)
MongoDB で トランザクション を利用する方法
MongoDB 4.0がマルチドキュメントトランザクションをサポート
TechCrunch
MongoDB 4.0 のトランザクション機能をMongoシェルから試す - Qiita
MongoDBベースのモバイルBaaS「MongoDB Stitch」ベータ公開。JavaScript/iOS/Android対応。MongoDB World 2017
MongoDB For Mobile Use Cases
TechCrunch