Golangでつくる検索エンジン(Webクローラ、MongoDB、Kagome、gin) - c-bata web
最近、Golangを書き始めたので勉強として、1年半ほど前にPythonで作っていたWebクローラと検索エンジンをGolangで実装してみた。WebフレームワークはFlaskの代わりにgin、Mecabの代わりにKagomeを使用、Datastoreは前回と同じくMognoDBを使ってます。 GitHub - c-bata/gosearch: Web crawler and Search engine in Golang. 今回のコード Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web 以前書いたPython版検索エンジンのブログ記事 基本的に実装はこれと大きく変わりません 今回はHTML書くの面倒だったので、フロントはginでJSON返すだけにしました。 以下使ったライブラリやGoに関するメモ 可変長引数の挙動 ス
もう二度と、絶対にMongoDBを使うべきじゃない理由
MongoDBは悪だ。なぜならそれは… …データを無くす（ソース：1、2）。 …実際、長期間、デフォルトでエラーを無視し続け、何があってもすべての単一書き込みが成功したとみなした（ 32ビットのシステムで3GBかそこらを使用したら、MongoDBの制限によって何の警告もなしに全データを失うことになった）。 …宣伝していたユースケースでですら遅く、これが早いと主張するには完全に証拠に欠けている（ソース：3、4）。 …ほぼ全てのユースケースで、暗黙のスキーマという悪しき習慣を強要してくる（ソース：4）。 …ロッキングに問題がある（ソース：4）。 …セキュリティの問題になるくらい、応答時間が酷く遅い。求めてきた人全員に認証なしで全データをさらしてしまうという危険なデフォルト設定をパッチするのに2年かかった（ソース：5）。 …ACID特性に準拠していない（ソース：6）。 …拡張やメンテナンスをする
いまさら聞けないMongoDBの基礎知識とインストール、CRUD操作の基本、モデリングツールMongooseの使い方
「MEANスタックで始めるWebアプリ開発入門」連載目次 前回の、『Node.jsのMVCフレームワーク「Express」における静的ファイル、ルーティング定義、セッション管理、エラー処理』では、サーバ側のMVCフレームワーク「Express」のいろいろな機能について紹介しました。 今回は、MEANスタックの「M」の部分、MongoDBについての概要と、Node.jsからMongoDBへアクセスする方法について解説します。 なお、本記事を見て実際にサンプルを動かしたい場合、以前の連載記事（第1回、第2回）を見て環境を作成しておきましょう。 ドキュメント指向データベース「MongoDB」とは 第1回の記事「LAMPに代わる構成として注目のMEANスタックの基礎知識とインストール、ひな型作成」でも少し触れましたが、MEANスタックアプリにおけるデータベースといえば、MongoDBです。 Mon
普段MySQL使ってる僕がMongoDBを使って気づいたこと2つ - こちょこちょブログ
2015-04-07 普段MySQL使ってる僕がMongoDBを使って気づいたこと2つ テクノロジー プログラム Tweet ロゴ見て気づいたのですが、 MongoDBの頭文字って小文字なんですね。 そんなことは置いといて。 最近mongoDB（小文字に変えたｗ）を使う機会がありました。 僕が普段触っているMySQLと違って、 ググっても、まあー情報が少ないんですよね。 コマンドとかは割りとあるのですが、 PHPでの操作とかは少なかった印象です。 そこで今回は、 PHPでの操作 mongoDBの復旧（リストア） の2つを備忘録として、まとめておこうと思います。 PHPでループさせて検索ができない こういうことです↓ ※サンプルの一部はPHPの公式ドキュメントから拝借しました。 つまり、検索値（findの条件）を変数にしてループすることが出来ないようです。 まあ、そもそも何回もDB接続せずに
45歳以上はMongoDBを使ったシステムが使えなくなる件 - Qiita
MongoDBを使うシステムが、最近多いと思います。 2.6系(安定版)の最新2.6.7ですが、Date型のインポート処理にバグがありそうです。 「1970/01/01」以前の Date型 を mongoexport すると、負の "$numberLong" として出力されるのですが、それを mongoimport すると、それ以降のフィールドが欠落してしまうのです。 例えば、ユーザマスタに「誕生日」フィールドがあると、45歳以上の人は「1970/01/01」以前の値が入っているわけで、マスタデータを移行したりでもすると、その人のフィールドがガッツリ無くなってしまいます。でも若手は大丈夫だから「どうせ部長の使い方がおかしいんでしょwww」といういつもの「偉い人に限って障害が発生する」パターンが展開されます。 大急ぎで調べた所、以下が判明しました。 2.6形式 "1965-11-17T00:
MongoDB、高性能なストレージエンジン「WiredTiger」買収。Berkeley DBのアーキテクトが開発
NoSQLデータベースの1つでドキュメント指向データベースとして知られるMongoDBが、高性能のデータベースエンジンを提供するWiredTigerの買収を発表しました。 WiredTigerはマルチコアとメモリを活用することで高い並列性によるスケーラビリティと高性能を追求したデータベースエンジン。安定して低いレイテンシーと高いスループットを実現すると説明されています。 開発チームは、キーバリュー型データベースとして広く知られるBerkeley DBのアーキテクトだったエンジニア達。 Their latest effort, WiredTiger, is an open source storage engine that powers many high-performance systems, including services at Amazon. WiredTiger lever
今流行りの「MEANスタック」についてまとめてみる(Mongo, Express, Angular, Nodeで作るWEBアプリケーション) - Qiita
今はやりのMEANスタックについてまとめてみる(Mongo, Express, Angular, Nodeで作るWEBアプリケーション) 海外でじわじわ人気を獲得し始めている うわさの「MEANスタック」とはなにか？ まとめてみました。 MEANとは 合わせて読みたい M = MongoDB 従来のRDBMSとは異なる、NoSQLというデータベースシステムによる ドキュメント指向型データベース。 MongoDBについてまとめてみた E = Express Node.jsの軽量Webアプリケーションフレームワーク Expressについてまとめてみた Expressを学ぶチュートリアル形式の記事・コンテンツまとめ A = Angular オープンソース(MITライセンス)のJavaScript用 MVCフレームワーク。 Angularについてまとめてみた Angular JSの良質チュートリア
fluentdで複数のnginxサーバログを収集しmongoDBに格納する | Basicinc Enjoy Hacking!
一つのサービスで、負荷分散のために複数のWebサーバ（nginx）を運用している場合、アクセスログなどがバラバラに散らばっていて、ログからなにか調べようと思ったり、統計をとったりするのが面倒だったりします。 そこで、ここ最近はやっているfluentdを導入してみました。うわさ通り簡単。 イメージはこんな感じ。 fluentdのインストール ログを送信する側と、受信する側、両方にfluentdが入っている必要があります。 今回はAWSのディストリだったので、yum経由でインストール。公式サイトに記載されている下記コマンド一発で完了です。他にもapt-get / gem / brewでも簡単に入れられます。 curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh Installing Fluentd Using r
MEAN(MongoDB, Express, AngularJS, Node.js)スタックが優れている理由 - Mozilla Open Web Day in Tokyoを終えて - albatrosary's blog
MEANとは、LAMP(Linux, Apache, MySQL, PHP)に変わる技術としてじわじわと注目されはじめているアーキテクチャです。このアーキテクチャMEAN(MongoDB, Express, AngularJS, Node.js)は、シンプルでかつ強力なアーキテクチャで、現在のJavaを利用したアプリケーション開発とは一線を画すところです。HTML5開発にとってJavaの役割が殆どなくなるというのも注目すべき点だと考えます。MEANで一般的に言われる注目すべき事項は次のところです： JavaScriptフルスタックである データモデルとしてクライアントからデータベースに至までJSON そして、この記事を書こうと思ったきっかけですが、2014/10/5(日) Mozilla Open Web Day in Tokyo | Mozilla Japan でのMEAN解説展示で、様
Node.js + Express + MongoDB でのセッション管理 - hogehoge
なんでMongoDBでセッション管理するのか Node.js + Express (Connect) で標準で提供されている MemoryStore でセッション管理を行うとメモリ上での管理になるため node が落ちるとセッションデータが消えることになりセッションの永続化ができませんし、動作確認もソースの確認も行っていませんが、production で起動した際に出力されるメッセージ（https://github.com/senchalabs/connect/blob/master/lib/middleware/session.js#L199）に Warning: connection.session() MemoryStore is not designed for a production environment, as it will leak memory, and will n
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RDB経験者に送るMongoDBの勘所（db tech showcase tokyo 2013）
初心者向けMongoDBのキホン！
Socket.IOでセンサー＆MongoDB～AngularJSアプリ間の通信を行う
IBM Developer
月間10億pvを支えるmongo db
オープンソースBI勉強会Mongo-Pentaho 20140422
CyberAgentにおけるMongoDB