You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
前々回のAngularJS、前回のEmber.jsときて、ラストはBackbone.jsを試してみたい。作成するリアルタイム掲示板は今までと同じ仕様。 環境 Ruby on Rails 4.1.6 Backbone.js 1.1.2 jquery 2.1.1 セットアップ いつも通りGemfileから。またもやRails Assetsのお世話になる。 📄Gemfile source 'https://rubygems.org' source "https://rails-assets.org" gem 'rails', '4.1.6' gem 'sqlite3' gem 'sass-rails', '~> 4.0.3' gem 'uglifier', '>= 1.3.0' gem 'coffee-rails', '~> 4.0.0' gem 'jbuilder', '~> 2.0' ge
最近、bigqueryの評価を行っている。本番向けのデータではよくあることだが、本来データが入る場所にnullが入っていたり、要素が無かったり、逆に要素が多かったりする。 bigqueryはTreasureDataの様にスキーマレスではなくきちんとスキーマを定義しなければならない。 bigqueryでは、スキーマの定義にjsonを使い、データのロードにもjsonを使うため、要素にミスマッチが発生する場合が考えられる。 スキーマとjsonで要素のミスマッチがあった場合は、データにnullが入っていた場合のbigqueryの挙動に関してまとめた。 最初に結果だけ書き、後半に実際にデータロードで試したサンプルを乗せる。 データロード時のBigQueryスキーマと、jsonの対応 送信jsonにスキーマがある。 送信jsonにスキーマが無い
まあ,BigQuery の Web console から叩けば良いのですが,別途ブラウザで処理したいという需要もありますよね. OAuth 認証のためのクライアントIDを取得する https://console.developers.google.com/ の任意のプロジェクトで,[API と認証] -> [認証情報] -> [新しいクライアント ID を作成]と進むとクライアントIDを発行できます. 今回はブラウザから認証を行ったユーザ自身の認可情報を使用するので,ウェブアプリケーションのクライアントIDを発行します. この項目は後から変更できるので,とりあえず localhost で試すようにしています.適宜変更してください. 認証する Google API を利用するためのクライアントライブラリを読みこんでおきます.
>>> import logging >>> logging.log(100, 'test') Level 100:root:test # [ばっど] 書式文字列はその場で組み立てずに >>> logging.warn('test %s,%s' % (1, 2)) WARNING:root:test 1,2 # [ぐっど] 引数として渡す >>> logging.warn('test %s,%s', 1, 2) WARNING:root:test 1,2 # 文字列以外が渡されると文字列に変換される >>> logging.warn({'a': 1}) WARNING:root:{'a': 1} 書式文字列をその場で組み立てないほうがよい理由は、 後述するハンドラやフィルタによってそれぞれの引数を参照することができるからです。 また、出力関数は引数に文字列以外が渡されると文字列に変換されて
Pythonのモジュールについて復習&まとめてみました。 基本Pythonでは拡張子が「py,pyc,pyo」のファイルをモジュールとして読み込むことができます。 モジュールはimportによって読み込まれた時点で実行され、モジュールオブジェクトとしてアクセスできるようになります。 Pythonにおけるグローバルスコープはモジュールに限定されており、 意図的に書き換えない限り実行されたコードが他のモジュールの値に影響を及ぼすことはありません。 また、グローバルスコープに宣言されたオブジェクトはモジュールオブジェクトの属性としてアクセスすることができます。 これはグローバル変数やモジュール変数と言ったりします。 このあたりについて詳しく知りたい方は以下をを参照ください。 Pythonのスコープについてhttps://note.crohaco.net/2017/python-scope/ Py
ウェブサイト制作には煩雑な処理を自動化する「タスクランナー」や「ビルドシステム」というツールがあります。この記事では、タスクランナー「Gulp.jsガルプ」の導入手順を解説します。 導入は簡単で、本記事の手順では5分程度でセットアップできます。Gulpはコマンドラインで使うのが一般的ですが苦手な人でも安心して学べるよう、ビデオでも解説します。 この記事で学べること イマドキのGulpの導入手順 Gulp 4に対応した書き方 Sassサスの導入手順 GulpやSassの導入や使い方にはいろんな方法がありますが、この記事では現場で使われている方法を紹介します。Gulpの入門記事は他のサイトにもありますが、対象バージョンが古くて使えなかったりします。本記事は最新版に対応させているので、安心して読み進めてください。 ※この記事では、Node.js v18とv19で動作検証をしています。 ※Sass
おはようございます!AWS re:Invent 2014、2日目です。 本日はみなさんお待ちかねのKeynoteがあります!現地時間で11/12(水) 9:00amから、日本時間では11/13(木) 2:00pmからです。 本記事では、可能な限りリアルタイムにKeynoteの様子をお伝えしたいと思います。ただ、現地の無線の電波の状況などもありますので、場合によっては全くリアルタイムにはならないかもしれません。その際にはご容赦ください。 それでは、Keynoteの時間にまたお会いしましょう! 開始前 会場入り口。8:00am過ぎにはかなりの行列ができていました。 08:30am頃、入場が開始。ものすごく広いホールです! 08:36am、BGMによって会場は大きく盛り上がってきています。ステージから前10列くらいは全部Press席です。 リアルタイムレポート - 目次 1.Andy Jassy
cloudpackエバンジェリストの吉田真吾(@yoshidashingo)です。 AWS純正のDevOps環境をサポートするサービスがローンチされました。 AWS News Blog ということでさっそく試してみました。 AWS CodeDeploy 1. us-eastで起動してみます 2. サンプルアプリをデプロイしてみます このサンプルはt1.microのAmazon Linux 3台を使ったデモアプリみたいです。 3. CloudFormationを使ってサンプルのインスタンススタックがデプロイできるみたいです 4. こんな感じでスタックがデプロイできる 5. CodeDeploy画面でアプリケーション名を入れて続行します 6. Revisionが表示されるので次へ 7. Deployment Groupというものを設定するようです 8. Roleを設定します 9. Deploy
ども、大瀧です。 開催中のAWSプライベートイベント、re:Inventで続々と新サービスが発表になっています(他のブログエントリーでチェックしましょう)!今回は、CodeDeployという新サービスに触ってみたのでレポートします。 AWS CodeDeployとは CodeDeployは、その名の通りアプリケーションコードをAWSの仮想マシンサービスであるEC2にデプロイ、管理するサービスです。 従来からElastic Beanstalk、OpsWorksと言ったデプロイ系のサービスがありますが、CodeDeployは管理対象をEC2/AutoScalingのみに特化し、ローテーションやCIツールとの連携などより細やかなデプロイを意識したサービスと受け取れました。また、今後リリースされるAWS CodePipeline、CodeCommitとの連携にも期待したいところですね。費用はEC2
We are very excited to announce that! 本日のre:InventのkeynoteでAuroraという新サービスの発表が有りましたので紹介します。 どんなサービス? Amazon AuroraはMySQLと互換性があるデータベースサービスで、高速、高可用性なマネージドサービスです。 高速 RDSの最大インスタンスと比較して5倍高速です。具体的には、1分当りInsertで最大6,000,000回、Selectで最大30,000,000回実行可能です。 高可用性 データは6重化されており、堅牢性はS3と同等の99.999999999%です。可用性は99.99%となっています。 既存のRDSではMulti-AZ構成で99.95%でしたので、非常に可用性が高いサービスとなっています。 なお、基本的にレプリカへフェイルオーバーします。レプリカが無い場合は新インスタン
本日 re:InventのKeynoteで発表されたMySQL互換の新しいDBエンジン「Amazon Aurora」の紹介セッションに参加してきました。以下レポートです。 内容 導入 既存のRDBというのはモノリシックなデザインになっている。 SQL トランザクション キャッシュ ロギング この構成が1970年代から続いているが、クラウド時代の今、コスト、柔軟性、可用性の意味でデータベースを「re-imagine」して「re-invent」しよう、というところ。 エンタープライズクラスのデータベースの機能をオープンソースデータベースと同じ価格で、というのがAmazon Auroraのコンセプト。 Aurora マルチテナント ロギングとストレージ領域はSQL、トランザクション、キャッシュなどのノードからは分離された MySQL 5.6との完全な互換性。 1AZに2つのデータ領域がコピーされ
開発コストは掛かったでしょうから、さすがにMySQLと同価格、とは行かなかったようですが、概ね1.2倍強の価格で提供されています。詳しくは料金表を御覧ください。 ちなみに、インスタンスクラスの選択肢は、現状上記5種類のようです。開発環境用にt2シリーズも欲しいですねぇ…。 MySQL 5.6からのマイグレーション マイグレーションには2つの選択肢があります。1つ目は「mysqldump & mysqlimport」、単純にダンプして、それをAuroraに食わせればいいんですね。見た目にも分かりやすいです。 もう一つはMySQLのDBスナップショットからAuroraのインスタンスを立てることもできるようです。これは簡単。 制限事項としては2つ。MyISAMエンジンを使っている場合は、予めInnoDBに変換しておく必要があります。そもそもRDS for MySQLでは推奨されていなかったエンジ
皆様こんにちは。 アドテク本部カラムーデータベースゼミチームです。 今回の記事ではゼミチームが行った検証結果について発表させていただきます。 また、この記事につきましては 11/12 に行われた db tech showcase Tokyo 2014 にて発表させて頂きました内容になります。 プレゼン資料はこちらにあがっています。 ※追記 Impala / Presto の File Format についてご指摘を頂きましたのでデータロード及びまとめの部分に追記しました。 アドテクスキルアップゼミ カラムナーデータベース検証まとめ目的 広告システムでは大量のデータをデータベースに入れて解析を行います。 小規模から中規模なデータはRDBMSで行えますが、数TBを超えると RDBMS以外の選択肢を探さないといけません。 ビッグデータ用のデータベースは比較資料が少なく、 また、あったとしても検証
全国100万人のデプロイ・プロビジョニング自動化マニアのみなさんこんにちは! AWSから新たにDeploy用のサービスAWS CodeDeployがリリースされたので早速試してみました。 これを使うと複数のサーバに同時にアプリケーションをリリースするのが簡単にできます。もうCapistranoとかでごちゃごちゃやる必要はない感じです!! 詳細を知りたい方は公式サイトのドキュメントを見てみるとよいです。 ただ、GUIでやるのも面白く無いので、awscliを使ってやっていきましょう!! EC2インスタンスの準備まず、us-west-2でEC2インスタンスを何台か起動しましょう。これがデプロイ先のサーバになります。 デプロイ先サーバの識別にはEC2インスタンスのタグを利用しますので、同時にデプロイする対象には、同じタグを設定します(EC2のタグのFilterと同じ挙動です)。ここでは起動したイン
開発環境と運用環境の差異 Railsアプリの開発をMacでしている人は多いと思います。しかし本番では大抵Linuxマシンで運用するため、実行環境の違いから問題が発生することがあります。特にサードパーティ製ライブラリやツールを使う場合、MacとLinuxで同じ動作をする保証はどこにもありません。また、開発にLinuxマシンを使っていたとしても、本番と全く同じ構成で開発するのは難しいでしょう。 Dockerを使うと開発から運用まで同じ環境を使え、しかもハードウェア仮想化よりも遥かに軽量です。そこで、私が今KRAYで担当しているプロジェクトでは開発から本番まで全ての環境でDockerを使えるようにしました。 それぞれの環境で解決すべき課題がありましたが、今日は本番環境にデプロイする仕組みを紹介します(KRAYでインテグレーション環境と呼ばれる環境についてはDockerホストをプロジェクトや権限で
本に書いてある通りやっても何故かバリデーションが通らない。 何度やっても「Password Missing password」と怒られるばかり。 物は試しとGoogleで似たような人がいないか検索してみるが それらしいものは見当たらない。 試しにModelを全コピするが一向に改善しないため、どうやらtypoではないようだ。 ( 元々3.2系の本だから ちょいちょい仕様が変わってたりするんだよなあ…今回もその周りのにおいがプンプンする ) それでもって POST時にユーザから渡って来たログを出してみて、その値を確認してみた。 Parameters: {"utf8"=>"V", "authenticity_token"=>"c4yT/Bt6ypoDW5rl119tndpOZgLLAE4pv824XPZXRdM=", "user"=>{"name"=>"aef", "password"=>"[F
はじめに PythonにはDjangoというフルスタックウェブフレームワークがあります. これまでここのブログではマイクロウェブフレームワークであるflaskの記事が多かったのですが, 最近,Djangoを使う機会を得たことで,学ぶ機会ができ,使ってみることにしました. なお,本記事で扱う環境は以下の通りです Python:3.4.2 Django1.7 学ぶにあたって,まずはここを見て一通り動かしてみました. Python Django入門 (1) - Qiita 解説がよくまとまっており内容もわかりやすいのですが、自分でどんなアプリを作るか決めないまま進めたこともあってか曖昧模糊だったので、シンプルなブログを作って練習してみました。 今回は以下のような仕様のブログの作成しました. 作成するブログ 機能 記事投稿 タイトル 本文 日付 記事表示 これだけです. 見た目についてもboots
いろいろあるLinuxコマンドを区別するためのメモ。 w系 wログイン中のユーザについて、実行中のコマンド名も含め表示する whoログイン中のユーザについて、ログイン時刻を表示する usersログイン中のユーザのみを表示する id自分の実ユーザ名、実効ユーザ名、所属グループを表示する whoami自分の実効ユーザ名のみを表示する last成功したログイン履歴を表示する lastb失敗したログイン履歴を表示する(要root権限) lastlog各ユーザの最終ログイン時刻を表示する $ w 22:44:42 up 12:19, 3 users, load average: 0.03, 0.02, 0.05 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT user pts/2 192.168.56.1 21:16 2.00s 0.77s 0.00s w $ wh
ゴール CentOS 6.3でpyenv+pyenv-virtualenvをセットアップする。 よく用いるpyenvのコマンドについてもメモしておきます。 目的 自動セットアップの前にやるのですが、よく忘れるので。。。 #テンプレートにしておけばいいんですけどね 手順 準備 依存しているものをインストールしておく。 結構ここでハマります。。。 (なお依存しているパッケージはビルドするPythonバージョンによりことなる場合があります) yum install gcc gcc-c++ make git openssl-devel bzip2-devel zlib-devel readline-devel sqlite-devel bzip2 sqlite zlib-devel bzip2 bzip2-devel readline-devel sqlite sqlite-devel opens
Djangoでテストを書いて、テストレポート・カバレッジレポートを出力し、Jenkinsにテスト結果を出力するまでのメモ 以下の記事を参考にさせてもらいました。 Django でのテスト 前提 BitbacketとJenkinsを連携済み。 ローカル環境からBitbacketへpushすると、自動でJenkinsのビルドが走り、テストが実行されるようになっている状態。 これらの環境構築については以下のブログを参照のこと。 Bitbucketのprivate repositoryとJenkinsの連携について Djangoでのテスト環境の構築 モジュールのインストール pipでdjango-noseとcoverageをインストール。 以前、unittest-xml-reportingを使って同じような環境を作ったことがあったけど、django-noseの方が色々すんなりいった気がする。 #
2014-11-11 【5分で学べる】Vagrant上にRailsをAnsibleでかんたんクッキング(CentOS6, MySQL, Rails4) 概要 VagrantとAnsibleでRailsの開発環境を構築したら便利すぎて鼻血吹きました。 ソースコードを公開しておりますので、ご自由にお使い下さい。 https://github.com/tjnet/vagrant_sakuravps_rails 最低限のシンプルな構成になっており、把握/カスタマイズしやすいと思います。 今後は、Production環境として用いるVPS(さくらVPS)の環境構築やデプロイも実装して自動化したいと考えています。 想定している読者様 ・サーバ構築の自動化に取り組みたい小規模チームの開発者 ・AnsibleとかVagrantとか使ったことないけど「5分で習得したい」人 ・シンプルなVagrant+C
続きましてもうちょっとかっこよくしていきたいと思います。かっこいいというかJavaScriptファイルが一つですので数人で開発するときにはちょっと困りますね。なので少し「かっこよく」です。前回はビルトインディレクティブと簡単なコントローラーとファクトリーまで行いました。 初心者向けAngularJS - その1 - albatrosary's blog ゴールですが ファイルを用途に合わせて分割する ルーターを導入しページ遷移を作成する です。前回作ったものを流用する形ですが、作業量が少し多いですので焦らずにご自身のペースで進められてはと思います。分かりづらい事項はコメントを入れていただくかツイートして頂けたらと思います。 ファイル分割は最終的に次のようになります: 少し難し話 コーティングを始める前に少し背景を。 最近ではWebアプリケーションを「SPA(Single-page Appl
シングルページアプリ向けの各フレームワークをGoogle Trendで比較したグラフがLars Eidnesのブログに掲載されてますが、AngularJSの伸びが他を圧倒しています。一方で、アーキテクチャ上の課題は、コミュニティの声もあり、かつ当事者である開発チームも認識していたところ。そして、それに対する答えとしては、バージョン2.0で大幅に書き直すという流れになっています。 AngularJS 2.0については、「野心的だが険しい道のり」というタイトルの記事がGuardianに掲載されてますが、 ES6の採用 Web Componentsとの親和性のアップ (双方向バインディングをどうするかまだ決まってないが)Reactの考え方に近づいてきている (1.3のサポートはしばらく平行して続くと発表されたが)本当にスムーズな移行を提供できるのか? がポイントだとSeb Ceveyはまとめてい
と書いてやれば、バイナリログはデフォルトディレクトリに保存され、7日前より古いログは順次消去されます。これはこれで問題なし。 で、手動でバイナリログを削除したいとき。正式には、コマンドラインから root ユーザとして mysql を立ち上げて、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く