CircleCI x SchemaSpyでER図を新しくし続ける - hatappi.blog
こんにちは @hatappi です 今回はCircleCIネタです 以前CircleCIを使って下記のようなものを作っていました qiita.com 何かとCircleCIにはお世話になってます 業務などでER図やテーブル定義書などを書く機会あると思います Excel? Google Sheets? MySQL Workbench? Cacoo?(html5化待ち遠しい) 色んな手段がありますが基本はユーザーがメンテしてあげないと腐ります 😇 最初は頑張って更新するぞ!!と用意しても、どこかのタイミングで更新しなくなって中途半端な状態になり、それを新しく入った人が見て混乱するみたいなことがありました もう人が更新するのはやめたい 私はRailsを使っているのでmigrationしてテーブルを作成したりしているので、そのタイミングで勝手に作ってほしい データベースはMySQLです gemで
Amazon Elastic MapReduceを使って簡単分散処理 | Casley Deep Innovations株式会社 技術ブログ
こんにちは。SI部の杉光です。 今回はAmazon Web Serviceの一つであるAmazon Elastic MapReduce(以下EMRと省略)を利用して 簡単に大規模データの分散処理を行う方法とEMRでサポートされているHadoopエコシステムの利用例をご紹介したいと思います。 Amazon EMRとは EMRはAWSが提供するHadoopクラスターのサービスです。 クラウドサービスなので、わずか数分で仮想サーバーのクラスターを立ち上げ可能にし、 計算能力の需要に合わせクラスターを構成するサーバー数を調整することが可能です。 時間単位の課金なので、大量のデータを直ぐに短期間で処理したい場合も高いコストパフォーマンスで対応できます。 また、他AWSサービスとの連携が可能で、S3、RDSやDynamoDBに保存されたデータにクラスターからアクセスが可能です。 とりわけ、S3はHDF
Using Ansible on AWS – EC2インスタンスを作成する | DevelopersIO
はじめに AWSでのプロビジョニングは、AWS公式サイトのドキュメント(AWS CloudFormation のアーティクルとチュートリアル)等にも記述されているように、CloudFormationを中心にPuppetやChefを組み合わせるという方法が多く使われています。 しかしPuppetもChefもサーバ/クライアント構成(またはスタンドアロン)で動作するシステムであるため、サーバとクライアントの両方にソフトウェアをインストールする必要があります。またChefのCookbookは多機能である一方少々煩雑です。 もっと簡単な処理を手軽に行えたらなぁ...ということで、サーバサービス不要でYAMLで記述するプロビジョニングツールであるAnsibleを使ってみました。 Ansibleの良い所 sshdで接続してコマンドを投入するだけなので余計なサーバサービスの導入が不要。 YAMLなので記
「Go っていいの？」への応え
Go Conference 2017 Spring で Lightening Talk で話し足りなかったことを書いておく。 Go で書いたと話すと「Go っていいの？」と聞かれることがある。まともに伝えたい相手であれば、この質問には直接答えずに「どんな課題があって、Go はどのようにその解決に役立ったのか」を答えている。 要素技術の選択には、かならず文脈が影響する。Matz がウェブアプリを作るのと、私がウェブアプリを作るのでは、そもそもの前提が大きく違う。あと、スキルが低い奴の話なんて、みたいな言われ方をされることもある。それはまあ正しいんだけど、そのスキルアップに1年かけてたら預金がなくなってしまうのだ。いや、半年ももたないか。いずれにしても、現時点でのスキルをスタート地点として、納期までに成果物を仕上げて、現金を獲得する必要がある。そういうのも文脈のひとつだ。 私は Python
pythonのORM：SQLAlchemy の基本的な使い方 - それマグで！
SQLAlchemy を使ってみる。 目次 SQLAlchemy を使ってみる。 目次 インストール テーブルの作成 手順のおさらい RDBMS への接続 テーブル定義のクラス。 INSERT/UPDATE をする。 INSERT の例 UPDATE について DELETEする。 INSERT・UPDATE・DELETE のキャンセル SELECT について。 all () / first() とその仲間 レコードを返すメソッド一覧 one()について one_or_none について scalar について count について filter の書き方例 IS NULL / IS Not NULL COLNAME = VALUE / COLNAME > VALUE AND について LIKE 句について 直接SQLのWhere句を入れたい limit / offset ORDER BY
An elastic-mapreduce streaming example with python and ngrams on AWS
Overview This is meant as a tutorial to running an elastic-mapreduce job on AWS, from scratch. You can find lots of resources on this, but this is intended as a start-to-finish guide. We are going to use google ngrams to look for words which were coined in the year 1999 – and we are going to do it with streaming mapreduce in python. Furthermore, we are going to do it from scratch, assuming you’ve
（翻訳）PythonからHadoop file system (HDFS)へのネイティブ接続 - Qiita
始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 翻訳元： Native Hadoop file system (HDFS) connectivity in Python 2017/1/3 これまで、Hadoop File SystemことHDFSとのやりとりするためのPythonライブラリが数多く開発されてきました。HDFSのWebHDFSゲートウェイ経由のものもあれば、ネイティブのProtocol BufferベースのRPCインターフェースもあります。このポストでは、既存のライブラリの概要をお伝えし、Arrowのエコシステム開発の中で高パフォーマン
"Introduction to Vert.x"をGradleで試す - Qiita
Vert.x 3系のドキュメントに"Introduction to Vert.x"があります。ソースコードを０から組み上げて簡単な CRUD画面を作るまでが書かれていて、初めに行うチュートリアルとして優れています。しかし残念ながらMavenベースで書かれているので、Gradleではどのようにすれば良いのかが書かれていません。なので、このチュートリアルをGradleで試してみました。ソースは以下のリポジトリにあります。 とりあえず、Gradle 3系が動くようになるまでは、自力で頑張ってください。あとはMacで試しています。Linuxでも大体同じようにできると思いますが、Windowsはさらに修正がいると思います。こんな感じでGradleの実行ができれば、Gradleの導入完了です。 $ gradle --version -----------------------------------
Lombok ①導入編 - Qiita
Lombok とは Javaクラスを作成する際の冗長的な記述をコンパイル時に自動で生成してくれるライブラリです。 例えば以下のクラスが public class DateTime { private LocalDateTime value = LocalDateTime.MIN; public DateTime() { } public DateTime( LocalDateTime value ) { this.value = value; } public boolean isEmpty() { return value == null; } public boolean isNotEmpty() { return !isEmpty(); } public String format( String pattern ) { DateTimeFormatter formatter = D
JavaScriptはプロトタイプベースのオブジェクト指向プログラミング言語ではない！？ - JavaScript勉強会
先日のブログ記事に、たくさんのブックマークをいただきました。 どうもありがとうございます★★★ jsstudy.hatenablog.com ブックマークのコメントで、こんな意見がありました。 オブジェクト指向って便利なの？ - JavaScript勉強会 うへええええ継承による差分プログラミングとか現代に言わないでくれよ。しかも「JSはプロトタイプベースのOOP」を初めとして間違いが多いぞ 2017/03/27 09:42 なるほど、そういう見方もあるんですね？（参考になります） (1) 継承による差分プログラミングは、現代では廃れた古い手法？ (2) JavaScriptはプロトタイプベースのオブジェクト指向プログラミング言語ではない？ 実際のところ、どうなんでしょうか？ 知識は知識として、正確に理解しておきたいです。 勉強がてら、調べてみましょう。 とりあえず、(2)のプロトタイプベ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ゼロから始めるSparkSQL徹底活用！