Hadoop + HiveからUDFでお手軽に機械学習を回せるライブラリ"hivemall"がリリースされたとのこと - 渋谷駅前で働くデータサイエンティストのブログ
TL上にものすごーく刺激的な情報が飛び込んできたので、思わずご紹介。 一部の方にはお伝えしておりますが、hive/hadoop上でスケーラブルに機械学習（今のとこクラス分類、回帰分析）を行うライブラリをオープンソース(LGPL)でリリースしました。mahout等より扱いやすい&スケーラブルなはず。 https://t.co/eBGmoW66V0— myui (@myui) 2013, 9月 30 ということで、ご本人のツイートにもあるようにGitHubに一式全て上がっています。ライセンスもLPGLなので自由に使えるという素晴らしさ。これ職場の分析マシンにもcloneしようかな（笑）。 myui/hivemall Wikiページを見ると、このライブラリの使い方が書いてあるんですが。。。何が凄いって、何とHiveクエリを書く要領で機械学習まわりの演算を全て実行できてしまう！というところ。ちょっ
サーバー構築自動化ツール Chef 最新版のインストール方法
2013年2月頃にリリースされたバージョン11とそれ以前のバージョンとでは、インストール方法にかなりの違いがあるのでご注意ください。 以前のバージョンよりは簡単にインストールできるようになったみたいですが、それでもそれなりに面倒な手順が必要です…。 用語解説 独特の用語がかなり多く、知っていないと混乱するので、最初に用語を説明します。 chef サーバー構築自動化ツール。同じ構成のサーバーを複数台用意するときに使う。設定ファイルを書き換えるだけで複数台のサーバーの構成を同時に変更することができる。 chef server サーバー構成の設定ファイルを管理するもの。各chef clientからアクセスされるもの。 chef client chef serverにアクセスするもの。chef clientの例として、管理ツールのknife、管理用のWeb UI、構成を管理されている各サーバー(に
ChefでJava解析ツールENdoSnipeをお手軽にインストールする - bati11 の 日記
結構前に、Java解析ツールバトルというセミナー？に行ってきました。 深いところまで話しを聞けて楽しかったです。 そこで紹介されたENdoSnipeというツールを使ってみようと思い、インストールしてみました。 が、噂通りちょっと面倒だったので、chefのレシピを作ってみました。 https://github.com/bati11/endosnipe-kitchen ただ、バージョンも固定だし、tomcatやらpostgresやらの設定はデフォルトだし、マルチプラットフォームとか気にしていないし、なのであくまでお試し用ということで・・・。 これで楽々インストール！？ DataCollectorとDashboardのインストール ENdoSnipeは、クライアント側で動くエージェントの役目をするJavelin、解析データを集めるDataCollector、データを可視化するDashBoard、
10分で組み上げるAWS Multi-AZ PostgreSQLレプリケーション構成 powered by Chef
本日、JAWS-UG東京の勉強会で「10分で組み上げる AWS Multi-AZ PostgreSQLレプリケーション構成 powered by Chef」としてライブデモを含む簡単な発表をさせていただきました。 第18回 AWS User Group - Japan 東京勉強会(一般枠) - JAWS-UG東京支部 | Doorkeeper http://jawsug-tokyo.doorkeeper.jp/events/5939 これは、PostgreSQLのレプリケーション（マスター・スレーブ2台構成）をMulti-AZ構成で組み上げる、そのプロセスをChefを使って自動化してみようというもので、構成は右の図の通りです。 デモの内容としては、 AWSの東京リージョンのそれぞれ別AZで、AmazonLinuxのAMIでインスタンスを2台立ち上げる。（VPCは未使用） 各インスタンスにE
PaaSの作り方 Sqaleの場合
OpenShift the Easy Way からの Hard? Way ちょいと早い忘年会 OpenShift.Run Winter 2020 #11 https://openshift.connpass.com/event/191402/
いまだにユニットテストって受け入れられないんだろうな - 個人的なまとめ
色んな所で「テスト(ここではユニットテスト)を書かないのは小学生までだよねー」とか、もっと汚い言葉で言われたりするけど、いまだにうちのチームでは自分だけしか書かない現状が悩ましい。 Jenkinsさんが激おこになっても誰も何も反応しない。 もちろん、全部が書けるとも思ってないので、自分が不安なところとか、変更が多く入りそうなところとかを中心に書くようにしてる。一種の精神安定剤みたいなもん。 あるとき、一緒に働いてるエンジニアさん(ここではAさんとしておこう)に「ここ難しそうだから、テスト書いたほうがいいですよ」って話をしたら、「じゃぁ、工数かかっちゃいますね」って言われて結局書いてなかったな。 そうだよ。ユニットテスト書いたら工数かかるよ。それは純然たる事実。でも、再利用できないチェックシートを作ってやるよりもいいと思うんだけどね。しかもこの前に見せてもらったこのチェックシートも運用レベル
試して学ぶ Backbone.js 入門のまとめ - Taste of Tech Topics
皆さん、こんにちは。id:KenichiroMurataです。 今回はKnowledge Noteにて連載させて頂いていた 「試して学ぶBackbone.js入門」が全５回分公開されたため、そのまとめをしたいと思います。 記事のコンセプト タイトルに含めた通り、実際にコードを書いて試してみることでBackbone.jsの理解を深めることを一番の目的としています。 なので、ぜひ実際に記事の中に出てくるコードを書いて、動かして、コンソールのログや動作を確認することをおススメします。 各記事の概要 第１回 試して学ぶBackbone.js入門 Backbone.jsの概要から、インストール方法、Model、Collectionの基本を説明しています。 目次 はじめに セットアップ Modelの基本 Collectionの基本 Collectionの便利な関数 第２回 試して学ぶBackbone.
[AWSマイスターシリーズ] Amazon DynamoDB
1. re:G ene AWS マイスターシリーズ rate Amazon DynamoDB 2013.10.02 アマゾン データサービス ジャパン株式会社 ソリューションアーキテクト 今井 雄太 © 2012 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. アジェンダ ! NoSQLとRDB ! DynamoDBとは ! DynamoDBを使ってみる ! ツールとエコシステム ! When to use ! まとめ 2 © 2012 Amazon.com, Inc.
![[AWSマイスターシリーズ] Amazon DynamoDB](https://cdn-ak-scissors.b.st-hatena.com/image/square/edca79e5f24e4bc7deb7f341b45285bae8c11b25/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20131002aws-meister-regenerate-dynamodb-public-131004025730-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
PostgreSQL開発ことはじめ - 第27回しくみ＋アプリケーション勉強会
2013/10/05に開催された、JPUG主催の第27回しくみ＋アプリケーション勉強会で講演した際のスライドです。 講演の模様はUstreamで閲覧可能です。 http://www.ustream.tv/recorded/39540423Read less
awssummit20130605のTech02～04を聞いてきた - smallpalace's blog
お疲れ様です。タイトル通り聞いてきたのでそのメモ。 広くて女性もちらほらいたので特に肩身が狭いことはありませんでしたが会場がきれいなホテルだったのでジーパンで行ってしまったのをちょっぴり後悔しました。 歯抜けなところはあると思いますが、一応きいたまま生生しく記録しておこうという趣旨です。 こちら↓のほうがちゃんとかいてあるかも。 http://d.hatena.ne.jp/rx7/20130605/p1 ---------------------------- Tech02 ハイブリッド構成を支えるAWSテクノロジー 4つのAWS利用パターンについて １開発だけパターン 開発環境も本番環境もつかえるよ ２DRの利用パターン データ同期が大変 ファイルなら転送でOK DBとかじわじわ同期だと大変 ３複数のシステムがハイブリッドでやりとり システム以降、データ以降、切り替え システム間連携とか
awssummit20130606でTechトラックいくつか聞いてきた - smallpalace's blog
おつかれさまです。smallpalaceです。 きのうに引き続きセミナーで聞いてきたことの備忘録でございます。 聞いてきたのは 大規模案件の裏側とオバマforアメリカとクラウドデザインパターンの話です。 --------- 大規模案件の裏側にきた。Cloudpackさん プレミアコンサルティングパートナーらしい 後藤さん 個別要求への対応の裏側 事例の話 JoinTVさんのお話。日テレのソーシャルTVサービス エバンゲリオンの劇場版のやつにからんで やしまさくせんとやらのために連打するアプリ。 蓄電した結果を仲間と比較できたり作成実行時に反映される感じらしい。 テレビとスマホ連携 マルチAZしてる ウエブサーバスケールアウト リクエストキューイング バッチサーバスケールアウト インメモリDBスケールアウト ちゃんとテストして現場待機して対応できるようにした 放映時Googleanalyti
serverspecの勉強会にいってきた（#hbstudy) - smallpalace's blog
こんばんわ。smallpalaceです。 タイトルどおりいってきたのでメモります。 serverspecの勉強会の記録 #hbstudy 45 発表：mizzyさん（serverspecの作者） スライド: http://www.slideshare.net/mizzy/serverspec-hbstudy45 zabbix,nagiosがあればserverspecいらないのでは？という疑問に対して serverspecによるテストのほうが細かい zabbix、nagiosは代替にならない。 Orchestation領域のテストがzabbixとか configuration領域のテストがserverspec provisioningのなかのconfigutation領域のテスト みなさんテストどうやってますか？ serverspec登場以前のテストは？－＞シェルスクリプトやブラウザでのサー
myna会20130729にいってきた記録 - smallpalace's blog
こんにちは。smallpalaceです。 タイトルどおり勉強会に行ってきたのでその記録を。 ・まず来日されていたmysqlの中のすごい人(女性)によるperformance_schemaのお話 なんとなくスライドをメモっていたけど、以下URLが同じもの。 http://technocation.org/files/doc/2013_07_PS.pdf サマリーとかダイジェストをpsからselectすることで 詳しくioなどのステータスをリアルタイムに見ることができとても便利そう。 そのときディスクに書いちゃってるクエリがわかるみたいなのが色々。 前回木村明治さんが紹介されていたps_helperオススメだそうです。 ポッドキャスト聞いてねとのこと OurSQL Podcast episodes 139, 140, 141 http://bit.ly/oursql139 http://bit
Chef、serverspec、Cloudを活用した運用効率化ハンズオン参加レポート - smallpalace's blog
こんにちは。smallpalaceです。 最近娘が絶賛イヤイヤ期でバナナが半分に折れてくっつかないと号泣されました。 多感なお年頃のようです。 感情表現をうまくできる子にするには、「悲しかったんだね」と共感してあげるのがいいっぽいです。がんばります。 それはともかくタイトルどおり行ってきました。 直前に知ったのですが時間が早めだったので申し込んでしまいました。 http://www.zusaar.com/event/912004 Twitterハッシュタグ：#ncstudy 講義の内容： http://tily.github.io/ncstudy05/#11_ssh_ JulyTecの時と大体一緒でした。 Serverspecが含まれる分、 Chefのほうはopscodeのクックブックをそのままつかうだけという感じでした。 勉強になったことは以下の点でした ・export PATH=$PA
MysqlClusterCasual. 20130926にいってきました - smallpalace's blog
こんにちは。smallpalaceです。 最近やっと旦那さんの浴衣が完成したけど季節はもう秋です。来年着てもらおうかと。 それはともかく、、 MysqlClusterCasualに行ってきたのでその記録を。すごく面白かったです。 聞いたままメモりました。発表資料が公開されてたら追記すると思います。 http://atnd.org/events/42911 ハッシュタグ： #mysql_jp トゥギャッタ：http://togetter.com/li/569292 行った人のブログ： http://d.hatena.ne.jp/garage-kid/20130926/mysqlclustercasualtalks http://b.l0g.jp/mysql/mysql-cluster-casual-talks-memo/ ------ 梶山さんのお話から(途中から聞きました） ACIDのKV
MyNA会20130930に参加しました - smallpalace's blog
こんにちは。smallpalaceです。 MyNA会20130930に参加しましたので、その記録を。 聞いてメモれたところだけですので何か間違ってたらすみません。 http://atnd.org/events/43746 ハッシュタグは #mysql_jp ------ 梶山さんのMySQL Connect基調講演紹介等 5.6の話 知ってる話だったのでメモりませんでした。 5.7の話 リリース候補版のお話（これから品質向上させてく 追加された機能は少なめらしい 5.7.2 リリースノートが長くて4分割 InnoDBパフォーマンス向上 replicationの改善対応 Utilities完全に新しいのが登場したらしい EXplainの出力を見やすく read/writeのベンチまーく、5.6の倍の性能らしい optimizer 別のコネクションの実行計画をみられる、見やすく改善 Perfo
jawsug20131004（DB祭り)に参加してきました - smallpalace's blog
こんにちは。smallpalaceです。 季節の変わり目で涼しくなってきましたね。 私はちょっと風邪をひいたっぽいです。皆様もどうぞご自愛ください。 さて、タイトルどおり行ってきたのでそのメモです。 あんまりメモれてないとこも多いので追ってスライドリンクはります。 http://jawsug-tokyo.doorkeeper.jp/events/5939 ハッシュタグ#jawsug とぅぎゃった：http://togetter.com/li/572518 Ust録画：http://www.ustream.tv/recorded/39510713 個人的にきょう大事なのは平塚さんのやつくらいかなと思ってたら他も意外と面白かったです。 ------ AWSアップデートDB縛り（5分）中の人堀内さん http://www.slideshare.net/horiyasu/aws-db-in-18-
第17回 AWS User Group – Japan 東京勉強会参加レポート - smallpalace's blog
こんにちは。smallpalaceです。 タイトルどおり第17回 AWS User Group - Japan 東京勉強会参加レポートです。 PC忘れて紙にメモったので情報少なめかもしれません。 http://atnd.org/events/41352 #jawsug ------ SQSからSWFに乗り換えた話 得上さん SQS starter->worker SWF starter->decider->worker SQSはvisibirity timeoutの時間が20秒でworkerが多いと問題でる SWFのメリット 実行制御、ログ出力と集約、重複なし、ワークフローで並列実行、cron使える 構成がシンプル、Autoscalingは台数単位でなくECUで判別、タイマ動作得意 ポーリングに課金されずかかったぶんだけ。 SQSのメリット 開発がシンプル、LongPollingでthro
Splunkについて - やる気ないSEのメモ
こんばんは。 舌の根も乾かぬうちにサボってしまいました。 昨日の分まで埋めるために、ちょっと分量おおめで。 今回はワタクシのおすすめツール、Splunkの紹介です。 まだ全然触れていないのですが、とても良いツールだと思います。 無償版もあるので是非使ってみてもらいたいですね。 Splunkとは データ収集・分析・管理ツール。 取り込みの設定をして、放っておくだけでどんどんと蓄積・データ分析してくれる。 また、指定のメッセージが出た際にアラートをあげたりなんかもできる。 さらに、ユーザや企業が作り込んだAPP（特定の用途向けにカスタマイズされたSplunkのコンテンツ集的なもの）をインポートして利用したりすることもできる。 基本はオンプレミスだが、最近Splunk Stormというクラウドサービスも出た模様。 →オンプレとの比較はこちら。http://ja.splunk.com/view/S
BigDataダッシュボード勉強会 - addsict's blog
SIOSテクノロジーさんとTreasure Dataさん主催で、 「ビッグデータをいかに可視化するか」をテーマにした勉強会が開催されたので行ってきました。 以下気になった点をメモとして残しておきます。 間違って解釈している箇所がありましたらご指摘下さい。 Treasure Dataと連携するダッシュボードツール Treasure DataとMetric Insightsを組み合わせたダッシュボードの事例 複数プロジェクトを横断して、月単位や週単位のメトリクス、KPIを一元化して表示 1つのSQLを書くとそれが1つのメトリクスとして登録される Metric InsightsはGoogle BigQueryと組み合わせることも可能 Treasure DataさんはBIツールとしてExcelを使えるよう開発中とのこと Q&A 「Treasure Dataを導入している企業で最も良く組み合わせて使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.hp-stylelink.com/news/2013/10/20131008.php
ZKFC のドキュメントまとめ - /var/log/hadoop.log
ncstudy#05 ハンズオン資料