毎週水曜深夜1時31分~TBSにて放送中! いとうせいこうとユースケ・サンタマリアが豪華ゲストと 「オトナ」のトークを繰り広げる番組「オトナの!」のYouTube版! これまで番組が見られなかった皆さんにもお届け☆ 随時、今までのゲスト動画も配信予定です! 今すぐ[チャンネル登録]して、最新動画を 誰よりも早くチェック!! http://www.youtube.com/user/TBSOTONANO
毎週水曜深夜1時31分~TBSにて放送中! いとうせいこうとユースケ・サンタマリアが豪華ゲストと 「オトナ」のトークを繰り広げる番組「オトナの!」のYouTube版! これまで番組が見られなかった皆さんにもお届け☆ 随時、今までのゲスト動画も配信予定です! 今すぐ[チャンネル登録]して、最新動画を 誰よりも早くチェック!! http://www.youtube.com/user/TBSOTONANO
自分用メモ。 ある時間以降に実行されたクエリの概要をさくっと把握したい Redshift がなんかむっちゃ重くなってる… みたいなときに投げる想定。 なお、いずれの日時指定も UTC 時間で指定する必要があることに注意。 SELECT や INSERT を対象とする場合 SELECT query AS query_id, xid, LEFT(querytxt, 50) AS query, starttime, endtime, (endtime - starttime) / 1000000.0 AS second FROM stl_query WHERE starttime >= CAST('2015-12-25 01:00' AS TIMESTAMP) AND database = 'hogehoge' -- データベースを絞り込む場合 ORDER BY starttime; SELEC
紹介 この投稿は、Advent Calendar 2015 .. NextGen DistributedComputing system をキッカケにして初めています! Advent Calendar1日目の記事です。 方針について Spark、SparkStreamingが初めての方でも順を追っていただければスムーズに理解できるよう書きたいと思います。 開発はScalaベースです。Spark処理を書くためにScalaガッツり使いこなせないと分からないわけではないですが、 基本的なことは必要かと思います。 Scala基礎を習得するためには下記リンク先を参照することをお勧めいたします。 https://gist.github.com/scova0731/2c405ea55488d804b366 SparkStreamingの紹介 SparkStreamingとは Sparkコアの拡張モジュー
皆さんこんにちは。 アキバです。 久しぶりにエントリ書きます。 突然ですが、今、システムをデプロイすると言ったら自動化しますよね。 そこで、皆さんは何を使っていますか? 私は、最近、DockerとAnsibleを仕事でガチに触る機会がありました。 ※本番運用のサーバもDockerを使って動作させました。 今回は、そこで得たことについて書きます。 皆さんの参考になればと思います。 命題:Dockerを使うべきか、Ansibleを使うべきか。 作るべきシステムは、いわゆるWebシステムで、WEBサーバとAPサーバで構成しています。 WEBサーバとAPサーバはそれぞれN台のクラスタ構成です。 ※以下の図は、本番運用で想定しているサーバ構成を今回の説明用に抽象化したものです。 N台のクラスタ構成ということで、Dockerを使おうとなりました。 コンテナでスケールアウト出来るから…ですね。 さてここ
さくらのクラウドもAPIを公開しているので諸々の作業をプログラマブルに制御できます。 オペミスでサーバが大変なことになった時のためにディスクのアーカイブ化(バックアップ)するためのプログラムを書いたとしても、実行するための環境をクラウドの上に構築するのもいいのですが、その環境を維持運営するのはちょっと面倒。 最近流行りのサーバレスの環境で完結させるためにAWS Lambdaを使ってみました。 Lambdaは最近Pythonに対応という話が出ていたことと、curlの呼び出しに対応しているという噂を掴んたので簡単に試すには便利かなと。 ちょうど、さくらのクラウドのAPIのサンプルはcurlでサンプルコードが公開されているので、今回はコピペでやってみました;-p サンプルコードはこちら。 https://gist.github.com/dalice/40544c999788832531c2 im
KeynoteからCatchpointへ 紆余曲折あって、今年の9月に、Keynote Systemsから、Catchpoint Systemsへ移りました。 「移った」と言っても、間が空いたし、今はKeynote Systemsという会社は存在しておらず、Dynatraceという会社の一ブランドとしてKeynoteという名前が残るのみです。 ここ数ヶ月、情報発信を控えていたので、今のWebサイトパフォーマンス計測業界はどうなってるんだという最新動向を語ることで、自分の近況も語ることに繋がるかなと思い、表題の内容で書きます。 2013年、Keynote Systemsの売却に始まる業界大再編 Webサイトパフォーマンス計測と云えば、KeynoteとGomezの二社が1位、2位を争ってきたわけですが、変化を齎したのは、2013年の秋、Keynoteの売却でした。 KeynoteのCEOは、U
tagomorisです。もうISUCON5決勝から1ヶ月が経ってしまいましたが、いくつか準備も整えまして、ISUCON5決勝で用いた環境のGoogle Cloud Platform用イメージを用意できましたので公開します。 HTTPS: https://storage.googleapis.com/isucon5-images/isucon5-final-1.tar.gzGCS: gs://isucon5-images/isucon5-final-1.tar.gz ISUCON5決勝では参加者用Webアプリケーションおよびベンチマークツールの他に外部APIのサーバプロセスも必要でしたが、このイメージはそれらを全て含んでいます。インスタンスを作成して起動すればベンチマークが通る状態で起動するはずです。 イメージの取り込みGoogle Cloud Platformでは上記URLからイメージとし
AWSとXcode/Swiftの勉強をしていくに伴い、 「なんでもいいからとにかく両方を接続してつかってみたい!!」 という子供みたいな欲求が出てきた。 調べてみたら、iOS / Android共に使えるAmazon MobileHubなるサービスが。 AWS各種サービスの、モバイル(iOS/Android)開発をするため、 目的にあわせたサンプルコードを出力してくれるようだ。 S3,Lambdaを始め各種サービスに接続可能とのこと。 試してみようじゃないですか。 今回はまずサンプルコードを実行するところまで。 手順: (1)プロジェクトを作成し、プロジェクト名を入力 (2)プロジェクトの種類を選択。以下のような種類がある。 AWSの各種サービスに紐付いているようです。 ユーザサインイン/認証 > Cognito プッシュ通知 > SNS ストレージ > S3 コンテンツ配信 > Clou
2015年12月1日に開催されたDevelopers Festa Sapporo 2015の講演資料となります。 日本の事例初掲載版です。Read less
Embulk Advent Calendar 2015の1日目の投稿になります。 今年の9月にSoftware EngineerとしてTreasure Data(以下TD)に入社していた赤間(@oreradio)です。 最近はData Connector(後述)などの開発でJava/Rubyを書いています。 さて、OSSのバルクロードツールであるEmbulkが公開されて約1年が経ちました。 * 並列・分散処理、リトライ、リジューム等をサポートする * プラガブルな構造 * guessによる設定ファイル生成支援 * OSSとして公開されている などが特徴的な訳ですが、プラグインも90個近くが公開されOSSとして順調なスタートではないかと思います。 一方で本体やプラグインを含めた巨大なエコシステムをバルクロードという信頼性が求められる分野で全てOSSとして公開・メンテされる仕組みは果たして上手
Barry Zane氏: Netezzaを作り, ParAccel MPP (Matrix)を作り, 今はグラフ分析エンジンを手がける ビッグデータ分析向けデータベースのスーパーアーキテクト こんにちは!マーケティング本部の早津です。この夏より、ビッグデータ分析を行うための米国Actian社のデータベース、『Matrix』のマーケティング担当となったIT初心者による気まぐれ記事となります。ぜひお付き合いください! 「9月からActian担当よろしくなー」という上司の一言から、いきなりビッグデータ分析向けデータベース製品のマーケティング担当となった私。まずは製品のお勉強!ということで、『Matrix』の歴史について調べていたら・・・ 『Matrix』を作ったのは、なんと! あのIBM社の『Netezza』を作った人でもあるらしい。今回はそのあたりについて詳しく書いていきたいと思います。 ビッ
Node.js, Java, Python以外の言語(主にPHP)をAWS Lambdaで動かしたかった。 やったことのまとめ。 Perlを動かした話 AWS Lambdaの環境(Amazon Linux)にはPerlがインストールされている。 Lambda関数からperlコマンドを叩けば、perlのスクリプトを実行できる。 perlの他にも、インストールされているいろいろなコマンドを実行できる。 PHP CLIを動かした話 AWS Lambdaの環境にはPHPはインストールされていない。 でもPHPerなのでPHPを動かしたかった。 Linux用にコンパイルしたPHPコマンドをアップロードすれば、PHPが使用できる。 必要な共有ライブラリがAWS Lambdaの環境にない場合は、アップロードしてライブラリPATHを通す必要がある。 同様の方法で、AWS Lambdaにインストールされてい
この記事ははてなエンジニアアドベントカレンダー2015の1日目です。今回は、既存の運用フローに乗せやすいDockerイメージへのchrootによるデプロイの考え方と自作のコンセプトツール droot を紹介します。 github.com 背景 Docker 本番導入の課題 Docker 導入の目的 Docker + chroot のアイデア droot: Dockerイメージにchrootするコンテナツール droot の使い方 droot push: Dockerイメージをtar ball化しS3にpushする droot pull: S3にpushしたイメージをダウンロードし展開する droot run: 展開先のディレクトリにchrootする droot の実装 droot push/pull の実装 droot run の実装 あわせて読みたい あとがき 背景 Dockerがリリー
mixiグループアドベントカレンダー1日目です。 「家族アルバム みてね」の開発知見について書きます。 家族アルバムみてねとは今年の4月から正式にリリースして以来開発を続けている写真共有アプリです。 現在みてねは、エンジニア4名、コードの書けるデザイナー1名、他チームと兼任しているテスター1名というメンバーで開発しています。 特徴的なのは、スクラムを採用したチーム開発を行っていて、さらに可能な限り属人化を排除するためにiOS/Android/サーバー(Rails)の開発のタスク、 それぞれの分野に担当を持たせず全員がすべてのスプリントバックログを取っていくというやり方で進めていることです。 スクラムチームで、属人化を排除することによって色々なことが可能となるのですが、 今回は効率の良いスプリントの回し方(バックログの取り方)の話を書こうかと思います。*1 そもそも属人化って? 属人化とは、
聞き慣れない言葉ですが、ジオフェンス(Geofence)とは移動中のデバイスがある特定のエリアに入ったり、エリアから出たりといった移動を検知するための機能です。 すでにあるユースケースの例としては、ANAのスマート・フォンアプリがあります。空港に到着すると通知が着て保安検査場の場所などを知ることがます。 https://www.ana.co.jp/share/mobile/smartphone/app_ana/ その他、お店に近くに来た人に対してクーポンを発行するなど、アイディア次第で色々な使い方ができそうです。 通常、高機能な地理情報システムで提供されている機能ですが、BluemixのGeospatial AnalyticsサービスでこのGeofence機能を利用できます。 まずは、サンプルコードを動かすことから試してみました。 試すこと ここでは以下を試します。 1. Bluemix
AWS Lambdaはサーバ不要のプログラムの実行エンジンです。インフラ側はAWSが管理するのですが、実行原理が解っていると思いの外に自由度が高いです。Shellやコマンドを同梱させれば動くし、依存するライブラリがなければAmazon Linux上でビルドして同梱させれば良いのです。その実例の1つに、Lambda+PhantomJSがあります。PhantomJSは、ブラウザ不要で画面描画ができるツールです。リンクのクリックやボタンの押下・フォームに入力も出来るので、ログインが必要なページの情報を取ってくるということやスクリーンショットを取るといったことも可能です。LambdaとPhantomJSを組み合わせてお手軽スクレイピングをしてみましょう。 プロジェクトの用意 Github上にビルド済みのライブラリ込のプロジェクト(phantom-lambda-template)があるので、それを使
You log in to a Linux server with a performance issue: what do you check in the first minute? At Netflix we have a massive EC2 Linux cloud, and numerous performance analysis tools to monitor and investigate its performance. These include Atlas for cloud-wide monitoring, and Vector for on-demand instance analysis. While those tools help us solve most issues, we sometimes need to login to an instanc
Unleash the power of Salesforce Customer 360 through integration Read more
イントロ イノシシやシカなどが農作物や樹木への被害をあたえる、いわゆる獣害がふえています。 今回は柵をつかったワナが作動したときに、自分の携帯メールに通知をとばす仕組みを考えてみました。 参考、謝意 メーカーの公式情報以外に下記投稿を参考に作成しています。大変参考になりました。感謝です!! http://qiita.com/dietposter/items/068019ee53252206a6bf http://qiita.com/masato/items/f9be4a15216fe29de7fb http://homepage6047.sakura.ne.jp/ 狩猟自体は狩猟免許がないとできません。今回は免許をもっているわたしの嫁とその師匠に協力してもらいました。こちらも感謝です。 ワナのイメージ 今回は箱ワナといわれる形状のワナに対応できる装置をつくることにしました。 ワナは人が住ん
Googleは機械学習のライブラリTensorFlowをオープンソースとして公開した。すでにGoogleの写真検索や音声認識技術に使用されているもので、大きな注目を集めている。AmazonやFacebookも機械学習システムをオープンソースとして公開している。 オープンソースのライセンスは、Apache 2.0だ。簡単にいうと使っていることを明記さえしておけば商用でも利用可能である。 今後、様々なサービス、研究機関等で機械学習が使われていくことが増えると予想される。機械学習、AIは基盤技術としてすべての産業に影響を及ぼすことから、今後見逃せない動きである。 参考: 人工知能 (AI) はどこまで進歩しているのか – 4つの知能レベルと実商品例 –人工知能 (AI) ができる3つのこと – 消える職業と生まれる職業 –TensorFlowのインストール今回は、機械学習に馴染みがない人がまずT
Lambda の Advent Calender にタッチの差で参加できなかったので、#0的に11月30日を狙って(勝手に)投稿してみます!! 今年の頭から EC2 上で Twitter retrobot を動かしていたのですが、先月 Lambda が Python 対応&スケジュール実行されたので、今回その retrobot を Lambda に移行してみました。 最初は Lambda の勉強のために移行しようと思ったのですが、移行後金額を見積もってみるとまさかの無料枠内(しかもかなり余裕があるように見えます。)に収まったので、経費削減にもつながりました。(計算間違ってるかもしれないので、最後に見積もりを載せてみました。間違っていたらご指摘ください!) 前提/環境 10分に1回、約1年前のツイートをつぶやきなおすbotになります。 Lambda 歴トータル1週間くらいです。(4月のハンズ
Google Cloud Platform Advent Calendar 2015 の第一夜を光栄にも務めさせていただきます! 第一夜ということで出来るだけそれに相応しいテーマを選ぼうと思い、「AWSは使ったことがあり、Google Cloud Platform(以下GCP)は使ったことがないが、興味がある」ひとがGCPを使ってみよう!と思えるような記事になれば良いなと考えながら書きました。これを見て一人でも多くの方がGCPを使ってみるきっかけになれば幸いです。 また GCP Advent Calendar 2015 の明日以降の記事ではGCPのより深い魅力を掘り下げた良記事がたくさんあることでしょう!そちらも御覧ください。 GCPとは GCPはGoogleが提供するIaaSであり、Amazonの提供するAWSに相当しますが、Googleが自社インフラとしてのクラウド環境を我々一般客にも
こんにちは。株式会社ベーシックのCTOやってる@zaruです。今年はじめてQiitaのアドベントカレンダーに参加しました。25日埋まるようなんとか頑張ります。また、ベーシックのエンジニアについて興味のある人はベーシックエンジニアのQiita記事に目を通してみてください。それなりに面白い記事があると思います。 長い前置き Chef、めっちゃ流行って今や定番ツールになってますね。僕はChefに挑戦したものの脱落したダメエンジニアです。なんで脱落したかというと、セコセコ作ったレシピを保守できなかったんですね。Chefさわれる人が社内に全然いない&教えようにも自分がよく分かっていないという、ツールに振り回されてダメダメという状況になってしまいました。 そこでもういっそ、VagrantBoxを直接配布したり、AWSならAMI化されたものを使いまわしたりしてたわけです。そこまで大規模なインフラでもない
はじめに Google Apps for Work を使い始めました。 Google Apps for Work は独自のドメインでGmailを利用できることをはじめとして グループワークに必要なフォーラム機能やメーリングリスト機能や、 GoogleDrive や Google Docs といったドキュメント管理ツールなども提供され、 月々500円/アカウントという低価格で利用することができるサービスです。 今回は、提供されているサービスの一つ SAML を使って、 AWSとのシングルサインオンを実現したいと思います。 Google Apps for Work で SAML を有効にする。 Google Apps for Work の 管理コンソール にログインします。 ログイン後のメニューから 「アプリ」 を選択します。 「SAMLアプリ」を選択します。 右下の + を選択します。 Am
dots girls Advent Calendar 2015のトップバッターを頂きました吉澤です! 2015/11/17(火)にdots.で行われたSORACOM x RaspberryPi ハンズオンに参加してきたので今更ながらレポートを書きます。 会場に着きました このハンズオンのゴールは、ラズパイにSORACOMをUSBに装着し、AWS IoTにひも付けてS3とKibanaにCPU温度とCPU使用率を出力することでした。 平日の昼間だったため、会場はスーツで割と年齢層が高そうな男性が多かった気がします。 会場の人数分ラズパイが設置してあり、それぞれに固定IPを振っていたため、いつものdots.のWi-Fiではなく専用の回線が引かれていました。 (ルーターとラズパイの写真撮りそびれてしまいました。無念。) これがSORACOMのSIMです。 日本での格安SIMはこれが初体験です。 S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く