S3のデータをAmazon Athenaを使って分析する | Amazon Web Services
Amazon Web Services ブログ S3のデータをAmazon Athenaを使って分析する Amazon Athenaは対話型クエリサービスで、標準的なSQLを使ってAmazon S3の直接データを直接分析することを簡単にしてくれます。Athenaはサーバレスなので、インフラを構築したり管理する必要はなく、今すぐにデータ分析を始めることができます。Athenaはデータをロードしたり、複雑なETL処理をする必要すらありません。S3に保存されているデータに直接クエリすることができます。 Athenaは、クエリを実行する際に分散SQLエンジンのPrestoを利用しています。また、テーブルを作成、削除、変更、パーティションするためにApache Hiveも利用しています。Hive互換のDDL文や、ANSI SQL文をAthenaクエリエディタ内で書くことができます。複雑なJOINやウ
センサー・機器等による高齢者の見守り・安否確認サービス実施企業一覧 - 神奈川県ホームページ
一人暮らしの高齢者が増えていることから、高齢者の安全を確保し、緊急時には必要な対応をとる必要があります。 センサー・機器等による見守り・安否確認サービスを行っている企業の一例として、一覧を作成しました。 お問い合わせについては、各企業に直接ご連絡ください。
GoでたたくTCPソケット（後編）
ソケットの使い方そのものはシンプルです。 繋いでしまったら、書き出し、読み込み、クローズしかありません。 APIリファレンスを読めれば、とりあえず使うことはできるでしょう。 ですが、ソケットまわりのパフォーマンスはユーザの体感に直結します。通信が切れる、タイムアウトなどのエラーが発生する可能性も多々あります。 最大の効率を得るには、ボトルネックを中心に最適化を行うしかありません（これは『ザ・ゴール』というビジネス書で「制約理論」として示されている問題でもあります）。 今回は、前回に引き続き、HTTPの機能を再現しながらソケットの使い方について学んでいきます。 HTTPの歴史を通して、ソケットの実行効率を向上させる方法を具体的に見ていきましょう。 圧縮 HTTPの速度アップ手法としてよく使われているのが圧縮です。 昔よりもインターネットやWifiの性能は向上しましたが、それでもCPUを使って
AWS Solutions Architect ブログ
本日私達はBloxという新しいオープンソースプロジェクトをAmazon ECSチームから発表しました。これによって、ECS上にカスタムスケジューラや他のツールを開発することができます。Bloxの目標は、カスタムスケジューラ、ダッシュボード、その他の拡張を作ることをシンプルにするためのツールを提供することで、皆さんの特定のユースケースの要件に合わせることができます。 ECSは先日、イベントストリームが利用可能になったこともアナウンスしており、これによってECSコンテナインスタンスとタスクの状態変化が[cloudwatch_events]に送られます。スケジュールワークフローを開発するお客様はしばしばECSクラスタで生成されたイベントを受け取り、この状態を手元に保存して、ローカルのクラスタの状態を使って操作を行います。Bloxにはこの機能とローカルのクラスタの状態をREST APIで提供するc
サーバレスで変わるサーバ開発の未来と、GS2が変えるゲームサーバ開発の未来 | DevelopersIO
サーバレス はじめまして。Game Server Services 株式会社の丹羽一智です。 今回はサーバレスで変わるサーバ開発の未来というお話です。 まずは、『サーバレス』とはなんぞや？というところから整理したいとおもいます。 サーバレスは去年の後半から話題になり始めたワードで、EC2をはじめとした IaaS とは異なり、OSやプロセスの管理が不要となる技術を指します。 まだ言葉の定義がしっかり固まっていないところがありますが、以下のような技術を総称してサーバレスと呼ぶ。と考えるといいのではないかとおもいます。 FaaS (Function as a Service) PaaS (Platform as a Service) Functional SaaS (Functional Software as a Service) FaaS (Function as a Service) 去年
Infrastructure as Codeで見えてきたLint Infrastructure - Qiita
この記事はLint Advent Calendar 2016の6日目の記事です。 本記事では、インフラもLintしませんかという提案と、そのために今作っているツールの紹介をします。 TL;DR Infrastructure as Codeによってソフトウェア開発の良いプラクティスが活用できるようになった つまり、Lintの知見もインフラに活用できるはず 試しにTerraformのテンプレートをLintするTFLintを作りました Infrastructure as Codeがもたらした恩恵 Infrastructure as Codeは既に広く知られるようになった考え方だと思います。ここまで普及したのは、AWSなどのIaaSの存在ももちろんあったと思いますが、ソフトウェア開発におけるGitによるバージョン管理や、PR駆動開発などの良いプラクティスが広く開発者に受け入れられていたことが背景に
全部知ってる？ npmを使いこなすために絶対知っておきたい10のこと
知っておくと便利なnpm（Node Packaged Modules）のコマンドとTipsを全部で10本まとめました。 Facebookの新しいYarn projectには興奮を覚える一方で、Node.jsの躍進にはオリジナルパッケージであるnpmの存在が大きく貢献しています。 少ないnpmのコマンドで、初期化したり（npm init）、パッケージをダウンロードしたり（npm install）、テスト（npm test）したり、プロジェクト内でカスタムスクリプト（npm run）を作ったりできます。少し詳しく調べていけば、日々の開発を劇的に変えてくれるさまざまなコマンドがnpmには用意されています。 注意：もしnpmの手引きが必要なら『A Beginner’s Guide to npm — the Node Package Manager』をチェックしてください。npmとYarnの違いにつ
AWS Lambdaのソースコードを覗いて動作原理を知る試み - misc.tech.notes
この記事は、Serverless Advent Calendar 2016の14日目の記事です。 qiita.com 昨日は工藤さん(level69)による、「Serverless Meetup Sapporoで話てきた」でした。 工藤さんは元々北海道出身という縁もあることから、先日のServerless Meetup Sapporoに自腹で遠征してくれました。本当にありがとうございます。 serverless.connpass.com 本題 さて、本題ですが、最近はApache (元IBM) Openwiskを筆頭に、IronFunctionsなど、OSSなFaaS実装が増えてきていますが、ふと「Lambdaはどうなってんだろーなー。あ、ていうかLambdaもPythonなら、スクリプト言語だからある程度まではソースコード読めるんでは？」と思い立ったので、じゃあやってみましょうという試み
AWS+WordPress.SkeletonでスケーラブルなWordPressサイトをつくる【完全版】 - Innovator Japan Engineers’ Blog
こんにちは、エンジニアの@gorou_178です。このエントリは、「WordPress Advent Calendar 2016」の14日目の記事兼、イノベーター・ジャパン Advent Calendar 2016の14日目の記事です。 今年7月に、WordCamp Kansai 2016に登壇して、以下の発表をしてきました。 speakerdeck.com スケーラブルにする場合、自動的にデプロイできるべきなのですが、スライドの最後に掲げている3つの課題がありました。 WordPressコアのDBマイグレーション WordPressプラグインのDBマイグレーション 言語ファイルのダウンロード これらをWP-CLIで解決できたのでまとめようと思います。 課題1: WordPressコアのDBマイグレーション wp core update-db を実行するだけ。 手順としては以下です。 wp
TensorFlowによるアイドル顔識別器の話 - 2016.12.13 TensorFlow User Group #2 - Qiita
自己紹介 すぎゃーん (id:sugyan) Web系エンジニア ドルヲタ TensorFlowで機械学習に入門 (2015.11〜) はてなブログ書いてます すぎゃーんメモ http://memo.sugyan.com/ アジェンダ アイドル顔識別について 自作識別器の紹介 データセット・学習の話 可視化 前回のあらすじ TensorFlowによるアイドル顔識別器の話 (2016.9.28) 学習用データセットの収集・作成 …の苦労話 モデルの評価と実験 収集したデータを使った顔画像生成 など アイドル顔識別について 問題設定 (やりたいこと) 「入力した画像に対し、写っているのが『どのアイドル(人物)か』を機械学習により自動判定する」 画像に対する 物体検出 + 分類 顔検出は今のところCloud Vision API任せ 検出された領域を抽出した個々の顔画像に対する分類がメイン LI
直感的なグラフを簡単に作れるウェブアプリ - 詩と創作・思索のひろば
を作った。どうぞご利用ください。 The Beautiful Graph Maker 下の画像のようなグラフを簡単に生成できます。🙁 から 😊 になったことがひと目でわかりますね。説得力もあるのではないでしょうか。 矢印やY軸のラベルはクリックで変更できます。 実装には Elm を使ってみた。アーキテクチャが強制されるせいか、予想以上に書きやすかった。prompt() したいだけのところが妙に面倒で window.prompt() in Elm を参考に JavaScript も書くはめになった。あと画像ダウンロードのとこも生 JS です……。 GitHub - motemen/beautiful-graph-maker
技術系メーリングリストで質問するときのパターン・ランゲージ
目次 はじめに メーリングリスト —— サポートセンターではなく互助会です 表題 —— あいさつではなく用件を書きましょう 自己紹介 —— 自分の知識・技能・経験を簡潔に書きましょう 書き出し —— 最初に問題の要旨を書きましょう 肩書き —— 会社の名前を背負っていることを忘れないように 実行手順 —— 手順は箇条書きで書きましょう 結果の予想 —— 期待した結果を書きましょう 実際の結果 —— 実際に起きたことを書きましょう ステップ明記 —— どこからうまく行かなくなったかを書きましょう 実際の値 —— 条件を具体的に書きましょう エラーメッセージ —— 必ずコピー＆ペーストしましょう 判断理由 —— そのように考えた理由を書きましょう 文献の引用 —— 読者の手間を省くように書きましょう ソース —— 関連する部分を抽出して示しましょう スレッド —— 関連する話題なら「返信」しま
質問は恥ではないし役に立つ - Qiita
一年半SEとして働いてきた中で、私自身が苦手だと思っており、他人からもそのように評価されていたのが「質問の仕方」でした。 それが先日、他人から「質問の仕方がうまいね」と褒められることがあり、ようやく一人前の質問の仕方ができるようになってきたので、どのようにして克服できたのか紹介したいと思います。 質問の基本形 私が入社したばかりの頃は、わからないことがあればすぐに先輩に質問していました。 そのときにしていた質問の内容はだいたいこんな感じです。 「環境構築を手順書通りにやったんですけど、○○のコマンドでエラーがでてしまいます！なんとかなりませんか？」 このような質問を受け取ったら、先輩は暇ならばエラーメッセージを見てくれ、エラーメッセージに書かれていることに対して調査してくれるかもしれませんが、忙しいときにはそんなことはしてもらえません。 こんな質問を繰り返しているうちに先輩からは「技術系メ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
