AWS Glueを用いたデータ分析基盤を構築した✨ - Studyplus Engineering Blog
こんにちは。業務委託の@morix1500と申します。 この度、スタディプラス様からデータ分析基盤の構築の業務委託を受け、AWSのマネージドサービスを用いて構築を行いました。 その際に得られた知見を共有したいと思います。 データ分析基盤について 今回スタディプラス様から受けたデータ分析基盤の要件は以下のようなものでした。 S3にあるログをAWS Athenaから閲覧できるようにしてほしい S3にあるJSON形式のログを列指向型のフォーマット(Parquet)に変換してほしい ログは順次取り込み（毎朝、昨日分のログが見れるようにする） すでにログはS3にあったのでログ収集は終わっています。 データ分析基盤の構成 今回作成したデータ分析基盤はAWSのマネージドサービスで完結してます。 今回構築したのはGlueの部分です。 Glueの構成や初期構築の手順は以下のドキュメント通りです。 https
飲食店の課題を解決するかもしれない、この“仕組み”が面白い
飲食店の課題を解決するかもしれない、この“仕組み”が面白い：水曜インタビュー劇場（収入源公演）（2/5 ページ） 関連記事 なぜ「スーツみたいな作業着」をつくって、しかも売れているのか スーツのような作業着「WORK WEAR SUIT（ワークウェアスーツ）」が売れている。製造しているのはアパレルメーカーでもなく、作業着メーカーでもない。水道工事などを行っている会社がつくったわけだが、なぜこのような商品を開発したのか。その狙いを聞いたところ……。 なぜ伊藤忠は18年ぶりに「独身寮」を復活させたのか 伊藤忠が18年ぶりに「独身寮」を復活させた。業績低迷を受けて、2000年に社有の寮を売却したのに、なぜこのタイミングで建てたのか。建物は7階建てで、部屋は361室。国内最大級の寮のナカはどうなっているのかというと……。 「男女混合フロア」のあるカプセルホテルが、稼働率90％の理由 渋谷駅から徒歩
DB Online Day 2018 Summer「日本のデータベーススペシャリストは最終的にどこを目指すべきか？」聴講メモ - ぱと隊長日誌
セッションについて DB Online Day 2018 Summer (DB Online Day 2018 Summer) 基調講演 日本のデータベーススペシャリストは最終的にどこを目指すべきか？ の聴講メモです。 講演者は 関 俊洋 さん [株式会社アシスト] です。 自分のメモをベースにまとめています。発言の聞き間違い、解釈違いの可能性があることをご了承ください。 【参考】としている個所は私が挿入しています（補足や参考資料など）。講演者の講演内容ではありませんので、その旨ご了承ください。 資料の公開予定がないということでしたので、当日のスライドに表示されたものと同じような情報を探して紹介しています。 はじめに スペシャリストというより、データベース（以下、DB）に携わっているという立場の方が多いと思われるため、タイトルを変更し「エンジニアがどこを目指すべきか」とした。 【参考】
Wi-Fi経由のみで制御できる開発ボードが日本から発売！ 「obniz」で気軽にIoTハックしてみよう
こんにちは、dotstudioでライターをしているきき（＠kiiiiiki8128）です。 最近では、エンジニアでなくても「IoT」に興味をもつ人が増え、IoT関連イベントへの参加や、IoT初心者向けのWeb記事が多く出されるようになってきました。IoTデバイスの中には、子どもも遊びながらプログラミング学習ができる「ブロックプログラミング」の導入や、クラウド上で簡単に操作できるIoTデバイスも開発されています。 今回は、Wi-Fiに繋げるだけでいつでも・どこでも、操作することができる開発ボード「obniz」を紹介します。 8月4～5日に開催するMaker Faire Tokyoでも販売が予定されているobniz。dotstudioのブログでは、obnizを活用したおもしろハックを紹介しているので、併せてご覧ください！ お腹がなる前にobniz!電子工作初心者がおペコ伝達デバイスをつくってみ
ExcelやPowerPointのような画面でアプリ開発できる「PowerApps」と「Flow」
マイクロソフトは2016年11月、業務アプリを手軽に作成できる開発基盤としてPowerAppsとFlowの提供を開始した。ExcelやPowerPointのような画面操作でアプリを開発できるローコード／ノーコードプラットフォームで、同社では「ビジネスアプリケーションプラットフォーム」と呼んでいる。 「PowerApps、Flow、Power BIは、“デジタルフィードバックループ”を支える基盤として登場しました」と、マイクロソフト エマージングソリューションチーム グローバルブラックベルトの吉田大貴氏は語る。 デジタルフィードバックループとは、サービスを起点に人材と商材と顧客が関係性を持つ中、デジタル化された顧客情報をリアルタイムに収集分析し、さまざまなシステムと連動する仕組みのこと。サービスを改善するには確固たるフィードバックループを作ることが重要だという。 ガートナーの発表によると、2
社内の精鋭たちを集めて3週間でAmazon Goっぽい仕組みを作った | DevelopersIO
渡辺です。 米中で無人コンビニ沸騰 機動力の良さ日本でも - 日経電子版で弊社の取り組みが紹介されました。 筆者が参加した小売り関係者の勉強会では、米中の視察の報告会に加え、アマゾン・ゴーを実際に再現したシステムの体験会があった。 企画した会社は、クラスメソッド（東京・千代田）。アマゾン・ウェブ・サービス（ＡＷＳ）で国内有数の実績をもつシステム会社で、なんと３週間で疑似的な体験システムを完成させた。 本日は、こちらの記事で紹介されたAmazon Goの再現システム（以下、Yokota de Go）について、技術的な部分を紹介します。 なお、このエントリーは、上記2018年7月のデモ時点の実装に基づきます。 また、3週間程度で、試行錯誤しながら、実験をしている段階であることをご理解ください。 Amazon Goに関しては、Amazon Go体験ツアーを参照ください。 発端 ある日、ボスが「A
Serverlessで始めるBacklog API | 株式会社ヌーラボ(Nulab inc.)
Backlogは、ブラウザでの操作のほぼすべての機能をAPIで提供しています。Backlog APIを皆様はご活用してますでしょうか？ヌーラボでも、日頃の業務を自動化するためにBacklog APIをフル活用しています。今回は私の仕事で利用する機会のあったBacklog APIについてご紹介させて頂きます。 Backlogには「ファイル共有」というファイルサーバの機能があります。このファイルサーバーにアップロードされたファイルの一部を、S3(AmazonS3)へ自動的に同期したい、という思いがありました。 この作業をBacklog APIとAWS Lambdaを使って自動化しましたので、今回の記事では、Bakclog APIの設定からAWS Lambdaでのプログラミング、そして、Serverless Frameworkを使った自動デプロイの方法まで詳しくご紹介します。 構成 では今回の仕
AWS Fargateのデプロイパイプライン(Gitlab > S3 > CodePipeline)を構築してみた - エムスリーテックブログ
こんにちは、エムスリーエンジニアの園田です。 この記事はAWS FargateでElixirのコンテンツ配信システムを動かしてみた (実装編) - エムスリーテックブログの続きです。 エムスリーでは医療・ヘルスケアサイト向けのコンテンツ配信システムであるChuoiというサービスを運用しています。先日のポストで、ElasticBeanstalkからFargateに運用を切り替えたことについて書きました。 www.m3tech.blog 今回は前回に引き続きその実装編で、CodePipeline を利用したデプロイパイプラインの構築について書きます。 まずは構成のおさらいです。 デプロイ周りは以下のような構成です。 社内 Gitlab からの CI/CD パイプライン構築 先日の記事で述べたとおり、弊社ではソース管理にオンプレの Gitlab を使っており、 CodeBuild や CodeP
サーバーレスSPAのゲームルールを変える AWS AppSync - アールスリーインスティテュート ｜R3 Institute
公開日：2018-04-06 GitHubのAWS Samples に https://github.com/aws-samples/aws-amplify-graphql というリポジトリがあります。 これは AWS AppSync を用いて作られたフォトアルバム Webアプリで、Cognito User Pools, Federated Identities, Amplify, DynamoDB, S3 がシームレスに統合された React製 single-page application (SPA) です。 Getting Started の項に書かれている手順に沿って、用意されている GraphQLスキーマとマッピングテンプレートを AppSync に設定していけばアプリケーションが動くようになるので、AppSync (GraphQL) のパワフルさを強く感じられるチュートリアルに
AIが声だけでなくディスプレイでもあらゆる情報を教えてくれるAmazonの最新スマートスピーカー「Amazon Echo Spot」レビュー
人工知能Amazon Alexaを搭載したスマートスピーカー「Amazon Echo」シリーズの最新モデルである「Amazon Echo Spot」が2018年7月26日に登場しました。Amazon Echo Spotはこれまでのシリーズ同様、音声でさまざまな操作が可能になっているだけではなく、タッチスクリーンパネルを搭載しているのが大きな特徴です。そんな話題のAmazon Echo Spotがどんなものか、実際に使ってみました。 Amazon | Echo Spot - スクリーン付きスマートスピーカー https://www.amazon.co.jp/dp/B01J6A7CT6/ Amazon Echo Spotのパッケージはこんな感じ。 中箱を開けると、Amazon Echo Spotの丸い本体が目を引きます。 箱の中に入っていたのはAmazon Echo Spotの本体、説明書とA
飲食店の課題を解決するかもしれない、この“仕組み”が面白い
飲食店の課題を解決するかもしれない、この“仕組み”が面白い：水曜インタビュー劇場（収入源公演）（1/5 ページ） 日曜日。オフィス街を歩いていると、気になることがある。平日はスーツ姿のサラリーマンが溢れているので、多くの飲食店が繁盛しているが、休日になるとその光景が一変する。人気店に入っても、客はチラホラなので「大丈夫なのか？ やっていけるのか？」と感じたことがある人も多いのでは。 基本的に、飲食店は営業時間を増やして売り上げアップを狙う。休日に店を開けても集客がそれほど見込めない。それでもスタッフを確保して、収益減を食い止めようとしているところも少なくない。「シャッターを下ろせば、問題は解決するじゃないか」と思われたかもしれないが、休業日も家賃は発生する。こうしたジレンマに対して、「なんとかしなければいけない。でもなにもできない」とイライラしたことがある関係者も多いはずだ。 そんな業界の
iOSにおける半モーダルビューの解釈｜usagimaru
iOS 8の頃より見かけるようになった新しいモーダルビューの形態と、その設計思想、UI としての使われ方について考察します。この新しいモーダルビューのことを私は他のモーダルビューと区別する意味合いで「半モーダルビュー（Semi-Modal View）」と呼んでいますが、実際にガイドライン上でそのような定義がされているわけではありません。「ハーフモーダル」という呼び方も耳にすることがありますが、私は後述の理由からこの呼び方は推奨していません。 今回はパターンとしてあえて区別することで他のモーダルビューとの違いを明確にし、その特徴や仕組み、正しい設計とはどのようにあるべきかを理解しやすくすることを目指します。なお、2019年版のHIG（すなわちiOS 13対応版）からはモーダルビューのスタイルの一つとして Sheet の記述が現れるようになりましたが、今回は Sheet スタイルに限らずもう少
正しく知れば怖くない GDPRの基本と対策のポイントをIIJが解説
正しく知れば怖くない GDPRの基本と対策のポイントをIIJが解説：“日本が知らない”海外のIT（番外編）（1/5 ページ） 2018年5月25日、欧州連合（EU）がGDPR（一般データ保護規則）を施行した。General Data Protection Regulationの頭文字をとってGDPRと呼ばれるこの法律は、企業による個人データの取得利用を規制するもので、16年に欧州議会で可決され、2年間の猶予期間を経て、今回の施行となった。 全99条の条文と173項目の前文で構成。EU域外へのデータ移転を原則認めない、規約に違反すると制裁金2000万ユーロなど、センセーショナルな部分はよく聞こえてくるが、なぜビジネス活動に影響するのか、そもそもGDPRとは何か、なぜ立法されたかなどの背景はなかなか見えにくい。 さらに、対象は企業だけなのか、そこには個人事業も含まれるのか、企業の規模ではなくビ
技術者のための線形代数学 大学の基礎数学を本気で学ぶ（中井悦司）｜翔泳社の本
「技術者のための」と冠した数学書の第2弾――線形代数学 「機械学習を支える『数学』をもう一度しっかりと勉強したい」方々に向け、理工系の大学生が学ぶ『線形代数学』を基礎から解説した書籍です。 ■本書の特徴 ・機械学習を支える大学数学の3分野のうち、線形代数学を順序立てて学習できる（既刊『技術者のための基礎解析学』、続刊予定『技術者のための確率統計学』との姉妹編。これら3冊で大学数学の3分野を学ぶことができる） ・定義と定理をもとに、厳密に展開される議論を丁寧に説明している（再入門者に理解しやすい） ・各章の最後に理解を深めるための演習問題を用意 ■対象読者 ・大学1、2年のころに学んだ数学をもう一度、基礎から勉強したいエンジニア ※理系の高校数学の知識が前提となります。理工系の大学1、2年生が新規に学ぶ教科書としても利用いただけます。 線形代数学がテーマの本書では、実数ベクトルに限定して、「
米Microsoft、「TypeScript 3.0」を公開 | OSDN Magazine
米MicrosoftのTypeScript開発チームは7月30日、最新のメジャーリリースとなる「TypeScript 3.0」を公開した。プロジェクト参照などの機能が導入されている。 TypeScriptはJavaScriptをベースに拡張を加えたプログラミング言語。JavaScriptと互換性があり、JavaScriptが持たない静的型付け機能の追加や文法の拡張が行われている。 TypeScript 3.0は、2016年9月に公開された2系からのメジャーリリースとなる。メジャーリリースだが、後方互換性のない変更は少なくアップグレードは容易としている。 TypeScriptプロジェクトがほかのTypeScriptプロジェクトに依存できるProject References（プロジェクト参照）を導入した。設定ファイルである「tsconfig.json」内でほかのtsconfig.jsonを参
[JS]便利なのが登場！実装はかなり簡単なのに、さまざまなチャートやグラフを実装できるスクリプト -ApexCharts
チャートやグラフを実装するのは面倒、と思われがちですが、そんな人にはこのスクリプトをお勧めします。 div要素一つと外部ファイルを一つ、あとはグラフのデータを設定するだけで、さまざまなチャートやグラフが簡単に実装できてしまう単体のJavaScriptライブラリを紹介します。 レスポンシブ対応で、アニメーションにも対応、カラー変更やグラデーションやパターンにも対応している優れものです。 ApexCharts ApexCharts -GitHub ApexChartsの特徴 ApexChartsのデモ ApexChartsの使い方 ApexChartsの特徴 ApexChartsはシンプルなAPIを使用して、インタラクティブなチャートやビジュアライゼーションを作成するためのモダンJavaScriptのチャート作成ライブラリです。 MITライセンスで、個人でも商用でも無料で利用できます。 レスポ
![[JS]便利なのが登場！実装はかなり簡単なのに、さまざまなチャートやグラフを実装できるスクリプト -ApexCharts](https://cdn-ak-scissors.b.st-hatena.com/image/square/b793c623eb3187e192351b9611f75aea908bbf46/height=288;version=1;width=512/https%3A%2F%2Fcoliss.com%2Fwp-content%2Fuploads-201803%2F2018080101-02.png)
結構マジメにVimのテスト環境を整えてみる(Python用) - Qiita
概要 現在に至るまで、UnitTestの実行はvim-quickrunかC-Zで戻ってからターミナル叩いてた。 現状だとVimでテスト駆動開発するのにつらみがある。 テスト用の設定を作り込むときが来たのだ。 ちな実行するのはPythonのUnitTest 現状の問題点 :QuickRun QuickRunはテスト全体実行しかできない。と思う(テストランナーではないからね) 頑張ればできるのかもしれない。 時間のかかるテストとか遅いテストだと全体実行を何度もするのはつらい。一つのメソッドだけとかサクッとやりたい。 ターミナル実行 ターミナルに戻るのはだるい。 ターミナルでクラス単位やメソッド単位のテストを実行するには、パッケージ階層を打たなきゃいけない。つらい。 QuickFixでRedに飛びたいよね。ターミナルのエラー見る→Vim戻る→ターミナルにエラー見に戻るとか愚行だよね。 :make
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows 10の仮想デスクトップを強化する「SylphyHorn」が「April 2018 Update」に対応／デスクトップごとの壁紙、切り替え通知、アクティブウィンドウの移動などをサポート
ニコ生でVR配信に3Dアイテムを送れる「実験放送」開始。nicocasアプリも
[超簡単！]kubernetesでオートスケール - Qiita![[超簡単！]kubernetesでオートスケール - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e8851fa680b265832340442cdf5b4523f4c1854/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU4JUI2JTg1JUU3JUIwJUExJUU1JThEJTk4JUVGJUJDJTgxJTVEa3ViZXJuZXRlcyVFMyU4MSVBNyVFMyU4MiVBQSVFMyU4MyVCQyVFMyU4MyU4OCVFMyU4MiVCOSVFMyU4MiVCMSVFMyU4MyVCQyVFMyU4MyVBQiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MGQ5Y2RiYzdjZDY3NTJiNDdmZTZjYzI5MDNlOWMxNzE%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBtb25rZXlkYWljaGFuJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wZmU2OTRjNzA1MDI5MmIxZjlkZGRiNGY0MzViNjg0MQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D2555c7703cb3514f7a4731e04157d2ed)
【やじうまPC Watch】 トリプルディスプレイにSnapdragon 855×2搭載のスマホ「HubblePhone」
