Auroraを活用してAWS Glueでデータ分析機能を構築した話 - techtekt
ベネッセ i-キャリアの小島です。 dodaキャンパスでは、AWS AthenaやQuickSightを利用して、日々データ分析活用を行っていますが、 今回は、Auroraを活用して、AWS Glueでデータ分析機能を構築しました。 その際に選定したアーキテクトとその理由を中心にお話させていただきたいと思います。 背景 dodaキャンパスでは現在、以下のサービスを用いてデータを取り扱っています。 DynamoDB サービスのデータ管理として利用 Athena SQLを用いたデータ分析に利用 QuickSight AthenaをデータソースとしたBIツールとして利用 今回、QuickSightで実行しているデータ分析のような機能を法人ユーザーにも提供することになりました。 要件は以下です 前日までの分析データのためデータの更新は1日1回でよい Readは大量かつ高速であることが求められる グ
さくらインターネットの一部サービスで障害 影響範囲と内容は調査中【復旧済み】
さくらインターネットは1月17日午前10時45分に、さくらのレンタルサーバとクラウドの一部に障害が発生していると発表した。 同社の公式Twitterアカウントによると、IoTプラットフォームである「さくらのセキュアモバイルコネクト」と「sakura.io」の一部にも障害が発生している他、同社サービスの「メンテナンス・障害情報」にもつながりにくくなっていると案内している。 同社は午前11時4分時点で、障害の影響範囲と内容は調査中と説明している。 追記（午後3時）一部サービスと障害情報ページが復旧 さくらインターネットは、午後2時30分時点で「さくらのセキュアモバイルコネクト」と「sakura.io」、「さくらのVPS for Windows」の一部に発生していた障害の復旧を発表した。また「午前10時30分頃から午後2時10分頃まで障害情報が正常に表示されなかった」として「メンテナンス・障害情
(随時更新)メンバー30人以下くらいの副業もいるチームの社内セキュリティについて - Qiita
この記事では、以下のようなチームを想定して、お金と手間をできるだけかけずにそこそこセキュリティを向上させることをまとめようと考えています。そんなんじゃだめだ！とか、こういう場合は漏れませんか？というコメント大歓迎です。 想定するチーム 営業やCS、マーケの人など全職種含めると30人前後あるいはそれ以下で、Webサービス（アプリ含む）開発を行っている 副業人材も多く、半数のメンバーは会社支給でないマシンを使っている それらのマシンは他社の業務でも使用されている Macが多めだがWindowsもいる 基本的に業務データはクラウド上にあり、PCローカルにあるのは開発途中のデータ、Biz/バックオフィス系のドキュメント、重たいデザイン系データ程度。自社データセンターや、オフィスネットワークでしかアクセスできないサーバはない。 メインの業務ツールはGoogle WorkspaceとSlackとGit
社内のSlack通知アプリをRustで実装した - STORES Product Blog
データチームの@komi_edtr_1230です。 突然ですが、heyがメインで使ってるプログラミング言語は何か知っていますでしょうか？ heyはECと決済、予約など複数事業の事業を展開しているのですが、ECと予約はRuby (+ Rails)で決済はJavaを使っています。 また、アカウント共通基盤ではGoを使っています。 今回データチームでは事業成績を日次でSlackに通知してくれるアプリをRustで開発しました。 この記事ではどのようにして開発を進めたのか、ツラいポイントはなんだったか、何が良かったかなどについてまとめます。 何を作ったのか 今回作ったSlackアプリはどのような要件を抱えていたかというと、 様々な項目についてのデータを取得 Slackに投稿できるようJSONを整形 日次で稼働する(CRON Job) というような具合でした。 現在heyのSlackでは、以下のように
リモートワークでZoomとSlackを使い分ける基準/Microsoftの大規模調査を参考に
※注意 Slackを電話と同等の同期ツールとして扱ってはいけません。 Slackのビデオ通話機能は同期ツールですが、通常のチャットは非同期ツールです。 また、SlackをTeams,Zoom等の同期ツールの補助的なものとして扱ってはいけません。 では、原文を引用して確認していきます。 👉 「Teams/Zoom、Slack、メールを用途で分けていますか？」 引用（＋翻訳） Strong tie (強い絆) / Weak tie (弱い絆) Two people connected by a strong tie can often transfer information more easily (as they are more likely to share a common perspective), to trust one another, to cooperate with
機密データのGitHubへの意図しないアップロードを防ぐ「Deadshot」がオープンソースで公開
Deadshotは、すべてのコミットで実行され、正規表現を使用してプルリクエストの差分をスキャンし、重要なものを探す。重要なものが見つかった場合には、プルリクエストにコメントを追加して、指定されたSlackチャネルに通知することも可能で、特定された機密に対処することなくプルリクエストがマージされた場合には、セキュリティチームのキューに、Jiraチケットを作成する。 PythonベースのFlask-Celery-Redisマルチコンテナアプリケーションであり、GitHubアプリとしてインストールされ、インストール先のリポジトリのメインブランチに対して作成された、すべてのプルリクエストで実行される。 Flaskコンテナは、プルリクエストのペイロードを受信するためのAPIルートを公開し、プルリクエストのペイロードが受信されるとサービスはペイロードをRedisキューに転送する。また、Celeryコ
JSer.info 500回目の更新 - Slackワークスペース作成、コラボレータ募集、10年に向けて
JSer.infoの500回記念の記事です。 目次 JSer.info 500回更新しました 🎉 Slackワークスペースを作りました ここから参加できます 雑談したり、編集作業を載せたり、編集後記を載せたりする場所です コラボレータを募集しています Slackベースでデータの更新する方法を用意したので、JSer.infoの更新に関わりたい人を募集しています 10年に向けて JSer.infoに最初の記事を投稿してからもう500回目です。 日数にすると3500日ほど、毎週更新し続けています。 あらためてJSer.infoの目的を振り返えると次のようなことが書かれています。 改めて、このサイトは言語問わないJavaScriptの情報を紹介するサイトです。しかし、真の目的はJavaScriptの情報を”紹介”ではなく”知ってもらう”事にあるため、継続的な活動が必要となるでしょう。 しかし、よ
Lambdaのログレベル方針について、チームで話して明文化してみた | DevelopersIO
Lambdaを実装しているとき、ふと「ログのレベルって決めてたっけ？」となりました。 個人の基準はあってもチームとしては曖昧だったので（開発者のさじ加減）、チームで話し合って明文化してみました。 前提 対象はLambdaのログです ERRORレベルのログがあるとき、Slackに通知する仕組みがあります この通知を元に開発者が確認を行い、必要に応じて対処します AWSの環境は3つです development staging production ログを残す理由 Lambdaの処理で何かあったことを認識するため 何らかの対応（暫定・恒久）を行うとき、参考情報とするため CloudWatch AlarmでLambdaのエラー監視をすればLambdaの実行が失敗したことは分かりますが、適切なログが無ければ、「何をしようとして失敗したのか？」「その時のパラメータは何か？」などが分かりません。 また、
Slack、日本国内限定でデータ保管を可能に
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Slack Japanは3月5日、東京リージョンでユーザーがデータの保管場所を制御できる「データレジデンシー」機能の提供を開始したことを明らかにした。従来は主なデータが米国に保管されていたが、今後は日本国内に限定したデータ保管が可能になる。 同機能は、金融や行政、医療など、データセキュリティに関する規制が厳しい業界での利用に対応するもの。プラスプランとEnterprise Gridのユーザーが利用できる。米国以外では日本（東京）やドイツ（フランクフルト）とフランス（パリ）で利用でき、今後は英国とオーストラリアのリージョンでも提供されるという。 同機能の対象となるデータは、ユーザーがSlackで生成したメッセージ、ポスト、ファイルや検索な
どのようにデータ基盤を作ったのか？「俺の考えた最強のデータ基盤」は使われない
どのようにデータ基盤を作ったのか？「俺の考えた最強のデータ基盤」は使われない：開発現場に“データ文化”を浸透させる「データ基盤」大解剖（3）（1/2 ページ） 「ゼクシィ縁結び・恋結び」の開発現場において、筆者が実際に行ったことを題材として、「データ基盤」の構築事例を紹介する連載。今回は、「データ基盤」の開発プロセスについてお伝えします。 「使われるデータ基盤」を構築するために筆者が取り組んだ試行錯誤を紹介する本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』。前回はデータパイプラインを支える基盤システム設計について解説しました。第3回となる今回は開発プロセスについてお伝えします。 なお、技術要素としてはPythonやBigQuery、ツールとしてGitHubやJIRAを扱いますが、他の手段でも代替可能な内容です。細部にとらわれずにご自身の担当する業務や組織に当てはめながら
Slack、全ユーザーが接続できなくなった大規模障害の原因はバッチ処理にバグがあったためと報告
チャットサービスを提供するSlackは、太平洋夏時間の6月27日午前6時30分（日本時間6月27日午後10時30分）頃から約3時間、全てのユーザーでSlackが利用できなくなる深刻な障害に見舞われました。 同社はその後、障害についての報告をステータスページに掲載。障害の原因が、データのバッチ処理に含まれていたバグであったことを明らかにしました。 同社の報告の一部を引用します。 On June 27th (yesterday) between 6:33 a.m. and 9:49 a.m. PDT Slack experienced an outage where people could not connect to their workspaces. The network problems were caused by a bug included in an offline batc
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ドキュメントを改善するためのはじめの一歩
スーファミのサテラビューでSlack受信した動画が公開。お店の買い物リストに新着メッセージを表示 - Engadget 日本版