AWS - Athenaで先週分がJSTで取れるビューを作る - Qiita
良いやり方を教えていただきました https://qiita.com/sakamossan/items/adc8668038226a65436b#comment-bbfef1ec7866ff507f3a week_of_year で取りたいならもう少し楽だけど、昨日からの直近7日間が欲しい たとえば日本時間の8月4日にクエリしたら (2018-07-28 < 2018-08-03) の範囲が欲しい テーブルのパーティションが (year, month, day) で切られているのでそれを使いたい ミリ秒単位のタイムスタンプが入っているカラム(timestamp)がある CREATE VIEW v AS SELECT t.*, from_unixtime(t.timestamp / 1000) utc_timestamp FROM t WHERE ( ( year = year(curren
Amazon Athena RegexSerDe を利用して ALB ログを探索する(2018年8月版) | DevelopersIO
はじめに 今回はALBログの最新フォーマットに対応した探索方法をご紹介します。一年前にAmazon Athena RegexSerDe を利用して ALB ログを探索するというブログでALB ログを探索する方法を紹介しましたが、最新のALB ログが探索できないという報告を受けました。確認したところログフォーマット最後に以下の6項目追加されていました。 domain_name chosen_cert_arn matched_rule_priority request_creation_time actions_executed redirect_url 執筆時点では、追加されたフィールドの情報は、以下の英語マニュアルにのみの記載となりますのでご注意ください。 Access Logs for Your Application Load Balancer - Access Log Entries
Athena を使用して Load Balancer のログを分析する
簡単な説明 Elastic Load Balancing では、デフォルトでアクセスログはアクティブではありません。アクセスログを有効にするには、Amazon Simple Storage Service (Amazon S3) バケットを指定する必要があります。Athena は Application Load Balancer と Classic Load Balancer のアクセスログを分析し、ログを Amazon S3 バケットに保存します。 注: この解決策は Application Load Balancer にのみ適用されます。 解決策 Application Load Balancer ログのデータベースとテーブルを作成する 次の手順を実行します。 Athena コンソールを開きます。 クエリエディタで次のコマンドを実行して、データベースを作成します。 CREATE DA
[TIPS] ELB のアクセスログのタイムスタンプを QuickSight で Date タイプとして利用する | DevelopersIO
こんにちは、藤本です。 先日、Amazon Athena のクエリ結果を SPICE にインポートして、 QuickSight で可視化するというブログをエントリしました。その時に得られた知見をもう一つご紹介します。 タイトルが何を言っているのか分かりづらいですが、、、ELB のアクセスログのタイムスタンプはフォーマット上、Athena の Timestamp にも、QuickSight の Date タイプにも適合しません。でも、グラフ表示上、Date として扱いたいです。タイムスタンプの文字列でも、Athena の場合は、timestamp like '2017-01-01T10:%'というようなクエリで、QuickSight の場合は、Start with フィルターである程度の絞り込みはできますが、柔軟なクエリをしたい場合に複雑なクエリや、細かいフィルターの指定が必要となります。何
![[TIPS] ELB のアクセスログのタイムスタンプを QuickSight で Date タイプとして利用する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2fa55da21da59730bd35238aa38fac0331bb63ac/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F06%2Fquicksight.png)
Amazon AthenaでCloudFrontログを解析しようとしたらエラく苦労した話 - ミッションたぶんPossible
この2日間、さんざん悩んだので、メモメモ。 Amazon AthenaはS3に格納したログファイルとかを、まるでRDBのようにSQLで検索・分析できる、いわゆるサーバレスなサービスです。 このAmazon Athenaで、S3→CloudFront経由でダウンロードしたファイルのアクセス数をカウントするような簡単な分析を行いたい、というのが今回の要件。CloudFrontはS3にgzip形式(拡張子:「.gz」)でアクセスログを吐くので、こいつを無加工(gzipを回答したりファイル群を結合したりせずに)で検索できるあたりがAmazon Athenaとても便利なところです。 Amazon Athenaは割と最近リリースされたばかり(「AWS re:Invent 2016」で発表)なので、社内に知見もなく、Webの記事を参考に構築を試みました。……がこれがどエラい苦労しました。 参考にすべきも
鉄道の新線･延伸で｢化ける｣首都圏の街は？
2005年の開業以来、一気に人気エリアとなったつくばエクスプレス（TX）沿線に代表されるように、鉄道の新路線が地域の発展に与える影響は絶大だ。現在も多数の延伸・新線構想が存在する首都圏。延びる鉄道に合わせて「伸びる」街はどこか。 首都圏の鉄道新線計画は、基本的には国土交通省の交通政策審議会が答申した整備方針に基づいて進められている。2016年の答申に盛り込まれたのは24路線。これらの路線計画を引き合いに出し、将来の利便性向上などをセールストークとして使う不動産業者もあるようだ。 だが、「業者の営業ツールとしてはともかく、いつ開業といった具体的な内容が見えてこないと、不動産価格に目立った動きは表れない」と、不動産経済研究所の松田忠司・主任研究員は言う。2016年の答申には、具体的な開業目標年次などは示されていない。 都心直通で変わる相鉄沿線 そんな中、首都圏で実際に工事が進んでいる新路線もあ
相鉄､平成30年間をかけた高架化｢最後の夜｣ | 通勤電車 | 東洋経済オンライン | 経済ニュースの新基準
相模鉄道の長年の悲願である「東京都心直通」。JR線へ乗り入れる「相鉄・JR直通線」の開業が2019年度下期に迫る。 同社は12月13日、新横浜駅（仮称）までの区間の名称が「相鉄新横浜線」に決まったと発表した。一方、東急線に直通する新横浜から都心側は「東急新横浜線」に決定した。JR線と分岐する羽沢横浜国大駅から先が開業するのは2022年度下期の予定だ。 都心直通線の大プロジェクトが進むなか、相鉄が長い年月をかけて取り組んできたもう1つの工事が11月下旬に完成を見た。相鉄本線・星川―天王町（ともに横浜市保土ヶ谷区）間約1.8kmの高架化だ。 同区間の高架化事業は、1時間に最大で40分以上閉じたままの「開かずの踏切」8カ所を含む9つの踏切の解消を目的として2002年度にスタート。2017年3月には複線のうち下り線が高架化され、そして今年11月24日の始発電車から上り線も高架に移行し、開始から約1
マクドナルド危機脱出の裏に31歳女性社員のメール 社長が明かす | AERA dot. (アエラドット)
Ｓａｒａｈ Ｌ．Ｃａｓａｎｏｖａ／１９６５年、カナダ生まれ。９１年マクドナルドカナダ入社。日本マクドナルド社長兼ＣＥＯを務め、３月２７日に同社会長に就任 （ｃ）朝日新聞社この記事の写真をすべて見る 日本マクドナルドホールディングスのトップとして、客離れの危機を乗り越えてきた社長のサラ・カサノバさん。当時の思いや、日本の働く女性への印象などを聞いた。 ＊ ＊ ＊ ──日本マクドナルドホールディングス（HD）の社長に就いて5年がたちました。就任直後の2014年、取引先が使用期限切れ鶏肉を使っていた問題が起き、深刻な客離れが起きました。どんな思いでしたか。 大変な日々でした。その国のお客様の声を聞くことを大事にしてきたので、その機会だと受け止めました。じつは、あの危機を脱するきっかけをくれたのは当時31歳の女性社員でした。ある日、私にメールをくれたのです。「組織の意思決定が遅い。従業員による
首都圏の鉄道で何が進んだのか “接続しなかった”相鉄もとうとう
2019年12月、JR東日本の埼京線と、相模鉄道が相互乗り入れすることになる予定だ。昨年12月のダイヤ改正は相鉄独自で行う最後のダイヤ改正となり、いよいよ相鉄も“どことも接続しない鉄道会社”ではなくなることになった。 現在、首都圏の多くの鉄道会社は相互乗り入れを行っていて、ターミナル駅で乗り換えなくても都心に向かうことができるようになっている。その流れは平成時代を通じて続いてきた。 相鉄は現在、横浜をターミナルにしている。都心に向かいたい人は、まずは横浜まで出て、それからJRや東急に乗り換えるということになっている。 それが12月の「相鉄・JR直通線」の開通で変わる。西谷から相鉄新横浜線に、羽沢横浜国大から東海道貨物線に入り、横須賀線のルートを使って大崎まで。そこからは埼京線で新宿へ。 もちろん、東京駅周辺に行くには従来の横浜経由のほうが便利であるものの、直通ルートの開通により、新宿方面へ
CA、看護師…笑顔を強いられる職場で「燃え尽き症候群」に陥る理由
ＤＯＬ特別レポート 内外の政治や経済、産業、社会問題に及ぶ幅広いテーマを斬新な視点で分析する、取材レポートおよび識者・専門家による特別寄稿。 バックナンバー一覧 会社の昼休み、あなたと同僚は昼食をとるために会社の近くの飲食店に訪れました。 「いらっしゃいませ、何名様でしょうか」 そんな挨拶とともに店員Ａさんに迎えられ、窓際のテーブル席へと案内されます。このとき、店員Ａさんはにこやかな笑顔と明るい声で接客をしてくれました。初めて訪れた店でしたが日替わりメニューのランチもおいしく、あなたは同僚と楽しい時間を過ごすことができました。 もし同じ場面で、店員Ａさんが、無愛想でニコリともしない態度であったなら、あなたはどんなふうに感じたでしょう。「なんだか感じ悪いな」「この店は大丈夫だろうか」などと不満に思ってしまうのではないでしょうか。 極端なことを言えば、店員Ａさんの接客態度によって、その店のサー
消えたシフトの「O／D」ボタン 代わりに増えた「S」や「B」の意味とは
かつては多くのAT車のシフトノブには「O/D」というボタンがありました。ところが、最近のクルマでは、「O/D」というボタンはすっかり少数派になっています。代わりに増えてきたのが「S」や「B」というシフトポジションです。いったいどのような理由なのでしょうか。 すっかり少数派の「O/D」ボタンなぜ消えた？ かつては多くのAT車のシフトノブには「O/D」というボタンがありました。「O/D」とは「オーバードライブ」の略で、このボタンを押すことで、オートマチック・トランスミッションの最高の変速ギアである「オーバードライブ・ギア」を使えなくすることができました。 これは「オーバードライブ・ギア」を使わない＝1速低いギアを使うことで、長い下り坂などでエンジン・ブレーキを強く効かせたり、エンジン回転を高く保ってキビキビと走らせることを狙うものでした。 ところが、最近のクルマでは、「O/D」というボタンはす
なぜ売れる？ 日産「ノート」に搭載される「e-POWER」は何が凄いのか
ここ数年、国内の販売台数では、トヨタ「プリウス」「アクア」、日産「ノート」「セレナ」が上位争いをしていました。2018年では、日産「ノート」が初の首位を獲得します。なぜ、日産「ノート」はここまで売れるのでしょうか。 普通車販売台数No.1の日産「ノート」とは いま最も人気のクルマといっても過言ではない、日産「ノート」。2018年の年間販売台数ランキング（軽自動車を除く）では、トヨタ「プリウス」「アクア」を抑えて首位に立ちました。 なぜ、これほどまで日産「ノート」は売れるのでしょうか。 現行モデルは2代目となり、2012年に登場しています。発売当初もハッチバック型のコンパクトカーとして、日産のなかでも売れ筋のモデルでした。 その後、大きなターニングポイントといえるのが、2016年11月のマイナーチェンジで、電動パワートレイン「e-POWER」が追加されたことです。 従来までのハイブリッド車と
伊藤忠vsデサントの大義なきTOB、成立確実でも残る感情的なしこり
ＤＯＬ特別レポート 内外の政治や経済、産業、社会問題に及ぶ幅広いテーマを斬新な視点で分析する、取材レポートおよび識者・専門家による特別寄稿。 バックナンバー一覧 伊藤忠は1月末、持ち分法適用会社でスポーツ用品大手のデサントに対し、敵対的ＴＯＢ（株式公開買い付け）の実施を決定、今日（3月14日）その期限を迎える。これが成立すれば日本では実に8年ぶり、大手企業同士では初めてのことだ。その期限を前に、両社は水面下でさまざまなバトルを繰り広げていた。（ダイヤモンド・オンライン副編集長 田島靖久） 臨時株主総会請求を ちらつかせ決断迫る伊藤忠 デサントを相手に異例の敵対的ＴＯＢ実施に踏み切った伊藤忠が、買付期間の締め切りである今日（3月14日）を前に動き始めている。関係者の話を総合すると、早ければ締め切り翌々日の16日にも臨時株主総会の開催を請求するとの情報があるからだ。 デサントの定時株主総会は6
花粉症患者が間違えている薬の使い方！8割の人は1種類だけではダメ
後藤 穣 日本医科大学耳鼻咽喉科学教室准教授 1991年日本医科大学卒業。日本医科大学千葉北総病院医局長、日本医科大学耳鼻咽喉科学講師などを経て、2008年9月～2010年6月まで日本耳鼻咽喉科学会千葉県地方部会理事を務める。2010年7月より日本医科大学附属病院復帰。2011年日本医科大学耳鼻咽喉科学准教授、2013年日本医科大学多摩永山病院耳鼻咽喉科部長、2014年日本医科大学多摩永山病院教授、2018年8月より現職 ――マスクをつけ、室内に花粉を入れないように心掛け、薬も飲んでいる。それなのに花粉症の症状に苦しむのは、どうしてなのでしょうか？ 「薬が効かない・効き目が不十分」とおっしゃる患者さんの話をよく聞くと、たいていの方は、薬を適切に処方されていない、あるいは薬を適切に使えていません。両方に当てはまる患者さんもかなりいます。 昨年4月にも皮膚に貼る新しいタイプのアレルギー性鼻炎治
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
正規表現をテスト・可視化できるサイト - Qiita
コピペで使えるELBのアクセスログ解析による事象分析 (ShellScript, Athena) - Qiita