スマートニュース株式会社 エンジニア 坂本 卓巳 Amazon EMR / Hive / Spark / Presto / Fluentd / Kinesis / DynamoDB / PipelineDB / Airflow / Chartio / Datadog といった、様々な AWS サービス / SaaS / OSS を組み合わせて、スマートニュースが AWS 上でどのようにデータ分析基盤を運用しているかについてお話いたします。
大平です。今回はさだまさしネタは特に無しです。 先日、サービスのクローラーで使用しているID生成器について置き換えを行いました。非常に地味な話になりますが、本記事ではその辺の内幕の話をしたいと思います。 ID生成にまつわる苦悩 弊社ゴクロの提供しているSmartNewsは表向きはニュースアプリですが、裏側の仕組みは検索エンジンに近似しています。ユーザーの方々の興味関心や、アクセス傾向をクエリーとし、その内容に応じた話題のニュースを検索結果として返却する、という風に捉えていただくと、なんとなく私が言わんとしている事を想像していただけるかと思います。 SmartNewsはTwitterのつぶやき情報を用いたトレンド分析をベースとしており、話題になっているニュースを選定するためには、大量のTwitter上のtweet、ならびにその中に含まれているURLに対してクロールを行う必要があります。日々配
wireshark_and_http2_over_tls.md HTTP/2 over TLS の通信をダンプする方法 全体の流れ 環境変数 SSLKEYLOGFILE に TLS の鍵をダンプするファイルを指定します ブラウザを起動します Wireshark や tshark に環境変数 SSLKEYLOGFILE に指定したファイルを設定します ブラウザで HTTP/2 通信をおこないます Wireshark や tshark で通信のダンプ内容を確認します 環境変数 SSLKEYLOGFILE SSLKEYLOGFILE はブラウザが TLS 通信時に使用した鍵情報のダンプ先となるファイルパスを指定するための環境変数です。 Chrome および Firefox が対応しています。詳細は以下の MDN のページに記載があります。 NSS Key Log Format Mac で環境変数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く