The maps people use on many of our apps to shop, find jobs, support causes, and more are all powered by OpenStreetMap (OSM). OSM is a community-driven project built by mappers all over the world who contribute and maintain data about roads and locations. The OSM global copy receives up to 5 million changes every day, which means our local copy would quickly become outdated if we didn’t regularly u

Amazon Web Services ブログ 週刊AWS – 2019/9/23週 こんにちは、AWSソリューションアーキテクトの小林です。9月も下旬に入り、徐々に秋らしい雰囲気が強くなってきました。私は秋と言えば食欲の秋だったのですが、今年は心を入れ替えてスポーツの秋にしてみようと計画中です。といってもガッツリと運動するのはしんどいので、毎日続けられるようなジョギングやウォーキングが良さそうだと考えています（スポーツかと言われるとちょっと怪しいですが）。皆さんはどういった秋にするご予定でしょうか？ さて、それでは先週のアップデートを振り返ってみましょう。 2019年9月23日週の主要なアップデート 9/23(月) AWS Lambda Now Supports Custom Batch Window for Kinesis and DynamoDB Event Sources Kine

1on1.md これは私が支援先に提供した、1 on 1 に関するノウハウや、思いを述べたドキュメントを元にしています。企業の枠を超えて共有したいことが多いので、ここに貼ります。 概要 世の中には 1 on 1 の本があるようですが、とりあえずは『1 on 1 で 何を話すのか？ マネージャ/ソフトウェアエンジニアの立場から - サンフランシスコではたらくソフトウェアエンジニア』を読んでもらえればよいと思います (higepon さんに感謝!)。 1 on 1 は 1 対 1 で話すミーティングで、基本定期的にやります。上長とメンバーとの間で行うのが基本です。 グループ/チームでのミーティングを補完するためのものです。 みんなの前では話しづらい、込み入った内容を話します。 チームとして行っているタスクの進捗確認に 1 on 1 を使うのは避けましょう。それは 1 on 1 の目的に沿ってい

We organized Japanese financial reports to encourage applying NLP techniques to financial analytics. You can download… Part4からずいぶん間が空きましたが、その間にはデータ公開にまつわるもろもろの調整などがあったという。 Airflowを採用しなかった理由最終的にAirflowを採用しなかった理由は2つあります。 運用コスト開発コスト運用コスト Part3でも触れましたが、Airflowのホスティングは結構高くつきます。ホスティングサービスを提供しているのはGCPのCloud ComposerとAstronomerの2つが主です。Astronomerの場合は月額$100まで抑えることが可能ですが、固定で毎月かかるとなるとそこそこの金額です。 スケジューラーは、スケジュー

Amazon Web Services ブログ AWS Batch および Amazon SageMaker を使用したマルチリージョンサーバーレス分散型トレーニング AWS でグローバル展開を築き、スケールにアクセスすることは、数多くのベストプラクティスの 1 つです。そのような規模とデータの効率的な利用 (パフォーマンスとコストの両方) を実現するアーキテクチャを作成することで、重要なアクセスが規模であることを確認できます。たとえば、自動運転車両 (AV) の開発では、データは運転キャンペーンにローカルで地理的に獲得されます。機械学習 (ML) から生成データと同じ AWS リージョンでの計算パイプライン実行することに至るまで、関連性があり、より効率的です。 さらに工夫するために、たとえば、組織が米国のサンフランシスコで運転キャンペーンの 4K ビデオデータを獲得したとします。並行して

Amazon Web Services ブログ 週刊AWS – 2019/9/16週 みなさん、こんにちは！ソリューションアーキテクトの下佐粉です。 今週も週刊AWSをお届けします。東京は少しずつですが秋という感じの気候になってきました。9月は連休が多いので嬉しい月なのですが、AWSのサービスは日本の連休には関係なく毎日のように新機能、新サービスが追加されています。 それでは、先週の主なアップデートについて振り返っていきましょう。 2019年9月16日週の主要なアップデート 9/16(月) Amazon EKS がクラスターへのタグ付けをサポート マネージドKubernetesサービスであるEKSでクラスターにAWS タグを付けられるようになりました。タグは、任意のキーバリュー型のメタデータで、このタグで用途を分類したり、タグ単位でIAMでのアクセス制御を実現することが可能です。 Amaz

Amazon Web Services ブログ コンテナストレージに Amazon EFS を使用するためのベストプラクティス 数万社におよぶ企業がペタバイト規模のデータを Amazon Elastic File System (Amazon EFS) に保存しており、その多くが EFS を使ってコンテナ化したアプリケーションのデータです。Amazon EFS ファイルシステムは、Amazon Elastic Container Service (ECS) と Elastic Kubernetes Service (EKS) の両方で起動したコンテナに接続できます。Amazon EFS はコンテナインフラストラクチャと同様に、データの追加や削除の際に設定が簡単でかつ柔軟なスケーリングが可能な完全マネージド型のサービスであるため、コンテナストレージにうってつけの選択肢です。さらに、ペタバイト

はじめに コードを綺麗に描く方法やプログラミングの勉強方法や考え方など、 個人的にとても為になって感謝している記事をまとめてみました。 コード関連 良いコードを書く技術（まとめ） Naming -名前付け- ソースコードを汚くするには？ ダメエンジニアの8つの特徴 勉強方法関連 新しく言語を学ぶときに心がけていること 深夜だから個人的なプログラミング学習方法を書くよ！ 【まつもとゆきひろ氏　特別講演】20代エンジニアのためのプログラマー勉強法のまとめ 2019/3/30 知識が無いからこそコードレビューで指摘をしよう 考え方関連 レガシープロジェクトを引き継いだ時、最初にするべき７つのこと ハッピーな開発🎉をするための、プロジェクトにおける要件定義の役割 [初心者]オブジェクト指向でなぜつくるのか ビルドとデプロイとリリースの違いについて AWS (下準備編)世界一丁寧なAWS解説。EC

昔書こうとしてイマイチしっくり来ず放置していた話。 プロジェクトが上手く行っているか、上手く行っていないか。 その人の行動が正しいか、正しくないか。 などというのは、一意に決まらないものです。 プロジェクトには非常に多くの評価軸があるため、人や案件によって「正しさ」が全く違ってきます。 エンジニアのタイプ 社会派タイプ 事業家タイプ 解決思考タイプ 職業人タイプ ものづくりタイプ 技術好きタイプ 科学者タイプ 「素晴らしい技術が発表されました」に対する反応 主な生息域 どのようにタイプが決定されるか 話が合う相手 締め こういう点はフリーランスのほうが感じているのかもしれません。 30代正社員となれば、経験社数はせいぜい1〜3社と言ったところでしょうが、フリーランスになると取引する会社は二桁に及んだりします。 二桁も会社を経験したら法則性が見えてくるのかと思うのですが、価値観は会社や人によ

倉庫のシェアリングサービス『souco』（以下souco）を運営する物流ベンチャーの株式会社souco（本社：東京都千代田区、代表取締役：中原久根人、以下souco社）は、世界の物流スタートアップ企業500社をピックアップし、カオスマップとして提供を開始しました。 メールアドレス等簡単なご登録で、どなたでもダウンロードいただけます。 ダウンロードサイトURL： https://share.hsforms.com/1lomJJk0PT1KlqtaslbAc0gbn5yr カオスマップカテゴリと該当社数 カテゴリ 社数

2020年に国内でも商用サービスがスタートする予定の次世代移動通信システム「5G」。スマートフォンなどモバイルでの活用をはじめ、さまざまな機器がIoT技術でつながる時代が到来する。自動車業界では、コネクテッドサービスが本格化するほか、自動運転技術の確立にも大きく貢献することになる。 期待が膨らむ5Gだが、世界ではすでに5Gの次の世代「6G」を見据えた動きが出始めている。現時点では当然未知の領域だが、将来的には技術が確立・実現することが間違いのない通信技術だ。 今回は5G実現による影響をおさらいしながら、未知の6Gが持つ可能性や現在の開発状況などをまとめてみた。 ■まず、自動運転業界で「5G」が待たれる理由とは？第5世代移動通信システム「5G」とは？第5世代「5G」はすでに各種実証が始まっており、国内でも東京オリンピック・パラリンピックが開催される2020年に商用化が始まる見込みだ。 通信速

今週はIVS CTOで金沢に来ています。私はもうCTOじゃないんだけど、ex-CTO枠っていうのがあってそれでの参加です。 昨日は前夜祭の二次会で居酒屋に行ったのですが、その時に「CTOの役割が広すぎてわけがわからん」という話があり、Amazon/AWS CTOのWerner Vogelsが2007年に同じような話をブログに書いていてその話をちょっとしたのでここでまとめを。 1. Infrastructure Manager ITインフラやセキュリティ、アプリ開発や保守に対して責任を持ちます。一般企業の情シスの統括みたいな役割です。 IT系スタートアップではこの役割でCTOと呼ばれることはあまりないでしょう。 2. Technology Visionary and Operations Manager ビジネス戦略を元に技術ビジョンを持って組み立てて実装します。アーキテクトに近い役割になり

Django The web framework for perfectionists with deadlines. Menu

広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率

Amazon Web Services ブログ AWS System Manager Sessions Manager を使用した新しい機能 – Port Forwarding 昨今不変のインフラストラクチャアーキテクチャパターンを採用しているお客様が増えており、更新ごとにインフラストラクチャ全体を再構築およびリデプロイしています。SSH や RDP を介してサーバーに接続して、設定を更新したり、ソフトウェアの更新をデプロイしたりすることはほとんどありません。ただし、既存のアプリケーションをクラウドに移行する場合、Amazon Elastic Compute Cloud (EC2) インスタンスに接続して、さまざまな管理タスクまたは運用タスクを実行するのが一般的です。攻撃にさらされる面を減らすために、AWS では、ジャンプホストとも呼ばれる Bastion ホストを使用することをお勧めしま

Flyweight DDD 軽量DDDを避けつつ軽量(Flyweight)にDDDを導入するためのアーキテクチャです。

「DeNAのモノづくりをデータによって支え、価値（デライト）を創出する」。自らの部署の役割をそう定義するのは、2019年6月、システム本部内に新設された「分析推進部」の部長に就任した半田 豊和（はんだ とよかず）。 新たな事業領域への挑戦が加速しているDeNAでは、異なる事業ドメイン/事業フェーズを支えるデータ分析組織が求められています。 新設の分析推進部が、DeNAのモノづくりにどのような価値をもたらそうとしているのか。 CTOのnekokakこと小林 篤（こばやし あつし）が、半田の思いを掘り下げます。 分析推進部は何を「推進する」のか？ 小林 篤（以下、nekokak）：今回の「モノづくり対談」は、新設の分析推進部がこれからのDeNAにどのような価値をもたらしていくのかを話していきたいと思います。 半田さんは、2010年にDeNAに入社してから「分析」を軸に、いろいろな仕事に携わって

「Amazon Forecast」が正式リリース。過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス Amazon Forecastは、なんらかの時系列データおよびその時系列データに影響を与えたであろう周辺情報、例えばある店舗の売り上げの時系列データおよび、その店舗の場所の天候、気温、交通量、曜日や祝祭日など売り上げに影響すると思われる周辺情報を与えると、予測に必要な機械学習モデルの構築、アルゴリズムの選定、モデルの正確性の検証や改善などを全て自動で実行し、売り上げに関する予測のデータを出力してくれるというサービスです。 一般に、機械学習を活用するには、学習用のデータと検証用のデータを用意し、学習用のデータから求められた予測結果を検証用データで検証して正確性を評価し、より適切なモデルやアルゴリズムを選択する、といった作業が発生します。 Amazon Fo

私は Google のソフトウェアエンジニアとして働いている。とても良い待遇で満足している。 Google の待遇が良いことはイメージとしては知られていると思うが、実際どれくらいの額なのかということはあまり知られていないように思う。そして、出回っている情報には間違っているものも多い。そこで、正しい情報を知ってもらいたいと思い、自分の給料の推移をここに記すことにした。なぜそのようなことをするかは後に述べる。 まず、Google の給料について説明するときは、以下の三要素が重要になる。「基本給」「ボーナス」「RSU」である。このうち、基本給とボーナスは一般的だが、RSU はそうではないので、説明する。例えば RSU を100万円受け取るとする。そうすると、「その時点での100万円分の Google 株を、その次の年から四年間かけて受け取る権利（ただし Google に在籍していることが条件）」