電通デジタルでSite Reliability Engineer(SRE)をしている齋藤です。 本記事は電通デジタルアドベントカレンダー2021 8日目の記事になります。 本記事ではGitHub Actionsの利用遍歴と認証情報管理について、弊社の自社開発部門で検討した内容をご紹介させていただきます。 2021年末時点のGitHub Actionsパブリッククラウド認証情報管理ベストプラクティス結論から書くと本記事執筆時点(2021年11月)では弊社が検討した内容は横に置いて、多くのケースで2021年10月末のGitHub社のイベントで公表されたGitHub Actions Open ID Connect(プレスリリース, ドキュメント)を利用するのがよいと思います。 公式から図を引用すると GitHub Actions Open ID Connect FlowGitHub OIDC p

電通デジタルアドベントカレンダー2021 6日目の記事です。 はじめにこんにちは。電通デジタル開発部エンジニアの石原です。 データの分析基盤として、大規模データを扱えて処理が高速なBigQueryはとても便利ですよね。弊社でも日々活用しています。 特にBigQueryで中間テーブルを日々更新したり、分析用のテーブルを定期的に最新化するために、クエリのスケジューリング設定をよく使用しています。 この記事では、bqコマンドを使用してスケジューリング設定を行う際に、特にサービスアカウントを利用し、かつ特定の時間を指定する方法をご紹介します。 よくあるユースケースだと思いますが、Google Cloudの公式ドキュメントの該当ページには詳しく載っていないユースケース（2021年11月時点）なので、ぜひ皆さんの参考になればと思います！ 特に、これまでコマンドからスケジューリング設定したことがない方は

こんにちは、電通デジタル開発部エンジニアのリチャードです。この記事は、Dentsu Digital Advent Calendar 2021の2日目の記事です。 現在弊社の開発部内では、データマネジメント知識体系ガイド(以下DMBOK本)という本に注目していて、同書籍に関する社内勉強会を不定期で開催しています。 データ基盤などの開発経験が豊富なエンジニアからは、DMBOK本に対して以下のような好意的な意見があがっています。 - 「手探りで取り組んでいた課題が体系化されているので理解しやすい」 - 「自分たちのデータマネジメントの取り組みで、何が足りないのかわかる」 - 「概念を整理した図表が見やすく、コミュニケーションの助けになりそう」 一方でDMBOK本はデータマネジメントに関する知識を網羅的に扱っているので、672ページ、17章と、その分量に圧倒されそうになる書籍です。経験豊富なエンジ

by Daniel Oberhaus 宇宙開発企業のSpaceXでCEOを務めるイーロン・マスク氏が、再使用可能な次世代大型ロケット「スターシップ」に使われるエンジンの製造に深刻な問題が発生しているとして、「真の破産のリスク」に直面する可能性があると訴えるメールを従業員に送信したことが報じられました。 Elon Musk: SpaceX could 'face genuine risk of bankruptcy' from Starship https://spaceexplored.com/2021/11/29/spacex-raptor-crisis/ Elon Musk to SpaceX: Starship's Raptor engine crisis risks bankruptcy https://www.cnbc.com/2021/11/30/elon-musk-to-sp

これは電通国際情報サービス アドベントカレンダーの一日目の記事です。 はじめに 使っているツール Teams Shodo はてなブログ Markdownで書けること 高速に動作すること 見た目の調整にCSSやHTMLを使えること 記事を簡単にエクスポートできること まとめ はじめに みなさんこんにちは、電通国際情報サービス（ISID）Xイノベーション本部アドバンストテクノロジー部の佐藤太一です。 ISIDの技術的な取組みを外部に公開することで、ISIDをより多くのみなさんに知ってもらうためテックブログを始めました。 アドベントカレンダーの時期は、たくさんのエントリが公開されるので皆さんお忙しいとは思いますが、毎日新しい記事を公開予定ですので是非ごらんになってください。 使っているツール まずは、このブログを執筆するにあたって利用しているサービスやツールを紹介します。 Teams ISIDで

こんにちは！電通デジタル開発部のリチャードです。このたび弊社開発部から私を含む2人が以下の研修・およびその後の試験を受け、Scrum Alliance認定スクラムマスター(CSM: Certified Scrum Master)になりました。 20人ほどの組織である弊社開発部には、Scrum Inc.から認定されたスクラムマスターが以前から1人いるので、スクラムマスター有資格者は合計で3人となりました。 個人的には「スクラムとアジャイル開発の本を12冊一気に読んでみた！その中から初心者、中級者、上級者向けのおすすめを紹介」という記事を私が書いた時に感じた、 「断片的な知識や経験で乗り切るのではなく、基礎からしっかりとスクラムを学び直したい！」という希望をScrum Alliance公式の研修と認定という形でかなえられたので、大変うれしく思っています。 研修内容紹介冒頭でリンクを貼った株式会

エンジニアリング界をリードする著名人が「いま話を聞きたい」開発者を直接指名し、日頃なかなか聞けない開発トピックについて語り尽くすオンライントークセッション「DevLounge.jp」。このイベントのオープニングを飾ったのは、Nature株式会社VPoEのSongmuこと松木雅幸氏と、ローンチャブル(Launchable）Co-CEOの川口耕介氏です。 Songmu氏は日本で、川口氏はアメリカ・カリフォルニアでそれぞれ活躍されています。セッションでは、お二人が感じるオープンソースソフトウェア(OSS)とSaaSの違いから、グローバル展開を目指す際の考えなどを語っていただきました。その一部をご紹介します。 Songmu(松木雅幸)Nature株式会社VPoE。大学で中国語と機械翻訳を学び、中国でIT分野での起業、語学学校でのシステム担当兼営業、印刷系SIerでの金融系Webシステムや物流システ

はじめにこんにちは。TIG村瀬です。 タイトルの通りですがAWS内の通信においてインターネットを経由しないことが最近になって公式ドキュメントに明記されたことを受け、改めてVPC Endpointの必要性について調べてみました。 Q:2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか? いいえ。パブリックアドレススペースを使用する場合、AWS でホストされているインスタンスとサービス間のすべての通信は AWS のプライベートネットワークを使用します。 AWS ネットワークから発信され、AWS ネットワーク上の送信先を持つパケットは、AWS 中国リージョンとの間のトラフィックを除いて、AWS グローバルネットワークにとどまります。 https://a

並行処理をうまく使うのは難易度が高めです。 それゆえに、go文とチャネルについて基本的な文法書で知った後「並行処理ちゃんとできる！」の段階まで自力でたどり着くのは大変でしょう。 この本は、 *「並行処理ってやって何が嬉しいの？」 *「ゴールーチンとかチャネルとかって一体何者？」 *「ゴールーチンやチャネルを使ったうまいコードの書き方が知りたい！」 *「Goランタイムで並行処理をどううまく処理しているか知りたい！」 といった要望にお答えする、「Goでの並行処理」に関連した事柄について網羅的・徹底的に書きまくったものです。

最近、おうちに 3D プリンターをお迎えしました。 いままでも、シェア工房スペースを持つ DMM.make AKIBA まで行けば 3D プリンターを使つかうことはできましたが、大きいものを出力しようと思うと7時間くらいかかります。待ち時間も考えると、日常的に使えるものではありませんでした。 家に3Dプリンターがやってくると家でうだうだしているうちに印刷できるので、ここ最近は毎日稼働させて、家のカイゼンに使える小物を出力するのにハマっています。 ヘビーユースしているうちに、「これは一家に一台、主フこそいじれると最高なのではないか？」と思うようになりました。 3Dプリンターをおうちに迎えて感動したこと 1. 100均に行って便利小物探さずとも、Thingiverse で探せる！ Thingiverse は、3Dデータのシェアリングプラットフォームです。 生活で使える小物、面白いアイテム、フィ

つい最近まで、「PyTorch」を「パイタッチ」と見間違えてました…

Terraformがバージョン1.0に到達、正式版に。AWSやAzure、VMwareなどマルチクラウド対応のプロビジョニングツール HashiCorpがオープンソースで開発しているマルチクラウド対応のプロビジョニングツール「Terraform」がバージョン1.0に到達し、正式版となりました。 Today we are announcing the GA release of #Terraform 1.0. This marks a major milestone for interoperability, ease of upgrades, and maintenance for your automation workflows for what has become a standard for cloud provisioning. #HashiConf https://t.co/

電通デジタルでデータサイエンティストを務める吉田です。 本記事では、機械学習においてモデル学習時点でのデータと推論時点でのデータが経時的に乖離を起こしていく、いわゆるデータドリフトの検知を自動化するために構築したワークフローについてご紹介いたします。 データドリフトによる機械学習モデルの劣化とは機械学習モデルを実運用していく際に課題になる事象の1つとして、データドリフトの問題があります。 一般的に、機械学習ではいくつかの特徴量Xに対する目的変数Yとの隠れた関係を定式化します。XとYの関係は時間が経つにつれて変化していくことがしばしばあり、これに伴って一度作成したモデルの推論精度も低下していきます。 簡単な例として、あるWebサービスにおいてサイト上の行動ログを元にユーザーごとにコンバージョンの発生を予測する機械学習モデルを作成したとします。このモデルは、「平均的に10分以上閲覧しているユー

しましま先生(@shima__shima)こと神嶌敏弘先生から、訳書『マスターアルゴリズム』をご恵贈いただきました。 マスターアルゴリズム 世界を再構築する「究極の機械学習」 作者:ペドロ・ドミンゴス講談社Amazon 本書はビル・ゲイツが「AIを知るための本」と絶賛したという"The Master Algorithm"の邦訳版で、実際に「難しい理論や数式は書かれていないがこの一冊を読むだけで現代の機械学習（人工知能）の世界の全容を一望できる」優れた本だと個人的には感じました。また縦書き本ゆえいわば「読み物」的な立ち位置の書籍であり、研究者や技術者のみならずビジネスパーソンさらには一般の読書家にとっても読みやすく、尚且つ得るものの大きい一冊だと思います。 ということで、以下簡単にレビューしていきたいと思います。なお実は僕自身もしましま先生から発刊前の段階で翻訳内容の閲読を依頼されて一通り目

Uzabase Saas Product Divisionフェローの矢野です。 この記事は、Rich Hickey（プログラミング言語Clojure作者）のプレゼンテーションSimple Made Easyへと繋がっていく、Ben MoseleyとPeter Marksによる「Out of the tar pit」というシステム設計について論じた論文の内容について説明したもので、ユーザベースのSaas Productでのテック発表の一つとしてプレゼンしたものを、ブログとして再度まとめたものです。プレゼン自体は25分くらいでしたので、おそらくこの記事の方がプレゼンよりも詳しいと思います。 ソフトウェア危機 ソフトウェアは本質的に複雑 ソフトウェアの複雑さはどこから来るのか？ 複雑さは、別の複雑さを産む 複雑さを分類する 本当に必要な複雑さと、そうでないものがある どうやって複雑さを扱うのか

2021/02/24の11時頃〜1時間ほどzenn.devにアクセスしづらい・アクセスできない問題が発生していました。その後も3時間ほど一部のページへのアクセスができない状況となっていました。Zennに投稿してくれた方、見に来てくれた方、ご迷惑をおかけしてすみませんでした。 今回の障害は学びが多かったので、個人の記事として残しておくことにします。 原因 今回の障害は、使用しているクラウドサービスではなく、Zenn自体に原因がありました。 1. KaTeX記法により生成されるHTMLが思った以上に大きかった ZennのマークダウンエディターではKaTeX記法をサポートしています。例えば、$a\ne0$と書くとa\ne0と表示されます。 KaTeXはサーバーサイドレンダリングをサポートしており、KaTeX記法からの数式のHTMLへの変換はサーバーサイドで行なっていました。DBにはマークダウンだ

2021年3月以降、政府や各自治体による新型コロナウイルス感染症のワクチン接種予約や管理を行うシステムが稼働を始め、住民への予約受付が開始されています。しかし、アクセス過多による接続障害など複数の自治体でトラブルが発生しています。ここではこれまでに発表や報道されたトラブルについて関連する情報をまとめます。 １．複数の自治体で起きた予約システムのトラブル 事例① アクセス過多による接続障害 予約開始直後など、急増するアクセスに耐え切れずにシステムに接続できない、しにくくなるなどの事象が発生した（あるいは関連性のある）事例は以下の通り。 自治体 発生/報道日 概要 沖縄県糸満市 4月15日 市が利用する予約受付システムが全国複数の自治体で利用されており、同日複数から大量アクセスを受けたことで受付不可となった。 兵庫県神戸市 4月21日 20日に不適切な設定によるものとみられる内部起因の障害によ

なんか今日docker for macがアップデート入った。 今まで通りdocker-compose upしたらこんな感じの表示が出た $ docker-compose up Docker Compose is now in the Docker CLI, try `docker compose up` なんかdocker compose upしてみろとか描いてあったので使ってみた $ docker compose up [+] Running 0/1 もうちょっと煌びやかな感じの表示が出ていた。 それっぽいコンテナの起動ログが出た後に The new 'docker compose' command is currently experimental. To provide feedback or request new features please open issues at ht

私はクラウドのプロダクトチームで働いているが、何を隠そう一番苦手で克服できていないことが、コードリーディングだ。ものすごーく時間かかるし、時間かかったうえに読み間違えたりするし、しかもめっちゃ頭使うのに他の人はずっと速いので敗北感しか残らない。先日もマネージャの Pragna に相談したら、最初は２時間かかるけど、３か月もしたら５分で終わるわよ。って言われたけど、いや、そもそも俺４時間は最低かかるねんけどな、、、って感じ。 技術イケメンの皆さんのアドバイス　よくよく私のキャリアを考えると、OSSにコントリビュートとかしていることはあったが、めっちゃくちゃ巨大でややこしいコードベースを読んで理解する必要が無いことが多かった。１からコードを書くのは得意だが、他の人のを読んでがっつり理解してとか、どうやったら出来るのかわからない。 当然自分の周りの技術イケメンの皆さんにコツを聞いていたのだが、ど