2021年7月27日 DMM meetup #31 での発表内容です
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて!という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから! Google Colabの知っておくべき
リンク ITmedia NEWS AWSで障害、「Nature Remo」「SwitchBot」などに影響 「電気消せない」と嘆く声 AWSの米バージニア州北部のデータセンターで障害が発生。複数のサービスが正常に動作しない状況が続いている。日本では「Nature Remo」「SwitchBot」などのスマート家電向けデバイスで不具合が発生。「電気を消せない」などの声がTwitterに投稿されている。 214 users 575 nasuuu @nasuvit_z AWS障害で us-east-1 の Kinesis Data Stream が赤ランプになった。「深刻な障害」と出ているけれど、Service Health Dashboard で赤ランプになったの、そう言えば見たことない気が。(あったのかもしれないけど…) pic.twitter.com/xKQFs7Jvyt 2020-11-
「AWS CDK Conference Japan」は AWS CDK ユーザーが集まって事例やノウハウを共有しあうイベントです。今回は、CDKv2をメインテーマに、初の大型カンファレンスが開催されました。アマゾンウェブサービスジャパンの大村氏は「Baseline Environment on AWS (BLEA)開発にあたって検討したこと」をテーマに発表しました。まずはCDKとBLEAについて解説したのち、これからCDKを使う方たちへのナレッジを紹介します 自己紹介 司会者:次は、今までがんばってCDK(Cloud Development Kit)を普及させてきた大村さんです。 大村幸敬氏(以下、大村):よろしくお願いします。 司会者:初めて聞く単語なんですが、読み方は「ブレア」でいいですか? 大村:「ブレア」でいいです。 司会者:準備ができたらBLEA(Baseline Environ
朝日新聞デジタルが2020年1月14日から、記事内の英数字を半角に変更しています。これは実に読みやすい……! 長きにわたり全角英数字表記を貫いてきた朝日新聞デジタル。日時をはじめ、URLなども全角で記載していたことから、URLをコピー&ペーストしにくいといった不満の声や単純に読みづらいという声が定期的に上がっており、2014年10月12日には朝日新聞 国際報道部が公式Twitterにて「『全角、読みにくい』というご意見をいただいます。すみません。技術的なことがわかる人に対応可能か聞いてみます」とツイートすることもありました。 過去には朝日新聞 国際報道部が公式Twitterからこんなツイートも(朝日新聞 国際報道部が公式Twitter) 朝日新聞デジタル「特に全角表示にこだわっていたわけではない」 半角英数字表記になった理由について、ねとらぼ編集部は朝日新聞に問い合わせました。 半角英数字
このホームページを、英語・中国語・韓国語へ機械的に自動翻訳します。以下の内容をご理解のうえ、ご利用いただきますようお願いします。 1.
Metaのエンジニアリング・ブログより。 BY オレグ・オブレウコフ、アフマド・ビャゴウィ うるう秒の概念は、1972年に国際地球回転・基準系事業(IERS)によって初めて導入された。これは、観測された太陽時(UT1)に不確定性があり、地球の自転が長期的に減速しているため、協定世界時(UTC)を定期的に更新しようという試みだった。この定期的な調整により、科学者や天文学者はほとんどの用途でUTCを使用して天体を観測することができるようになり、主な恩恵を受けてきた。もし、UTCの補正がなければ、天体観測のためにUTCに同期するレガシー機器とソフトウェアに調整を加えなければならなくなる。 うるう秒が導入されて以来、今日までUTCは27回更新されている。 1972年当時、うるう秒は科学界と通信業界の双方を満足させるものだったが、最近のUTCはデジタル・アプリケーションと科学者の双方にとって等しく悪
はじめに 基本的にAWSエンジニアとして仕事していて、Azureは未経験でしたが案件で採用されて触れる事になりました。 Azure Functionsで処理する所があって私に一任という感じだったのですが、まぁAWS Lambdaみたいなもんでしょと(恐らく他の人も)思ってました。 それがこんな事になろうとは… 必要なリソースが多い まず戸惑ったのがこれです。 関数を書くまでに以下のリソースが必要です。 Azure Functionsのインスタンス(という表現が正確か不明ですが。) Lambdaと違って1つのインスタンスに複数の関数を乗せる形になります(1つ1つ作ってもいいですが…) プラン 料金プランの事だと思えば良いかと。なんですが、プランも1つのリソースなんです。。 Azure Storage アカウント コードや一部の設定情報などが保存されています。 Application Insi
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について当社システムに起因した度重なる証明書誤発行およびそれに伴う個人情報の漏えいにより、自治体様ならびに証明書交付サービスをご利用の皆様に多大なるご迷惑ご心配をおかけしておりますこと深くお詫び申し上げます。 今般、デジタル庁様より、今後はこのような事態が起こらぬようシステムの運用を一時停止して再点検を行うようご要請頂きました。 当社といたしましては、これまでの一連の事案を受けてシステムの点検を進めてまいりましたが、この度のご要請を厳粛に受け止め、真摯に対応してまいる所存でございます。対応に際しましてシステム運用の一時停止を含め点検に対するご協力を各自治体様にお願いさせて頂くため、自治体様ならびに多くの皆様にご迷惑ご不便をおかけいたしますことを重ねてお詫び申し上げます。 なお、自治体様毎にシステム環境が異なるため、具体的な内容につ
経済産業省と東京証券取引所が2021年6月に発表した「デジタルトランスフォーメーション(DX)銘柄 2021」。「日本の先進DX」といえる選定企業の事例を厳選して取り上げ、DX推進の勘所を探る。セブン&アイ・ホールディングスはエンジニアを大量に中途採用して内製化を推し進め、DXに挑んでいる。 「セブンイレブン事業を核としたグローバル成長戦略と、テクノロジーの積極活用を通じて流通革新を主導する世界トップクラスのグローバル流通グループを目指す」。セブン&アイ・ホールディングスの井阪隆一社長は2021年7月1日に開かれた中期経営計画(2021~2025年)説明会の場で、自社の将来像をこう力強く語った。 約160人を中途採用、内製化に舵を切る DX銘柄に初選出されたセブン&アイ・ホールディングスは、ここ数年でシステム開発の内製化に大きく舵(かじ)を切った企業の1社だ。2019年10月にエンジニア専
発生原因 ap-northeast-1a(ID:apne1-az4) に設置されたELBのノードが、5XXのエラー応答を戻していました。 暫定対処 ELB(ALB) で利用していたAWS WAFの保護設定を一時的に解除、ELB_5XXエラーが抑制された事を確認しました。 対応経緯 14:20 チャットの通知より、DevloppersIOのブログ基盤から HTTP 5XX の発生している事を確認 14:30 ElasticBeanstalkのダッシュボードの「WARN」イベントより、HTTP 5xx の発生状況を確認 CloudWatchの ALB ダッシュボードより、HTTP 5XX の発生状況を確認 ALBのCloudWatchメトリックより、ELBに起因する「ELB_5XX」エラーである事と、 AZ別のメトリックより ap-northeast-1a(ID:apne1-az4)、アベイア
席ごとにQRコードの書いた紙が置いてある ↓ QRコードを読み取りスマホで注文 ↓ 食べ終わったらその紙を持って精算機へ ↓ QRコードを読み込ませて支払い 精算機の代わりに食券販売機置けばよくない…? いまいちシステムの利点がわからん 追記 ・券売機は初期費用がかかるしスペースを取る 精算機も初期費用がかかるやろがい!大きさもATMくらいあったぞ。現金も中に入っとるぞ そのままスマホ決済ならわかるけど精算機挟むのが中途半端に思う ・食券の紙資源 席に置いてあるQRコードは使い捨ての紙やったんやが。補充も地味にめんどくないか ・座席と紐づいた注文が直接厨房にとぶのでオペレーション短縮 それはたしかに ・
本田技研工業(ホンダ)は9月24日、米Googleと車載向けコネクテッドサービスで協力すると発表した。新型車の車載カーナビに「Googleマップ」「Googleアシスタント」などを直接組み込むため、スマートフォンなしでGoogleサービスが使えるようになる。 対応する新型車は2022年後半から北米で販売し、順次、世界展開していく。 Googleは、車とスマホを接続し、車載カーナビからGoogleマップなどを使えるAndroidアプリ「Android Auto」をリリースしており、ホンダ車でも2016年から採用しているが、今回の協業では、スマホ不要でGoogleのサービスを使えるようになる。 カーナビにGoogleマップを表示し、パーソナライズされたマップを使える他、Googleアシスタントに話しかけることで、ナビや到着予定時刻などを確認したり、エアコン操作やメッセージ送信が可能だ。 アプリ
Amazon Web Services(AWS)は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー
","naka5":"<!-- BFF501 PC記事下(中⑤企画)パーツ=1541 -->","naka6":"<!-- BFF486 PC記事下(中⑥デジ編)パーツ=8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下(中⑥デジ編)パーツ=8826 -->","adcreative72":"<!-- BFF920 広告枠)ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag PC誘導枠5行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
直接の原因は知らないので非エンジニア向けの戯言、はいはい嘘松程度に聞き流してくれ。 タイトルは釣りみたいなもんだ。データも客観的な観測もない。本当の理由なんて外部からわかるはずがない。 単に一個人が中の人らに酒を注がれつつグチられた内容の総集編だ。 前提として、社会インフラ系のIT基盤は設計や運用に企業体質が出やすい。 わかりやすいのはSuicaとかで、ハードウェアのFelicaこそソニーの技術だが、Suicaのシステムアーキテクチャは完全に鉄道屋のそれだ。 アプリやWebなんぞは使い勝手がイマイチだが、Suica自体のシステムダウンで首都圏の自動改札が全滅、復旧するまで使えませーん、なんて事態は聞いたことがないだろう。 安全が全てに優先する。 そういう作りにしてあるのだ。 じゃあみずほ銀行はどうなってるかというと、とりあえず止めない、安定運用できたら3社統合の負債を返そうとする、それだけ
こんにちは!店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ(通称:UDS)」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ
去年も『本番環境でやらかしちゃった人のアドベントカレンダー』は盛り上がりましたね。 知見が多く、関心しながら拝見しています。 人は必ず何かしらミスを起こすもの。 明日は我が身と思いながら、業務をこなす日々です。 そんな私も業界に入って1年目(前々職)に、本番環境の洗礼にあったことがございます。 当時は苦々しい思いをしましたが、その経験を供養するためにもここに残そうと思います。 発生当時の状況 事件当時、私はサーバのリプレイス案件にアサインしていました。 その業務の中で上司に日常的に運用されているスクリプトの調査を依頼されました。 私はまだ経験が浅かったため理解が合っているかは怪しいですが、関わっていたシステムは設計の段階で大分やっつけだったらしく、 格納場所が間違っているスクリプトやログが散見されました。 リプレイスを切っ掛けに整理をする予定だったと記憶しています。 入ったばかりのペーペー
サイバー犯罪は、日々高度化と複雑化を続けています。守る側はそれに追いつくために新技術を取り入れ、最新の攻撃にも対応できる柔軟な仕組みを構築し、どんな脅威にも即応できるセキュリティ人材を組織内で育てるべきである。……というのは、一部の大企業でしか実現できない夢物語かもしれません。そんな「一部の大企業」ではない大半の企業が頼れる先として「マネージドセキュリティサービス」(MSS)があります。 MSSとはセキュリティ対策をアウトソースし、企業内に設置した機器の監視をしてもらうものです。特にセキュリティ人材が不足しがちな中堅中小企業において、レベルの高いセキュリティ対策を実現できるのが魅力といえるでしょう。 しかし「MSSに全て任せれば、プロの集団による的確で適切な対策が手に入る」と思ってしまってはいけません。丸投げでは最適解にはたどり着けないのです。それでは、何を考えておけばいいのでしょうか。
ABEMAの「サッカーW杯配信」が安定していた理由、CTOが明かすインフラの舞台裏:AWS Summit Tokyo 2022年、日本中を大きく沸かせたサッカー世界大会「FIFA ワールドカップ 2022」。全64試合を配信したABEMAを手掛けるAbemaTVによれば、期間中は1週間当たり最大で約3409万人のアクセスがあったという。しかし、ABEMAは大きな障害なく映像を配信し切り、SNSなどで注目を集めた。 大量のユーザーをさばききったシステムには、どんな工夫があったのか。AbemaTVの西尾亮太CTOが、4月20日から21日にかけて開催した、クラウドサービス「Amazon Web Services」に関する技術展示イベント「AWS Summit Tokyo」(幕張メッセ)で語った。 AWS活用の新システム活用 W杯配信の裏側 ABEMAがW杯の配信で使用したのは、AWSが提供するラ
ECサイトやSaaSのアカウントを作るため、入力フォームに全角で住所を打ち込み。番地や郵便番号などの数字は半角で書き、情報を登録しようとしたら「この情報は半角では入力できません。全角で入力してください」。よく見るとページ内に「番地は全角で入力してください」という注意書きがあったので、再度打ち直し──入力フォームを使ったことがある人なら、多くの人がこんな面倒な経験を味わっているのではないだろうか。 こういった仕様は巷(ちまた)にあふれており、ネットで「全角・半角問題」などと呼ばれている。ユーザーに不便を強いているにもかかわらず、このような入力フォームはなぜなくならないのか。 この課題のソリューションとして、ユーザーが入力フォームに打ち込んだ文を自動で半角・全角に統一するなどの機能を持つJavaScriptライブラリ「InputManJS」を提供するグレープシティ(仙台市)の若生尚徳さん(ツー
Kyashでは9月からIDaaSであるOneLoginを導入しました。 導入から3ヶ月が経過し、現時点でほぼすべての社内認証をOneLoginに統一することが出来ました! 今回は、なぜOneLoginにしたのか、使い勝手等を含めお伝えできればと思います。 すごくヨイショしている記事になってしまったんですが、お金はもらってません!!!!!笑 www.onelogin.com 公式HPにも取り上げて頂き、ありがとうございます! 実は前職でもかなり使い込んでおり、OneLoginは思い入れのあるプロダクトです。 www.pentio.com 今回の導入に関しても、OneLogin 日本代表の福見さんと代理店であるペンティオさんにかなりのお力添えを頂きました。ありがとうございます! Kyash Advent Calendar 2019 day11 ということでKyash Advent Calend
今年春以降、マイナンバーカードに関わるトラブルが次々と明るみにでた。 「コンビニで他人の住民票が発行された」「マイナンバーカードと一体化された健康保険証に、他人の情報が登録されていた」「マイナンバーカード取得者向けサイト『マイナポータル』で他人の年金記録を閲覧できた」「公金受け取り口座に別人が登録された」など。 いずれも政府が「マイナンバーカードを使えばこんなに便利になる」と、大々的にアピールしてきた分野だけに、衝撃は大きい。 政府が急ごうとするほど国民は不安になる マイナンバー制度が2015年に導入された当時は、「マイナンバーは個人情報であり、絶対に他人に知られてはいけない」などと言われ、保管用金庫の売れ行きが伸びるといった騒ぎもあった。なのに、他人の目に情報をさらすようなことが続出しているとは。なんともショッキングだ。 コンビニでの誤発行は、富士通の子会社が開発したシステムに問題があっ
マイナンバーカードのメリットのひとつとして総務省が掲げる、コンビニでの各種証明書の取得。しかし今年3月以降、別人の証明書が発行されるトラブルが相次ぎ、サービスが一時停止に追い込まれる事態となってしまいました。何がこのような問題を引き起こしてしまったのでしょうか。今回のメルマガ『週刊 Life is beautiful』ではWindows95を設計した日本人として知られる中島聡さんが、「コンビニ交付システム」の開発運営を典型的なITゼネコンの手に委ねた事が主因と断言。さらに同様の問題を回避するため国が取るべき「ソフトウェア調達法」の具体案を提示しています。 プロフィール:中島聡(なかじま・さとし) ブロガー/起業家/ソフトウェア・エンジニア、工学修士(早稲田大学)/MBA(ワシントン大学)。NTT通信研究所/マイクロソフト日本法人/マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvol
どのような事前準備をしているか 有事の際は想定外のことが発生しやすく、事前準備をしていないと冷静な対応が難しくなります。 いきなりしっかりした事前準備をすることは難しいので、徐々に成熟度を上げていきます。 本章では以下の観点で、事前準備についてご紹介します。 手順書 自動化 訓練 手順書 フローやチェックリストを含む手順書を準備しています。 手順書の内容は後述します。 分かりやすい手順書を準備することも重要ですが、その手順書への導線づくりも大切にしています。 運用周りのドキュメントは数が多く、目的のドキュメントが埋もれてしまい他のメンバーが見つけられない場合があるからです。 周知に加えて、ドキュメントの階層を見直したり、特定チャンネルに手順書の URL をピン留めしておくなど、手順書に辿り着きやすくする工夫をしています。 分かりやすい手順書の書き方については、以下のブログが参考になります。
この記事は、著者の許可を得て配信しています。 https://mbird.biz/writing/do-i-need-kubernetes.html 私がチームからよく聞かれる質問がこれです。「スタックをKubernetesでホストすべきか」というものです。技術の世界でKubernetesが話題になっていることを考えると、多くの人がそうすべきだと思い込んでいます。 私は数年間k8s(Kubernetes) を使って仕事をしてきました。非常に強力で複雑なプラットフォームを使うことも多々ありました。 ただ真実はもっと微妙だと思っています。 ここでは、その判断をした経緯を紐解いてみたいと思います。スタートアップや、自社製品のホスティングに責任を持つ、より広い組織内の自給自足のチームを対象とした記事となっています。また、大規模な組織の従来のIT部門の人々にも役に立つ記事になっていると思います。 何
富士通Japanは4月16日、住民票のコンビニ交付システムで証明書が誤交付されたと発表した。香川県高松市で申請者とは異なる住民の住民票が発行されたという。同社のコンビニ交付システムでは、2023年にも複数回の誤交付が発生していた。 高松市では1月4日から、富士通Japanのコンビニ交付システム「Fujitsu MICJET コンビニ交付」を導入していた。しかし、コンビニ交付サービスの項目でシステムの設定ミスがあり、4月4日に別人の住民票が誤交付される事象が発生した。 富士通Japanは誤交付の原因について「複数サーバでシステムを構成している高松市向けに、本来はその構成に応じたプログラムを適用すべきところを、誤って単一サーバ構成向けのプログラムを適用していたことによるもの」と説明。16日時点では既に正しいプログラムを適用し、正常に動作することを確認したという。また、同システムを利用する全ての
~はじめに~ 運用保守は、手順書通りするだけの楽な業務と勘違いしていませんか? 私は3年間運用保守(インフラ)に携わり、手順書作成や障害対応/調査、運用支援など様々なことを行ってきました。そんな私が思うに運用保守は、全くそんな楽な業務でありません。 運用保守は過信と油断をすれば、すぐに業務影響を出してしまいます。 構築設計段階でのお客様に影響を出すのとは、全く影響度合いが違います。 既に稼働しているシステムで業務影響を出すというのは、エンドユーザーへ多大なるご迷惑をおかけするということ、つまり絶対に許されません。 そんな状況にならないために、私が運用保守をする上で意識して行っていることについて書きたいと思います。 ~運用保守をする上で意識して行っていること~ 1. 簡単な作業や慣れた作業でも慎重に行う 私はどんな作業だとしても、過信や油断をせずに慎重を行うようにしています。 簡単または慣れ
先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや
大田区は4月17日、2023年10月に発生したシステム障害の検証結果を公開し、システムの運用・保守を担っていたNECに対し損害賠償金486万8437円を請求すると発表した。障害の原因はNECによる情報共有の不足と結論付けている。同社も結果や損害賠償に同意しているという。 障害が発生したのは、23年10月9日から10日未明にかけて。システムを構成していたSSD3台がほぼ同時に故障し、データが全損して使用できない状態になった。これにより、大田区の住民記録システムや国保年金システム、税務システムなどが影響を受け、18日の完全復旧まで、区の業務に支障をきたした。 大田区は障害の原因について、SSD3台の同時故障を想定していないシステム構成にあったと説明。「システム基盤は19年に構築し、構築当時からSSDの故障について2本までは耐えうる構成をとっていたが、今回はその想定を大幅に上回る障害が発生したた
by Perfecto_Capucine 電子書籍リーダーにはAmazonが開発するKindleや楽天のKoboなどがありますが、いずれも特定の企業のエコシステムに組み込まれたデバイスです。そんな中、「企業に縛られることのない、無料でオープンソースの電子書籍リーダー」を開発するプロジェクト、「The-Open-Book」が進行中と報じられています。 GitHub - joeycastillo/The-Open-Book https://github.com/joeycastillo/The-Open-Book The Open Book — An Open, Feather-Compatible eBook! - Hackster Blog https://blog.hackster.io/the-open-book-an-open-feather-compatible-ebook-201
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く