Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg …
![Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715](https://cdn-ak-scissors.b.st-hatena.com/image/square/40be1ec9418466e0f07bb36064bfc35e146539d7/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fdf39dc79c2164b45bc1660fa97825217%2Fslide_0.jpg%3F15843376)
Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg …
(Image by Pixabay) 最近になって、こんな素晴らしい資料が公開されていたことを知りました。 この資料自体は著者のMoe Uchiikeさんが東大での講義に用いられたものだとのことですが、その内容の汎用性の高さから「これは全ての機械学習や統計学を実務で用いる人々が必ず読むべきドキュメント」と言っても過言ではないと思われます。 正直言ってこの資料の完成度が高過ぎるのでこんなところで僕がああだこうだ論じるまでもないと思うので、内容の詳細については皆さんご自身でまずは上記リンクから精読していただければと思います。その上で、今回の記事では「機械学習や統計学を『社会実装』する」ということがどういうことなのかについて、この資料を下敷きとした上でさらに僕自身の経験や見聞を加えて考察したことを綴ってみます。 機械学習や統計学と、社会との「ギャップ」 機械学習や統計学を、社会に「馴染ませる」
EDIT^7: blink と box86、FEX。 EDIT^6: Unikraft 。 EDIT^5: Tilck 。 EDIT^4: コメント。gVisor はすっかり忘れていました!Linuxを拡張するためにLinuxを実装した良い例だと思います。LINE有りましたね。。 SF.netのCVSはもう死んでしまったので除外にしました。。 OSvのバイナリ互換 はPIEであることが要求なので。。といっても世間的にはもうLinux = Debian/Ubuntu で良いですかね。。表現を調整しました。 EDIT^3: Noah忘れてた! EDIT^2: Cygwinは 下書き段階で削ってしまった 。。 qemuを移植したとき に互換性がイマイチだったので。。特殊fdやprocfsの充実ぶりとかを考えると "かなりLinux" と言って良いとは思うけど、 mmap 等でLinuxとWind
[アップデート] AWS App Meshが「仮想ゲートウェイ」を使ったメッシュ外部からのIngressアクセスをサポートしました みなさん、こんにちは! AWS事業本部の青柳@福岡オフィスです。 AWSが提供するメッシュサービス AWS App Mesh において、新しい機能「仮想ゲートウェイ」(Virtual Gateway) がリリースされました。 AWS App Mesh launches ingress support with virtual gateways これは「App Meshの使い方が大きく広がるんじゃないか?」と思える、結構ビッグなアップデートではないかと思います。 AWSブログでハンズオンも公開されていますので、こちらに沿って試してみたいと思います。 Introducing Ingress support in AWS App Mesh | Containers
最近、[CSSアニメーション]●●●CSSでタピオカ作ってふわふわ浮かせる●●●やリアルな眼球を描く。HTMLとCSSだけで。のようなHTML+CSSだけで作る表現が流行っていた(?)ので自分も作ってみました。 完成品はこちら See the Pen Only HTML + CSS Tapioca by Nishihara (@Nishihara) on CodePen. 概要 そこまで複雑なHTMLやCSSのトリックは使っていません。background: radial-gradient()とfilter: bluer()を使ってグラデーションを表現しつつ、transformプロパティで変形させたものを組み合わせて作っています。 タピオカ本体を作る まずは、タピオカの本体部分のHTMLとCSSを作成します。 <div class="wrapper"> <div class="tapiok
Linuxの開発者であるLinus Torvalds氏が米Intelの「Advanced Vector Extensions 512(AVX-512)」を批判する発言をメーリングリストで行った。問題は技術ではなく、Intelの方向性にあるようだ。 Advanced Vector Extensions 512(AVX-512)はIntelがAVX2の後継として開発する拡張命令セット。512ビットのベクトル処理機能を備え、Intel Xeon Phiプロセッサ/コプロセッサ、Intel Xeon Scalableプロセッサなどで利用できる。IntelのWebサイトでは「科学的シミュレーション、財務分析、人工知能 (AI) / ディープラーニング、3D モデリング / 分析、画像およびオーディオ / ビデオ処理、暗号化、データ圧縮などのワークロードや用途でパフォーマンスを向上させることができる」
AWS News Blog Amazon Interactive Video Service – Add Live Video to Your Apps and Websites Today, I am so excited to tell you about the new Amazon Interactive Video Service, which allows you to add live video directly into your own apps and websites. If you are anything like me, you are going to be blown away by how simple the team have made it to integrate interactive, low latency, live video into
はじめに こんにちは。inductorです。 これまで、CNCFではCKA、CKADと、クラスター運用者、利用者(開発者)に向けた認定資格及びそのトレーニングを提供してきました。 今回、それに加えてKubernetsにおけるセキュリティスペシャリストを育成するための3つ目の資格、CKS(Certified Kubernetes Security Specialist)が作られ、2020年11月に提供が開始されます。なお、この試験は既にCKA試験に合格していて、コンテナのセキュリティに関する実用的な知識について第三者による検証を希望する人を対象としています。 公式の発表はこちらです。 試験の詳細 CKSはCKAと形式が似ており、実技による認定試験で構成されます。コンテナベースのアプリケーション及びKubernetesプラットフォームを保護するためのベストプラクティス全体の能力を、ビルド、デプ
We’re excited to announce React Spectrum, a collection of libraries and tools that help you build adaptive, accessible, and robust user experiences. Check it out on Github! React Spectrum includes three libraries: React Spectrum — A React implementation of Spectrum, Adobe’s design system. React Aria — A library of React Hooks that provides accessible UI primitives for your design system. React Sta
BtoBは情緒購買ではなく論理購買である。BtoBは経済合理性にもとづいて意思決定される。これらはいずれもBtoBでよく言われる「定説」ですが、この記事ではそんな定説に疑問を投げかけてみたいと思います。 人は予想通りに不合理であるBtoBの意思決定をしているのは、結局は人間です。そして個々の人間は、実は論理的・合理的な考えがそれほど得意ではありません。 ノーベル賞受賞の行動経済学者ダニエル・カーネマンの名著『ファスト&スロー』(2012年)では、常時オートモードで運転し、主に反射的な意思決定を得意とするシステム1と、論理思考などの熟考が可能だが負荷が高く怠け癖があるシステム2を中心に、人の判断を誤らせるバイアスについて、詳しく解説されています。 先入観から論理性や妥当性を見失い、すぐに思いつく結論に飛びつき、直前に見た数字に流されて過大/過小評価をし、関係ない事柄を結び付けてデータを見誤り
VPC内のトラフィック制御設定を行うにあたり、ネットワークACLでもセキュリティグループでも実現できる要件の場合、ネットワークACLでは全トラフィックを許可して、セキュリティグループで細かい設定をすることが多いです。なぜそうしているのかまとめました。 ネットワークACLとセキュリティグループの違い まず表題の理由を述べる前に、ネットワークACLとセキュリティグループの違いを抑えておきましょう。 設定対象 ネットワークACLはサブネット単位で設定します。サブネット以下の全インスタンスが影響を受けます。各サブネットは必ずいずれか一つのネットワークACLと紐付ける必要があります。設定しない場合デフォルトのネットワークACLが勝手に紐付きます。 セキュリティグループはインスタンス単位で設定します。各インスタンスには少なくとも 1 つのセキュリティグループを紐付ける必要があります。言い換えれば複数個
コマンドドキュメント AWS-ConfigureAWSPackage に引き渡されたパラメータによって、どのパッケージドキュメントのどういった内容をどう適用するかが定義されている、という立て付けになります。 Run Command Run Command によって、マネージドインスタンスに対してコマンドドキュメントを実行することができます。 ディストリビューターを1回限りで実行する際には、この Run Command を使用することになります。 実行の際には以下の項目を指定することができます。 Systems Manager Run Command を使用するコマンドの実行 - AWS Systems Manager ドキュメント 先述の通り、 AWS-ConfigureAWSPackage です パラメータ 先ほど確認した通りです パッケージドキュメントの指定はここで行います ターゲット
こんにちは、2z(Twitter: @2zn01 )です。 趣味でWebサービスの個人開発をしており、以下のサービスを開発・運営しています! ■AIメーカー https://aimaker.io/ → 誰でも簡単にAIを作れるサービス ■ツイレポ https://twirepo.com/ → キーワードで話題のツイートを自動で収集したり、自動でリツイート・フォローができるサービス ■文字起こすくん https://text.aimaker.io/recognize-bot/ → 画像、音声、動画をアップするだけで簡単に文字起こし・書き起こしできるサービス 今回作ったもの 動画をアップロードするだけで、動画内の音声を認識して文字起こしを行い、自動で動画に字幕・テロップをつけてくれる「テロップメーカー」というサービスをリリースしました! ■URL https://text.aimaker.io
どうも、まさとらん(@0310lan)です! 今回は、普段使っているGoogleドキュメントをブログとして使えるようにしてくれるWebサービスをご紹介します。 ブログの記事はすべてGoogleドキュメントで作成・管理できるようになっており、ボタンをクリックするだけでネット上に公開できる非常にお手軽なサービスです。 最近話題のノーコード(NoCode)でブログが作れるサービスとしても活用できるでしょう。 【 Nocode 】 ■「Nocode」の使い方 それでは、「Nocode」をどのように使えばいいのか詳しく見ていきましょう! まずはサイトのトップページにアクセスして【GET STARTED】ボタンをクリックしてください。 Googleアカウントとの連携画面になるので、ボタンをクリックして認証をしておきます。 次に、作成するWebページのテンプレートが選択できるのですが、今回は【Blog】
新型コロナウイルスの世界的流行を受けて、各国では「ソーシャルディスタンス(社会的距離)」として、他人と2~3メートルの距離を置くことが推奨されています。しかし、髪を切る場合はどうしても理容師や美容師と接近しなければならず、髪や顔を触られるために濃厚接触は避けられません。そこで、さまざまなものをDIYするYouTubeチャンネル・Stuff Made Hereが全自動で自分の髪を切ってくれるロボットを自力で開発し、ムービーで公開しています。 I made a robot to cut my hair with scissors - YouTube これが全自動散髪ロボット。大きなテーブルにロボットアームが1基ついているような形です。 土台部分に空いている大きな穴に首を突っ込み、髪を切ってもらう形。ロボットアームは円周を回転して動きます。 また、ロボットアームは前後左右に動き、角度も調整可能。
CDN(Contents Delivery Network)大手のCloudflareは2020年7月9日(米国時間)、最大で毎秒7億5400万パケットに達した極めて大規模なDDoS(分散サービス妨害)攻撃への自動対応に成功したと発表した。 このDDoS攻撃は、6月18~21日の4日間にわたって行われた組織的攻撃の一部だった。攻撃トラフィックは31万6000以上のIPアドレスから発信されており、Cloudflareの無料プラン利用者が主に使っていたCloudflareの1つのIPアドレスを標的にしていた。攻撃中にダウンタイムやサービス低下の報告はなく、Cloudflareが顧客に提供している保証を満たす形でDDoS攻撃を緩和できたため、顧客への補償費用は発生しなかったと、同社は述べている。 攻撃に対しては、CloudflareのグローバルDDoS検知/緩和システム「Gatebot」が自動的
DMM Groupのエンジニアが、Goを活用したプロダクト事例やトレンド、現場のリアルを話すイベント「DMM.go」。2回目の今回は、DMM.com プラットフォーム事業本部 エンジニアの本田雄亮氏が、Goaを使ってAPIサーバーを作る方法について紹介しました。関連資料はこちら。 手作業のドキュメントとコードとは乖離する 本田雄亮氏:今回、「Goaを使ってAPIサーバー開発してみた」というタイトルでお話ししたいなと思います。 まず自己紹介です。プラットフォーム部というところで基盤システムの開発をしています。バックエンドのエンジニアです。名前は本田です。興味あるのは、Goとかアーキテクチャ。DDDとかがけっこう好きなので、もし懇親会に参加される方がおられたら、Goaだけの話じゃなくて、Go全般だったりアーキテクチャ、DDDまわりでもお話できたらなと思っています。 さっそくメインテーマのGoa
インターネットの普及とともにコンピューターやスマートフォンは日常生活に欠かせないものとなりましたが、そうしたデバイスに保存された機密データを標的としたマルウェアの脅威も大きなものになっています。そのマルウェアのプログラミングに使用される言語として「Python」が台頭してきていると、アメリカサイバー軍に使役した経験のあるオースティン・ジャクソン氏が語っています。 Python Malware On The Rise | Cyborg Security https://www.cyborgsecurity.com/python-malware-on-the-rise// 過去30年にわたり、マルウェアの開発環境はC言語やC++、Delphiなどのコンパイラ型言語が主でしたが、近年はPythonなどのインタプリタ型言語によるマルウェアが増加しているとのこと。特にPythonはプログラミング初心
H.266/VVC(Versatile Video Coding) ITU-T Rec. H.266 Versatile video coding ISO/IEC 23090-3 MPEG-I Versatile Video Coding H.264/AVC および H.265/HEVC の直接後継となる動画像コーデック国際標準規格。 "Versatile"=多用途 とあるように、HD~UHD(4K,8K)解像度をもつSDR/HDR(Standard/High Dynamic Range)動画像、360°パノラマ動画像、Light-fieldカメラ、スクリーンコンテンツまで広範な用途での利用を目指している。 コーデック性能比較 新しい H.266/VVC コーデックは、一世代前の H.265/HEVC コーデックにくらべると1: 同等の客観的画品質(PSNR-Y)であれば、ビットレートを
ゲーム音楽が好きすぎてWebサービス作りました。 「音楽サブスクリプションで聞けるゲーム音楽一覧サービス」です。 サブスクリプション契約しているのだから聴けるゲーム音楽は全て聴きたいわけです。サブスクリプションで聴けるゲーム音楽を紹介しているブログはいくつかありましたが、常に最新ではありません。そのため常に最新で検索しやすく私自身のコレクションとして管理したく開発しました。 2021/07/07 追記 Spotify API の追従が厳しくなったため Spotify の機能を全て削除しました。 このサービスの目的まず結論から。 「私が感動するゲーム音楽に出会うこと」を目的に作りました。俺得サービスです。 私はゲーム音楽が好きで好きで毎日聴いていました。 いつの頃かプレイしたことのないゲームの音楽をふと聴いてみると、知らないはずのゲームなのにとても感動できる曲がたくさんあることに気がつきまし
Platform チームの@deeeeeeeetです. Platform チームは2年前にMercariがMicroservicesの移行を始めたときに一緒に立ち上げられたチームです.Platform チームはMicroservicesを動かすための基盤や開発や運用のためのツールセットなど提供しています.立ち上げ時は自分を含めて2-3人で始まったチームですが2年が経ち10人を超えるチームにまで成長しました. チームのメンバーが増えるほど1チームとして動くには限界がきており,またMicroservices化が進めば進むほどチームの負う責任範囲も広くなりCognitive load (認知負荷) も高くなっていました.これらの課題を解決するために組織変更を行い,Platform チームを複数の専門性に特化したチームに分割しました. 本記事ではチームのデザイン,チームが分離しても独立性を保ちつつ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く