データ分析基盤構築の肝は、データレイクとDWHの分離 - NRIネットコムBlog
こんにちは佐々木です。 いろいろなところで口を酸っぱくして言っているのは、データレイクとDWHを分離しろと。とりあえずDWHに放り込むという考えはあるけど、DWHに入れる時点でデータの整形が行われて、情報の欠損がでてくる。だから、その前にデータレイクに生のままに入れること— Takuro SASAKI (@dkfj) 2021年5月1日 データレイクとDWHの分離について呟いたら、それなりの反響を頂きました。せっかくの機会なので、もう少ししっかりと解説してみます。何故、データレイクとDWHを分離する必要があるのか、格納するデータの構造と、データレイク・DWHの役割の観点から考えてみましょう。まずは、データの種類として、構造化データや非構造化データの説明をします。その次に、データレイクとDWHなどの用語・役割の説明をし、最後にアーキテクチャを考えてみます。 構造化データと半構造化データ、非構
複雑なアプリケーションのための8つのデザインガイドライン
複雑なアプリケーションがサポートするワークフローとエンドユーザーは非常に多様だが、この8つのデザインガイドラインはそのほとんどに適用可能である。 8 Design Guidelines for Complex Applications by Kate Kaplan on November 8, 2020 日本語版2021年5月7日公開 複雑なアプリケーションとは 我々は、以前、複雑なアプリケーションの定義として、専門分野で高度なトレーニングを受けたユーザーの構造化されていない幅広い目標や非線形のワークフローをサポートするアプリケーション、とした。複雑なアプリケーションには、サポートするワークフローやエンドユーザー（たとえば、研究者から軍の専門家、金融アナリストまで）によって、いろいろな種類があるのは間違いない。しかし、同じような特徴を備えていることが多いものだ。たとえば、複雑なアプリケーシ
48. GoFデザインパターンとDI (前編) w/ twada | fukabori.fm
話したネタ デザインパターンとは？ ソフトウェアパターン 書籍: オブジェクト指向における再利用のためのデザインパターン Gang of Four 進研ゼミみたいなもの Composite パターン デザインパターン以外のソフトウェアパターンとは？ アーキテクチャパターン、アンチパターン、コンカレンシーパターン AWSクラウドデザインパターン パターンにはフォーマットがある GoFのデザインパターンはいつ頃生まれたもの？ GoFのデザインパターン登場時に、ソフトウェア業界では何が起きていたのか？ Ruby 20 周年記念パーティーレポート ―― プログラミング初心者の運営スタッフが見た Ruby コミュニティ C、C++、Perl、Smalltalk、Visual Basic の時代 デザインパターンには、どういうカテゴリがある？ 生成・構造・振る舞い Javaのクラスライブラリにおけるデ
AppSheetでパッケージ(収納)マネージャを作った。AppSheetは家庭の課題を解決するアプリを作るのにおそらく便利 - 日直地獄
AppSheetとは…Googleが(買収して)提供している、いわゆるノーコード開発ツールというやつですね。 ノーコードって、作り始めたら逆に細かいところで詰まったりして面倒になるんでしょ、スコシコードカケル人材である私には関係ないと思って過ごしておりましたが、そろそろいいかと思って触ってみた所、完全に評価を翻しました。初めてAppSheetを触ってから目的のアプリが完成するまで2時間でできました。舐めててごめんなさいという気持ちになりました。 今回AppSheetで作ったアプリケーション 収納マネージャです。年に数回しか使わないモノを段ボールに詰めて収納したものの、どの段ボールに詰めたのか、またそのダンボールがどこにあるのか、ダンボールを開けて探し回る…なんてことはないでしょうか。私は結構あります。先日、ずっと探していた子供の冬用の寝間着を発見しました。かなり遅いです。その頭の不出来を補
【姿勢の話】スタンディングデスク x デュアルディスプレイの罠｜tk(Toshimitsu Kimoto)
首が痛みに耐えられず、トレーナーさんに助けを乞うたら、「前・横・後ろ姿の全身写真を送って」と言われ、 指示通りに床においたボールに腰を乗っけてグリグリしたら… 首の痛みがあっさり治った！ — TK（kimoto） (@TKimotoshi) April 22, 2021 ただ、痛みが収まっても、その原因がわからないと、この激痛が再発してしまいます。 リモートワークになってから、作業用の環境を整え、行動のルーティンも作れてきたところだったのですが、今回の指摘を踏まえながら普段の行動をよくよく振り返ってみると、その「整えられたリモートワーク環境」が首の痛みの原因だと気付きました。 原因はスタンディスクデスク x デュアルディスプレイだった過去に以下のnoteを書くぐらい、身体の調子を整えたり、疲れを避けたり、効率も高める環境づくりは自分なりに工夫してきました。 無駄に疲れない①：作業姿勢をラク
そろそろ疲れにくい在宅ワーク環境を整えたい人へ。「デスク」「チェア」をベテランリモートワーカーが紹介 #ソレドコ - ソレドコ
テレワークをしていて「疲れやすい」と感じるなら、デスクとチェアが合っていない可能性があります。そこで今回は長年リモートワークをしている5人が愛用しているデスクセットを紹介します。 リモートワーク（在宅勤務）をしていると、オフィスと違う環境でいまいち仕事に集中できない……という人も多いのではないでしょうか。 特に、急きょ買ったデスクやチェア（椅子）で作業をしている場合、 「会社で仕事していたときより肩こりや腰痛がひどくなった」 「仕事中の姿勢にしっくりこなくて集中しにくい」 ……と感じながらも、どれを買えばいいのか分からないまま、ずるずるとここまできてしまったということが多いかもしれません。 そこで今回は、長年リモートワークをしている“ベテランリモートワーカー”たちに、在宅勤務で集中できる「デスク」「チェア」を紹介していただきました！ ＼ ご紹介いただくのは、こちらの皆さま ／ 観音クリエイ
ECS のアプリケーションを正常にシャットダウンする方法 | Amazon Web Services
Amazon Web Services ブログ ECS のアプリケーションを正常にシャットダウンする方法 この記事は Graceful shutdowns with ECS を翻訳したものです。 — はじめに Amazon Elastic Container Service (Amazon ECS) を利用することで、お客様はさまざまな方法でコンテナ化されたアプリケーションを柔軟にスケールできます。リクエストの急増に対してタスクをスケールアウトすることも、コスト削減のためにタスクをスケールインすることもできます。ECS ではさまざまなデプロイの選択肢があり、ローリングデプロイ・ブルー/グリーンデプロイ・カナリアデプロイなどがサポートされています。さらに、ECS では柔軟なコンピューティングの選択肢が用意されています。Amazon EC2 のオンデマンド/スポットのキャパシティ上や、マネージ
Google Cloud での適切なオーケストレーターの選択 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 4 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 オーケストレーションとは何かオーケストレーションとは一般に、コンピュータ システムとサービスの自動化された構成、調整、管理のことを指します。 サービス指向アーキテクチャにおけるオーケストレーションは、特定の日時における単一サービスの単純な実行から、複数のサービスを長期にわたって自動的に実行してモニタリングしつつ、発生と同時に障害にも対処できるより高度なアプローチまでさまざまです。 データ エンジニアリングにおけるオーケストレーションとは、データを準備して取り込み、変換するサービスとワークフローを調整する中心的機能です。データ処理だけでなく、データから機械学習（ML）モデルをトレーニングするワークフローが関与することもあります。 Google Cloud ではオーケストレ
AWSのグローバルIPの空間はインターネットなのか？ - NRIネットコムBlog
こんにちは佐々木です。 先日、VPCのFAQに追加された項目が話題となっていました。2 つのインスタンスがパブリック IP アドレスを使用して通信する場合、トラフィックがインターネットを経由するかどうかという問いに対して、AWSがノーと言っています。これは、どういうことなのでしょうか？ これがプライベートネットワークの通信と明示された意味は大きい 『Q:2つのインスタンスがパブリック IP アドレスを使用して通信する場合、またはインスタンスが AWS のサービスのパブリックエンドポイントと通信する場合、トラフィックはインターネットを経由しますか?』https://t.co/uy26KyCZKn— Takuro SASAKI (@dkfj) 2021年4月22日 このことを起点に、インターネットとは何か、AWSのネットワークの現状について考察してみます。難しい事を言っていますが、みんな疑問に
緊急事態宣言延長と五輪開催へのこだわり、なぜこの国から「保留癖」と「玉虫色的決着」が無くならないのか（大濱崎卓真） - エキスパート - Yahoo!ニュース
３度目となる緊急事態宣言も例外なく「延長」となり、5月31日までとなりました。地域も福岡県・愛知県が新たに追加され、まん延防止の地域も拡大しています。これまでの経緯から「緊急事態宣言は延長されるもの」という認識が広く国民に根付いてしまったとともに、場当たり的な対応にもみえる政府の政策に疑問を持つ人が多いのもまた事実です。コロナ禍もすでに１年が経過するなかで、なぜこのような政策意思決定がなされ続けるのでしょうか。根本的な問題について掘り下げて考えてみたいと思います。 行政府の悪い風習「保留癖」 筆者が、特にこのコロナ禍において問題だと思っている根本的なところは、とどのつまり「保留癖」と「玉虫色的決着」という思想です。 行政府・立法府はこのコロナ禍においても、現行法制の枠組みの中で最適な対応が求められ、または現行法制では対応できない事象があれば速やかに法改正を行って対応していくことが求められま
男性学へのアカハラを許さない会 - うたうポリゴン
前回の記事で少し触れた、男性学の惨状についてまとめておく。 男性学と言えば、今年2月に出た『現代思想』。 青土社 ||現代思想：現代思想2019年2月号 特集＝「男性学」の現在 杉田俊介さん、西井開さんの文章は素晴らしいのでオススメ。だがこれだけ読んでも男性学の世界は見えてこない。裏の世界を知る格好の資料が久米泰介さんのこのブログ。 フェミニスト学者への批判・反論 武蔵大田中俊之 ２０１６、６、２ - 久米泰介 アカデミックな男性学の内部事情を知ることができる。 主流派男性学は現状フェミニズムの下部組織であり、女性には絶対服従・一切逆らわないという空気。何かにつけて「家父長制教」への帰依が足りない！ と吊るし上げられる。 男性学、メンズリブ運動は世間の無知・無理解・偏見に苦しんでいる。 現代思想男性学特集のレビューで、「男性学は非モテなんかやってるから駄目なんだ」とか「非モテってそんな深刻
GrammarBot - Grammar Check API
Trusted by the organizations you trust mostYou're building something incredible; let our API help.Don't trust your service, your product, or your brand to a mediocre proofreading API. The reality is that most grammar checkers only work well for carefully chosen "demo" examples. Dig deeper and you'll see that our service is A-1, Grade A, S.O.T.A. using the latest ingredients from Deep Neural Networ
間違って解放してしまったElastic IPを復元してみた | DevelopersIO
Elasic IPを間違って解放してもまだ絶望しないで こんにちは、のんピ です。 皆さんは間違ってElastic IPを解放してしまったことはありますか? 私はないです。 ただ、今後やらかしそうな予感がしたので、間違って解放してしまった場合の対処方法をまとめようと思います。 Elastic IPを復元できる条件 残念ながらElastic IPは無条件で復元できません。 AWS公式ドキュメントに復元できる条件が記載してありました。 Elastic IP アドレスが別の AWS アカウントに割り当てられている場合や Elastic IP アドレスの制限を超過する場合は、Elastic IP アドレスを復元できません。 Elastic IP アドレスに関連付けられたタグを復旧することはできません。 Elastic IP アドレスは、Amazon EC2 API コンソールまたはコマンドラインツ
JetBrains の新しいデータサイエンス IDE『JetBrains DataSpell』EAP | JetBrains のブログ
データサイエンス向け言語としての Python への人気が急増する中、JetBrains の PyCharm にいずれデータサイエンス機能が搭載されるのは、当然と言える流れでした。 過去 1 年間でチームに届けられたフィードバックを基に、PyCharm におけるデータサイエンスのサポートを大幅に改善する取り組みを行ってきましたが、 このプロセスにおいて、データサイエンティストとソフトウェア開発者には、異なるワークフローとツールに対する期待があることが明らかになりました。 その結果、PyCharm の IDE エンジンを基盤に、データサイエンスだけに焦点を絞ったまったく新しい IDE を作ることが最善策だという結論に至りました。 この新しい IDE に関する詳細を一部公開できることを嬉しく思います。また、この IDE の EAP に多くの皆様がご参加いただけることを楽しみにしています。 この
Serverless Framework & DockerによるローカルフレンドリーなLambda開発・運用
会社のチームメンバーにLambdaの開発・デプロイ方法について共有するために書いた記事ですが、Lambdaを触ったことない人にも有益そうな内容なので、Zennに投稿してみました🙏 今回作りたいLambda 指定したS3バケットに画像がアップロードされたら、リサイズして同じまたは別のS3バケットにアップロードする 完成リポジトリ https://github.com/samuraikun/image-resizer-lambda-serverless Runtime Ruby2.7 前準備 AWSアカウントが作成済み、AWS CLIインストール済み アクセスキーIDとシークレットアクセスキーを事前に設定する必要あり Serverless Framworkについて Lambdaをデプロイするまでに必要な各設定を簡単にできるツールです。 他にも、AWS公式のSAMやTerraformなど他のl
Spannerを解説したら講義になった話 | iret.media
はじめに Qiitaにこんな記事が上がりました 2020年現在のNewSQLについて – Qiita NewSQLについてアーキテクチャから詳しくまとまっていて 理解しやすい素晴らしい記事だと思います。 社内のSlackでも共有したのですが、 この辺の話は 古くからあるモノリシックなRDBMSが生まれて スケールアップの限界との戦い データベースをどうスケールアウトするかの時代が訪れて、 分散コンピューティングの問題にぶち当たる という、 『歴史を理解してはじめてCloud Spannerの凄さを理解できる』 と思ったので もっと補足説明がいるんじゃないかと思い、社内でLTしました。 また、自分はDataBase周りの知識が弱いと思っているので、 補強のためにもまとめてLTを…とおもったら、 前後編で２回に分けて３０分語るという発表だったので、 もう講義じゃんって言われたし思いました。 W
立憲・枝野氏「強い外出制限に賛成の余地は十分ある」 ：朝日新聞デジタル
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本が完全に出遅れた第三次プラットフォーム戦争
歯科衛生士さん『歯磨きを頑張りすぎて歯茎が傷ついてるし、歯は磨けてない』辛すぎるお言葉だが、あるあるな現実の模様
Slidev