39社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 - Findy Tools
公開日 2024/10/08更新日 2024/10/0839社のデータアーキテクチャ特集 - ツールの技術選定のポイントと活用術 8つのデータ系ツール「BigQuery」「Databricks」「dbt」「Fivetran」「Lightdash」「Looker」「Snowflake」「TROCCOⓇ」に39社からご寄稿頂いたレビューから、各社のデータアーキテクチャをまとめた記事です。各社の技術選定の背景や工夫などの知見を得ていただく場となれば幸いです。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております BigQueryBigQuery は、Google Cloud の費用対効果に優れたフルマネージド型の分析データ ウェアハウスです。ペタバイト規模に対応しており、膨大な量のデータに対してほぼリアルタイムで分析を行うことができます。 ▼BigQueryとは？機能や特徴・製品の概要
日本少子化の実態 全国調査から「男性の低学歴・低収入化」に明らかな相関が見つかる（2022） - 科学ニュースメディア！ナゾロジー
少子化は現在日本が抱える課題の1つです。 この原因について、経済的格差の問題を指摘する声は多く聞かれますが、実際のところ親となる人の経済状況や学歴などがどう関係するかは、十分な分析はされておらず不明瞭なままでした。 そこで東京大学大学院医学系研究科に所属する坂本 晴香（さかもと はるか）氏ら研究チームは、国立社会保障・人口問題研究所が実施する出生動向基本調査を用いてデータ分析を実施。 その結果、高学歴・高収入な男性ほど、子供を持つ割合が多く、男性の低学歴・低収入化、雇用形態の変化が少子化の一因であると判明しました。 研究の詳細は、2022年4月27日付の科学誌『Plos One』に掲載されています。
「ナスカの地上絵」新たに303個発見で“ほぼ倍増” AIで航空写真からの発見率16倍に 山形大
地上絵の数が増加したことで、ナスカ台地における地上絵のモチーフや分布の分析が可能になった。人間や家畜、加工された首級などが描かれている「面タイプ」の地上絵は通常、ナスカ台地を縦断する曲がりくねった小道から見える。このことから、個人または小規模なグループが制作し、観察していたと考えられるという。 一方、野生動物が描かれる巨大な「線タイプ」の地上絵は、主に直線や台形の地上絵ネットワークに沿って分布している。このことから、共同体レベルで儀式的な活動のために制作・使用したと考えられるという。 研究では今後、IBMの地理空間データを扱うAIの基盤モデルを活用して、AIの能力を向上。さらなる地上絵の発見やその分布情報の解読などに取り組んでいくとしている。なお研究の成果は、米国科学アカデミーの機関紙「Proceedings of the National Academy of Sciences (PNA
「まったり」「がっつり」気になりますか？文化庁調査 | NHK
17日、文化庁が「国語に関する世論調査」の結果を公表しました。 「ゆっくり、のんびり」を『まったり』、「しっかり、たくさん」を『がっつり』と表現することについて「気にならない」と答えた人が8割余りにのぼり、広く定着してきていることがわかりました。 また、本を「読まない」と答えた人が6割余りにのぼり、ほぼ3人に2人が本を読まず、“読書離れ”が進んでいることもみえてきました。 目次 「まったり」「がっつり」 8割余りが気にならないと回答 本を「読まない」6割余り 過去最高に 文化庁は毎年、日本語の使い方の変化などを調べていて、2024年1月から3月にかけて全国の16歳以上の6000人に調査し、3559人から回答を得ました。 この中で、新しい意味や使い方が辞書に記載され始めた表現について「ほかの人が使うのが気になるか、ならないか」を聞きました。 その結果、「ゆっくり、のんびりする」という意味で『
“ネットに未接続”のPCからデータを盗む攻撃 7m先からエアギャップPC内の機密情報を盗む
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 イスラエルのBen-Gurion University of the Negevに所属する研究者が発表した論文「RAMBO: Leaking Secrets from Air-Gap Computers by Spelling Covert Radio Signals from Computer RAM」は、インターネットに接続していないコンピュータ（エアギャップPC）から機密情報を漏えいさせる新たなサイドチャネル攻撃手法を提案した研究報告である。 「RAMBO」と呼ぶこの攻撃は、物理的に隔離したコンピュータのRAM（Random Access Mem
「誰から聞いたんや、名前言え」「グルやったんちゃうんか」 兵庫県知事告発者捜しの全容
兵庫県の斎藤元彦知事の疑惑が文書で告発された問題で、片山安孝副知事（当時）が3月、文書を作成した男性を事情聴取した際の詳細なやり取りが明らかになった。人事権をちらつかせて情報源を探る片山氏に対し、「噂が回っている」とかわす男性。片山氏が「噂をまとめただけか。なるほど」と語る場面もあった。斎藤氏は「噂話を集めた」という男性の説明を、文書に真実相当性がないとする根拠に挙げるが、やり取りからは周囲を守ろうとする男性の意図がにじむ。 「誰から聞いたんや。全部名前言え」。3月25日午前、同県上郡町にある県西播磨県民局の一室で、片山氏が当時局長だった男性を問い詰めた。 百条委の審議や関係者などによると、文書の存在を把握した斎藤氏は同21日、片山氏ら側近幹部を集めて徹底調査を指示。22～23日に、複数の県職員のメールを調査したところ、男性のメールから告発文書と酷似した内容が見つかった。
カドカワ公表の情報漏洩の原因に衝撃走る「権限ある社員なら誰でも起こせる」
ドワンゴが所在する歌舞伎座タワー（「Wikipedia」より／Tak1701d） ハッカー集団からマルウェアを含むサイバー攻撃を受け情報漏洩が起き、一部サイトやサービスが停止していたKADOKAWA。今月5日には「ニコニコ動画」が再開するなど徐々に正常化に向かいつつあるが、同日には「ニコニコ動画」を運営する子会社のドワンゴがプレスリリースを発表し、情報漏洩の原因や範囲を説明。窃取されたアカウント情報によって社内ネットワークに侵入されたことが原因だと推測したが、悪意を持った社員などがアカウントを使ってシステムにアクセスすることによって情報漏洩やサービスダウンを起こせる可能性が改めて認識され、「逆に恐ろしい」「アクセス権限を持つ社員なら誰でも起こせる」といった声もあがり一部で衝撃が走っている。 KADOKAWAのシステムで障害が発生したのは6月上旬のことだった。動画共有サービス「ニコニコ動画」
これは良い図だ！ ウクライナ穀物輸出ルートの変遷 : ロシア・ウクライナ・ベラルーシ探訪 服部倫卓ブログ
私は、ウクライナの穀物輸出ルートの問題をずっと追ってきたわけだが、戦時下の状況に関しては、断片的なデータが飛び交うばかりであり、網羅的なデータにはなかなかお目にかかれなかった。 NHK「100分de名著」ブックス アレクシエーヴィチ 戦争は女の顔をしていないposted with ヨメレバ沼野恭子 NHK出版 2024年06月 楽天ブックスAmazon そうした中で、今般見付けたのは、ウクライナの経済戦略センターというところが定期的にとりまとめているらしいグラフである。こちらのフェイスブックページに、2024年６月までのルート別穀物・採油作物輸出量の最新版が出ていたので、凡例に日本語をかぶせ、上掲のとおりご紹介することにする。 いやホント、個人的にここまで全体像が良く分かる資料というのは、初めて見た。要するに、元々ウクライナの穀物輸出は圧倒的に黒海港湾（大オデーサ港およびミコライウ港）から
AWSアンチパターン戦記
「君子危うきに近寄らず」という言葉は、賢明な人は危険を避けるという意味を持ちます。 アンチパターンを知り、それを回避するのは第一歩 準備を怠ると動いてるシステムがアンチパターンとなる。 準備とは、データを集め、テストを繰り返すことから。 新しいことへの果敢なチャレンジをわすれずに。ときには、AW…
【マルウェア・MIORI】HTTPサーバーの不審なアクセスログの調査✨ - Qiita
こんにちわ。株式会社フォアーゼットにてペンテスターをしている蔀です。 最近はあまりLinuxに触れていなかったので、わくわくしながら記事を書きます。 最初はWhoisとかだけして終わると思っていました。調査進めながら書いていたら、マルウエアが出てきたりしたので、非常に濃い内容となっております。くれぐれもコマンドが分からない状態で真似をしないようにお願いいたします。 また、自己責任で記事での技術検証を行う際は、仮想環境やそれに類するものを使うように留意してください。筆者および弊社はこの記事の技術検証により生じた損害等について一切の責任を負わないものとします。 うっかりコピペでコマンドが動作しないように、テキストにて記述したIPアドレスの一部（0→oなど）改変しております。 概要 自社のクラウドインスタンスでお試し稼働しているWEBアプリに特徴的なログが残っておりました。 これからセキュリティ
インシデント発生時に電源を入れたままにすべきか問題 - Qiita
更新履歴 2024/6/28 ネットワーク遮断の是非について追記しました。 はじめに とあるセキュリティインシデントにおいて、サーバを電源ケーブルごと引き抜いたという対応が行われ、X（Twitter）ではこの対応について賛否両論が見られました。このうち電源を入れたままにすべきという人の意見には、「マルウェアの中にはシャットダウンすることで自分自身を削除し、感染痕跡を削除するものがある」「メモリを調査すべきなのでシャットダウンすべきではない」のような意見が見られました。 本記事では実際にメモリからどのような情報がわかるか、そしてメモリダンプを解析することの有用性と課題について記載します。 また、インシデント発生時の特に封じ込めフェーズについても考察します。 メモリフォレンジック セキュリティインシデントにおいてはフォレンジック調査が行われる場合があります。フォレンジック調査には、HDDやSS
自由記述のアンケートデータがあったときに実施すべき4つの分析手法 - Qiita
アンケートには、数値で回答をする設問があったり、自由記述の回答をする設問があったりすることが一般的です。 そして、数値の回答に関しては、集計して性別や年代など回答者の属性ごとにスコアを比べたり、質問間の相関を調べて、分析を進めることが可能です。 一方で、自由記述の回答の場合、膨大なテキストデータを眺めるだけで終わってしまったり、アンケートを見た人の主観的な気付きをまとめただけで分析が終わってしまい、「データに基づいた気付き」を得るまでには至らないことも少なくありません。 そこで、今回は自由記述のアンケートデータがあったときに、有用な情報や気付きを得るために実施すべき4つの分析手法を紹介いたします。 1. 頻出単語のカウント 自由記述のテキストデータがあったときに、データ（文章）は「単語」に分け、それぞれの単語の出現回数を集計（定量化）することで、データの中にあるパターンや特徴を掴めるように
PDCAサイクルの「正しい回し方」をあなたは知らない。気鋭の統計家が語った“大きな勘違い” - ミーツキャリアbyマイナビ転職
「PDCA回してかないとね」「それはPDCAでいこう」 ビジネスシーンで頻繁に使われる、この「PDCA」という言葉。Plan/計画、 Do/実行、 Check/評価、 Action/改善という4つのステップを踏んで事業のあり方を改善するフレームワークですが、果たして本当にPDCAの回し方を正しく理解し、実践できているでしょうか？ そもそもPDCAを正しく回すために何が必要で、何が欠けると正しく回せないのか？ そんな疑問をもとに今回お声がけしたのは、SNSや著作を通じてPDCAの考え方を紹介されてきた統計家、西内啓さんです。 「PDCAとは質の高い目標を立てるための考え方」だと語る西内さんに、知っているようで知らない、PDCAの正しい回し方を伺います。 ▼この記事の一部は、ながら聞きでもご利用いただけます https://voicy.jp/channel/4565/1147410 西内啓さん
亡き芦原妃名子さんへの苛烈な言葉の数々…『セクシー田中さん』日テレ調査報告書が「傷口」を広げた理由
日本テレビは5月31日、同局系連続ドラマ『セクシー田中さん』の原作者で漫画家・芦原妃名子さんの訃報に関連して設置した社内特別調査チームの調査結果報告書を公開した。91ページに及ぶ報告書では、芦原さんが脚本家に不信感を抱き、降板を要求。9、10話の脚本を自ら書くなどし、脚本家が「脚本協力」で自身の名前をクレジットで入れるよう求めたことも拒否した対立などが示された。だが、同書には芦原さんが亡くなった原因を究明する内容はなく、元テレビ朝日法務部長の西脇亨輔弁護士は「身内と脚本家をかばうために作った文書なのか」などと指摘した。 日本テレビは5月31日、同局系連続ドラマ『セクシー田中さん』の原作者で漫画家・芦原妃名子さんの訃報に関連して設置した社内特別調査チームの調査結果報告書を公開した。91ページに及ぶ報告書では、芦原さんが脚本家に不信感を抱き、降板を要求。9、10話の脚本を自ら書くなどし、脚本家
特別調査委員会による調査報告書公表および映像化指針策定のお知らせ | 小学館
2024年1月、漫画家・芦原妃名子先生が逝去された事につきまして、改めてお悔やみを申し上げます。また、ご遺族にも深く哀悼の意を表します。 当社は、芦原妃名子先生に関する一連の事案について、事実関係の調査、問題点の洗い出し、必要な改善策提案を目的として、弁護士を含む特別調査委員会を設置し、調査を行ってまいりました。 この度、特別調査委員会より報告書を受領いたしましたので、その概要と、報告書を受けて当社が作成した映像化指針を下記のとおりお知らせします。調査にご協力をいただいた日本テレビの皆様はじめ関係者の皆様には、厚く感謝申し上げます。 報告書の公表は、当該事案関係者への批判を意図しておりません。関係者個人への誹謗中傷は、厳に慎んでいただきますようお願い申し上げます。 なお、公表する報告書は、関係者のプライバシー配慮及びその保護、機密情報保護のため、部分的な非開示措置をとっています。 PDF1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IIS ログでの時刻：こっそりと。 - livedoor Blog
【Excel】重複データを調べる、取り出す、取り除く ～それぞれ違う3つの操作を確認【いまさら聞けないExcelの使い方講座】
税務調査が急増中！ 税務署が狙う個人事業主の条件とは？ プログラマー/システムエンジニアは申告漏れ金額が多かった!?【注目記事】
【特集】 そのデータ、本当にクラウドに預けて大丈夫？NAS導入のススメ
KADOKAWA、ランサムウェア攻撃による「さらなる情報流出」を調査、6月末発表の内容に加え 
