JJUG CCC 2024 Spring 複雑な業務ロジックに立ち向かうための実践技法 【初級編】 ①値の種類 ②範囲型 ③階段型 【中級編】 ④状態遷移 ⑤入出金履歴と残高 ⑥未来在庫 【上級編】 ⑦セット演算 ⑧割合と端数 ⑨決定表 ⑩経路探索
いまどきの分析設計パターン10選
JJUG CCC 2024 Spring 複雑な業務ロジックに立ち向かうための実践技法 【初級編】 ①値の種類 ②範囲型 ③階段型 【中級編】 ④状態遷移 ⑤入出金履歴と残高 ⑥未来在庫 【上級編】 ⑦セット演算 ⑧割合と端数 ⑨決定表 ⑩経路探索
自由記述のアンケートデータがあったときに実施すべき4つの分析手法 - Qiita
アンケートには、数値で回答をする設問があったり、自由記述の回答をする設問があったりすることが一般的です。 そして、数値の回答に関しては、集計して性別や年代など回答者の属性ごとにスコアを比べたり、質問間の相関を調べて、分析を進めることが可能です。 一方で、自由記述の回答の場合、膨大なテキストデータを眺めるだけで終わってしまったり、アンケートを見た人の主観的な気付きをまとめただけで分析が終わってしまい、「データに基づいた気付き」を得るまでには至らないことも少なくありません。 そこで、今回は自由記述のアンケートデータがあったときに、有用な情報や気付きを得るために実施すべき4つの分析手法を紹介いたします。 1. 頻出単語のカウント 自由記述のテキストデータがあったときに、データ（文章）は「単語」に分け、それぞれの単語の出現回数を集計（定量化）することで、データの中にあるパターンや特徴を掴めるように
プログラマーがソースコード内に書いた「アスキーアート」図2000点以上を収集 使われ方を分析しデータベース化【研究紹介】 レバテックラボ（レバテックLAB）
米カリフォルニア大学サンディエゴ校に所属する研究者らが発表した論文「Taking ASCII Drawings Seriously: How Programmers Diagram Code」は、ソースコード内で使用するアスキーアート（ASCII art）を収集し分析した研究報告である。 ▲ソースコード内で活用されたアスキーアートの一例 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容 オープンソースのソフトウェア開発では、プログラマーがコードの中にアスキーアートを使って図を描き、アイデアを視覚的に表現することがよくある。アスキーアートはコードや自然言語では表現しにくい概念を視覚的に明快に説明でき、またコードよりも詳細度は低いものの、コードを理解するうえで「サムネイル」のような役割を果たす。 こうしたアスキーアートは、実際のソフトウェア開発
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ
三井物産デジタル・アセットマネジメントで、ガバナンス・コンプラエンジニアリングをしている 鈴木 (@ken5scal )です。 いきなりですが、ログ管理はどの職種どの場面でも重要です。セキュリティにおいても、古生代よりサーバー、ネットワーク機器、アプリケーションなどから出力されるログを一元的に収集し、監視や分析を行うことで、セキュリティインシデントの早期発見や対応、コンプライアンス要件の達成が可能になります。 このようなログ一元管理を実現する代表的なソリューションは、そう、皆様よくご存知のSIEM。我らが「Security Information and Event Management」であります。 私はSIEMを、新卒で入社した大手企業でSOC(Security Operation Center)として触れ、その後ユーザー企業でもOSSやAWS GuardDuty（？）などの形で利用す
『技術書の読書術』を読んで覚えておきたいテクニック - Qiita
はじめに 今回紹介する本 「技術書」の読書術 達人が教える選び方・読み方・情報発信&共有のコツとテクニック ITエンジニア本大賞という企画でこの本のことを知り、 技術書のインプットが足りてないなと思う時期だったため、改めて技術書の読み方を学んでみようと思い読んでみました。 本書の構成を簡単にお伝えすると以下の３部で構成されております。 第１部 選び方 第２部 読み方 第３部 情報発信＆共有 各部ごとに２人の著者それぞれが章を受けもってそれぞれ書かれている感じで、１冊の本なのですが、読書術を２人の視点から学べるお得な本となっております。 この本は次のような方におすすめできると思いました。 これから技術書を読み始める人 技術書を読んでいるがまだ数冊、読み方など考えたことがない 自己流でこれまで読んできているが他の人がどのように読んでいるのか知りたい この記事では「第２部 読み方」について特に印
人はなぜワクチン反対派になるのか ―コロナ禍におけるワクチンツイートの分析―
プレスリリース 研究 2024 2024.02.05 人はなぜワクチン反対派になるのか ―コロナ禍におけるワクチンツイートの分析― 発表のポイント ◆ コロナ禍で初めてワクチン反対派になった人の特徴を分析し、陰謀論やスピリチュアリティに傾倒している人がワクチン反対派になりやすく、さらに参政党への支持を高めた可能性を示した。 ◆ ワクチン反対派などの特徴を分析した研究は多く存在するが、本研究ではどのようにワクチン反対派に転じるに至ったかを時系列的な分析に基づいて明らかにし、さらにその政治的含意も示した。 ◆ 公衆衛生に対する脅威となりうる反ワクチン的態度の拡散を食い止めるための手がかりが得られ、将来のパンデミックに対して重要な教訓を得た。 パンデミックを経て新たに高い反ワクチン的傾向を持つようになったアカウントの特徴 発表概要 東京大学大学院工学系研究科の鳥海不二夫教授と、同大学未来ビジョン
【サイバーセキュリティ】SOCによる24時間365日監視は本当に必要なのか再考してみる - Qiita
はじめに 近年、サイバーセキュリティに対する意識の高まりを感じている。 国会では「セキュリティ・クリアランス制度」なるものの検討が進んでおり、誰もが知っているような上場企業であれば当たり前のようにサイバーセキュリティ対策を専門で行う部門が設置されるようになってきた。 筆者が実際にクライアントと会話していても、以前のように「サイバーセキュリティ対策の必要性がわからない」というケースは減ってきており、「サイバーセキュリティ対策をとりあえずやりたい」という経営層が増えているようにも感じる。 そして、需要が高まれば供給側の企業も増えるのが資本主義の性(さが)である。 大手SIerやコンサルティング会社はこぞってサイバーセキュリティ分野への増員に力を入れている。 サイバーセキュリティ分野を得意としたベンチャー企業の上場事例も多数見受けられる。 そんな中、近年急速に拡大しているビジネスが24時間365
卒論が“調査報道”に 「大好きな森林、本当にこのままでいいの？」｜NHK取材ノート
大学時代に書いた自分の卒業論文が、記者として初めての調査報道につながった。 森林の保全や活用に欠かせない、法律が定める自治体の「森林整備計画書」について大量の公開文書を調べたら、多くの自治体がどこかの文書を丸写ししていたことがわかったというもの。 日本の森林を守るための大事な行政の文書が「コピペ」…あらためて思った、 「日本の森林ってこのままでいいの？」 コロナ禍で見つけた卒論テーマNHK前橋放送局記者の田村華子です。 私がこの「森のネタ」を見つけたのは3年前、大学4年生のころでした。 学生生活で最後の新学期が始まったばかりの4月、新型コロナの「緊急事態宣言」が出て大学の授業も中止になり、困ったのが「卒業論文」です。 私の専攻は「森林環境資源科学科専修」といって、実際に森林に出て植物や動物の分布などを調べる「フィールドワーク」が主体でした。 北海道の実習先ででもフィールドワークはおろか外出
【AWS】用語を整理しながら学ぶAWS Amazon Athena - Qiita
はじめに この記事では AWSが提供するAmazon Athena(以下、Athena)を学習していく記事です。主な内容としては実践したときのメモを中心に書きます。（忘れやすいことなど） 誤りなどがあれば書き直していく予定です。 Athenaとは何なのか 簡単に1行で表現すると AthenaはSQL を使用した S3 でのデータクエリと表現されています。 公式では以下のように説明されています。 Amazon Athena は、オープンソースフレームワーク上に構築されたサーバーレスのインタラクティブな分析サービスで、オープンテーブルとファイル形式をサポートしています。Athena は、ペタバイト規模のデータが存在する場所で分析するための簡素化された柔軟な方法を提供します。Amazon Simple Storage Service (S3) データレイクと 25 以上のデータソース (オンプレ
AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
次世代データサイエンティストが身につけるべき4つの最重要スキル - Qiita
次世代データサイエンティストが身につけるべき4つの最重要スキル 4 Skills the Next Generation of Data Scientists Needs to Develop - リンク データサイエンスやデータ分析プロジェクトが成功するかどうかは、データからいかにワクワクする知見が得られたかとか、いかに最先端の手法を使って分析したかはあまり関係がありません。 むしろ、ビジネスのドメイン知識を持っているか、ビジネスが抱えている問題意識を共有できているか、データからわかったこと、わかってないことを明確にビジネスの言葉で伝えられるかといったことが非常に重要です。 このことに気づけないと、せっかく頑張って勉強し、さらに時間をかけて様々な角度からデータを分析したとしても、その仕事は相手に適正に評価されず、そのことに失望してしまうことになりかねません。 そこで、今回は最近ハーバード
個人的AWS ログ管理のベースライン - mazyu36の日記
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
女性支援団体Colaboの炎上分析（鳥海不二夫） - 個人 - Yahoo!ニュース
年末くらいからネット上で，女性支援団体Colaboに対する不当会計疑惑等が指摘され，ツイッター等で話題となっています． そこで，ツイッター上で関連するツイートを収集して，どのような意見がネット上にあるのかを分析するため，ツイートの収集を行ってみました．2022年7月12日から2023年1月2日まで，「colabo, 仁藤夢乃, 仁藤, 夢乃, 暇空茜, 暇空, 暇アノン, #暇アノン, #colabo」を含む4,280,488ツイートを収集しました．関連ツイートを投稿したアカウントは303,126ありました． 収集したデータから，そこそこ大きな炎上になっていることがわかりました．では，このデータを分析していってみましょう． なお，この記事はあくまでもツイートのデータを分析したものであり，女性支援団体Colaboに対する特定の意見を表明するものではありませんし，なんらかの結論を提示するもので
高度に回避的である新たなJavaScriptスキマーを発見
Cybleは9月1日(米国時間)、「Cyble — Highly evasive Magecart JavaScript Skimmer active in the wild」において、クレジットカードを狙うサイバー犯罪者集団「Magecart」が使用する、高度に回避的である新たなJavaScriptスキマーを分析したと伝えた。Magentoで構築されたEコマースWebサイトを狙う脅威グループによって開発された新たなJavaScriptスキマーについて言及したツイートが発見されたため、Cybleのセキュリティ研究者が調査を開始したと報告されている。 Cyble — Highly evasive Magecart JavaScript Skimmer active in the wild サイバー犯罪者は、MagentoのEコマースWebサイトに対し、CMSの脆弱性を悪用してソースコードにア
知って使えるJVMのログ出力と情報収集や解析ツール
本連載ではJavaプログラムの実行を担うJava仮想マシン（JVM）について、その情報を取得するさまざまなツールの利用を通じて理解を深めます。JVMやそのツールに関する知識はアプリケーションが正常に動作しているときではなく、障害など異常が起こった際に大いに役立ちます。それだけでなく、Javaプログラムを動作させる仕組みを知ることはソフトウェアを開発するエンジニアの皆さんの、知的な部分を刺激するとともにシニアレベルのJavaエンジニアへと進む第一歩となります。第2回では、JVMのログ出力であるUnified Loggingの仕組みと、JDKに同梱されているJVM関連のツールの中から情報取得および設定コマンドであるjcmdと障害解析に使用するjhsdbについて解説します。 はじめに 本連載はJavaプログラムの実行を担うJava仮想マシン（Java Virtual Machine：以下、JVM
COCOA接触通知を詳細分析できる「COCOAログjp」
・cocoaアプリを開く ・「陽性登録者との接触結果を確認」押す ・「情報を保存」押す ・「コピー」を選ぶ ・コピーされたログを↑フォームに貼り付け ・分析結果が表示される。（サンプル）
メルカリのデータ分析チームでやったことの振り返り｜樫田光 | Hikaru Kashida
こんにちは。 データアナリスト 兼 チームのマネージャ としてメルカリという会社に4年ほど勤めていたのですが、色々やった気はするが、思い返してみると結局の所何をしたんだっけ？という気持ちに突然なりました。僕は忘れっぽいので、今後もこういう瞬間は何度も訪れそうな気がしています。 ということで、この4月から新しいことを始めるこのモーメントに自分が何をしたのかをちゃんと書き残しておくことにしました。 自分自身の記憶のアーカイブの役割とともに、誰かの参考になれば望外の喜びです。 大体2016−2019年くらいの話です（今のメルカリのデータ分析チームはもっと進化していますのであしからず。） LTVの概念を導入した2022年現在となってみると非常に不可解ではあるが、私がメルカリに入社した2016年頃には、社内では「LTVを見る」という概念はなかった。 ゆえに、投資がリクープ（回収）できているかどうかを
【初心者向け】AWS Athena の 使い方 - Qiita
はじめに この記事は初めてAWS Athenaを利用するユーザーを対象にしております。 はじめてAWS Athenaを使う人のチュートリアルのようなものになれば幸いです。 AWS Athenaって何？ 概要 簡単に言うと、AWSが提供するフルマネージドサービスで、S3にあるデータファイルに対してクエリを実行することの出来るサービスになります。 つまり、S3(オブジェクトストレージ)にデータ(csvやparquet)を配置してしまえば、それだけでそのデータの分析を始められることができます。フルマネージドサービスなのでサーバーの管理は不要ですし、データをRDBにインポートさせる手間も必要ありません。 料金 スキャンされたデータ 1 TB あたり 5USD (2019年7月13日 東京リージョン) これのみです。クエリを実行した分だけ料金が発生します。 1ドル=107円換算で1GBあたり約0.5
野党共闘は失敗か？｜三春充希(はる) ⭐第50回衆院選情報部
2021年10月31日に行われた第49回衆院選では、2012年に自民党が政権を奪回して以降、はじめて衆院選での大規模な野党共闘が実現されました。しかし選挙結果は多くの野党支持者の期待とはうらはらに、野党第一党である立憲民主党が選挙前から13議席減らし、共産党も2議席失うという後退を示しました。この結果をうけて野党共闘の評価は割れています。 もちろんこうした結果をうけて試みを再考するというのは必要なことでしょう。しかしながら結論をはじめから決めてかかるような主張もまた、見かけないわけではありません。ここではそうした議論ならざる議論に終止符を打ち、真に内実のある議論へと進むべく、選挙結果をもとに野党共闘の検証を行っていきます。 野党共闘とは これまでの衆院選では、小泉政権下での一部の例外を除き、自民と公明の得た票の合計は全国の有効投票総数の半分に届いていませんでした。それにもかかわらず自公が圧
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
