aaaanwzのブックマーク (41)

  • 4社のデータ基盤開発に携わって得たベストプラクティス

    aaaanwz
    aaaanwz 2023/11/03
  • 2022年 Python/データ分析関連の人気Qiita記事150選 - Qiita

    はじめに どうもこんにちは。データアナリストをしているkunishouです。2022年も残すところ今日、明日のみ。皆さん年の瀬をいかがお過ごしでしょうか? 私は先日無事に仕事を納めることができましたが、仕事も勉強も何もしなくていい日が数日続きすでにソワソワしてきました。この禁断症状を抑えるべく、2022年の技術動向の振り返りもかねて、 2022年のPython/データ分析関連の人気記事をまとめてみることにしました(完全に思い付きです)。 記事では、2022年にQiitaに投稿された Python/データ分析関連の記事の中から いいね数の多かった150記事をピックアップし表にまとめました。 年末年始の暇つぶしがてらにでも読んでもらえたら幸いです。 モチベーション 実はQiita公式からも毎年1月にQiitaの人気記事のランキングが公開されています。ただ、Qiita全カテゴリでのランキング

    2022年 Python/データ分析関連の人気Qiita記事150選 - Qiita
    aaaanwz
    aaaanwz 2022/12/31
  • MySQLの運用をコードで定義し大幅に自動化する「MySQL Operator for Kubernetes」がオープンソースで公開[PR]

    MySQLの運用をコードで定義し大幅に自動化する「MySQL Operator for Kubernetes」がオープンソースで公開[PR] Kubernetesのようなコンテナ環境では、MySQLデータベースのようなステートフルで高い安定性が求められるソフトウェアを運用することは難しいと、以前は考えられていました。 しかし現在ではステートフルセットのような機能もKubernetesは搭載し、実装も安定してきていることから、ステートフルなアプリケーションをKubernetesで実行できる状況が十分に揃ってきました。 それだけではありません。Kubernetesには運用自動化を支える「Operator」と呼ばれる拡張機能が登場しました。これを用いると、Kubernetes上でさまざまなアプリケーションでの運用作業の多くが人手を介することなく自動的に行えるようになります。 そしてこのOpera

    MySQLの運用をコードで定義し大幅に自動化する「MySQL Operator for Kubernetes」がオープンソースで公開[PR]
    aaaanwz
    aaaanwz 2022/05/30
  • じゅじゅ on Twitter: "ネット上にある、完全無料で勉強になる有益なコンテンツまとめました。 (お金/資産形成、Excel、仕事術、資料作成、英語、ファイナンス、統計・データ分析、プログラミング、ITなど) GWでなにか勉強したいな~、と思っていた方はぜ… https://t.co/wHbkKFUnFM"

    ネット上にある、完全無料で勉強になる有益なコンテンツまとめました。 (お金/資産形成、Excel仕事術、資料作成、英語、ファイナンス、統計・データ分析、プログラミング、ITなど) GWでなにか勉強したいな~、と思っていた方はぜ… https://t.co/wHbkKFUnFM

    じゅじゅ on Twitter: "ネット上にある、完全無料で勉強になる有益なコンテンツまとめました。 (お金/資産形成、Excel、仕事術、資料作成、英語、ファイナンス、統計・データ分析、プログラミング、ITなど) GWでなにか勉強したいな~、と思っていた方はぜ… https://t.co/wHbkKFUnFM"
    aaaanwz
    aaaanwz 2022/05/01
  • 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート

    総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GISAPI機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS

    総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
    aaaanwz
    aaaanwz 2022/01/12
  • Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog

    記事執筆中に動かなくなった開発環境 Repro でサーバーサイドの開発をお手伝いしているうなすけと申します。 前回の記事を最後の脚注まで読んでくださった方はご存知でしょうが、記事執筆中にmergeされた変更によって、M1 Mac での開発環境は動かなくなってしまいました。 tech.repro.io この記事では、一体何が原因で動かなくなってしまったのか、回避のために試したことと、結局撤退する判断をした経緯について書きます。 Repro のアーキテクチャについて まず、なぜ動かなくなってしまったのかですが、これには Repro というサービスのアーキテクチャが関係してきます。 Repro では、ユーザーの端末やWebブラウザから送信されてくる大量のデータを取り扱うために、Kafka を使用してデータの処理を行っています。これに関しては、チーフアーキテクトによる以下の記事及びスライドにて K

    Repro のサーバーサイド開発環境を M1 Mac に対応させるまでの道のり(撤退編) - Repro Tech Blog
    aaaanwz
    aaaanwz 2021/12/14
    Ubuntuプリインストールラップトップとかあるわけだし、そこまでしてなぜ世間がMacを使うのかよくわからんなー、iOSアプリ開発ならともかく
  • Raspberry Pi 2 と Jetson nano でHybridおうちKubernetes環境を作ったときの話 - Progate Tech Blog

    Progateの前田です。 エンジニアマネージャーとしていろいろやってる傍、個人ではAWS Community Builder / AWS Startup Community Code Member として活動しています。 記事はProgate Advent Calendarの1日目です! 今年の9月にEKS Anywhereのリリースがあって、ついに自宅にKubernetes環境を作る機運かと思い、おうちKubernetesに着手しました。 しかし残念なことに、EKS Anywhereはx86/amd64にしか対応していないので、ただのKubernetesクラスタを構築することになりました。 という余談は置いといて、いざおうちKubernetesをやろうとRaspberry Piを調べていたところ、Raspberry Pi 4が異常なまでの品薄状態になっており、出鼻を挫かれる事態に・・

    Raspberry Pi 2 と Jetson nano でHybridおうちKubernetes環境を作ったときの話 - Progate Tech Blog
    aaaanwz
    aaaanwz 2021/12/01
  • 初学者に教えたい、MicrosoftがGitHubで公開している教材が最高だった! - Qiita

    はじめに エンジニアやデータサイエンティストの人材育成のためのオープンソースな教材を探していたらMicrosoftGitHubでかなり質の高い教材をweb開発、データサイエンティスト、機械学習、IoTの四項目を対象に提供してるのを発見したため共有したいと思う。 正直、マイクロソフトと聞くとGoogleやらFacebookに比べていけてないイメージを持っていたけど、実際にMicrosoftGitHubレポジトリを見て、彼らはここ数年で大きく変わったように思える。特に人材育成や学習教材に関しては世界一かもしれないなんて思っています。記事では筆者が自信を持っておすすめするMicrosoftのオープン教材を紹介するのでぜひ自身の勉強や人材育成に生かしてもらえれば記事を執筆した甲斐があります。(もちろん僕がお勧めしているだけでなくてGitHubのスター数も多く世界的に認められています!) こ

    初学者に教えたい、MicrosoftがGitHubで公開している教材が最高だった! - Qiita
    aaaanwz
    aaaanwz 2021/11/21
    日本語訳も同梱されてます
  • 人間ドック、電動自転車、リフォームまで「申請すればもらえるお金」一覧 | マネーポストWEB

    「コロナ明けでやりたいこと」は山のようにあるが、お金がかかる。そんな理由で諦めてしまうのはもったいない。申請すればお金がもらえる制度がたくさんあるのだ。 健康編 密になるのが嫌で控えていた人間ドックをそろそろ受診しなければ──そんな人が利用したいのが「人間ドック助成」だ。ファイナンシャルプランナーの風呂内亜矢氏が指南する。 「人間ドックにかかる費用は平均で4万円ですが、国民健康保険加入者など条件を満たせば東京都の台東区や千代田区は2万円、大田区や渋谷区は8000円の補助を出します。事前の申請が必要な場合があるので、各自治体に確認しましょう」 また千代田区など、コロナ禍で65歳以上の肺炎球菌予防接種が事前に申請すれば無料になった自治体もある。 メタボ解消や健康維持でジム通いを始める場合もお金が戻るケースが。税理士の山宏氏が語る。 「かかりつけ医師などの指導があれば、フィットネスジムやプール

    人間ドック、電動自転車、リフォームまで「申請すればもらえるお金」一覧 | マネーポストWEB
    aaaanwz
    aaaanwz 2021/11/07
  • 「男性の所得上げないと人口問題解消しない」 相馬市長が持論展開(河北新報) - Yahoo!ニュース

    立谷秀清相馬市長は28日、福島市であった連合福島の定期大会で「女性には悪いけれど、男性の所得を上げていかないと人口問題は解消しない」などと、少子化問題について持論を展開した。 来賓として出席した立谷市長は、あいさつで「地方創生は人口の維持が一番のポイント」と強調。「女性が結婚しようとしない。未婚の最大の原因は結婚相手の男性の年収だ。年収と婚姻率は面白いように比例する」と語った。 立谷市長は未婚の女性も含め女性1人が生涯に産む子どもの数を推計した合計特殊出生率と、夫婦が生涯に持つ子どもの平均である完結出生児数を比較。「完結出生児数が約0・6人上回る」として、男性の所得底上げが結婚につながり、結果的に出産が増えるとの考えを示した。 立谷市長は全国市長会の会長も務める。連合福島から12月19日投開票の市長選への立候補要請を受けている。 連合は男女間賃金格差の是正や、不合理な待遇差をなくす「同一労

    「男性の所得上げないと人口問題解消しない」 相馬市長が持論展開(河北新報) - Yahoo!ニュース
    aaaanwz
    aaaanwz 2021/10/29
    なぜ女性は結婚相手にある程度の年収を求めるのかを考えーや
  • 神、世界の「ロールバック」を啓示 親ガチャ不具合で

    ソーシャルゲーム「世界」を運営する神は11日、ゲーム進行に関わる不具合があったとして、ゲーム内のデータを正常だった時点まで戻す措置「ロールバック(巻き戻り)」を行うと啓示した。ゲーム開始時に行う「親ガチャ」の提供割合に不正があるのではないかという、一部プレイヤーからの指摘を認めた格好だ。 不具合が明らかになった「親ガチャ」は、「世界」の新規プレーヤーがゲーム開始時に引く「くじ」のような抽選システム。金銭、能力、容姿など全ての要素に恵まれたSSR親(スーパースペシャルレアおや)、平均的なN親(ノーマルおや)、その後のプレーに悪影響を及ぼすD親など、レアリティ(希少性)を持った親が規定の提供割合で含まれる。 やり直しができない1回限りの「親ガチャ」は、その後の進行に大きな影響を与えるため、親ガチャの当たりはずれはゲームの難易度を決定づける。また、プレイヤー自身も新規プレーヤーの親ガチャとしてラ

    神、世界の「ロールバック」を啓示 親ガチャ不具合で
    aaaanwz
    aaaanwz 2021/10/11
    有性生殖システムが廃止されたら、次は突然変異ガチャだな
  • Terraform, Dockerfile, KubernetesなどIaCの脆弱な設定をCI/CDで検知する - knqyf263's blog

    概要 自分の所属企業であるAqua SecurityがTFsecというOSSを買収しました。 blog.aquasec.com TFsecはどういうツールかというとTerraformの静的解析スキャナーです。Terraformの設定ファイルを渡すことでセキュリティに関する設定ミスを主に検知してくれます。 github.com そのアナウンスに伴い、TFsecは自分が開発している脆弱性スキャナーであるTrivyに統合されました。TrivyではTerraformに加えDockerfileやKubernetesなど、いわゆるInfrastructure as Code(IaC)の設定ミスを検知するマネージドポリシーも提供しています。他にもJSONやYAMLなど一般的なファイルフォーマットに対応しているため自分でポリシーを書くことでそれらの検知にも使えます。CloudFormationやAnsib

    Terraform, Dockerfile, KubernetesなどIaCの脆弱な設定をCI/CDで検知する - knqyf263's blog
    aaaanwz
    aaaanwz 2021/07/14
  • データ分析者のバリューの出し方を考える 2021年版|だみ〜

    はじめに稿は、自身がデータ分析者だと思っている人に対して、以下のことを自分の経験・学習した範囲から提案するものです。 ・こういうプロセスでデータ分析・データサイエンスを活用するのがいいよね ・このプロセスではこういうことに気をつけたり、こういうことができるといいよね 世の人が、これを以下のように役立ててくださり、世の中に資することを期待します。 ・これのどこまでが君のスコープなんだい?ということを、この文章を元に期待値調整(私は期待値を文脈に合わせて二つの意味で使うタイプの人です)できるようになる ・なるほど今俺は、こういうところで困っているのか?ということに気づける また、こちらで書いたことが共通認識になればなるほど、自分の得意な働き方が世の中のデフォルトになるので、自分にとっても得だなという側面があります。 なので別に世のため人のためだけではないです。(古典的ツンデレ)(俺こういう感

    データ分析者のバリューの出し方を考える 2021年版|だみ〜
    aaaanwz
    aaaanwz 2021/07/13
  • IT系上場企業の平均年収を業種別にみてみた 2021年版[前編] ~ ネットベンチャー、ゲーム、メディア系

    IT系上場企業の平均年収を業種別にみてみた 2021年版[前編] ~ ネットベンチャー、ゲーム、メディア系 IT系企業で平均年収が高いのは、勢いのあるネットベンチャー系企業なのか、それとも伝統的なSIerなのでしょうか。毎年恒例の記事を今年も公開します。 特に今年は、昨年春からの新型コロナウイルス感染拡大の影響を受けた企業の経営陣が、過去1年の業績を振り返り、今後の見通しを考え、それを従業員の給与へと反映しはじめる年となっているでしょう。今回の記事では新型コロナの給与への直接的な影響はまだあまり見られませんが、来年以降注視したいと思います。 ただし、今回の記事中で複数の企業が100万円以上というこれまでにない平均年収の上昇を見せました。今まで以上に給与の大胆な変化は起こり始めているのかもしれません(ただし正社員の給与はその法律的な位置付けにより、下方硬直性があることは避けられませんが)。

    IT系上場企業の平均年収を業種別にみてみた 2021年版[前編] ~ ネットベンチャー、ゲーム、メディア系
    aaaanwz
    aaaanwz 2021/07/12
    名だたる企業でもこんなもんなのか… DX人材として非IT系大企業行った方がよっぽど待遇良いな
  • Microsoft、機械学習の初学心者向けにカリキュラムを無償公開

    Microsoft機械学習の初学心者向けにカリキュラムを無償公開:AIとデータサイエンスのカリキュラムも公開予定 Microsoft機械学習の初学者向けカリキュラム「Machine Learning for Beginners」をGitHubで無償公開した。いわゆる「古典的な機械学習」について24のレッスンを通じて学習できる。

    Microsoft、機械学習の初学心者向けにカリキュラムを無償公開
    aaaanwz
    aaaanwz 2021/07/07
  • 月5万4000円のベーシックインカム実験「働かない人が増える」「タバコや酒に使われる」は誤り、アメリカで意外な結果が明らかに | Ledge.ai

    一方で、ベーシックインカムには否定的な意見もある。財源など制度的な疑問のみならず、「ベーシックインカムを導入したら、働かない人が増えるだけだ!」「支給額はタバコや酒に使われるだけだ!」といった声もあるだろう。2021年3月、そのような憶測を覆す結果が明らかになった。 アメリカのカリフォルニア州ストックトン市では2019年2月から、毎月500ドル(約5万4000円)のベーシックインカム実験を開始した。支給対象はストックトン市に在住する18歳以上で、世帯収入が中央値である4万6033ドル(約500万円)以下という条件から、無作為に抽出した125人。受給者の平均年齢は45歳、うち女性は69%におよぶ。 今回、テネシー大学のステイシア・ウェスト博士、ペンシルベニア大学のエイミー・カストロ・ベイカー博士らは「Preliminary Analysis: SEED’s First Year(事前分析:S

    月5万4000円のベーシックインカム実験「働かない人が増える」「タバコや酒に使われる」は誤り、アメリカで意外な結果が明らかに | Ledge.ai
    aaaanwz
    aaaanwz 2021/07/07
    生活に困窮するリスクが減れば、起業などに挑戦する人は増えるはず。働かない人を補ってもなお社会は豊かになる気がする。
  • 中国って国家戦略建てるの下手すぎるよな

    日米を離間するのが最重要なテーマだろうに 尖閣諸島刺激し続けるから、集団的自衛権を行使するように法改正して、軍備も増強し続けていて 敵基地攻撃ミサイルも配備しようとしてるし、そのうち憲法9条改正も必要と言い出すよ それらは全て中国が危険だと認識したおかげで、平和ボケ日人が目を覚ましたことが切っ掛けだ おまけに日米同盟の重要さを再確認して、離間どころか結びつきは更に強固になって 自由で開かれたインド太平洋という国家戦略の根幹を共有するまでになった 1,3位を切り離す一方で、中国が1位になりアメリカから静かに対抗力を奪うのが最上のシナリオだったとして 中国の国家戦略だった一帯一路も寸断されて、今や最低のシナリオを歩んでいる 米英日加印豪が組んだ上に中国の戦略を潰す方向に舵を切った以上は中露南北が組んだところで風向きを変えるのは難しいだろう 中核をなす米日、米英の関係は中国が脅かすことで、コロ

    中国って国家戦略建てるの下手すぎるよな
    aaaanwz
    aaaanwz 2021/06/14
    先進国に見切りをつけて数多の途上国との関係を強化してるから、本当に恐ろしいのはこの先なのではなかろうか
  • ハーバード大のプログラミング講座を日本語化 無料で学べる「CS50.jp」公開

    米ハーバード大が無償公開しているプログラミング入門講座を日語に訳したWebサイト「CS50.jp」が公開された。プログラミング教育ベンチャーのLABOTが、「コロナ禍などで大学のキャンパスの環境が不安定になる中、多くの学ぶ意欲がある学生に、良質な教材に母語でアクセスしてほしい」と翻訳作業を進めてきたという。 公開したのは、ハーバード大コンピューターサイエンス学部のデビッド・J・マラン教授が、無料オンライン教育サービス「edX」で公開している人気講座「CS50」のうち、コンピュータサイエンス入門と、PythonJavaScriptを使ったプログラミング講座を日語訳したもの。YouTubeの英語教材とあわせ、日語のテキストで学べる。 CS50は、非営利で再配布・改変可能なクリエイティブ・コモンズライセンス(CC BY-NC-SA 4.0)で公開されており、非営利なら改編や再配布が可能だ

    ハーバード大のプログラミング講座を日本語化 無料で学べる「CS50.jp」公開
    aaaanwz
    aaaanwz 2021/05/14
  • ブログを作成 - はてなブログ

    気軽にはじめて しっかり書ける あなたの「書きたい」気持ちに応える書き心地で、好きなことを思い切り表現できます。 はじめてのブログでも 安心 ブログ開設後は、書き方から継続のコツまで解説する使い方講座も用意しています。

    ブログを作成 - はてなブログ
    aaaanwz
    aaaanwz 2021/05/02
  • ホテルニューオータニ、緊急事態宣言中限定で「スーパールームサービス」 客室全1,479室を美酒・美食のレストランに - TRAICY(トライシー)

    ホテルニューオータニ、緊急事態宣言中限定で「スーパールームサービス」 客室全1,479室を美酒・美のレストランに ホテルニューオータニは、新型コロナウイルスの感染拡大に伴う緊急事態宣言の再発出に合わせ、ルームサービスを拡張した「スーパールームサービス」を4月26日から開始する。 飲店の休業要請や酒類の提供停止の方針を受け、ホテルの客室で提供するルームサービスを拡張し、1,479室の客室すべてをレストランの個室として位置づけ、美酒・美を提供する。 酒類は、スタンダードカクテルから、ウィスキー、日酒、焼酎、紹興酒、ワインの最高峰「ロマネコンティ」をはじめ、「シャトー・マルゴー」、「シャンベルタン」等有名ワインまで、約300種類のドリンクを客室で提供する。 「トゥールダルジャン 東京」の開業35周年を記念してリリースされた、限定ラベルのオリジナルシャンパーニュ「ブラン・ドゥ・ブラン」も初

    ホテルニューオータニ、緊急事態宣言中限定で「スーパールームサービス」 客室全1,479室を美酒・美食のレストランに - TRAICY(トライシー)
    aaaanwz
    aaaanwz 2021/04/24
    体験の価値に対してかなり安いと思う