並び順

ブックマーク数

期間指定

  • から
  • まで

401 - 440 件 / 24719件

新着順 人気順

engineerの検索結果401 - 440 件 / 24719件

  • 「スキルの掛け算」が未来を切り開く。文学部出身のひよこ大佐がレッドハットに転職できたわけ - Findy Engineer Lab

    Twitterを使って転職すること、そのメリット プログラミングに興味ありつつ文学部に進み就活で苦戦 就活情報に踊らされる中で「理系でなくてもIT業界で働ける」ことに衝撃 Linuxやオープンソースコミュニティとの出会いが武器になった 開発はできなくても翻訳ならば貢献できる さまざまな「技術遊び」が、IT企業への就活やTwitter転職を支えてきた レッドハットのカルチャーとテクニカルサポートという仕事 知的好奇心を高めて、掛け算できるスキルを見つけよう 新しい技術的な知識を学ぶことは「楽しい」 スキルを整理してアピールポイントを見つけよう こんにちは、ひよこ大佐(@hiyoko_taisa)です。およそ2年前、Twitterのあるツイートがきっかけで、レッドハット株式会社に転職しました。現在はテクニカルサポートエンジニアとして、ITインフラの自動化ツール「Ansible Automati

      「スキルの掛け算」が未来を切り開く。文学部出身のひよこ大佐がレッドハットに転職できたわけ - Findy Engineer Lab
    • エンジニア in ハイパーカジュアル - KAYAC engineers' blog

      こんにちは。技術部平山です。 今回は、ハイパーカジュアルというジャンルにおけるエンジニア、 というテーマで書きます。 勉強会でしゃべった動画がありますので、そちらを見て頂いても良いかと思います。 外に出すということで、普段よりも多少丁寧にしゃべっております。 前置き 平山が作った製品群 これらは2022年あたりから現在にかけて、平山が自分で企画、実装した製品です。 これらのうち、利益を出せた製品は2つあります。 黒字製品 Draw Saber(Android iOS) Mannequin Downhill(Android iOS) の2つで、順に2800万、2100万ダウンロードです。加えて、いい線まで行ったものの、利益を出すに至らなかった製品が一つあります。 赤字だったTitanShoot Titan Shoot(Android iOS) こちらは210万ダウンロードと、うまく行ったもの

        エンジニア in ハイパーカジュアル - KAYAC engineers' blog
      • 元JavaエンジニアがGoに感じた「表現力の低さ」と「開発生産性」の話 - DMM inside

        |DMM inside

          元JavaエンジニアがGoに感じた「表現力の低さ」と「開発生産性」の話 - DMM inside
        • 踏み台の管理コストを削減!ECS ExecとTerraformでつくる本番オペレーション環境 - LIVESENSE ENGINEER BLOG

          こんにちは。マッハバイトを運営するアルバイト事業部エンジニアの mnmandahalf です。 みなさんは本番DBへのSQLの手動実行等の作業をどんな環境で行なっていますか? 通常はDBにアクセスする用の踏み台サーバにSSHログインして作業を行うケースが多いと思います。 マッハバイトでも最近まで(現在もDBによっては)踏み台を使用していたのですが、最近新・本番作業環境を導入したのでその背景とつまづきポイント等についてご紹介します。 これまでのマッハバイトにおける本番作業 これからのマッハバイトにおける本番作業 TerraformでのECS Execの設定方法 ECSタスクロールにアタッチするポリシードキュメント ECS Execを実行するのに必要なIAMにアタッチするポリシードキュメント ECSクラスタでexecute-commandの監査ログをCloudWatchに流し、ログをKMSキー

            踏み台の管理コストを削減!ECS ExecとTerraformでつくる本番オペレーション環境 - LIVESENSE ENGINEER BLOG
          • Pull Requestをすぐ動作確認! マイクロサービスでのプレビュー環境の作り方 - LIVESENSE ENGINEER BLOG

            こんにちは、かたいなかです。 最近、マイクロサービスアーキテクチャを採用した環境でプレビュー環境の実現方法についていくつかのパターンを比較し整理する機会がありました。 今回の記事では、プレビュー環境を構築するための要件をなるべく特定の技術に依存せずに紹介したあとで、ArgoCD、Istio、OpenTelemetryを使用した実装例をご紹介します。 目次 目次 プレビュー環境とは プレビュー環境の構成要素 PRごとのアプリケーションやルーティングの設定のデプロイ ヘッダ伝播 および ヘッダによるルーティング 実装例 ArgoCD ApplicationSet Istio OpenTelemetry Baggageヘッダ挿入用Proxy 動作確認 まとめ 補足: 実装例で考慮していないこと 画像等のCORS DBのアクセス権限 参考 プレビュー環境とは ここでのプレビュー環境とは、Pull

              Pull Requestをすぐ動作確認! マイクロサービスでのプレビュー環境の作り方 - LIVESENSE ENGINEER BLOG
            • 達人出版会

              探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う! オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R/RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット&JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール

                達人出版会
              • 2019年のテック系ポッドキャスト - フロントエンド・モバイル・WEB・インフラ・アジャイルなど - このすみノート

                最近は忙しく、テック系ポッドキャストをあまり聴けていない日々が続いていたのですが、また聴き始めることにしました。 ただ、以前書いた「2017年とテック系Podcast(ポッドキャスト)を、紹介しつつ振り返る」という記事から、すでに1年以上が経過しています。 www.konosumi.net 最近のポッドキャストはまったくわからない状況だったので、新たに購読するポッドキャストを再検討することにしました。 テック系ポッドキャストの探し方 Podcast Freaks テック系ポッドキャストの紹介 アジャイルラジオ テストラジオ Misreading Chat engineer meeting podcast dex.fm w2o.fm 人生fm Researchat.fm UIT_INSIDE Tech系フリーランスが選ぶ最近の気になるトピックス(テクフリ) mozaic.fm プログラム雑談

                  2019年のテック系ポッドキャスト - フロントエンド・モバイル・WEB・インフラ・アジャイルなど - このすみノート
                • テスラの「完全自動運転で通勤するムービー」はやらせだったことが判明

                  テスラは2016年から「全車両に完全自動運転対応ハードウェア搭載」をうたっており、実際に自宅から会社まで、完全自動運転を用いて通勤するという映像を公開しています。ところが、実際にはこの映像はやらせだったことを、自動運転ソフトウェア担当ディレクターが証言していたことがわかりました。 Tesla video promoting self-driving was staged, engineer testifies | Reuters https://www.reuters.com/technology/tesla-video-promoting-self-driving-was-staged-engineer-testifies-2023-01-17/ Tesla staged 2016 self-driving demo, says senior Autopilot engineer | A

                    テスラの「完全自動運転で通勤するムービー」はやらせだったことが判明
                  • どうして自分を過小評価するのかと言われた話

                    忘年会の時に、「おじさん(私のこと)って自分のことをできないエンジニアであるふりをするけど、どうして?」って言われたのだが、いざどうして自分がそういうふりをするのかを言語化しようとしたら難しかったので、時間をかけて言語化してみた。 ぶっちゃけ自分はできないエンジニアではないと思っている まず「できる」「できない」の定義だが、ここではしない。 いろんな人と比較されて「できない」側の人間として扱われてきた自分にとってその定義は考えたくない。 「できない」の定義は人を傷つけると思うのでしたくない。 なのであくまで読者の感覚的な尺度で解釈して欲しい。 自分はいわゆる別業種からの転向組で、エンジニアとして働き始めたのは 2018 年なので今年で 5 年目エンジニアだ。別業種からの転向ということでコンピュータサイエンスを大学で学んだ者・小学生の頃からバリバリやってきた者・新卒でエンジニアになって研修や

                      どうして自分を過小評価するのかと言われた話
                    • Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked

                      Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c

                        Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
                      • Logging Best Practices: The 13 You Should Know

                        Log Analytics Logging Best Practices: The 13 You Should Know When you search for things on the internet, sometimes you find treasures like this post on logging, e.g. creating meaningful logs. This post is authored by Brice Figureau (found on Twitter as @_masterzen_). His blog clearly shows he understands the multiple aspects of DevOps and is worth a visit. Our thanks to Brice for letting us adapt

                          Logging Best Practices: The 13 You Should Know
                        • 0からRust/Wasmを使ってブラウザで動くバーコードリーダを作ってみた話 @_mkazutaka | メルカリエンジニアリング

                          こんにちは!Mercari Advent Calendar 2020 の3日目は、メルカリWebPlatformチーム/Software Engineerの@_mkazutaka がお送りします。普段はメルカリのウェブ周りの開発をしておりGoやPHPやTypeScriptを書いています。 メルカリでは半期に一度エンジニアのためのお祭りMercari Hack Weekを開催しています。この記事では、第2回Mercari Hack Weekから筆者が取り組んでいるRust/Wasmを使ったバーコードリーダについて紹介します。 こちらプロダクションには出してるものでありません。お願いすればプロダクションへのリリースを許してもらえたと思いますが、筆者自身が出さない選択肢を取ったのでそれも含めて紹介します。 (注釈: いくつかの画像処理の話が出てきますが、筆者は画像処理の専門家でもなければ大学院で

                            0からRust/Wasmを使ってブラウザで動くバーコードリーダを作ってみた話 @_mkazutaka | メルカリエンジニアリング
                          • リファクタリングが先か、テストが先か - E2E自動テストの理想と現実 |Autifyブログ

                            2023年5月17日から5月19日にかけて開催された Qiita Conference 2023 にて、弊社の Senior Technical Support Engineer である末村 拓也が『リファクタリングが先か、テストが先か – E2E自動テストの理想と現実』というタイトルで講演を行いました。本記事はこのセッションを元に、ブログ向けに若干アレンジを加えたものとなります。 概略 この記事では、以下のような内容について説明します。 自動テストコードはアプリケーション本体のコードと 依存関係 を作る 一般的に、 不要な依存関係 を排除するのが良い設計と言える 一方で、E2Eテストは GUIに対して強い依存関係 を作る テストの準備などで GUIとの不要な依存関係 を作らないようにするのが重要 不要な依存関係を減らすために、テストレベル を一つ落とす(ユーザーストーリーE2E) 低いテ

                              リファクタリングが先か、テストが先か - E2E自動テストの理想と現実 |Autifyブログ
                            • 都内屈指の大型書店「丸善 丸の内本店」コンピュータ書担当の大崎さんに聞く。エンジニア必読の一冊

                              「オススメの技術書」という言葉から、みなさんはどのような本を思い浮かべるでしょうか。 たとえばこれからプログラミング言語の学習を始めたいと思ったとき、またたとえば後輩の新人エンジニアから参考図書について尋ねられたとき、市場ニーズの高い書籍に関する知識があれば、その選択がぐっと豊かになるはずです。 今回は都内で第2位の売り場面積を誇る超大型書店「丸善 丸の内本店」にてコンピュータ書担当を務める大崎 朋彦さんに、エンジニア必読の“売れ筋”技術書や隠れた名著についてお話を伺いました。

                                都内屈指の大型書店「丸善 丸の内本店」コンピュータ書担当の大崎さんに聞く。エンジニア必読の一冊
                              • 2つの会社で正社員として働き始めて見えてきた、自分らしい生き方 - Findy Engineer Lab

                                こんにちは、@cero_tです。 いま日本では「働き方改革」という声のもと、さまざまな働き方を選択できる社会を目指そうという動きがあります。そんな中、僕は今年(2019年)の春から、2つの会社で「正社員」として働くという、あまり聞き慣れない働き方をしています。そんな話をすると、「そんな働き方ができるの?」「契約とか面倒にならない?」「法律的に大丈夫?」などと質問攻めに会うこともよくあります。 この記事では、2つの会社で正社員として働くに至った背景や、僕の考え方、また実際に働いてみてどうだったかなどについて、セルフインタビュー形式でお伝えしたいと思います。 2社で働く方がコストパフォーマンスが良いのでは? 時短勤務には、意外と対称性がない ビジョンに乗りたいから「正社員」にこだわりたい 会社ごとのルールが見えてくる 最後に 2社で働く方がコストパフォーマンスが良いのでは? ──まず簡単に、い

                                  2つの会社で正社員として働き始めて見えてきた、自分らしい生き方 - Findy Engineer Lab
                                • 次世代データ基盤:データレイクハウスを Google Cloud で実現する

                                  はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております! 今回は、次世代データ基盤であるデ

                                    次世代データ基盤:データレイクハウスを Google Cloud で実現する
                                  • エンジニアはつらいよ。ミーム動画で遊ぶエンジニアたち - 中華IT最新事情

                                    ネット上では、誰がオリジナルの作者なのかもはやわからなくなっているミーム画像、ミームGIFが出回っている。エンジニアたちは、このようなミームを拡散するのが大好きで、知乎などのQ&Aサイトに、そのようなミームを集めたまとめ記事が投稿されることがある。 誰の著作物かもはやわからなくなっているミーム ネット上にはミーム画像、ミーム動画が存在している。元々は誰かの著作物なのだろうが、改変されることを繰り返して、もはや原著作者が誰だかわからなくなっているような画像、動画だ。あるいは原著作者が、勝手に二次利用されることを容認、黙認しているものだ。 ミームとは遺伝子に対応するものとして、遺伝学者リチャード・ドーキンスが作った言葉。文化も遺伝子と同じように、模倣を繰り返しながら継承されていくというものだ。ミームは、ミミック(模倣)、メモリー(記憶)などの言葉から作った言葉だという。 エンジニアたちは自虐的

                                      エンジニアはつらいよ。ミーム動画で遊ぶエンジニアたち - 中華IT最新事情
                                    • 奇妙な曜日バグ | Wantedly Engineer Blog

                                      ある日、海外チームからバグの報告がありました。日付と曜日が対応していないというのです。 テスト環境でいくつか設定を変更して試したところ、OSのタイムゾーンをシンガポール標準時 (UTC+8) に変更したときに、曜日が2つずれることが確認できました。4/2は金曜日ですが、4/2が水曜日として表示されてしまっています。 原因調査この部分のソースコードはだいたい以下のようになっていました。Moment.jsというライブラリを使って日付と曜日を表示しています。 // TimelineItem.jsx // date は 2021-04-02 のような文字列 const DateBox = ({ date, showMonth }) => { const mDate = moment(date); const dateHuman = showMonth ? mDate.format("M.D") :

                                        奇妙な曜日バグ | Wantedly Engineer Blog
                                      • 42は3つの立方数の和で表せる――惑星コンピューターを使って最後の難問を解く - fabcross for エンジニア

                                        ブリストル大学とマサチューセッツ工科大学(MIT)が率いるチームは、65年におよぶ数学パズルで、最後まで残っていた解を求めることに成功した。 この問題は1954年にケンブリッジ大学で設定された方程式 x3+y3+z3=k について、k=1から100までのすべての解を求めるというものだ。このディオファントス方程式(Diophantine Equation:多変数多項式の整数解や有理数解を求める問題)を解くには、膨大な計算を必要とするため、当時すぐに手に負えなくなった。しかしその後のコンピューターの進歩により、それぞれのkについて解が求まり、あるいは解がないことが証明され、「33」と「42」が残っていた。このうち「33」については、ブリストル大学のAndrew Booker教授がスーパーコンピューターを使って解を求めることに成功し、残るは「42」だけとなっていた。 奇しくも「42」は、イギリス

                                          42は3つの立方数の和で表せる――惑星コンピューターを使って最後の難問を解く - fabcross for エンジニア
                                        • GitとGitHubを分かりやすく! 組織開発で生かすツール選択とプロジェクト進行を解説|ハイクラス転職・求人情報サイト AMBI(アンビ)

                                          GitとGitHubを分かりやすく! 組織開発で生かすツール選択とプロジェクト進行を解説 分散型バージョン管理システムのGitと、そのホスティングサービスとしてプルリクエストなどの機能をもつGitHubは、ソフトウェア開発環境として広く普及しています。本記事ではGitやGitHubの考え方や使い方の基本を解説するとともに、実際のプロジェクトにおける開発の進め方を簡単に紹介します。 この記事を読み始めているということは、GitやGitHubに興味をお持ちのことでしょう。Gitはバージョン管理システム、GitHubはGitのホスティングサービスで、いずれもソフトウェア開発を中心に利用されています。近年では、2018年にGitHubの運営会社がMicrosoft社によって買収されたことでも話題になりました。 この記事では、GitやGitHubの基本的な使い方や考え方を解説します。また、実際の開発

                                            GitとGitHubを分かりやすく! 組織開発で生かすツール選択とプロジェクト進行を解説|ハイクラス転職・求人情報サイト AMBI(アンビ)
                                          • Don't Use Kubernetes, Yet

                                            Early-stage startups shouldn't run on Kubernetes yet. But eventually, growth-stage and large companies should be running on Kubernetes in some form. Kubernetes Maximalism doesn't mean one-size-fits-all. Infrastructure should progressively grow with your workloads and team. How can you choose the right technology now so that you can maximize growth and minimize pain later when you inevitably outgro

                                              Don't Use Kubernetes, Yet
                                            • GoのスライスとRustのスライス | Wantedly Engineer Blog

                                              こんにちは、Wantedly のDX Squadでエンジニアをしている原です。 (DXはDeveloper Experienceの略で、開発者が心地よくプロダクトを作れる環境を作ることを目標に頑張る部門です) 本稿は、WANTEDLY TECH BOOK 9 から「GoのスライスとRustのスライス」という章を抜粋し加筆修正を加えたものです。ウォンテッドリーでは WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布しています。ぜひ読んでみてください。 過去の WANTEDLY TECH BOOK を入手する 以下、本文です。 GoのスライスとRustのスライスは大枠では似ていますが、スライスの共有に関する振舞いが微妙に異なり、GoとRustの設計の違いが垣間見られます。本記事ではこの違いを説明します。 配列型とスライス型Go/Rustにおいて「配列」は固定長でスタッ

                                                GoのスライスとRustのスライス | Wantedly Engineer Blog
                                              • HTTP/3: the past, the present, and the future

                                                HTTP/3: the past, the present, and the future09/26/2019 This post is also available in 简体中文, 日本語, 한국어, Français, Español. During last year’s Birthday Week we announced preliminary support for QUIC and HTTP/3 (or “HTTP over QUIC” as it was known back then), the new standard for the web, enabling faster, more reliable, and more secure connections to web endpoints like websites and APIs. We also let

                                                  HTTP/3: the past, the present, and the future
                                                • 複数AWSアカウントのインフラを同じコードで Terraform管理するプラクティス - ANDPAD Tech Blog

                                                  こんにちは! アンドパッドSREの 宜野座 です。 前回は AWSのアカウント運用改善の取り組みについて記事を書かせていただきました。 今回はアンドパッドでIacへの取り組みとして行っているものの一例として、複数アカウント・複数環境を同一コードでTerraform管理するプラクティスを紹介したいと思います。 少し長くなりますが、お読みいただけると幸いです。 前回ブログ記事 tech.andpad.co.jp なぜIaC(Infrastructure as Code)に取り組んでいるのか Terraformを選んだ理由 同一コードでTerraformを複数アカウント・複数環境へplan, applyしたい terraform init terraform plan terraform apply 環境を増やしたい場合 環境ごとにリソースを作成したり、作成しないようにしたい 他の方法に関して

                                                    複数AWSアカウントのインフラを同じコードで Terraform管理するプラクティス - ANDPAD Tech Blog
                                                  • 【Vue.js】負債を返却しながら機能追加しなければならない状況で実践したフロントエンドのコンポーネント設計 - クラウドワークス エンジニアブログ

                                                    はじめに こんにちは! 社会人2年目を頑張っております、エンジニアの@b0ntenmaruです。 今年2月までリファクタリング専門チームにてcrowdworks.jpの技術的負債を返却するために奮闘しておりましたが、そこから現在まではユーザーの皆様に安心安全なサービスを提供するためにクラウドワークス 安心安全宣言のための施策を行っています。 リファクタリング専門チームについては以下をご覧ください。 engineer.crowdworks.jp qiita.com 施策による機能開発を行う際に直面した課題 施策では主にフロントエンドの機能追加をすることになったのですが、技術的負債によりスピードを維持しながら開発を続けることは困難な状態でした。 crowdworks.jpを取り巻くフロントエンドの技術スタックはざっくり書くと下記3つに分類できます。それぞれで発生している問題を簡潔にまとめます。

                                                      【Vue.js】負債を返却しながら機能追加しなければならない状況で実践したフロントエンドのコンポーネント設計 - クラウドワークス エンジニアブログ
                                                    • 現役テスト(QA)エンジニアが仕事内容について説明してみる。 - GMO Research & AI Tech Blog

                                                      いやー、今年のアニメも面白いな~ ひぐらしのなく頃に~業~ もやり始めたし、次回も視聴してからでいいか、ブログ書くの。締め切りいつだっけ。まだ先だろうきっと・・・。 ん?誰か来たかな。 どうぞー。 /|∧_∧| ||. (・ω・#´|  <記事終わったの?、ねえもう納期なんだけど。 ||oと.  U|   納期守って言ったよな? あぁぁん? || |(__)J| ||/彡 ̄ ガチャ げっ!・・いや、 あ、 はい。どうも、編集長の益山氏。どうしたんですか。こんな早朝から。。 え?・・・なに?ブログ?締め切り?( ^ω^)・・・ あーーうん、うん 書いてるよ。ちゃんと。 はっはっ・・・へぇあっ。 益山氏「嘘だっっ!!」・・・ やべぇ・・バレてる。。。 はい? え?納期間に合わないだろだって?! はっ!はっ!はっ!いやいや間に合いますって。 ・・ん?益山氏、いまどこから、それ出した。え?家から

                                                        現役テスト(QA)エンジニアが仕事内容について説明してみる。 - GMO Research & AI Tech Blog
                                                      • Creepy Nuts「Bling-Bang-Bang-Born」 × TV Anime「マッシュル-MASHLE-」 Collaboration Music Video #BBBBダンス

                                                        「Bling-Bang-Bang-Born」 (2024.1.7.Digital Release) TVアニメ「マッシュル-MASHLE- 神覚者候補選抜試験編」オープニングテーマ MASHLE Season 2 Opening Theme Streaming/Download:https://smar.lnk.to/0AM0sn THE FIRST TAKE:https://www.youtube.com/watch?v=H6FUBWGSOIc 両A面SG 「二度寝 / Bling-Bang-Bang-Born」(2024.3.20. CD Release) ▼購入(予約)はこちら  ①初回生産限定盤(CD+Blu-ray)https://smar.lnk.to/nZZhoA CD収録曲: M1. 二度寝 M2. Bling-Bang-Bang-Born  M3. 二度寝 - In

                                                          Creepy Nuts「Bling-Bang-Bang-Born」 × TV Anime「マッシュル-MASHLE-」 Collaboration Music Video #BBBBダンス
                                                        • Pandasのメモリ削減方法を整理した - Taste of Tech Topics

                                                          皆さんこんにちは 機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。 検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。 有名なものからマイナーなものまで、思いつく限り書いてみます。 そもそもなぜ、Pandasのメモリ削減技術が必要なのか 準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み&集約 5. 不要なものを読み込まない 6. 不要なカラム/DataFrameを消す 番外編:そもそもPandasを利用しない 最後に そもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON(JSONL

                                                            Pandasのメモリ削減方法を整理した - Taste of Tech Topics
                                                          • モブに早く慣れたい人のためのガイド

                                                            生成AI・LLM時代における 機械学習エンジニアとしてのキャリア戦略・開発戦略 / my-career-and-development-strategies-for-ml-engineer-2024

                                                              モブに早く慣れたい人のためのガイド
                                                            • 良質な技術記事を量産する秘訣 / #MeetsPro

                                                              「Meets Professional #4」で使用したスライドです。 Qiita 1位のアウトプットの達人が語る、良質な技術記事を量産する秘訣 https://n2i-engineer.connpass.com/event/271398/ クレジット: スライド作成にあたってこちらのKeynote用テーマを利用させてもらいました。 https://cocodrips.hateblo.jp/?page=1418126778

                                                                良質な技術記事を量産する秘訣 / #MeetsPro
                                                              • 自分の作品が勝手にコピーされた上、全く別のクリエイターが考案者として紹介され称賛されてるのを目撃してしまった

                                                                Massimo @Rainmaker1973 Engineer Matt Harrison has created a clever 3D printed open and closed sign design that can easily be changed by the turn of a gear [read more: buff.ly/44tUudX] pic.twitter.com/ZQAt5tRQpl 2023-07-19 15:25:54 池田洋介 @ikeikey パフォーマー/ 数学講師/クリエイター アルゴループ, からくり看板HAGURUMAなどの考案者 パフォーマンス動画(youtu.be/6-LSiGQi5pA) 著書 「数学 I・A/II・B/III・C 入門問題精講」 「思わず興奮する! こういう数学のはなしなら面白い」 ideaikeda.com 池田洋

                                                                  自分の作品が勝手にコピーされた上、全く別のクリエイターが考案者として紹介され称賛されてるのを目撃してしまった
                                                                • 『Fearless Change』を読んで巻き込み上手なテックリードになろう - LIVESENSE ENGINEER BLOG

                                                                  エンジニアとして一定以上大きい仕事をする際には、他人を巻き込んで仕事をする力が必要になってきます。 新しいフレームワークや言語の採用、自動テストの導入、インフラ基盤の刷新、スクラムの導入など、一定以上の大きさの取り組みでは折に触れて他人の巻き込みが必要になってきます。 そんな巻き込み力で苦労されている方も多いのではないでしょうか。かくいう私自身も現在進行形で苦労しています。 この記事ではそんな悩みを少しでも解決できればと思い、個人的に巻き込み力の決定版教科書だと思っている「Fearless Change」という書籍を紹介します。 TL;DR 「巻き込み」の課題感 巻き込み力の決定版教科書「Fearless Change」 どんな本? どんな人におすすめ? この本のどこが優れているの? 本の内容をどうやって活かすか 組織の文化に合わせてローカライズする 多くのことを同時にやろうとしない まと

                                                                    『Fearless Change』を読んで巻き込み上手なテックリードになろう - LIVESENSE ENGINEER BLOG
                                                                  • 【英語学習】海外の面白い・勉強になるプログラミング系Youtuberを5人&その他英語圏のおすすめ動画を一気紹介! - Qiita

                                                                    【英語学習】海外の面白い・勉強になるプログラミング系Youtuberを5人&その他英語圏のおすすめ動画を一気紹介!Googleプログラミング英語YouTube海外 はじめに 僕は受験生のとき、洋書を読みまくる、という勉強法に覚醒しまして、それ以来、英語が楽しくて楽しくてたまらなくなりました。 大学に入ってからも、洋書を読んだり、海外ドラマ・映画を見たり、英語のオーディオブックを聴いたりとしているうちに、いつの間にかTOEIC900点台、TOEFL90点代と、英語がかなりできるようになりました。もちろん、スピーキングなどはまだまだですが! そして本題です。最近僕の中では、「英語圏のYoutube動画」を見るのにハマっています。一度ハマったら抜け出せない、底なし沼レコメンドエンジンを有していると名高いYoutubeですが、さすがにずーっとYoutubeを見ていると、このままでは堕落してしまう、

                                                                      【英語学習】海外の面白い・勉強になるプログラミング系Youtuberを5人&その他英語圏のおすすめ動画を一気紹介! - Qiita
                                                                    • 時間がないけどSAP on AWS認定試験に合格したい人に贈る効率の良い勉強法 - Qiita

                                                                      2024年3月25日更新 SAP on AWS認定試験は2024年4月29日に廃止されることがAWS公式から発表されています。 つまり、本記事も2024年4月29日にはお役御免となるわけですが、勉強方法という観点ではSAP on AWS認定試験に限らず有効だと思うので、汎用的な内容とした“時間がないけどAWS認定試験に合格したい人に贈る効率の良い勉強法”という記事を投稿しました。 よろしければ、こちらの記事もご覧ください。 まえがき つい先日、 AWS Certified SAP on AWS - Specialty (PAS-C01) に合格し、なんとか AWS ALL Certifications Engineer を維持することができました。 私はSAPに関する知識や実務経験はほとんどなかったため、しっかりと勉強してから試験に臨みたかったのですが、業務やプライベートが多忙で十分な勉強

                                                                        時間がないけどSAP on AWS認定試験に合格したい人に贈る効率の良い勉強法 - Qiita
                                                                      • Docker、Linux、AWSひとつでも勉強しようと思ったら - itstaffing エンジニアスタイル

                                                                        IT業界にいると「勉強したほうがいい」「エンジニアには必須だ」などと言われることも多い「Docker、Linux、AWS」などのサーバーに関するトピック。 これらは、一つ勉強しようとすると必ず他の技術もついてくる、互いに切っても切り離せない技術です。そのためか、学びはじめのハードルを高く感じてしまうことも。今回はサーバー関連の入門記事をまとめてご紹介します。易しい解説で「サーバーってこんな感じ」と掴むことからはじめてみてください。 こんな方におすすめ □ インフラ系に興味のある方 □ サーバー関連で何から始めていいかわからない方 □ Docker、Linux、AWSのどれかを始めたけれど、苦戦している方 Pickup 1:インフラ系きほんのき、「サーバー」をゆるく解説 この記事でわかること ・サーバーは何をするもの? ・ウェブサーバー、メールサーバー、データベースサーバー違いは? 2:サー

                                                                          Docker、Linux、AWSひとつでも勉強しようと思ったら - itstaffing エンジニアスタイル
                                                                        • Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.

                                                                          September Update Python in Excel is now available to all Enterprise, Business, Education, and Family and Personal users running Beta Channel on Windows. This feature will roll out to Excel for Windows first, starting with build 16.0.16818.20000, and then to the other platforms at a later date. Since its inception, Microsoft Excel has changed how people organize, analyze, and visualize their data,

                                                                            Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.
                                                                          • OSS活動と好きな技術が新しいキャリアを切り開いた ー 活用も進む注目のDeno開発企業で私が働く理由 - Findy Engineer Lab

                                                                            Webのフロントエンド開発言語として真価を発見されたJavaScriptは、数年後に今度はサーバーサイド開発言語として再発見されます。しかし、その立役者となったNode.jsの作者ライアン・ダール(Ryan Dahl)はNode.jsの開発を離れ、新しいJavaScript実行環境としてDenoを生み出しました。 ▶ Deno - A modern runtime for JavaScript and TypeScript 今回お話しを伺った日野澤歓也(@kt3k)さんは、2018年からオープンソース活動としてDenoにコントリビュートを重ねた結果、作者のライアン・ダール自身にリクルーティングされ、2021年1月にその開発会社であるDeno Land Inc.にジョインしました。現在はフルタイムのOSS開発者として勤務しています。 JSConf JP 2021における日野澤さんの発表「De

                                                                              OSS活動と好きな技術が新しいキャリアを切り開いた ー 活用も進む注目のDeno開発企業で私が働く理由 - Findy Engineer Lab
                                                                            • Disclosure of a vulnerability that allows the theft of visitors' email addresses using Medium's custom domain feature / Mediumの独自ドメインプランを使って訪問者のメールアドレスが窃取できる脆弱性の開示

                                                                              0_medium_vuln_en.md Disclosure of a vulnerability that allows the theft of visitors' email addresses using Medium's custom domain feature Author: mala Introduction This article describes a vulnerability in a web service called Medium that allows you to steal visitors' e-mail addresses by using custom domain plan of Medium. This is done as my personal activity and is not related to my organization.

                                                                                Disclosure of a vulnerability that allows the theft of visitors' email addresses using Medium's custom domain feature / Mediumの独自ドメインプランを使って訪問者のメールアドレスが窃取できる脆弱性の開示
                                                                              • gRPC Internal - gRPC の設計と内部実装から見えてくる世界 | Wantedly Engineer Blog

                                                                                こんにちは、Wantedly の Infrastructure Team で Engineer をしている南(@south37)です。 今日は、WANTEDLY TECH BOOK 6 から「gRPC Internal」という章を抜粋して Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もその一環となっています。 Wantedly における Go 導入にまつわる技術背景 | Wantedly Engineer Blog (本記事は Go Conference 2019 Autumn にて無料配布した冊子『WANTEDLY TE

                                                                                  gRPC Internal - gRPC の設計と内部実装から見えてくる世界 | Wantedly Engineer Blog
                                                                                • Pythonの生みの親グイド・ヴァンロッサム氏が職業プログラマから引退を表明。昨年Pythonの優しい独裁者からも引退

                                                                                  Pythonの生みの親グイド・ヴァンロッサム氏が職業プログラマから引退を表明。昨年Pythonの優しい独裁者からも引退 Pythonの生みの親であるGuido van Rossum(グイド・ヴァンロッサム)氏が、勤務先であったDropboxを退社し、これからは引退生活を送ることが表明されました。 下記はヴァンロッサム本人のツイート。 It's bittersweet: I'm leaving @dropbox, and am now retired. I've learned a lot during my time as an engineer here -- e.g. type annotations came from this experience -- and I'll miss working here. https://t.co/0ROaUrHQLt — Guido van

                                                                                    Pythonの生みの親グイド・ヴァンロッサム氏が職業プログラマから引退を表明。昨年Pythonの優しい独裁者からも引退