自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

（前回のあらすじ）あなたは、ある製造業の工場に勤める若手のエンジニアだ。案外パソコンに詳しい、などとおだてられて手製のツールなどを作っているうちに、いつのまにか工場長から『製造IT担当』なる係にされてしまった。なんだか技術者というよりも便利屋みたいだな、などと思いながら、それでも製造ラインのデータを取得するIoTなどの仕組みを工夫したり、生産管理システムの改修要件をとりまとめたりしてきた。 そんなある日、本社から突然、「全社DXチーム」のメンバーに任命されたから会議に来い、と命じられる。専務が委員長で、情報システム部の次長が事務局長だ。社内の主な部署から、若手中堅メンバーが集められている。だが、参加してみたものの、皆、何をすればいいのか思案顔であった。最近のデジタル技術は、従来のサーバとPCの中のITより、現実世界とインタラクションが強い、だからそれを利用すればいい、という意見もでた。だが

仕事には欠かせないExcelをもっと快適に使いこなす方法を＠DIMEからピックアップした。 Excel×Python活用術 単純な事務作業の労力を10分の1以下に軽減する時短ツール「Excel×Python」活用術 みなさんは、話題のプログラミング言語、「Python（パイソン）」をご存じでしょうか？　Pythonは他の言語に比べてコードが短くシンプルになって使いやすかったり、AIやビッグデータといった話題のジャンルのプログラムを作成できたりすることで、近年とても人気が高まっています。 【参考】https://dime.jp/genre/1003655/ 事務作業の手間を10分の1以下に圧縮！プログラミングの専門知識がなくてもできるExcel×Pythonで最低限押さえたい3つのルール 何百回と繰り返されるコピペ、複雑なフォーマットへの手入力、時間のかかるウェブからの情報収集……単純な事務

筆者が愛用してやまない作業高速化ツールたちに感謝しながら、ひたすら列挙するページです🙏 Mac専用 Alfread 多機能ランチャ ファイル検索 クリップボード履歴の保存がめちゃくちゃ便利（有償版） Clipyとかも試して、有償版Alfredが一番しっくりきた クリップボード履歴を保存 履歴が残る 筆者は Cmd + Shift + V で発動するよう設定 画像コピーの履歴も保存 履歴の検索 クリップボードでコピーしながらマージできる マージしたい文字列は、「空白区切り」「改行区切り」「区切りなし」を選べる コーディングが捗る スニペット機能（https://zenn.dev/naotolog さんご紹介🙏） 定型文を登録して、呼び出すことができる 穴埋め入力が必要ない場合は Dash よりこちらが良さそう Station 通知の一元化 Slack/Twitter/Facebook/G

画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月29日から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習（外部サイト）」を開講している。登録料および受講料は無料。閉講日時は12月7日の23時59分。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析（統計分析）の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの

追記はしないつもりでいた。 でも、ある1人だけにコメントを返させてもらう。 https://anond.hatelabo.jp/20201001022747 衝撃を受けた。 ここまであなたの心を傷つけるとは思ってもみなかった。 でも、あなたにだから正直に言わせてもらうけど、辞めたことは後悔していない。 ５年以上が経ったとは言いつつ、もっともっと、かなり昔の話なので当時の感情を思い出すのは難しいけど、それでも転職という答えが幸せになるための道だったんだよ。 日記は２つともすべて読ませてもらった。 ありがとう。顔も知らないあなたの幸せを願っています。 新卒で入社した。もうかなり昔のことだ。 文系の学部出身で、事務職で応募して、もの凄く面倒くさいエントリーシートを書いて、何度かの面接の後に採用された。 企画部門への配属だった。生産管理を希望していたけど通らなかった。 増田でこんなことを書いている

Information 2024/1/8： pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/items/e0244aa2194af8a1fee9 2023/2/12： 大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。 Polars 100 本ノック https://qiita.com/kunishou/items/1386d14a136f585e504e はじめに この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして

タイピング早打ち日本一のmiriさんに、「疲れにくいキーボード」を教えていただきました。miriさんによれば、いいキーボードを使えば疲れないし、1万円を超えるキーボードを選ぶと明確に感動を味わえるそうです。 こんにちは。斎藤充博です。僕の仕事は「ライター」。ほぼ毎日パソコンに向かって延々とタイピングをしています。 愚痴っぽくなりますが、自宅でパソコンと長時間向き合うのって普通に疲れませんか？ 手や指も疲れるし、さらに肩や首くらいにまで疲れが来ている気がします。 この悩みについて、ある人に相談することを思いつきました。 タイピングの早打ちなんて興味なかったけど、日本一決定戦がめちゃすごかったから解説させてくれませんか？ より（写真提供：ファミ通.com） それは「タイピングの女王」と言われているmiriさんです 世の中にはパソコンのタイピングの速度を競っている人たちがいて、キーボードのメーカ

リンク 「TIMBUK2（ティンバックツー）」日本公式サイト 「TIMBUK2（ティンバックツー）」日本公式サイト 人気の「クラシックメッセンジャー」などのメッセンジャーバッグやカメラバッグ等。 24 users 2104 片山 暁雄 @c9katayama モンベルどうでしょうか？PC入れと傘入れが独立してて、フロントジッパーは防滴加工してあります。安くて軽い、MacBook 16inch入るので愛用してます。 webshop.montbell.jp/goods/disp.php… twitter.com/mana_cat/statu… 2020-09-20 20:49:40 リンク モンベルウェブサイト 【モンベル】ユティリティー デイパック 25 「背負う」「持つ」の2通りの使い方ができる、通勤から泊まりの出張にも対応したサイズのビジネスバッグです。フレームを内蔵し、重い荷物を収納し

追記 「無関心」「みんな違ってどうでもいい精神」的なのは心から思うが、関心の強い人全くない人いろいろで難しいね。育った文化の違いなんだろうか。多様性教育で変わるんかね。まさに、変人のAさんをそれを躍起になって正そうとするBさんという2人が今の悩みの種。 「互いに萎縮せずギスギスしない人間関係」が個人的な目標の一つで、欲を言えば「互いに尊重し合える」をつけられたらこの上ない至福かなと思う。仕事しやすいし、気苦労がなくて楽しいしね。 まあ寛容でありたいおおらかでありたい和やかでありたいと思うあまり、コミュニティに害をなす奴に不寛容になり始めてしまうパラドクスはある。難しい。 リベラリストの多い？はてなで「均一な人間を集める」「家柄と学歴」と沢山出てきて結構ショックだった。文化ごった煮のコミュニティとか論外なん……？ってか教育格差肯定するのって結構勇気いらない？「DQNのガキは公立小にぶち込んで

「子育てと仕事に追われていた私の“恋愛スイッチ”は、長らく完全にオフ状態。彼と共に過ごす時間は心地良くて幸せだった。にもかかわらず、それが恋愛とは結びつかなかったのです。」（撮影：大河内禎） 本日９月１５日の『徹子の部屋』で、再婚５年目の今を語った山口もえさん。ともに離婚経験のある2人が再婚、一方は初めて父になる──。芸能人ならずとも難しそうな再婚までの道のり、山口もえさんの背中を押したのは、子どもたちの「家族になりたい」気持ちの強さでした。４年前、爆笑問題の田中裕二さんと再婚について語ったインタビューを再配信します。（構成＝平林理恵） 恋愛スイッチは完全オフ。ママ業最優先の日々に 2015年10月、「爆笑問題」の田中裕二さんと結婚しました。以前からお付き合いをしていたのに、それを明かすわけにいかず、とても心苦しく思っていました。結婚の意思を固めたのはもうずいぶん前です。でも、万が一にでも

「ビジネスの仕組みがわかる 図解のつくりかた」という本を全文公開します！この本は、2020年4月に出版されたスマホサイズのコンパクトな新書です。『ビジネスモデル2.0図鑑』を出版後、多くの反響をいただき、さまざまな企業でビジネスモデル図解について講演・ワークショップを開催してきたノウハウを凝縮した一冊になっています。 ※当記事の情報を転載、複製、改変等は禁止いたします それではここから全文公開をご覧ください。 第１章：ビジネスモデル図解、基本の「き」はじめに 僕たちが『ビジネスモデル2.0図鑑』を出版したのは２０１８年９月のことです。「Amazon Go」や「Spotify」など、１００の事例のビジネスモデルを同じフォーマットで図解した本は、７万部を超えるベストセラーになりました。その後さまざまな反響を得て、企業から多数の講演・ワークショップの依頼をいただきました。「ビジネスモデルを自分で

8月放送のエンデ「モモ」のシリーズで、2011年にスタートした「100分de名著」がついに100シリーズ目を迎えました。そこで、歴代もっとも長く司会を務めた伊集院光さんと同じく歴代もっとも長くプロデューサーを務めたＡが、裏話を交えながら100シリーズを振り返り、外からでは見えにくかった、番組の魅力の源に迫る対談を企画しました。前後編でお送りします。ぜひご一読ください。（構成：仲藤里美） ※写真は、対談開始前の約1分間ほどの時間で撮影したもので、対談本編は、ソーシャルディスタンス、換気、消毒などに十分な配慮をして行いました。 「見栄を張るな」と自分に言い聞かせていた プロデュ ーサーＡ （以下Ａ） 「100分de名著」が、今年８月放送の『モモ』で100シリーズ目を迎えました。伊集院さんには2012年からこの番組の司会を務めていただいていますが、最初に出演が決まったときのことを振り返っていただ

こんにちは。コネクト支援チームの@tignyaxです。 みなさま、夏はどう過ごされたでしょうか？ 私は、夏が好きなのに今年は夏らしいことが出来なくて寂しいなぁとなっています。。。 さて、今年2020年もエンジニア新人研修を行いましたので、その紹介と講義資料を公開いたします。 2020年のエンジニア新人研修について 基本的には2019年と同じ形*1での実施となりました。 最初の1週間で必修講義をしたあと、新人の皆さんには2週間ずつ3チームを体験してもらいました。 チーム体験のコンセプトは、新人に「興味のあるチームで実際に業務を体験し、配属希望を決める参考になった。」と言ってもらうことです。 各チーム体験では座学や研修を中心にするのではなく、業務体験が中心です。 チーム体験を通して、配属先を検討する材料にしたり、いろんなチーム/人/業務を知ってもらえる機会となります。 必修講義 誰に: 開発/

はじめに みなさん競馬はお好きでしょうか？ 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね！ 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います！ 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回

青春オンライン 82本 たったひとりのアーティスト、たったひとつの曲に出会うことで、人生が変わってしまうことがあります。まさにこの筆者は、たったひとりのアーティストに出会ったことで音楽評論家になりました。音楽には、それだけの力があるのです。歌手の歌声に特化した分析・評論を得意とする音楽評論家、久道りょうが、J-POPのアーティストを毎回取り上げながら、その声、曲、人となり等の魅力についてとことん語る連載です。

つまりモデルでは穴馬の当選も予測できているが、卍氏の賭け方では予算の金額によって賭けられる最大オッズが下がってしまい、穴馬に賭けることができなくなります。その影響によりオッズの低い人気馬しか賭けることができず、回収率が下がる要因ともなっているようです。しかしその反対に荒れなかったレースについては卍氏の賭け方のように傾斜をつける方が回収率を上げる要因になっています。 なお今考えている予算が10万円の場合、複勝のようにオッズが低い場合（せいぜい5倍前後で）はあまり影響しません。しかし単勝ではオッズが約10倍以上の場合は、最小賭け金が100円のため、特に影響が出るようです。 このあたりは賭け金の計算式の定数(今の場合0.01)と自身の予算、モデルの予測値との検討が必要となります。 コードの公開 noteにて公開します。またコードの詳細な説明は公開するnote及びnotebook内のコメントにて記

※本日の企画は株式会社セガの提供でお送りします。 こんにちは。「豚に真珠」の豚ことヨッピーです。 何かと暗い話題の多い世の中ではございますが、皆さまも順調にお太り頂いておりますでしょうか。 ちなみにこれ、過去最高に太っていた頃の僕です。 前澤さんの密着取材の時、「どうせならZOZOスーツ着て行こう」と思って着てみたら、全身がパンパンになったので、鏡の前で棒立ちしながら「うわーー、これ着るの、本当に嫌だな」って思ってしまいました。 この頃の体重は身長182cmに対して90.6kgです。 その後、「仕事にすれば痩せるのでは？」と思ってダイエット企画でアレコレにチャレンジ。痩せたり太ったり痩せたり太ったりを繰り返した結果、僕が出てる記事を見て、 「ヨッピーさん痩せた？」 って言う人と、 「ヨッピーさん太った？」 って言う人が交互に現れるという摩訶不思議な状態になりましてね。 切れかけの蛍光灯かよ

PCやスマホを使って、英語学習を時短にする便利なサービスやツールなどを紹介する連載。今回は、初心者から上級者まで、幅広くリスニング能力を向上できる「ELLLO」をご紹介します。 ELLLOは、「English Listening Lesson Library Online」の略で、読んで字のごとく、英語のリスニング学習に特化したオンライン学習サイト。3000以上という多くの無料のレッスンが用意されており、幅広いレベルの学習者が利用できる。もともと、日本で英語教師だったTodd Beuckens氏が創設したサイトで、2004年にスタートしたサイトだ。 メインの学習コンテンツは、ひたすら英語の音声を聞くというもの。スクリプトも用意されているため、聞き取れなかった場合も内容は把握できる。理想的なのは、スクリプトを見なくても聞き取れるようになることだ。 メインコンテンツとなるリスニングレッスンは、