CSV・Parquet・HDF5のフォーマットにおけるVaex・Dask・Pandasのパフォーマンスの比較をやってみた（単体ファイル対象）。 - Qiita
CSV・Parquet・HDF5のフォーマットにおけるVaex・Dask・Pandasのパフォーマンスの比較をやってみた（単体ファイル対象）。PythonpandasPython3Daskvaex 本記事はCSV、Parquet、HDF5などのデータフォーマットにおける、Vaex、Dask、Pandasなどのパフォーマンス比較用の記事となります。 お仕事に役立ったらいいなぁくらいの軽い気持ちでの緩く荒めの対応なので、細かいところのツッコミはご容赦いただけますと幸いです。 弊社の前提条件と検証の目的 前提条件として弊社はプロジェクト側もAWSで統一・データ基盤もAWSで統一・・・といったようにマルチクラウドにはせずにAWSを中心とする形で組まれています（ログ関係だけGCPでBigQuery・・・みたいなことはしていません）。 そうするとAWSでKinesis FirehoseなりAthena
Google Cloud Run と AWS Lambda のコールドスタート時間を言語別に観察してみる - Qiita
コンテナをリクエスト処理時間ベースの料金体系で実行できるサーバレス環境としては、Google の Cloud Run（2019年11月GA）と AWS Lambda（2020年12月にコンテナに対応）が特に有名でしょう。 これらの環境は、一度起動したコンテナインスタンスをしばらく生かしておき、その後のリクエストに使いまわします。しかし、生きているインスタンスが足りない場合は新たなコンテナの起動から始めるいわゆる「コールドスタート」となり、応答のオーバーヘッドが大きく増加します。用途によっては、このコールドスタートにかかる時間が問題になります。 Cloud Run と Lambda でのコールドスタートの様子を観察するため、いくつかの言語で "Hello, World!" を返すだけのWebアプリコンテナを作り、コールドスタートの時間を「雑に」観察してみました。 注意: コストや性能は考慮し
Claude 3とAWS CDKを使い爆速でAWSの検証が出来る環境を手に入れよう！ - Qiita
はじめに 今回は、今話題の Claude 3 でAWS CDKというAWSインフラのプロビジョニングツールを使い、簡易的なメール通知の仕組みを作成しました。 基本的にはClaudeに尋ねながら構築を行っており、AWS CDKの最初のセットアップ以外はコードをほとんど書いていません。 なので、AWS CDKに馴染みが無い方でも、最初のセットアップさえ出来れば、Claudeを活用しながら、どなたでもAWS CDKをご活用頂けるのではと考えております。 技術要素の紹介 Claude 3 2024年3月4日に発表されたAnthropic社の最新モデルの生成AIです。 特に驚いたのは「マルチモーダル」対応という事で、画像やPDFの分析もしてくれます。 anthropic.comに登録すると、Claude 3 Sonnetをお試し頂けます。 今回はこちらを利用し、AWS CDKのコードを出力しています
いつか起業したいエンジニアへ - Qiita
はじめに 34 歳のとき、勤めていた会社の経営が傾き早期退職を促されたのを契機に独立しました。その後、41 歳で Authleteオースリート 社を設立しました。諸般の事情で現在も Authlete 社の代表取締役という肩書きを持っていますが、経営者的な仕事は他の人に任せ (参照: シリコンバレーのプロフェッショナル CEO を迎えて米国市場に挑戦する日本のスタートアップの話)、50 歳目前の現在もプログラマとしてコードを書き続けています。 Authlete 社設立 (2015 年 9 月) から 8 年半弱経過したものの、まだまだ小さな会社で道半ばであるため、起業家として何か語るのは時期尚早ではあるものの、軽い体調不良が長引く中、『自分のエンジニアとしてキャリアを振り返ろう！』という記事投稿キャンペーンを見かけ、生きているうちに子供世代のエンジニアの方々に何か書き残しておこうと思い、文章
WordPressをS3で静的ホスティングしてセキュアに配信する - Qiita
この記事の内容 WordPressで作成したコンテンツを静的にホスティングする設計まとめ ハンズオンを兼ねた事例報告（+自分の所感）の流れで執筆 背景 そもそもなぜタイトルのような設計を考えたのかというと、先日アサインされたプロジェクトの要件が以下のとおりだったからです。 誰でも簡単にコンテンツを作成できる セキュアな設計 ここで、WordPressには以下の長所があります。 技術に明るくない人であっても簡単にコンテンツを作成できる 裏はPHPで動いているので拡張性が非常に高い 初期導入に必要となるコストが少ないこと ただし、ご存知の通りWordPressの欠点として大きなものが以下です。 脆弱性が多く十分な対策を要求される 上記を鑑みて、WordPressの長所を余すことなく享受し欠点を最大限カバーすることができるようになる「WordPressを静的コンテンツで配信」を目標に構築を行いま
Three.jsで新宿駅構内図を3Dで可視化してみる - Qiita
これは MIERUNE AdventCalendar 2023 24日目の記事です! 昨日は@northprintさんによるSvelteKitでURLクエリパラメーターの操作をするでした。 はじめに この記事では新宿駅の屋内地図データを使用して、Three.jsで3Dによる可視化をします。 DEMOはコチラ 使用するデータ 今回は、G空間情報センターで公開されている「新宿駅屋内地図オープンデータ」の統合版（ShapeFile）を使用します。 データについての詳細は製品仕様書に記載されています。 この記事のように、データの加工利用には以下の出典が必要となります。 コンテンツを編集・加工等して利用する場合は、上記出典とは別に、編集・加工等を行ったことを記載してください。なお、編集・加工した情報を、あたかも国（又は府省等）が作成したかのような態様で公表・利用してはいけません。（コンテンツを編集・
GitHub Copilotが便利になったのでターミナルもVSCodeで良いのでは？という話 - Qiita
この記事はラクスアドベントカレンダー2の17日目です。 先日のVSCodeのアップデートで、GitHub Copilotを使うとターミナル操作が便利になりました。 これにより、別途ターミナルのアプリを使わずにすべてVSCode上で操作した方が便利なのでは？となりました。 アップデート前までどうしてたか MacのiTerm2上で、GitHub CopilotのCLI版（パブリックベータ）で入力補完やコマンドの意味を調べたりしていました。 それ自体は便利でしたが、いくつかの不便な点もありました。 使い方がちょっと煩雑だった 例えばコマンドをサジェストして欲しい場合、gh copilot suggest 'gitで1つ前のコミットを取り消したい'のようにタイプする文字数も多くなり、またそれが一般的なコマンド or ghコマンド or gitコマンドかの３択に答えないといけなくて面倒でした。 ss
なぜエンジニア組織をうまくマネジメントできないと悩む経営者が多いのか？ - Qiita
はじめに 私は、さくらインターネットというクラウドサーバの会社の社長をしていて、よく経営者の方からのメンタリングのリクエストをいただくことがあります。 その中で多くの割合を占めるのが、ITエンジニア(以降、エンジニア)のマネジメントと、エンジニア組織の構築をどのようにすればいいのかというテーマです。 確かに、どんなビジネスをするにしても、単にSaaSやノーコードツールを活用するだけでは足りなくて、自分たちでシステム開発しないといけないケースが増えてきているのは、間違いないなと思います。 外注をしてシステム構築をするケースももちろん多いですが、基幹システムのような使いにくくても自社の社員が我慢すればいいものと違って、自社のお客様向けのシステムだと使いやすくないとお客様が離脱してしまいますし、常にアップデートをし続けて、最良のUI/UXを作ることが業績に直結します。 要は、今のデジタルシステム
デジタル庁のサイト、その後… - Qiita
はじめに 第1弾で多くの評価と批判をいただきました。 そして、第2弾もそこそこの評価をいただきました。 第3弾は全くの不発でした。 そして2023年11月1日、正式にリニューアルがされました。 今回第４弾はリニューアルされたデジタル庁のサイトについて書いていきます。 Next.jsからDrupalへ まず、試作版のデジタル庁のサイトがこちらです。 今現在は試作版のサイトが閉鎖されていて、手元にスクショがなかったので、webarchiveから取得しました。 こちらがデジタル庁のサイトです。 最初見た時、「そのまま試作版のサイトを本番サイトにしたのねん」と思いました。 しかし、よくよく調査すると、大きく変わっていることに気づきました。 なんと、Next.jsからDrupalに変わっているではないですか！！！ これはびっくりしました。第一弾の記事で、デジタル庁のサイトにNext.jsが使われてい
新幹線でもQUICで快適にSSHする - Qiita
はじめに 今日は、劣悪な通信環境でも快適にSSHができるquicssh-rsをご紹介します。そして、実際に改善されるかを試してみます。 長くなったので最初に結論 quicssh-rsを使うと、 パケットロスに対して明らかに強くなった こちらのIPアドレスが変わっても通信が継続できた 遅延(pingのRTTが大きいこと)は改善されない模様 30%パケットロス環境での比較 IPアドレスを変更しても切れない SSHは新幹線(劣悪通信環境)に弱い 鉄道での移動時間が長いと、パソコンを開いて各種開発の続きをしたくなります。 …なりませんか？ 時には、別のサーバーにSSHでログインして何かコマンドを打ったり。 在来線1であれば概ね問題ありませんが、新幹線になると通信品質が大きく悪くなるため、SSHでの操作は大きなストレスが溜まりがちです。なんとかならないかとずっと思っていました。 新幹線の通信環境 通
勉強を負担だと感じる人がハマっている、タスク管理の罠について。 - Qiita
この記事の内容 初心者エンジニアの勉強には、タスク管理ではなく時間管理をおススメします。 勉強が負担に感じるのは、日々のノルマが原因です。 時間管理によって、勉強を負担なく続けることができます。 エンジニアの皆さん、『勉強』できていますか？ 普段から空き時間を見つけて勉強している方にとっては、それは負担になるものではないかもしれませんが、私のように向上心が低く、仕方なく勉強している人にとっては腰が重たいものですよね。 ただ、その腰の重たさは考え方（やり方）ひとつで変わるかもしれません。この記事では、私が進んで「勉強をしよう！」と思えた『時間管理』の考え方についてご紹介します。 時間管理とは？ 時間管理についてざっくり説明すると、「その時間内で、できる限り頑張る」という考え方です。学校の授業などがそうで、1コマ50分など時間が決まっていますよね。 社会人の勉強の場合、『1日1時間勉強する』な
UnrealEngine を使って注文住宅を建てたお話 - Qiita
はじめに この記事はUnreal Engine (UE) Advent Calendar 2023の6日目の記事になります。 Unreal Engineを使用して注文住宅の建築を行う需要は、一般的にはあまり高くないかもしれませんがぜひ読んで頂けると幸いです。 また注文住宅とはなんやねんと思った方はこちらのリンクから見てみてください。 凄く簡単にいうと自分で自由にカスタマイズした家を建てる事です。 UnrealEngineを使用して家造りをしようと思ったきっかけ 注文住宅を建てるにはハウスメーカーと契約する必用があります。 契約したハウスメーカーにある程度の希望を出して仮で間取りや壁紙を選んでもらうと、The普通といった感じで量産型のようなものが提案されました。 やはり自分達で色々と考える必用があり、その中で提案もたくさんする必要があるんだなと実感し始めました。 そこで普段使用しているUnr
【閲覧注意】イライラ不可避なUIデザイン10選 - Qiita
弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 はじめに 人は見た目が9割 皆さん一度はこの言葉を耳にしたことがあるのでしょう。内面がどれほど素晴らしくても、外見がそれに見合わないと、なかなか本当の価値を認めてもらえないものです。 この話は人間だけでなく、アプリケーションにも当てはまります。どれだけ内容が素晴らしくても、見た目がイマイチだったり使い勝手が悪かったりすると、ユーザーに敬遠されてしまいます。(私は以前ネ⚪︎フリからア⚪︎プラに切り替えたのですが、使いにくく感じたため、すぐに元のサービスに戻しました) エンジニアの皆さん、優れた技術力を持ちながら、デザインが原因でユーザー離れを招いていませんか？そうならないよう
ほんとうにあった開発生産性が爆下がりする話 - Qiita
昨今、継続的にプロダクト開発していくことが主流となり、Four Keysなどの開発パフォーマンスを測る指標なども出てきており開発生産性を向上させることが注目されています。 しかし、かつての開発現場では今では信じられないような開発生産性を爆下げするようなことをやっていました。 この記事では10年以上前に私が経験した開発生産性を爆下げする事例を書いていこうと思います。 (私が体験したことをベースに書いているので10年前は全てがこうだったということではないのでご留意ください ) 修正前のコードはコメントアウトで残す 当時、ウォーターフォールで開発していました。 ウォーターフォールでは開発工程とテスト工程が分かれています。 開発工程で一通りコーディングして、テスト工程で動作確認を行いバグを潰します。 問題はここからです。 とある現場では、テスト工程でバグを直すときにコードを破壊的に直すのではなく、
Next.jsにDB追加してVercelで公開してみた② - Qiita
⑦ログイン機能追加 ヘッダーにLoginボタンを追加 components/Header.tsxを下記のよう変更して下さい。 components/Header.tsxコードをクリックして全て表示 // Header.tsx import React from 'react'; import Link from 'next/link'; import { useRouter } from 'next/router'; import { signOut, useSession } from 'next-auth/react'; const Header: React.FC = () => { const router = useRouter(); const isActive: (pathname: string) => boolean = (pathname) => router.path
Next.js､ Prisma､PostgreSQLでフルスタックアプリを作る - Qiita
Next.js､ Prisma､PostgreSQLでフルスタックアプリを作る 以下を翻訳した文章になります｡ How to Build a Fullstack App with Next.js, Prisma, and PostgreSQL written by nikolasburk https://vercel.com/guides/nextjs-prisma-postgres github上にも同様の翻訳文を掲載しています｡ https://github.com/tomohiko-ohhashi/howtobuildnextjsapp 当記事で完成させたアプリをデプロイしています｡ https://to-blogr.vercel.app/ Next.js､Prisma､PostgreSQLのフルスタックアプリケーションを作成し､Vercelにデプロイする｡ PrismaはNode.
音声のみで操作できるTODOアプリを開発してたら思ったより革命だった - Qiita
はじめに この記事では、音声認識のみで扱えるVoice Todoというアプリを作っている話をします。 既存TODOアプリのかゆいところ 皆さんはTODOアプリを使っていますか？ 正直に言うと、私は使っていません。 TODOアプリを使わない理由はいくつかあります。 まず、フリック操作が苦手。 フリックがとにかく苦手です。 どれぐらい苦手かというと、PCとスマホで同じ100文字程度の文章を打つと4,5倍ぐらい時間がかかります。 また、TODOの海を形成しがち。 TODOアプリを使っていると、気づいたらTODOの海を構築しています。 というのも、基本的に整理フェーズを置いてないからなんでしょう。 結果、消化するよりも探す時間の方が使うという状態に陥ります。 うーん。 どうにか、TODOアプリで楽して管理できないかなー。 ――――と思い立ったのがVoice Todo作成のきっかけです。 Voice
mosh + tmuxはいいぞ - Qiita
moshとtmuxを組み合わせると幸せが訪れるというお話です。 この記事を見て下さっている皆様の大半はsshについてはご存知かと思います。sshは*nix系のサーバー管理を行う為には不可欠なものですが、複数のPCから作業したり、モバイル環境で使用する場合、単体では不便な点が多く存在します。 モバイルデータ通信/Wi-Fiの切り替えや、異なるネットワークへの移動、電波状況等の影響により、モバイル環境では頻繁に接続が切れます。sshでは接続が切れるとセッションが破棄されるので、接続が切れる度に再接続して、切断される前のカレントディレクトリ・環境変数の状態に戻す必要があり、大変不便です。 複数PC間でセッションを引き継ぐことができません。例えば自宅のPCで作業を途中まで進めた後、外出中に作業の続きをしたい場合、自宅の作業状況をそのまま持ってくることができません。 モバイル環境や、サーバーが遠隔地
Flutterで行うSTT(Speech To Text) - Qiita
import 'package:flutter/material.dart'; import 'package:speech_to_text/speech_recognition_error.dart'; import 'package:speech_to_text/speech_recognition_result.dart'; import 'package:speech_to_text/speech_to_text.dart' as stt; void main() { runApp(MyApp()); } class MyApp extends StatelessWidget { @override Widget build(BuildContext context) { return MaterialApp( title: 'Flutter Demo', theme: Theme
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
du -h -d 1 | sort -h が優勝 - Qiita
