Apache Sparkとは何か - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 使い始めて3年くらい経ちますが、改めて振り返ってみます。 こちらの記事を書いたりしていますが復習も大事なわけで。 2025/9にもくもく会を開催します。 Sparkの体験型学習アプリを作成しました。 翔泳社よりApache Spark徹底入門が絶賛発売中です！ その他のDatabricksコアコンポーネントの記事はこちらです。 Apache Sparkプロジェクトの歴史 SparkはDatabricksの創始者たちがUC Berkeleyにいるときに誕生しました。Sparkプロジェクトは2009年にスタートし、2010年にオープンソース
ケント・ベックに学ぶ良いコードの書き方🗒️ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは、しが あきとし(@akitosihga)です。 先日あるMeetUpで良いコードの書き方について考える機会がありました。 『良いコード』の定義は幅広く様々な解釈があると思います。 その中でも、自分が敬愛するプログラマーのケント・ベックから学んだ事に焦点を当てて良いコードの書き方についてまとめました。 ケント・ベックとは テスト駆動開発(TDD)で有名なプログラマー アジャイル開発におけるエクストリームプログラミング(XP)の考案者としても有名 アジャイル開発関連の書籍に度々登場するCRCを発明したのも彼だったりする 代表的な
1行もコードを書かずに画像生成AIツール作ってみた - Qiita
以下のXを見て、早速「Create」を試してみたので、実際に使った所感をまとめます AIがリアルタイムでWebページを作ってくれる神サイト ㅤ 会話だけで、理想のUIを実現することが可能 ㅤ 使い方・活用法をツリーにまとめます！ ㅤ ブックマーク保存をおすすめします↓ pic.twitter.com/J1cJkUkyO8 — すぐる | ChatGPTガチ勢 𝕏 (@SuguruKun_ai) March 25, 2024 一言で言うとヤバいです... 詳細は以下のサイトでも解説しています Createとは Create 公式サイト Createは、1行のコードを書かなくても自然言語を使って、高度なAIを搭載したアプリやツールが作成できる生成AI搭載のノーコードツールです。 エンジニアでなくともChatGPT APIやStable Diffusion APIを組み込んだアプリが簡単に作れ
機械学習による株価予想の十八手 - Qiita
1. 株価はサプライズによって動く 株式相場には常にプロの投資家がうごめいており、各銘柄の各種業績数値を常に予想して投資活動をしている。そんな状況下において、仮に「売上が前年比2倍」という決算が発表されても、株価が2倍になるわけではない。むしろ3倍が予想されていたのに、2倍だったら失望売りとなる。つまり事前予想と比較してこそ意味があり、staticな値や過去実績との比較を特徴量にすることはあまり意味がない。事前予想と決算の乖離、または前回予想と今回予想の乖離こそが意味のある特徴量であると言える。 2. 業績数値の単純な変化率では株価インパクトは測れない 営業利益の事前予想100億円に対し、決算が200億円の場合、 変化率 = （ 実績 - 予想 ) / 予想 の計算式を使うと、変化率は100%となる。 この変化率を特徴量にするのは一見もっともらしいが、株においてはこれは使いづらい。 営業利
Obsidianを使って生産性を高める - Qiita
目次 1.はじめに 2.Obsidianとは 3.Obsidianのインストール 4.プラグインの導入 5.おすすめのプラグイン 6.Obsidian参考サイト 7.おわりに 1. はじめに 生産性を高めるツールは色々存在します。 タスク管理を例に挙げると、私はタスク管理にはカンバンツールが好きで、オフラインで使えるWekanやFocalBoardというツールを使ってきました。 しかし、タスク管理は〇〇、エディタは△△、作業記録は××といったように複数のツールを使うのは非常に面倒です。 機会があってマークダウンエディタであるObsidianを活用する方法を調べてみたところ、このツール1つで様々なツールの代替ができて非常に有用だと感じたので、Obsidianの導入方法とタスク管理機能を含めた個人的におすすめなプラグインを紹介し、Obsidianの活用方法を紹介していこうと思います。 まだまだ
SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita
2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか？ 今回は、そんな方々にこそ
段階的に理解する O/R マッピング - Qiita
はじめに O/R マッピングとは O/R マッピングとは、一言で言えば、オブジェクト指向プログラミング言語においてリレーショナルデータベースのレコードを通常のオブジェクトとして操作する方法である。より詳細な定義を述べるより、実際のコードを見たほうがわかりやすいだろう。以下に、低レベルの JDBC API の利用例と、高レベルの O/R マッピングフレームワークの代表格である JPA の利用例を挙げる。 public List<Issue> findByProjectId(long projectId) { String query = "select id, title, description from issue where project_id = ?"; try (PreparedStatement ps = connection.prepareStatement(query))
ChatGPTとSlack上で会話するアプリを10分で構築しよう（後編：AWS Lambda） - Qiita
使用するOSS 言語：Python ゴール AWS LambdaでChatGPTと連続的な会話を実現するSlackアプリを構築する AWS Lambdaで動かす 本記事は、以下の記事の後編です ローカル環境で動作確認できたら、次はこれをLambdaにデプロイしてみましょう （そこまでできれば、社内用ツールとして利用できるようになります） Slack API Slack APIで新しいAppを作成 最初に、SlackAppを作成します Slack ApiでCreate New Appをクリックします https://api.slack.com/apps From an app manifestを選択します Enter app manifest bellowを入力します manifest-prod.ymlの内容をコピペします request_url等はこの時点ではまだ確定していませんので、後で
ChatGPTとSlack上で会話するアプリを10分で構築しよう（前編：ローカル環境） - Qiita
使用するOSS 言語：Python ゴール AWS LambdaでChatGPTと連続的な会話を実現するSlackアプリを構築する ローカルで動かす まずはREADMEに従ってローカルで動かしてみましょう Slack API Slack APIで新しいAppを作成 Slack ApiでCreate New Appをクリックします https://api.slack.com/apps From an app manifestを選択します Enter app manifest bellowを入力します manifest-dev.ymlの内容をコピペします Appで必要な設定を行います Install to Workspaceします App-Level Tokenをconnections:write scopeで作成します Tokenを控えます Install AppからBot User OAu
テックリードとして入社してからやったことをまとめてみた。 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 現在の会社にテックリード（１人目の正社員エンジニア）として入社して、２年間やってきたことを書いています。 エンジニア二年目でテックリードとして試行錯誤してきて、自分の振り返りもしたいという思いから記事を書きました。 （前提として、シード期のスタートアップで実行してきたことです。） 入社時のチーム課題 入社当時は、２週間単位のスプリントでスクラムを回してましたが、全員が業務委託だったこともあり、完全な内製化を進める必要があり、主な課題は以下でした。 継続的リリースが困難な状態になっており、それを解消することが急務 社内にエンジニアがいなか
機械学習による株価予測 KaggleのJPXコンペを終えて - Qiita
はじめに UKIです。 Kaggleで開催されたJPX Tokyo Stock Exchange Predictionのサブミッションが終了しました。本コンペの結果が出るのは3ヶ月後ですが、記憶が鮮明なうちにコンペを終えた感想をまとめておきたいと思います。 コンペ仕様 ざっくり要約すると、 日本株2000銘柄の中から、 毎日200銘柄ロング、200銘柄ショートし、 3カ月間の日次損益のシャープを競う 運ゲーになりがちなファイナンスコンペですが、以下の点で問題設定に工夫が凝らされていると感じました。 買い入れ銘柄数を大きくすることで異常値の影響を軽減する 例えば買い入れ銘柄が少ない場合、運よくSTOP高銘柄を引き当てたプレイヤーは大きなアドバンテージを得ることになります。買い入れ銘柄を大きくすることで異常値の影響を軽減し、予測性能の実力を可能なかぎり測れるよう配慮されています。 評価指標がシ
RSAに対するフェルマー攻撃 - Qiita
a: 9163378376717311892759896790709874300966750864559366002850511560483289442694938524371536081394826360219831218372600953278212991300807322321661081276951933103914701695370758044798746081504842558400345289682449481886671521761200653758803217979571859303042229856285712216457977509930641541741829391994680979277814996883564209816622422745240098425979554433781556268409710036195179160807729930231193303
OutOfMemoryError の調べ方 - Qiita
Java 8 で、 Oracle の JVM を前提とした話です。 Java のメモリ管理 これを知っておかないと、 OOME が起こっても、メモリ内で何が起こっていて、どこを調査すべきで、どのように対処したらいいのかが判断できない。 なので、まずは、そもそも Java がどうやってメモリを管理しているのかを知る。 しかし、実際調べてみたら予想通りというかなんというか、量が多くなってしまった。 なので、個々の用語の説明は末尾の 用語集 に押し込めたので、ここではざっくりとした概要だけ記載する。 メモリの構造 超ざっくりとした、メモリ構造を表した図。 おおきく、ヒープ（Heap）領域とネイティブ（Native）領域の２つの領域がある。 ヒープは Java プログラムが使う領域で、プログラム上で生成したオブジェクトは、このヒープ領域に配置される。 一方、ネイティブ領域は JVM が動くのに必要
API設計スキルを次のレベルに引き上げるベストプラクティス22選 - Qiita
本記事は、Mohammad Faisal氏による「22 Best Practices to Take Your API Design Skills to the Next Level」（2021年4月15日公開）の和訳を、著者の許可を得て掲載しているものです。 API設計スキルを次のレベルに引き上げるベストプラクティス22選 REST API設計のための実践的アドバイス Photo by Andrea Piacquadio from Pexels はじめに すべてが分かりにくく、ひどいAPIに不満を感じたことはありませんか？私はそうです。 マイクロサービスの世界では、バックエンドAPIの一貫した設計が不可欠です。 今日は、知っておくべきベストプラクティスについて、簡潔に説明します。さあ始めましょう！ 用語 API設計は、リソース指向設計というものに従います。3つの重要な概念で構成されていま
MockitoとPowerMockの使い分け - Qiita
@Component public class TestTargetClass { @Autowired private TestSubClass testSubClass; private String private_method() { return "private_method called " + private_sub(); } private String private_sub() { return "private_sub"; } public String public_method() { return "public_method called " + public_sub(); } public String public_sub() { return "public_sub"; } public String public_method_call_privat
今起きている革命、「因果革命」とは - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統
機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh
Dockerfileのベストプラクティス - Qiita
業務やプライベートでのハンズオンを通して得た知見を元に、dockerfileの実践的な書き方を記載いたしました。 軽量なdocker imageを作る観点とセキュリティーの観点を踏まえた内容になっております。なにか付け足す点などあればコメントいただければと思います。 軽量なimageを作る観点 軽量なimageの使用 Dockerfileでimageを指定する際に、軽量なimageを使用することが進めれている。 docker docsでも代表的な軽量なimageのalpineをおすすめしている。 Whenever possible, use current official images as the basis for your images. We recommend the Alpine image as it is tightly controlled and small in s
ラズパイとSORACOMで子豚の出産通知を作ってみた - Qiita
これらを組み合わせてこのようなものを作りました。 これを豚舎に設置して、高い位置から子豚の様子を撮影しています。 処理の概要 処理の流れはこのようになっていて、これらの処理を30分周期で行ってます。 全てを紹介するのは大変なので、それぞれの関数について処理のポイントを紹介したいと思います。 写真を撮影して、親豚の位置を判定 子豚の有無を判定 日付、温度、湿度、子豚のチェック結果を写真に記載 認識エリアの合成 GoogleDriveのフォルダに同期 子豚が産まれていたらLINE通知 1.写真を撮影して親豚の位置を判定 最初に装置を作って豚舎に置いたときに、撮影する場所によって親豚が右に映る場合と左に映る場合がありました。 なのでまずは親豚の位置を判定する学習モデルを作成しました。 学習精度を上げるために、画像を白黒にしたものをlobeに読み込ませて学習します。 lobeについてはこちら 学習
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ArgumentMatcherとは - Qiita
