Python版の「LangChain」のクイックスタートガイドをまとめました。 ・LangChain v0.0.329 (2023/11/3) 1. LangChain「LangChain」は、「大規模言語モデル」 (LLM : Large language models) と連携するアプリの開発を支援するライブラリです。 「LLM」という革新的テクノロジーによって、開発者は今まで不可能だったことが可能になりました。しかし、「LLM」を単独で使用するだけでは、真に強力なアプリケーションを作成するのに不十分です。真の力は、それを他の 計算 や 知識 と組み合わせた時にもたらされます。「LangChain」は、そのようなアプリケーションの開発をサポートします。 主な用途は、次の3つになります。 ・文書に関する質問応答 ・チャットボット ・エージェント 2. LangChain のモジュール「L
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
Goにおけるタスクランナーの歴史 npmならnpm run、denoならdeno taskなど言語ツールにタスクランナー機能が付属していることがありますが、Goではそのような機能は提供されていません。 そこでGoのプロジェクトではMakefileがタスクランナーとして用いられることがしばしばありますが、独自の文法、.PHONYを大量に書く必要がある、Makefile警察が飛んでくる、などの問題があります。 Makefile警察「ぐぬぬぬ…」 #taskfile - Qiita タスクランナーとしてMakefileを使うことから脱却すべく、巷ではYAMLベースの「Task」やGoベースの「Mage」が用いられている印象です。 どちらも多少試したことはありますが、主に以下の点が気になりました。 Taskfile.ymlやmagefile.goといったツール独自のファイルを置く必要がある これは
ノベルゲーム移植の歴史 - みずぴー日記
この記事はインターネット老人会 Advent Calendar 2023 - Adventarへの飛び込み参加である。 これは数年前に書き溜めていたテキストであり、一部調べきれていない箇所がある。また不正確な記述も混じっていると思う。 この内容を話すためのイベントが2000年ごろのインターネットを懐かしむ会(ハッシュタグ: #インターネット老人会)であり、「インターネット老人会」というミームを生み出す一助となったと自負している。*1 概要 移植のアプローチについて 互換動作環境 変換ツール 移植対象となったOS・機器 PC-UNIX 携帯端末向けOS ゲームボーイ/ゲームボーイアドバンス 権利会社との関係性について System3.5互換動作環境 System3.5 for X SD35B SD35C その他 Leaf/LVNS 痕メッセージ作成ツール Lfview PVNS XLVNS
デジタル世界の「自由」は徐々に失われており「DRM義務化」「VPN非合法化」「アプリ更新への政府介入」といった最悪の状況に突き進む可能性がある
カエルを水に入れてゆっくり加熱すると危険を察知できずにそのまま死んでしまうというのがゆでガエル理論です。デジタル世界の自由が徐々に失われつつあることを時系列にまとめて今後さらに規制が強まる恐れがあると警鐘をならすブログ記事が機械学習エンジニアのロビン・ランジュさんによって投稿され、エンジニアが集うニュースサイト「Hacker News」で話題になっています。 The boiling frog of digital freedom | Gazoche's blog https://gazoche.xyz/posts/boiling-frog/ The boiling frog of digital freedom | Hacker News https://news.ycombinator.com/item?id=37368824 デジタル世界の自由を奪う仕様やルールの歴史は以下の通り。 2
本記事は4月3日21:30（JST)時点で判明している事実をまとめたものです。誤りがあればコメントでお知らせください。 本記事には誤りが含まれている可能性があります。 新しい情報があれば随時更新します。 ** 4/2 18:30 Q&Aを追加しました。 4/2 11:30 実際にバックドアが存在する環境を作成し、攻撃可能なこと、出力されるログ等について追記しました。また、攻撃可能な人物は秘密鍵を持っている必要があることを追記しました。** ところどころに考察を記載しています。 事実は～です。～であると断定し、考察、推測、未確定情報は考えられる、可能性があるなどの表現としています。 またpiyokango氏のまとめ、JPCERT/CCの注意喚起もご覧ください。 なお、各国のCSIRTまたは関連組織による注意喚起の状況は以下のとおりで、アドバイザリを出している国は少ない状況です。 概要 問題の
Z80+C言語で16ビット機級の本格的なゲームが創れるゲーム機（VGS-Zero）を作ってみた - Qiita
はじめに 2024年1月1日に VGS-Zero (Video Game System - Zero) という RaspberryPi Zero 2W のベアメタル環境で動作するオリジナルのゲーム機エミュレータと SDK を公開しました。 VGS-Zero は、RaspberryPi Zero 2W をテレビに HDMI ケーブルで接続し、USB ゲームパッドで遊ぶタイプ（据え置き型）の新しいゲーム機です。 無料でゲームを開発＆販売ができる SDK も公開していて、開発したゲームを完全ロイヤリティフリーで自由に販売して頂くことができます。 なお、OS は Linux ではなく独自カーネルです。 特徴 VGS-Zero の特徴について、カーネル視点とゲーム機視点の両面から解説します。 独自カーネルの特徴 ラズパイ全般（※Picoを除く）は Linux で動かすのが一般的ですが、VGS-Zer
Sansan 技術本部 情報セキュリティ部 CSIRT グループの川口です。 2023年4月からセキュリティエンジニアで新卒として、Sansan に入社しました。 現在は ログ基盤（SIEM）のログの取り込み部分の機能修正、問い合わせ対応、インシデント対応などの業務に取り組んでいます。 今回は内定者インターンシップで開発した、自宅ルータの脆弱性検知システムについて紹介します。 目次は以下の通りとなります。 開発に至った経緯 作成したシステム 技術的な話 EDR ポートスキャン チケットシステムへの起票 SOAR まとめと今後の課題 開発に至った経緯 新型コロナウイルスの流行に伴い、リモートワークという言葉をよく耳にするようになったと思います。 弊社でも緊急事態宣言下においては、原則リモートワークとなり、現在はオンライン・オフラインを併用した働き方をしています。 ここで問題となってくるのが自
関連キーワード VPN | ネットワーク・セキュリティ | 在宅勤務 エンドユーザーはインターネットを利用する際、VPN（仮想プライベートネットワーク）を用いることでその接続の安全性を保てる。企業のネットワークチームは、従業員がリモートアクセスをするための手段としてVPNを重宝している。 VPNにはさまざまな選択肢がある。中には暗号化方式が古く、安全でないものもある。主要な5つのVPNを解説する。 主要な5つのVPNの特徴とは 1．L2TP/IPsec 併せて読みたいお薦め記事 連載：VPN徹底解説 前編：いまさら聞けない「VPN」の基礎知識 暗号化が必要になった理由は？ VPNの新しい姿とは 「無料VPN」を好むZ世代はクールじゃない？ 有料VPN世代との違い アラブ諸国で「VPN」が使い倒されていた“意外な理由” 「L2TP/IPsec」は、「Layer 2 Tunneling Pro
こんにちは、SCSKの木澤です。 先日、VPCにおける大きなアップデートが発表されました。 Multi-VPC ENI Attachmentsaws.amazon.com EC2から複数のVPCに対してENIを接続できるようになったよ、という話です。 オンプレミスのネットワーク設計経験者であれば、この話を聞いて「管理用VPCが作れるようになったな」と感じることでしょう。 実際私自身もAWS初心者の頃は管理用のネットワークが構成できないことが気になっていました。 ですが、AWSにおいては安易に管理用VPCを設置すべきではないと考えています。 その理由を下にまとめたいと思います。 オンプレミスネットワーク設計のセオリー オンプレミスにおけるネットワーク設計経験が無い方もいらっしゃると思いますので、丁寧に解説したいと思います。 今回は下図のような一般的なWeb3層のシステムのネットワークを設計す
今年の書初めコーディングはAITuberを創る！
はじめに あけましておめでとうございます。去年は何といってもAIの年でした。ChatGPTやStableDiffusionが2022年末に登場してから、想像を超えてAI周りが進化しましたね。今回は年の初めという事もあり、前から興味のあったAITuberを作ってみる事にしました。 「AITuberを作ってみたら生成AIプログラミングがよくわかった件」 って本も買ったし。LLM部分だけでは無く、OBSやYouTubeのコメント取得などAITuberに必要な内容が一式揃っていて非常に参考になりました。 また、私はプログラミングは多少できますが、イラストや音楽に関しては全くスキルの無い人間です。そのためそのあたりに関してはStable DiffusionやSunoAIの力を借りて作っているので、結果的にオール生成AIという感じですね。そのあたりも含めて記事にまとめたいと思います。 TL;DR 素の
Dockerがコードネーム「Docker Debug」発表、コンテナ内に任意のデバッグツール群を一括導入、効率的なデバッグを実現。DockerCon 23
Dockerがコードネーム「Docker Debug」発表、コンテナ内に任意のデバッグツール群を一括導入、効率的なデバッグを実現。DockerCon 23 Docker社は米ロサンゼルスで10月3日と4日の2日間、年次イベント「DockerCon 23」を開催しました。 1日目の基調講演で、Dockerコンテナ内でのアプリケーションのデバッグを高効率化するDocker Desktopの新しい拡張機能「Docker Debug」（コードネーム）が発表されました。 コンテナのデバッグは面倒 一般にDockerコンテナは、使用メモリの最小化とセキュリティを高めるなどの目的で、余計なシェルコマンドやツールなどを徹底的にそぎ落としたOSの上にアプリケーションを載せた構成にします。 そのため、コンテナ内のアプリケーションに問題が発生し、その解決のために基本的な動作確認や設定確認などをしようとした場合で
Four Keysを用いた改善活動のアンチパターンと、本質的な改善のために必要な「なぜ？」 - Agile Journey
Agile Journeyをご覧のみなさん、はじめまして。株式会社リンクアンドモチベーションの川津（@KawatsuYusuke）です。こちらの記事では主に私たちがFour Keys メトリクスを元に、開発生産性向上を目指した活動に関する話題についてお伝えします。 と言っても、『LeanとDevOpsの科学』をはじめ、Four Keysの運用に関するトピックはすでに多く語られています。また、Four Keysは便利なメトリクスであるがゆえに、ときに「Four Keysを改善する」という手段が目的化してしまうことがあります。本稿では主にこれから開発生産性向上に取り組もうとしている方に向けて、私たちの取り組みと、体験したアンチパターンをもとに、「Four Keys改善の取り組みには "なぜ？" が大事」についてお伝えします。 私たちの開発生産性向上のはじまりと、目指すべき状態の設定 Four
iPhoneもAndroidも｢アプリ閉じると電池長持ち｣は嘘2024.02.24 20:0060,555 Maxwell Zeff - Gizmodo US ［原文］ （ satomi ） マジで⁉ よく、使わないアプリをせっせと閉じるの習慣にしている人いますけど、あれってあんまり意味なくて、やるだけ時間の無駄らしいですよ？ ｢えーでもバックグラウンドで動作してたら電池もったいないじゃん！｣ ｢そうそう。閉じたほうが、スマホの動作は早くなるって、みんな言ってるよ？｣ ｢閉じないと、こっちの動きを追跡されそうで、それも怖いし…｣ …と今の今までなんとなく思っていました。でもこれが大きな勘違いで、実言うと、バックグラウンドのアプリは閉じても閉じなくても負荷はあまり変わりません。どっちみち動作していないんです。 閉じてもバッテリーの節約にはならない閉じてもバッテリーの節約にならないことは、20
*本記事は STORES Advent Calendar 2023 6日目の記事です こんにちは。セキュリティ本部のsohです。 現在、弊社ではスマホアプリ診断内製化の準備を進めています。 同じようにスマホアプリの脆弱性診断を内製化したい、というニーズがある会社は多く存在しますが、実際のところ、スマホアプリを対象とした脆弱性診断士の確保は困難であり、外部ベンダーの方にすべてお願いせざるを得ないケースも多いかと思います。 また、その情報の少なさから、スマホアプリ診断を実施したいと考えている開発者や脆弱性診断士にとっても、「何をやればいいのか」「何から始めればいいのか」がわからないものである場合は多いかと思います。 そこで、この記事では「スマホアプリ診断って実際何をしているのか」と疑問を持つ方をターゲットとして、一般的なスマホアプリ診断の検証要件や検証方法について解説します。 要件とガイドライ
アイ・オー、Ubuntu搭載のミニPCやNASなど発売 Ubuntu開発元の英Canonical社とライセンス締結
アイ・オー・データ機器は6月19日、Ubuntu Linuxなどを手掛ける英CanonicalとUbuntuのライセンス契約を締結したと発表した。Ubuntuを搭載したNASやミニPCを発売する他、日本国内のUbuntuリセラーとして、組み込み機器メーカーなどにUbuntu Proのライセンス販売などを提供する。 アイ・オーはUbuntuのライセンス契約を締結したことにより、日本国内でUbuntuをプリインストールした機器の販売ができるようになった。さらに、組み込み機器メーカーが自社製品にUbuntuをプリインストールし、リリースから10年間のセキュリティメンテナンスも提供する「Ubuntu Pro for Devices」ライセンスの販売も行う。 まずはUbuntuをプリインストールした2ベイのNASと、省スペースのミニPCを発売する。今後はAI用途に適したNPUを搭載したPCや、アカデ
自分は、仕事でScalaを数年間・プライベートな経験を含めると10年弱のScalaの経験がある、そこそこの熟練Scalaエンジニアだ。チームにメンバーが入ってきたり他人に勧めるたびにScalaの環境構築を教えている一方、最新の知見を反映した記事が無くて他人に勧めづらかったので、自分が書くことにした。 現在ある記事 けっこう古びている 覚えながら書かれていることが多いのでやや曖昧な箇所がある(でもありがとう！) 最新のツールが利用できておらず無駄が多い 網羅的でない 今回目指す内容 最新の知見を活用して最短距離を目指す 何もない状況から一通りのツールが揃う所を目指す Scalaの環境構築は年を追うごとに簡単になってきているので、大多数の読者は引っかからずに進めるようになっているはず。 Scalaは基本的にJVMで動作する言語だ。このため環境構築にはJVMのセットアップも含まれるのだが、それに
1980年代、PC（マイコン）向けにさまざまなメーカーが展開していた“お色気ゲーム”黎明期を解説（中編）【『16bitセンセーション ANOTHER LAYER』連動企画第10回】 | ゲーム・エンタメ最新情報のファミ通.com
2023年10月4日より、アニメ『16bitセンセーション ANOTHER LAYER』が放送開始された。マイクロソフトのOS“Windows95”が発売される以前、おもにNECのパソコンPC-9801シリーズをプラットフォームに花開いた美少女ゲーム文化をフィーチャーしたこの作品には、1990年代に発売されていたパソコンやゲームソフトがあれこれ登場する。 この記事は、家庭用ゲーム機に比べればややマニア度が高いこうした文化やガジェットを取り上げる連動企画。書き手は、パソコンゲームの歴史に詳しく、美少女ゲーム雑誌『メガストア』の元ライターでもあり、『16bitセンセーション ANOTHER LAYER』にも設定考証として参画しているライター・翻訳家の森瀬繚（もりせ・りょう）氏。 アニメ『16bitセンセーション ANOTHER LAYER』（Amazon Prime Video） 1980年代
トヨタ 史上最強 14年ぶりの社長交代が実現したトヨタ自動車がわが世の春を謳歌している。2024年3月期に日本企業としては前人未到の営業利益3兆円を達成する見通し。豊田章男氏からバトンを渡された佐藤恒治社長率いる新政権は、上々の滑り出しを見せている。もっとも、トヨタの絶頂期が、半導体不足の影響緩和と過去の遺産によってもたらされていることは明らかだ。新政権の下、トヨタは「EV（電気自動車）でも世界一」の野望をかなえることができるのか。新社長が挑む大変革を、EV戦略、幹部人事、グループ統治、半導体調達戦略など多角的な視点から検証する。 バックナンバー一覧 トヨタ自動車の変革の鍵を握る、気鋭のソフトウエア開発子会社、ウーブン・バイ・トヨタに不穏な気配が漂っている。トヨタの豊田章男会長と、同子会社幹部を務める長男、豊田大輔氏に隙間風が吹いているという。特集『史上最強 トヨタ』の＃1では、トヨタの未
楽天グループは4月17日、家計管理アプリ「楽天家計簿」の本格提供を開始したと発表した。まずiOS版の提供を開始しており、Android OSにも今後対応する。 楽天家計簿では、銀行口座やクレジットカード、交通系ICを含む電子マネー、ポイントなど1000以上のサービスと連携可能。月々の収支やその内訳、資産額の推移を自動で把握できる。また、水道・光熱費・通信費といった固定費や、食費・日用品といった変動費の支出を項目ごとに自動分類し、収支構造が一目でわかるという。 また、2024年1月に始まった「新NISA制度」に合わせ、楽天証券をはじめとする各証券口座と連携した金融資産管理機能や、より充実した有料プランの提供も2024年中に順次予定している。さらに、将来的にはAIを活用したサービスの実現も目指すとしている。 連携できる楽天グループのサービスは 「楽天銀行」「楽天カード」「楽天モバイル」「楽天E
2023年 研究開発部 新卒技術研修 ~ テストコード編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Data Analysisグループの笛木です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行いました。 こちらのブログの続きでテストコードについての研修資料を一部公開します。研修では新卒2年目の私が1年間で部内のコードなどから学んだ情報を共有しました。至らない部分もあるかもしれませんが、ご参考になれば幸いです。 こちらの研修で使用したGitHubのコードリンクは以下です。適宜、ご参照ください。 github.com 目次 目次 はじめに この研修の目的 研修スコープ外 テストコードについて テストコードの便利な点 テストコードの悪い例 テストコードに関するFAQ pytestによるテストコードの書き方 ファイル名 ディレクトリ 基本編 Parametrize Fixture 異常系 Mock indirect conftest 知っておくと活用する場
JX通信社の CTO の小笠原(@yamitzky)です。本日は、最近社内で検証している API クライアントの「Insomnia」や、Insomnia を活用したチームでの API 開発の効率化についてご紹介します。 Insomnia とは Insomnia は、オープンソースの API クライアントです。API 通信を GUI で直感的に検証・保存できる、というのが最も基本的な機能です。似たようなツールだと Postman などが有名だと思います。 insomnia.rest Insomnia は一般的な REST API だけでなく、GraphQL や gRPC の API にも対応したツールです。JX通信社では、NewsDigest や FASTALERT などのサービスで GraphQL を活用しているため、GraphQL にネイティブ対応しているのは非常に便利です。 Insom
｢iPhoneとPixelの大きな差｣が埋まるかもしれない、という話2023.09.03 08:00121,525 そうこ 現代社会においてほぼ必須アイテムのスマートフォン。修理する権利や電子ゴミを減らす観点からも1台の端末をお手入れしながら長く使えるのがいいですよね。スマートフォンを安全に長く使うには、ハードはもちろん、ソフトウェアサポートが続く必要もあります。 そんな中、10月に発表が期待されるGoogleの新作スマートフォン Pixel 8は、OSのアップデートサポート期間が延長され、5年対応になるという話が聞こえてきました。 PixelとiPhone、｢寿命｣の差物理的なハードの寿命は横において、ソフトウェアの話。 Pixel 6のOSアップデートのサポート期間は3年。セキュリティアプデはさらに2年長い5年間。つまり、発売日から3年は最新OSをインストールできるよ、5年間はセキュリ
WebブラウザでOS動かしてどうすんだよ という根源的な疑問に回答が無いままとりあえずできちゃった。。 ※ コマンドが終了してもプロンプトが出ません。Enterを空打ちする必要があります (バグ) WasmLinuxは、WebAssembly "ネイティブ" なLinux環境です。カーネルもユーザーランドも、WebAssemblyのツールチェインでコンパイルされたWebAssemblyモジュール(をwasm2cでCにしたもの)です。 前回はカーネルしか動いていなかったんですが、今回はブラウザ上で ifconfig lo up して ping 127.0.0.1 したり top したり vi したりできます。BusyBox入ってるので。 ただしまだ実用性は皆無 です。Proof of Conceptって奴ですね。 前回の記事: 今回はMUSL libcを移植してBusyBoxが動くようになっ
1. 概要 2024年の1月24日にZedがOpen source化しました! ということで、Zedとは何か、実際に使ってみてどうだったかというのを簡単にご紹介できればと思います。 2. Zed とは何か? AtomとTree-sitterのクリエイターによる、Rust製のコードエディターで、OSS (オープンソースソフトウェア) であり、 Githubのリポジトリ こちらで公開されています。 公式サイトから一部抜粋すると下記のような特徴があるようです。 2.1 パフォーマンスを重視した設計 2.2 インテリジェンス系のサポート Github Copilotのサポート GPT-4 を使用して、自然言語のプロンプトを入力することで、コードを生成したりリファクタリング可能 2.3 言語対応 入力時にすべてのバッファの完全な構文ツリーを維持し、正確なコードハイライト、自動インデント、検索可能なア
最近では開発環境をローカルに構築することなく、Dockerをはじめとするコンテナ技術を使用する場面が増えています。コンテナ技術の利用により、環境の構築手間が大幅に軽減でき、さらにプログラミング言語やデータベースのバージョン管理も柔軟に行えるのが主な利点として挙げられます。 そんなコンテナ技術で有名なものとしてはDockerが存在しますが、最近では他にもさまざまなコンテナ技術や仮想化技術が登場しています。本記事では、これらの技術の相違点や特徴について紹介します。 コンテナはホストOSから独立した環境でアプリケーションを実行する技術です。 Dockerの場合を見てみると、下の図のようにホストOSの上にDockerが存在し、このDockerが様々なアプリケーションを「コンテナ」として管理しているとイメージできます。 具体的には、コンテナ内には必要なライブラリや依存関係がパッケージ化されており、こ
日々何気なくお世話になっている VPC 含むネットワークは、ちゃんと理解しようとすると思ったより多い情報量と、それに対するパターンの経験が必要になります。 私自身、正直ネットワークのお話は好きじゃないのですが、現行の事情を踏まえてこの辺の基本と雑学を振り返っておくと、技術力のベースが整ってよろしいのではと思って整理することにしました。 はじめに 新年度なので、学習教材シリーズです。今回はネットワーク周りで、基礎に味付けするような内容です。もしかしたらお嫌いなジャンルでしょうか、でも少しだけやりましょうそうしましょう。 関連情報としては、このあたり。 公式 ENOG81: AWSのIPv6とPublic IPv4のおはなし – Speaker Deck Amazon VPC とは? – Amazon Virtual Private Cloud 外道父の匠 AWS VPCルーティングの基本から
Rust製ブラウザエンジンの「Servo」、アプリに組み込み可能なクロスプラットフォーム対応WebView化を目指す。Electron代替を目指す「Tauri」への組み込み実現へ
Rust製ブラウザエンジンの「Servo」、アプリに組み込み可能なクロスプラットフォーム対応WebView化を目指す。Electron代替を目指す「Tauri」への組み込み実現へ Rust製のWebブラウザエンジンとして開発が進められている「Servo」は、Servoをアプリケーションに組み込み可能なクロスプラットフォーム対応WebVeiwとする方向で開発を進め、それをアプリケーションフレームワークのTauriと協力してTauriがサポートする予定であることを発表しました。 TauriはElectronの代替を目指す、Web技術を用いてアプリケーションを開発するためのフレームワークです。 参考：Electron代替を目指すRust製フレームワーク「Tauri」がバージョン1.0に到達、Windows/Mac/Linuxに対応 現在のTauriは、UIのレンダリングエンジンとして、Windo
はじめに 数か月ほど前、住所の正規化が話題になりました。こちらの記事が特に有名ですね。 関連して、こちらの記事も話題になりました。 当時はほかにも色々な人が日本のヤバい住所の例をあげてくれて、とても楽しかったです。 実は弊社でもAddressianという住所正規化サービスを提供しています。初めて目にする変わった住所を見かけたら、とりあえず自社のAPIに投げてみて「おお、正規化できた」「すごい！」などといいながら遊んで働いています。 サービスは無料で利用できますが、今までは利用の手順が面倒でした。 ユーザー登録する APIキーを発行する 住所正規化APIを呼び出すプログラムを用意する（サンプルコードあり） プログラムを実行して住所を正規化する そこで、もっと気軽に住所正規化を試してもらえるように、ユーザー登録しなくても使えるデモ機能を作ってみました。 デモ機能の概要 住所正規化デモ画面 こち
はじめに VSCode + Python + Poetry + Docker(docker-compose)でdev-containerを作成して開発を行っていました。 Dockerを勉強し、イメージの軽量化に関する記事を読んでいると、自分が使っているコンテナイメージのサイズが気になりました。 docker images > REPOSITORY TAG IMAGE ID CREATED SIZE > dev-container latest a9b8e3df9087 2.31GB 2.31GB！？ サーバとしてアプリを動かしていないのにここまで大きいなんて… というわけで勉強も兼ねて、イメージの軽量化に取り組みました。 イメージが軽量であるメリット ストレージの節約 これは言わずもがなだと思います。 限られたリソースを有効に使うことができます。 ビルド時間の短縮 Dockerは環境を作っ
QAエンジニアがいない会社に入社してやったこと、まだやれてないこと - TalentX Tech Blog
はじめまして。2023年2月に入社したQAエンジニアの大出です。 前職はフリマアプリを開発する会社で約8年QAエンジニアとして働いていて、TalentXで初めてtoBのサービスのQA業務を行うことになりました。 入社前の状況 やったこと 新規開発の検証 テストプロセス改善 テスト計画の作成 ドキュメントの整理 バグチケットの整理 ドッグフーディング 採用 まだやれてないこと 終わりに TalentXは2015年にMyReferというサービスをリリースして以来、2023年2月に自分が入社するまで社内にソフトウェアテストを専門に行うメンバーは在籍しておらず、開発エンジニアが自分達で全てテストを行っていました。 そういう状況で私が入社してから約1年間でやってきたことを振り返りたいと思います。 TalentXの開発に興味がある人や、ソフトウェアテストを専門に行うメンバーが居ない会社でこれからQAエ
はじめに 30年以上もの長い間 UNIX を支えてきた Bourne シェルも UNIX のサポート終了とともに消え去ろうとしています。みなさん、他のシェルへの移行はお済みでしょうか？ 残り一年、まだ移行が済んでいないという人のために、移行のための簡単なガイドラインと各シェルの特徴をまとめました。 sh は昔は Bourne シェルのことでしたがそれも過去の話です。今どき「Bourne シェル」を解説している記事や sh のことを Bourne シェルと呼んでいる記事は情報が古い（大学関係に多い）、または古い情報を元にして書かれたか、シェルのことを正しく理解してない不正確な記事なので参考になりません。分かりやすい基準ですね。 関連記事 シェルとUNIXコマンドの未来 ～ これからの10年で起きるシェルスクリプトの変化 残り1年というのはどういうこと？ Bourne シェルは POSIX に
大規模言語モデルをフルスクラッチする練習 (環境構築ー前処理ー事前学習ーファインチューニングー評価まで)｜Kan Hatakeyama
はじめに以下のオープンなプロジェクトの一環で､大規模言語モデルをフルスクラッチで作る練習をします｡24年3月現在､協力者も募集中です｡ リポジトリ当該プロジェクトの標準コードが公開※されたので､それを走らせてみます｡ ※24/3/5時点で､まだレポジトリ内に､工事中の箇所が多々､あります｡ このリポ上では､事前学習ー事後学習ー評価まで､一気通貫(?)したパイプラインが提供されています※｡ 0. 環境構築プロジェクトの本番環境はクラウドですが､今回は手持ちのubuntuを使います｡ Dockerはお手軽な一方で､スパコン上で使うと､どうやら速度が落ちるらしいとの噂を聞いたので､condaで作ります(とはいえ､pipしか使わないので､pyenvでもいけると思います)｡ 必要なマシン適当なlinux: 例えばUbuntu 22.04.3 LTS GPU: 20 GBくらいは欲しいかも? ディスク
こんにちは、株式会社FIXER＠名古屋オフィスの村上です。 クラウドインフラのシステム基盤構築にTerraformを採用している組織は多いですね。村上自身は特別な要件がない限り、”どのクラウドを使う場合でも” システム基盤構築にはTerraformを使いたいと考えているインフラエンジニアです。 私は、Terraformを3年間使用する中で、6つの課題に直面してきました。 このブログでは、実際の開発現場でどのような問題が起こったのか、またその問題をどのように回避、あるいは対策すべきだったのかについて、綴ってみました。 【課題１】プロジェクト始動直後にTerraform開発を開始したため、後工程で改修タスクが多発 SI案件では、クライアントが提案する調達要件RFPをもとに、ITベンダーがヒアリングを行いながら要件定義を進めていきます。 要件定義の一例として以下のようなものがあります。 クラウド
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能 Dockerコンテナで使われるコンテナイメージは、そもそもOSのカーネルなどが含まれていないためそれ単体で実行することはできず、コンテナに対応したOSの上にデプロイすることで実行されます。 このコンテナイメージのフォーマットは業界標準の「OCIコンテナ」（Open Container Initiativeコンテナ）として標準化されていますが、このOCIコンテナのフォーマットを守りつつ、ベアメタルサーバ上でブート可能な「ブータブルコンテナイメージ」の開発が進められています。 ブータブルコンテナイメージとは？ ブータブルコンテナイメージは、カーネルやデーモンなどの単独で実行可能なOSとしての
こんにちは！SmartHRプロダクトエンジニアのhimiです。 この記事ではプレースホルダーのアクセシビリティとユーザビリティについての課題と、その解決手段についての話を書きます。 プレースホルダーって何？ Webアプリでよく見る、フォームコントロールに値が無いときに表示するテキストのことです。 主な用途としては、フォームの入力例や入力内容の説明テキストが設定されることが多いです。 HTML Standardでは The placeholder attribute represents a short hint (a word or short phrase) intended to aid the user with data entry when the control has no value. A hint could be a sample value or a brief de
はじめに みなさん様々な言語でAPIサーバーを立てて負荷試験を実施したことはありますか。 私自身、業務でPythonのアプリケーションに対して負荷試験を実施した経験があります。 その際にPythonの速度観点の不安定さを目の当たりにしたと同時に、別の言語ではどのような違いが生まれるのだろうか、という疑問を持ちました。 そこで今回は、簡単ではありますがGoとRustとPythonでそれぞれAPIサーバーを立てて負荷試験をしてみます。 負荷試験対象のAPIサーバー 今回は(1) Hello, World!を返すAPI(2) ファイル読み込みAPI(3)1秒待ってから応答するAPIの3つを実装します。 (1)はAPIサーバー自体の応答速度の計測、(2)はメモリを消費する処理が生じた場合のAPIの応答速度の計測、(3)は待ち時間発生している時のAPIの応答速度の計測することが目的です。 (2)につ
現行のWindows 11 Ver.22H2では、「開発ドライブ（Dev Drive）」という機能が利用可能になっている。開発ドライブとは、ReFS（Resilient File System）を使う開発者向けのドライブである。Windows 11のビルド22621.2338以降、通常版であれば、9月に配布が開始されたOSビルド22621.2361（KB5030310）以降であれば利用できる。 Windows 11上で開発ドライブを作成するには、「設定」→「システム」→「ストレージ」→「記憶域の管理」→「ストレージの詳細設定」→「ディスクとボリューム」にある「開発ドライブを作成する」を使う そもそも開発ドライブとは？ 開発ドライブは、ReFSを用いて、基本設定やセキュリティ設定を変更することで、性能を向上させる開発者向けの「ドライブ」である。ただし、性能向上のためには、Copy On Wr
FizzBuzz.txt(8エクサバイト)
FizzBuzzFS FizzBuzz問題といえば定期的にSNSで話題になっては変な解法が発明されることでおなじみですが(?)、ファイルシステムを使った事例が見当たらなかったのでやってみました。 まあ見ての通りというか…… /mnt/FizzBuzz に FizzBuzz.txt(8エクサバイト)があって、FizzBuzzが書いてあります。 どこまでも…… 容量の続く限り…… 以上！！！！！！！ 技術解説 FUSE FUSE(Filesystem in USEr space)というソフトウェアを使うことで、簡単に新しいファイルシステムを実装することが可能です。 Rustにおいては、fuse crateの更新が停止した結果フォークが複数存在するようですが、利用者数と更新頻度的にfuser crateを使うのがよさそうです。 FileSystem traitが実装された値をmount2関数に渡
日本マイクロソフトは12月6日、法人向けソフトウェアとクラウドサービスを値上げすると発表した。日本円の為替変動によるもので、2024年4月以降に現行価格から20％引き上げるという。対象サービスは具体的に書かれていないが、一律での値上げになるとみられる。 関連記事 Windows 11にアップグレードできないPC、国内に2000万台 “10サポート終了時”でも1000万台近く残存か 日本マイクロソフトが、「Windows 10」のサポート終了に向けた国内のWindows OSの利用状況を明かした。国内のコンシューマ市場にあるWindows PC約4800万台のうち、現時点で約2000万台が「Windows 11にアップグレードできないPC」だという。2年後の2025年10月にWindows 10のサポート終了が迫る中、PCの買い替えを推進しても“10のままのPC”は多数残りそうだ。 マイクロ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LangChain クイックスタートガイド - Python版｜npaka
MarkdownベースのGo製タスクランナー「xc」のススメ
xzにバックドアが混入した件のまとめ(CVE-2024-3094) - Qiita
自宅ルータの脆弱性検知システムの開発 - Sansan Tech Blog
「VPNプロトコル」5種の違い あの定番から“高速VPN”の新技術まで
EC2における「管理用VPC」設置の是非について
iPhoneもAndroidも｢アプリ閉じると電池長持ち｣は嘘
スマホアプリの脆弱性診断って何するの？（iOS編） - STORES Product Blog
これだけ読めばOK！Scalaの環境構築2023 - Lambdaカクテル
トヨタ御曹司率いるソフト開発子会社“ウーブン”迷走！「社名変更」と「車載OS不調」の真相
マネフォ対抗になる？「楽天家計簿」本格サービス開始--まずiPhoneから
APIクライアント「Insomnia」で始める、チーム開発効率化 - JX通信社エンジニアブログ
｢iPhoneとPixelの大きな差｣が埋まるかもしれない、という話
WasmLinux: WebブラウザでLinuxカーネルとBusyBoxを動かす(エミュレーションなしで)
Atom の作者達が作った Rust 製エディタ Zed (OSS) - Qiita
Dockerだけではない: Podman、LXD、ZeroVMを含む主要なコンテナ技術を探る
AWS VPC のネットワーク小話～Public/PrivateとIPv4/6～ | 外道父の匠
住所正規化のデモ機能を作ったので、日本のヤバい住所を入力してみた
Dockerのコンテナイメージを1/10以上軽量化してみた - Qiita
Bourneシェルの終焉まで残り1年 ～ 新しいシェルへの移行は完了していますか？ - Qiita
Terraformを採用する前に知っておくべき6つの課題
プレースホルダーのアクセシビリティ上の課題と解決策 - SmartHR Tech Blog
Go、Rust、Pythonで実装したAPIサーバーの負荷試験比較 - Qiita
開発者向けに性能が高い、Windowsの「開発ドライブ」を試す (1/2)
マイクロソフトが法人向けソフトウェア値上げ 20％アップ