発表動画はこちら。 https://youtu.be/l9fpxtz22JU 2023/4/29 一部修正とAPIに関するページ追加 2023/5/11 ChatGPTの言葉の意味を補足する資料を追加。Azure OpenAI Serviceで使えるモデルの記載を一部修正・最新情報追記。 202…

エンジニアとして経験を積んでいくと、「技術に深く潜っていくこと」と「開発をうまく進めること」はイコールではないとぼんやりと感じ、モヤモヤする時があります。「Meets Professional #5」のゲストは、『エンジニアリング組織論への招待』の広木大地氏。モヤモヤの原因となる「不確実性」への向き合い方について語りました。全3回。1回目は、不確実性の発生源である2つのことについて。 技術書とビジネス書の両方の分野で大賞を取った『エンジニアリング組織論への招待』の著者広木大地氏：今日は『エンジニアリング組織論への招待』という、僕が書いた本に関しての概観というか、いったいどういうコンセプトで書かれた本なのかという話を通じて、仕事をすることや、この書籍のサブタイトルでもある「不確実性に向き合う」ことについて、みなさんと一緒に考えていけたらなと思っています。よろしくお願いします。 まず簡単に自己

JAC Digital主催のイベント「VUCA時代 組織に依存しない『スペシャリスト』というキャリア～副業でスキルに磨きをかける～」の模様をお届けします。JAC Digitalアドバイザーの澤円氏と、UXデザイナーの助松裕一氏、IMS事業部部長の三浦功嗣氏が登壇し、「スペシャリスト」というキャリアについて深掘りしました。 良い仲間作りでは「自分が人を助ける機会を多く持つ」こと澤円氏（以下、澤）：では最初にいただいた質問の中で、一応これに答えておこうかな。 「仲間が大事というお話の流れで良い仲間作りで重要なのは、頼ること以外ではやはり自分自身がスキルや志を高くすることが必須ということでしょうか？　私もできないことを伝えることは、プライドもあったり周囲の期待に応えたくてなかなかできないです」ということなんですが、このへん、どうでしょうか。 助松裕一氏（以下、助松）：助松、答えていいですか？ 澤

JAC Digital主催のイベント「VUCA時代 組織に依存しない『スペシャリスト』というキャリア～副業でスキルに磨きをかける～」の模様をお届けします。JAC Digitalアドバイザーの澤円氏と、UXデザイナーの助松裕一氏、IMS事業部部長の三浦功嗣氏が登壇し、「スペシャリスト」というキャリアについて深掘りしました。本記事では、スペシャリストとして副業を始めるにあたり重要になるマインドについて語られました。 副業を始めるには、まず自分の大きな「タグ」を認識すること澤円氏（以下、澤）：ちょっと、三浦さんの時間が限られているんで、（三浦さんに）うかがいたいんですが。副業のキーワードで、僕のところにも「副業を始めたいけれど、何から始めればいいのかわからない」という相談が1日平均100万通ぐらい来るんですけど。 （一同笑） これは、副業という文脈のスペシャリストとして、どうご覧になっています？

エス・エム・エスでEM兼採用担当をしている emfurupon777 です。 2022年1月に入社して1年が経過し、採用を軸にして職務にあたる時間もかなり多くなっていますが、私よりエス・エム・エス歴の長い仲間たちに加え、多くの新しい仲間のJOINにより、楽しみな2年目を過ごしています。 今回は、一人のEMとして、”リーダーシップ”についての見解を書いてみたいと思います。 会社のテックブログの場を借りていますが、私個人の主観も大きく影響しており、必ずしもエス・エム・エスで語られることと表現や詳細が一致しているとは限らないのでご容赦ください。 我々が相対しているもの VUCA(Volatility（変動性）・Uncertainty（不確実性）・Complexity（複雑性）・Ambiguity（曖昧性）)なんて言葉を使うような世の中ですが、我々が日々挑んでいるプロダクト開発は、そもそも不確実性

最近、LLMを使ったOSSの中身を調べてLLMとどう連携して目的を達成しているのかをいろいろ調べています。今回はLangChainのPandas Dataframe Agentの中身がどうなっているのか気になったので調べたまとめになります。 今回のコードは以下のところにあるので、全体としてどうなっているのか見たい方はこちらをご覧ください。 https://github.com/shu65/langchain_examples/blob/main/LangChain_Pandas_Dataframe_Agent.ipynb LangChainのPandas Dataframe Agentとは LLMを使いやすくwrapしてくれるLangChainにはいくつかAgentというLLMとToolと呼ばれるものを組み合わせて実行する仕組みが用意されています。この中でもPandas Dataframe

実は身近な「微分」と「積分」 自動車には、速度メーターが搭載されていて、走行中の速度がリアルタイムに表示されますよね。たとえば、「時速60km」といった場合、「1時間に60kmの速度で走行している」という意味ですが、なぜ、1時間走行したわけでもないのに、速度がわかるのでしょうか？ 考えてみると不思議ですよね。 実はこれは、高校の数学で習う「微積分法」のうちの「微分法」を使っているのです。 まずは、そもそも微分法とは何かという説明から始めることにしましょう。 16世紀のヨーロッパにタイムスリップします。当時ヨーロッパでは、各国同士が戦争を繰り返していました。その中で、大砲を相手に命中させるため、砲弾は一体どのように飛んでいくのか、その軌跡の研究が盛んに行われていました。この問いに答えを出したのが、ガリレオ・ガリレイ（1564～1642）でした。 飛ばした砲弾は、重力によって地面に向かって落ち

やること アップロードした画像をS3に保存し、CloudFrontで画像を配信するシステムをローカル環境で再現します。 背景 minIOの画像をパブリックアクセスで表示しようとすると、認証処理が煩雑?というかできなさそう？だったので、いっそのことその処理は軽量なwebサーバのexpressに任せてしまおうというお話です。 ハマった点 minIOのS3エンドポイントを指定するときに、パス形式にしないとアクセスエラーとなってしまいます。 ただし、amazon S3自体はパス形式URLの非推奨となる予定なので、注意が必要です。 仮想ホスティング形式

Cache Storageがめちゃくちゃ肥大化する問題 TBSのニュースサイト、TBS NEWS DIGがめちゃくちゃブラウザのストレージを消費しているという話がはてブや増田で話題になっています。 TBSのニュースサイトヤバない？ – はてな匿名ダイアリー 同・はてなブックマーク 確かに、手元でも同様の状況を観測できる。 当該サイトのストレージ使用状況 はたして、これは真実なのだろうか。本当に1.4GBも食うことがあるのだろうか…… そんなわけない、ということで調査 まずは再現性を確認するためにChromeのゲストモードで当該のサイトのDevtoolを開いてましょう。すると、StorageのUsageは386MBになっていました。（適当なページを開き、リロードした時点で340MB程度であった） 当該サイトのストレージ割合 上記のスクリーンショットをよく見ていただけるとわかると思いますが、こ

AWS CDKを始めるハンズオン ─ IaCの第一歩をAWS LambdaとDynamoDBのシンプルな仕組みで学ぶ アマゾン ウェブ サービスが提供するIaC（Infrastructure as Code）の開発キットがAWS CDK（AWS Cloud Development Kit）です。本記事はAWS CDK入門者向けのチュートリアルとして、AWSでソリューションアーキテクトを務める吉川幸弘（@WinterYukky）さんによる、AWS Lambda関数でDynamoDBテーブルをスキャンするシンプルなハンズオンです。 みなさん、こんにちは。アマゾン ウェブ サービス ジャパン合同会社でソリューションアーキテクトを務めている吉川幸弘と申します。私は普段、西日本のお客様を中心に技術的なご支援や課題解決などをしています。 さっそくですが、みなさんはInfrastructure as C

はじめに Midjourneyという画像生成AIで自分が想像したイメージに近い画像を出すテクニックを紹介します。 簡単に手順と例だけ。 手順 ①ChatGPTにプロンプトの構成例を与える ②その構成例を元にChatGPTに「イメージのみを伝える」 ③ChatGPTから貰ったプロンプトをMidjourneyに打ち込み生成 まさにこれ！という画像が一発で出てきました。 ①の構成例は、出したいイメージの種類によって変更します。 写真のように美しいイメージを出力したいのであれば、カメラの種類などをChatGPTに考えてもらい ファンタジーな世界観であれば、画風や構図など その道のプロであれば簡単に思いつくけど、「調べるとなると中々難しいもの」 これをChatGPTに自動的に補完してもらいます。 例 (手順と同じ方法で出力) 近未来都市の高層から街を見下ろす少女 パフェとかすみ草とシャボン玉

恋愛メタバースMemoriaを運営するFlamers CTOの設楽（だーら）です。今回は、Mac向けのアプリを、Appleからの公証を受けた状態かつインストーラー形式で配布する方法についてまとめます。 既存の記事を参考に進めれば可能な部分は多いですが、当記事に補足としてまとめている部分も案外重要かなと思いまとめました。 前置き 今回やりたいこと Unity製のMac向けアプリケーションをユーザーに配布する ユーザーが簡単に起動できるように、Appleからの公証を受けた状態で配布する（公証がない場合、特別な手段が必要。詳細は別の記事に記述） 公証を得ない場合、「インターネットからダウンロードしたアプリを開くためには、ターミナルを起動する必要がある」などの問題があります。 zip形式でアプリを生で配布するのではなく、pkgの形でインストーラーとして配布したい。 すると、アップデートなども容易に

「ポートピア連続殺人事件」とAIを組み合わせ，コマンド入力式アドベンチャーが蘇る。「THE PORTOPIA SERIAL MURDER CASE」プレイレポート＆インタビュー 編集部：だび ライター：箭本進一 AIと「ポートピア連続殺人事件」を組み合わせ，コマンド入力式アドベンチャーが蘇る。テックデモ「SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE」（以下，THE PORTOPIA SERIAL MURDER CASE）が2023年4月24日からSteamで無料配信されている。 AIを使ってコマンド入力方式の欠点を克服し，自然に話しかけることでシナリオが進んでいくという興味深い作品だ。本稿では，先行プレイした体験レポート＆インタビューをお届けしていこう。 「SQUARE ENIX AI Tech Preview:

「人の話が処理出来ない奴へのアドバイス」に関する補足元エントリにはてブが1700もつき、Twitterでも関連ツイートが千バズ、万バズになり、それらの閲覧数の合計が7桁になっていたのにはびっくりした。 「言語化されていないが切実な課題」だったのだな、と強く感じている。 そして、「自分の解釈を傍に置いて読む」ことができない人がたくさんいたのには、予想はしていたけどさすがに笑ってしまった。 まーそれが人間の仕組みだしね、とは思っているけど、やはり笑ってしまう。 その一方で、読めている人が、しっかり読んだ上で切れ味鋭くコメントしてきているのも事実。 世の中はすごい人がたくさんいるな、とも改めて思ったし、賢い人を甘く見てはいけない、という思いを新たにした。 ということで、フィードバックがあった点を中心に、情報を補足したほうが良いと思った点について、自分の考えを箇条書きで書いていく。 議論を理解する

※1, 2 は順不同ですが、構築にミスがあったときの切り分けのしやすさから、この順番を採用しています。 1. Azure OpenAI Service のネットワークを無効にする まず、デプロイ済みとなっている Azure OpenAI Service のリソースを Azure Portal で開きます。 画面左のメニューから ネットワーク を開きます。 特にネットワークの制限を設定していない場合、 Firewalls and virtual networks タブにおいて、許可するアクセス元としては すべてのネットワーク が選択されているはずです。 この状態で、仮想マシンからインターネット経由で ChatCompletion API をコールします。 コードは以下の通りです。 openai.api_base と openai.api_key は環境変数から取得するようにしています。 #!

それに対してAndroidは本当にまちまちです。2023年3月現在、Androidの最新バージョン13を利用している人は本当に一握りです。 いまだに９や１０のバージョンの人も多いというのが実情です OSが新しくなると、機能が増えたりします。（例えば使えるAPI増えたり…） 皆が新しいOS使っている前提であればその新機能ありきで考えられますが、みんなが新しいとは限らないならそうはいきません。 古いOSを使っている人の事も考慮しなければなりません。 GPUメーカーの違い…ゲームを作るうえでGPUは欠かせない存在です。GPUでは３Dグラフィックスの高度な処理などを担ってくれます。 GPUは色々とありますが、特定のGPUだとうまくグラフィックスが表示されない、ひどい時にはアプリケーションがクラッシュしてしまう等の問題があります。これも種類が多いと、その対応に追われる事になります。 iOSでも、特定

ゲーム開発者が、自らの作品をSteamなどのストアにてリリースする際には、さまざまな作業が求められる。そのなかでは、消費者によりアピールするためのテクニックが存在するようだ。業界のベテラン開発者であり、パブリッシャーValadriaの共同設立者でもあるMatt Hackett氏が4月24日、Steamで作品をリリースする場合に役立つ「開発者向けチェックリスト」を公開。ゲーム開発者から多くの注目を集めている。 Steamでは原則、誰でもゲームを出すことができる。Steamworksに開発者登録をし、100ドル相当を支払う。その後諸々書類手続きを終えて、ストアページ作成していくなどすれば、パブリッシャーなどのサポートを受けていない個人でも、ゲームをリリースできる。しかしながら、出すことそのものは可能だとしても、ゲームがたくさん売れるかどうかは別問題。そこで、そうしたビギナー販売者向けのテクニッ

私たちソフトウェアエンジニアは、コード品質についてしばしば論ずるけれども、ではコード品質の良し悪しがどれほどビジネスに影響するのかと問われると、回答に窮する。只々、「コード品質が悪いと変更により多くの時間がかかります」だとか、「欠陥の修正に追われて開発時間が奪われます」だとか、個人の経験やエンジニア的一般論に頼った定性的な説明に終始するしかない。ソフトウェアを繰り返し変更する頻度が高いほど、コード品質が開発時間に影響を与えるのは確かにそのとおりだと思えるが、はたしてそれは、どれほどのインパクトなのだろうか。 2022年の研究論文 "Code Red: The Business Impact of Code Quality – A Quantitative Study of 39 Proprietary Production Codebases" では、コード品質がビジネスに与えるインパクト

spaCyを使って、文章から固有表現を抽出する方法を書きます。 spaCyは自然言語処理の多くのタスクを統合したライブラリです。 例えば、こんなことができます。 固有表現抽出 係り受け解析 形態素解析 また、CNNで学習したモデルも組み込まれています。お試しで使う分には、学習データを用意する必要もありません。 (もちろん、独自の学習データでモデルをつくることもできます。) 手軽にディープラーニングで自然言語処理をやってみたい方にはとても便利です！ ちなみに、spaCyのv2.2系までは、日本語の学習済みモデルがありませんでした。 よって、日本語の解析をするには、学習データを用意する必要がありました。 (もしくは、GiNZAというspaCyの派生ライブラリを使う必要があった) v2.3系から日本語の学習済みモデルが組み込まれたので、spaCy単体で日本語のデータ分析ができるようになりました!

Cloudflare LB で WebSocket が突然切断される問題 現時点で Cloudflare LB で WebSocket を利用する場合は問題が起きる場合がある。充分検証為てから採用する事をオススメします。 Cloudflare Status - Billing issues relating to subscription adjustments サブスクリプションのアップグレードおよびダウングレード時に機能が失われる問題が発生しております このサブスクリプションのダウングレードをすると機能が停止し、復旧できなくなる問題の影響を受けて、商用環境で Cloudflare LB が完全に復旧できなくなる状況が発生しました。 ビジネスプラン (年 2400 ドル) 程度のサポート契約では、残念ながらビジネスで利用できるレベルではなかったです。もしビジネスで利用される場合は、必ずエ

Sucuriはこのほど、「How to Prevent SSH Brute Force Login Attacks」において、SSHブルートフォースログイン攻撃を防ぐための基本的なセキュリティ対策を紹介した。 How to Prevent SSH Brute Force Login Attacks SSHブルートフォース攻撃は、UNIXベースのサーバ上で安全なリモート接続のために使用されるSSHサービスを標的にするサイバー攻撃の一つ。攻撃者は自動化されたツールやボットを使用し、一般的なユーザー名とパスワードの組み合わせを継続的に試行してサーバへのアクセスを試みる。SSHログインの試行回数が多すぎる場合、SSHサーバがブルートフォース攻撃の標的になっている可能性は高い。 SSHブルートフォース攻撃を行う攻撃者の動機はさまざまとされ、貴重な財務情報やファイルへの不正アクセス、サービスの妨害、他

・持ち時間20分の発表資料なので、「主な」論点というくらいでご理解ください。 ・イベントの開催趣旨に鑑み、生成AIのうち、画像生成AIに比重を置いた内容になっていること 以上、2点にご留意いただければ幸いです。 あと、このイベント冒頭でも申し上げましたが、新興技術に関して「●●のリスク」という言葉が多用されますが、「リスク」は日本では「危険」と脳内変換され、危ない印象が独り歩きしてしまう言葉です。「●●の検討事項」とか「論点」とかでよいと思います。 英語でrisk(s)と言う場合やリスクマネジメントの世界では、リスクは物事に内在して常に存在しており、そのリスクをいかに先見的に発見し、最小限に抑えていくという発想です。このような意味でリスクという言葉を使用できているのであれば問題ありません。 法律屋は「リスク」を叫んで商売しているところがあることは否めないですし、わたしも過去に遡るとこの言葉

はじめに アダコテックの kacky です。これまで社内のインフラ設計をほぼ自分一人でやってきましたが、メンバーも増えてきてそろそろ他のメンバーでもインフラ設計、構築をしようという機運が高まっています。そこで、インフラを実際どういう流れで構築すべきかを書き残すことにしました。本記事では、クラウド上でのインフラ設計・構築の基本について解説します。 要件定義 まず、インフラ設計・構築において重要なのは、要件定義です。以下のようなポイントをチェックしましょう。 何がしたいのか 旧システムの移行か、新規作成か 利用頻度 要求性能 (応答時間、スループット) 規模 (ユーザー数、同時接続数、データサイズ) 可用性 (1 分でも止まったらダメか、数時間止めても ok か) セキュリティ (内部利用 or 外部公開、ID 管理、権限管理、機密情報ありなし) アーキテクチャ構想を練る 要件定義が完了したら

布留川npaka大先生がRWKVのファインチューニングする方法を公開していたのだが、Google Colabでは7Bが限界で14Bは失敗したらしい。 人はいつでも、誰かのお役に立つチャンスを伺っている。 今こそ千載一遇のチャンス!ドスパラ様から我らがMemeplexのために開発していただいた、怒涛のA6000x2マシンが火を吹く時が来た!みんな!パソコン買うならドスパラ!AIやるならドスパラだぜ!忘れないでくれよな!(※ドスパラはMemeplexにスポンサーしています) 大先生がGoogle Colabで14Bの学習に失敗したのは、学習時のメインメモリの消費が80GBを超えてしまったからだそうだ。 ならば大丈夫。我らがドスパラ謹製Memeplexマシンは、A6000(VRAM48GB)を二枚搭載した上に、メインメモリは怒涛の256GB。もともとRAMディスクとして使うことを想定していたもの

ChatGPTをすでに使用している人は多いと思います。また、使用していなくても興味があり、これから使用してみようという人もいるでしょう。 ChatGPTはその仕組みが分からなくても使用できますが、どのように機能しているのか分かると今よりさらに使いこなせるようになるかもしれません。 How ChatGPT works: a deep dive by Dan Holick 下記は各ポイントを意訳したものです。 ※当ブログでの翻訳記事は、元サイト様にライセンスを得て翻訳しています。 ChatGPTがどのように機能しているか 終わりに ChatGPTがどのように機能しているか ChatGPTなどの大規模言語モデル（Large Language Model、以下LLM）は、どのように機能していると思いますか？ それらは驚くほどシンプルであると同時に非常に複雑なものです。 心の準備はいいですか？ では