AWS Lambdaで外部モジュールを追加する方法を情報まとめた AWS Lambdaだと使えないライブラリ(モジュール)がありますね。追加が必要な場面がありますので外部モジュールの追加についてまとめます。 今回LambdaでS3にアップされた画像いじりたいのででPillow使おうとしました。 モジュールをzipでアップすればいいのは知っていたのでpip installでデータ取得できたらzipにしてOKでしょ！ と思ってテストを実行したら [ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'PIL' とエラー。pip installだと無理なのこれ...どうするのこれ...みたいになったlambda初心者の私。 調べてみると方法が何個かあって、落とし穴

こんにちは！逆瀬川 ( https://twitter.com/gyakuse ) です！ 今日は契約書の更新差分の比較をGPT-3とGoogle Document AIを使ってやってみたいと思います。 概要 異なるバージョンの契約書をPDF解析システムとGPT-3を使って自動的に比較し、リスクなどの検討も自動で出力する仕組みを作る。 Colab 使い方 Document AIの準備 (作成方法など詳しくは後述) Google CloudのDocument AIでプロセッサを作成する プロセッサ一覧から作成したプロセッサを選び、予測エンドポイントをコピーする https://console.cloud.google.com/ai/document-ai/processors json形式のAPIキーファイルをダウンロードしておく OpenAI APIキーの準備 すべてのセルを実行 比較した

chocolatelyインストール macでいうhomebrew。 コマンドプロンプトを管理者で開く(Win + Xの後、A) @powershell -NoProfile -ExecutionPolicy Bypass -Command "iex ((new-object net.webclient).DownloadString('https://chocolatey.org/install.ps1'))" && SET PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin

こんにちは、製造業でソフト開発エンジニアをやっているとみー(@tommyecguitar)です。 会社で納品物の説明ドキュメントを作ることがあり、その時にMarkdownでの組版をやってみたので、どう運用したか、困ったところ、いい点、悪い点をまとめてみようと思います。 Vivliostyleで組版したブログはたくさんあるので、見た目がどんな感じにできるかなどはそちらを見ていただくか、Vivliostyleのサイトをご覧ください。 Wordじゃだめなのか。 製造業で何かしら長大なドキュメントを作るとなったら、大抵はWordを複数人数で編集するという運用をしているところが多いと思います。 しかし、Wordにはいろいろと悪いところがあります。 チーム内で共同編集すると、編集したところが消えたり、フォントやデザインがなぜか統一されなかったりする。 セクションごとに担当を分けても、マージが手作業にな

はじめに こんにちは。WEBエンジニアのmasakichiです。 OSSを始めたいと思いながらも「なにから始めたらいいかわからない…」と悩んでいませんか？ そんなOSS未経験者にGood First Issueというリポジトリをお勧めしたく記事にしました。 この記事で書いてあること この記事には以下の2つが書いてあります。 Good First Issueについて Good First Issueからコントリビュートするまでの流れ（経験談） Good First Issueとは OSSにコントリビュートしたことのない開発者でもすぐに始められる人気プロジェクトをピックアップしたキュレーションサイトです。 プロジェクトのリンク先はgithubリポジトリで管理されています。 リポジトリはこちら キュレーションサイトはこちら Good First Issueでは下記の基準を満たしたプロジェクトがピ

こんにちは。情報検索分野の勉強をしている @KoheiShinden です。 最近、「教科書読んだ後の最新の情報検索について知りたいんだけど何かいい記事とか媒体知ってる？」という質問を受けて自分が勉強する時に役立ったコンテンツをまとめて紹介するという機会が数回ありました。 そこで、そんな時にサッと紹介できるようにまとめてみようと思いこの記事を書くに至りました。 0. はじめに ここでは簡単にこの記事がどんな内容かを書きます。 この記事で書いてること 2021年11月現在の情報検索に関連する書籍・論文・記事・動画・コミュニティなどのコンテンツのリンクと簡単な説明を行っています。完全に主観です。 特に、書籍で得られる基礎的な知識から BERT などの機械学習手法を適用した最新の手法までにはなかなかのギャップがあるのでそこを埋めるための手助けができたらなと思います。 この記事で書いていないこと

なぜエンジニアが作る画面はダサいのか…?「理由」と「対策」を徹底解説【エンジニア向け画面デザイン講座】UXUIDesignUIデザイン画面設計 1.はじめに エンジニアの私がデザインを本気で勉強した結果、デザイナーとエンジニアはそもそも思考が大きく違っているということがわかりました。 今回は「それ」をデザインに苦手意識のあるエンジニア方にも理解してもらえたらと思い、わかりやすくまとめてみました。 2.アプリの画面デザインを考えてみよう まず、こんなアプリを考えてみてください。 フィットネストレーナーが使うアプリ トレーニングルームでお客様とお話しながら使う 端末はタブレット そして 会員の個人情報確認 前回までのトレーニング状況の確認 次回の予約受付 といったことをします。 使える情報としては、こんな感じです。 あなたならどう画面デザインをするか、もしお時間があったら考えてみてください。

短いメッセージを書くことはできても、まとまった文章を書くのに苦労している人は多いのではないでしょうか。 この記事では、まとまった文章を作るときの技術を学ぶことができる記事や学習コンテンツを紹介します。新人エンジニア向けです。 文章の「型」を学ぶ まとまった文章を書くには、「型」が必要です。頻繁に使うものは、「型」を覚えてしまいしましょう。 バグレポートの書き方を学ぶ エンジニアとして書く文章の代表例が、バグレポートです。 バグレポートでありがちな失敗として「何が問題だと思っているのか」が伝わらないというものがあります。 これを防ぐために、「期待する結果」「実際の結果」「再現手順」の3つを必ず書くようにしましょう。 質問の書き方を学ぶ エンジニアが扱う技術は、最初はわからないことだらけです。 それを解決するために、質問の文章を作成する技術が必要となります。 概ね下記の4つの情報があれば、良い

新人の方によく展開させていただいている有益な情報をまとめておきます。今後も展開することがあるかもしれないため情報をまとめております。 あらたな、有益な情報がありましたら、随時追加してまいります。 有益な記事・論文・書籍等を執筆・紹介していただいた皆様に感謝申し上げます。 ちなみに、本記事に記載されている情報は、お困りごと・お悩みごとをお聞きしたとき・気づいたときに、そのお困りごとに対して参考になりそうなものだけを展開していました。この情報を一気に展開していたわけではございません。 コードリーディングについて [1]ソースコードを読むための技術 https://i.loveruby.net/ja/misc/readingcode.html [2]派生開発推進協議会 関西部会 スペックアウトチーム，「派生開発におけるスペックアウト手法の提案」，派生開発カンファレンス2015，2015 http

自分が実際に企業で働くうえでよく使ったコマンドや役に立った設定をまとめてみました。 Git入門系に関しては飽和していると思いますが、ちょっとした応用編としてご覧いただければ幸いです。 自分の環境 ファイルの数や行数が膨大 複数の案件が同時進行することが多く、質問などに答えたりするためにブランチ移動をすることが多い プロジェクト内に複数文字コードが混在している（Shift-JISとUTF-8） コマンド編 基本のコマンド書きなぐり $ git clone <ブランチ名> <ディレクトリ名> # clone先のディレクトリ名まで指定してcloneする $ git pull # pullする。必要に応じて -u や、 remote名、ブランチ名を打ち込む $ git diff # 差分見る $ git diff master HEAD # 現在の状態とmasterを比較する $ git chec

システム開発にドキュメントは欠かせません。ドキュメントが得意になれば活躍の幅が大いに広がりますよね。 この記事では、まず冒頭でドキュメントの作成に求められると思うことを整理した上で、そのスキル獲得に役立つと思われる記事や書籍を集めてみました。もちろん他にもあると思うので、もしお薦めのものがあれば是非コメントで教えて下さい 更新履歴 ・2021/04/16：文章術系にリンクを追加しました。 ・2020/11/28：文章術系にリンクを追加しました。 ・2020/07/24：文章術系にリンクを追加しました。 ・2020/05/24：文章術系にリンクを追加しました。 ・2020/05/14：スライドデザイン系にリンクを追加しました。 ・2020/04/29：スライドデザイン系にリンクを追加しました。 ・2020/04/17：文章術系にリンクを追加しました。 ・2020/04/12：関連するTwit

この記事について 事ある度に書いたり言ったりしている通り、2020年を迎えようとしている現在でも、信頼できるSpring関連書籍は下記の2冊しかありません。 Spring徹底入門 改訂新版Spring入門 2冊（以下「書籍」）とも超良書なのですが、どちらもリリースされたのが2016年で、対応しているSpringのバージョンが4.2と古くなっています。 2019年末時点での最新版はSpring 5.2です。この記事では、上記書籍を令和の今読む際、特に気をつけるべき点をいくつか紹介していきます。 4.x->5.xの差分すべてについては、GitHubのWikiを確認してください。 JDKは8以上を使うべし Spring 5.0以降から、JDKのベースラインが8になりました（Spring 4はJDK 6ベース）。今からSpringを使おうと言う人が、JDK 6とか7を使おうとはしないと思いますが・

単純にソースコードを取得したいならgit clone http://{対象のGitHubリポジトリ}で大丈夫です。もしコードの内容を修正したい場合はリポジトリをForkする必要があります。 対象のGitHubリポジトリをFork ローカルへclone（クローン） ローカルリポジトリで新規ブランチを作成 修正を加える（コミット） 作成したブランチをpush（プッシュ）する Pull RequestをGitHub上で作成 1. 対象のGitHubリポジトリをFork 対象のGitHubリポジトリをブラウザ上でアクセスします。 んで、そこにあるForkってボタンをクリック。 自分のアカウントに対象のリポジトリがForkされます。 Forkって何？ 基本的にはgit cloneと何らかわらない機能です。 gitの機能ではなくGitHubのサービスの機能です。「GitHub上で他の人のリポジトリを修

Github上にローカル環境からTerminalなどのコマンドラインを使ってPush,PullRequestを作成する流れをまとめてみました。 大まかな流れ ①Github上からローカルにファイルをclone(保存)する ②GithubへPullRequest用のBranchをローカルで作成する ③データを更新編集し、ローカルに add, commitする ④Githubにpushする ⑤GithubにPullRequestする ※⑥PullRequestをMergeする 用語の整理 ①Github…オンライン上にレポジトリーを保管し、複数人で共有・編集できる ②ローカル…自分のPC ③clone...Githubなどオンライン上のリポジトリーをローカルにコピー保存すること ④Branch...１つのレポジトリに複数のBranchを作ることで同時に複数のバージョンでレポジトリを管理すること

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 PRとは プル・リクエスト、通称プルリクの略。 自分の開発したものを、チームで共有するための手順・ルール・マナーのこと。 意訳すると「これ使ってねー」的な申し出。 誰に向けての記事？ これからGithubを使ってチーム開発しようという、日本のGithub初心者さん向けの導入です。 現在Githubで開発してるけど、実は雰囲気で使っている、というチームさんにも役立つはず。多分。 Githubにpushができる、という知識は前提となります。 (あとでフォローしたいなあ） 普段は個人で開発してるけど、ハッカソンやゲームジャムでチーム開発

【追記】Redmine 4.x は別記事「最新の Redmine 4 を Docker 公式イメージで運用する - Qiita」で再検証したのでそちらを参照のこと。 Redmine on Docker Docker で Redmine をとりあえず動かすことは以前に試したが、運用上の考慮ができていなかったので、改めて諸々検討、検証してみた。 Redmine の Docker イメージは Sameer Naik (sameersbn) による sameersbn/redmine が著名でこのイメージを使った紹介記事が多いが、何をやっているか把握できていないのも困るので、この記事では全て公式イメージを使ってセットアップを行う。 既存の Redmine を Docker に移設した記事「bitnami でインストールした Redmine を Docker に移設した - Qiita」も参考にどう

Java EE Security API 1.0 Java EE 8の新機能。現状はサードパーティーのフレームワークやアプリケーションサーバーで行っているセキュリティ周りについて標準化しましたよ、ってことみたい。 OAuth 2.0やOpenID Connectに対応！というのを見かけた気がするので飛びついてみたのだけれど…対応はまだのようで。それでもJASPICを使うよりは親切になっている印象。 アプリの動作フロー概要 OpenID Connectの「Authorization Code Flow」を利用 OpenID Providerは認証のみの利用、認証された後はクライアント独自のセッション管理を行う エンタープライズ利用なのでユーザーはSCIMなりで登録済み、という設定 動作環境 GlassFish 5.0 (Full Platform) Oracle JDK 8 (Update

これは「文字列アルゴリズム Advent Calendar 2017」４日目の記事です． ３日目の記事は@itomomotiによる「周期性補題」でした． ５日目の記事は@kazu0x17による「木の同型性判定」です． 昨年の文字列アルゴリズム Advent Calendar では「Suffix Tree + Suffix Array = Suffix Tray」という記事を書きました． はじめに 文字列アルゴリズム，特に文字列に対する索引が好きです． 古典的な全文索引であるCompact Directed Acyclic Word Graph (以下CDAWG)を紹介するのがこの記事です．この記事の内容は基本的に以下の論文内で示されています． Anselm Blumer, Janet Blumer, David Haussler, Andrzej Ehrenfeucht, M. T. Ch

概要 人は人生に何度かTRIEを書くという．そんなわけで，何度目かのTRIEでsudachiのdarts-cloneをクローンしてみました．TRIEの記事は沢山あるので，ここではGoに移植してみて気づいた事をいくつか共有していきたいと思います． 今回の成果物： https://github.com/ikawaha/dartsclone darts-clone 元ネタはこちら．Java版とPython版があります． https://github.com/WorksApplications/Sudachi/tree/develop/src/main/java/com/worksap/nlp/dartsclone https://github.com/WorksApplications/SudachiPy/tree/develop/sudachipy/dartsclone 本家は https:/

本文書について タイトルは少し盛りました。 frequentryではありません。すみません 本文書では、COTOHA APIの構文解析機能を使って、任意のテキストから質問と回答のペアを生成する「QA生成器」について述べる。 QA生成器 背景 商品文書やらチャットデータから、FAQを作りたいというニーズは結構あるらしい。 ものは試しと作ったQA生成器だが、割と面白いと好評だったので調子にのって公開してみる。 概要 ↓下記のように解析される文があったとして 「今朝おばあさんが川から拾った桃を切ろうとしたら、桃が突然割れて中から男の子が飛び出してきた」 ↓こうすれば質問文が作れる。 ↓さらに、場所や時間に関する質問文も作れる。 このように、構文解析結果に object や place や time などの、深層格情報が含まれているため、ある程度のバリエーションを持った質問文を作ることができる。