きっかけ 東京大学のAWS講義「コードで学ぶAWS入門」、いわゆる東大AWSってやつがが良いらしいと聞いたのでやってみました。 確かにこれは良いです。クラウドをこれから学びたい方にぜひおすすめ。 集中講義的に休日に半日もあれば学べます。 かかるAWS費用もわずか。 ほとんどのチュートリアルがAWSの無料枠で実行できてしまいます。ディープラーニング用のGPUインスタンスをぶん回すところは有料です。それでも数百円で済みます。 これは一通りハンズオンをやってみたAWSの費用です。 もはや学ばない理由が見当たりませんね。 これを書いた理由 けっこう有名な講義資料なのでいまごろ紹介するまでもないネタかと思っていましたが、いざやってみたらハンズオンのコードが最近のAWS環境では動作しない箇所がいくつかあったので。 動作するように修正した手順をまとめておきました。 本記事がはてブを950件ももらってしま
特に一番最後の暗号化サポートは非常に嬉しい進化です。dotenv単体で環境変数を運用すると、秘匿情報が含まれたdotenvファイル自体の管理に困ることや、デプロイする際にどうやって環境変数を提供するかが課題になることがありました。 現代ではクラウドプラットフォーム上にシークレットマネージャーのような仕組みが用意され、そこで中央管理するというのが一般的になっているかと思います。ただ、それだと変数のバージョン管理やレビューの仕組みを別途用意しないといけなかったりと完全ではありません（個人的主観です）。 dotenvファイル自体が暗号化され、Gitでバージョン管理でき、そのままデプロイして環境変数を適用できたら運用の手間が一気に減ります。
{ "editor.formatOnSave": false, "editor.formatOnPaste": false, "editor.formatOnType": false, } この記事で紹介している拡張機能のIDは、記事の最後にまとめています。また、設定の方法については設定のやり方に記述しています。 以下は、この記事で紹介する拡張機能のカテゴリ一覧です。 設定ファイル関連(Yaml, Json, Toml) Git関連 Markdown関連 カラー系 API関連 コンテナ その他便利な拡張機能 ネタ系 設定ファイル関連(Yaml, Json, Toml) 特にYamlやJsonはどのプロジェクトでも使用する可能性が高いので、必須の拡張機能となってくるかと思います。 Prettier esbenp.prettier-vscode jsonだけの設定では、VSCodeの設定ファイ
Document Layout Analysisに物体検出を利用したDocument Object Detectionのすゝめ - LayerX エンジニアブログ
はじめに こんにちは。バクラク事業部 機械学習チームの機械学習エンジニアの上川(@kamikawa)です。 バクラクではAI-OCRという機能を用いて、請求書や領収書をはじめとする書類にOCRを実行し、書類日付や支払い金額などの項目内容をサジェストすることで、お客様が手入力する手間を省いています。 書類から特定の項目を抽出する方法は、自然言語処理や画像認識、近年はマルチモーダルな手法などたくさんあるのですが、今回は項目抽出のための物体検出モデルを構築するまでの手順について紹介します。 Document Layout Analysisとは Document Layout Analysisとは、文書のレイアウトを解析するタスク(直訳)のことを指します。具体的には、文書内のさまざまな要素(例えば、テキスト、画像、表、見出し、段落など)を抽出し、それぞれの位置や意味などを明らかにすることを目的とし
GitやGitHubは、一人で学ぶのが難しいツールです。 バージョン管理やメッセージの書き方など、 個人での学習や開発ではその重要性を実感しにくいためです。 First Contributions JAは、初学者向けに設計されたオープンなプロジェクトです。 チュートリアルに沿って、実際に共同開発を体験しながらGitHubを学べます！
こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭(tagasyksk)です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用しています。 この構成を踏まえてご覧いただければ幸いです。それでは見ていきましょう！ Dataformについて 導入の背景 データ基盤に必要な機能が揃っており、簡単に運用を始められること クエリ作成のハードルが非常に低いこと 導入後の効果 FindyでのDataform運用 導入しての課題 改善点 今後の展望 データの品質向上 データモデリング 終わりに Dataformについて サービスの説明については、公式ドキュメントを引用します。 Dataform は
NE株式会社を退職します - #あすみかんの上にあすみかん
6年とちょっといたNE株式会社を退職します。 Hamee/NEでのおもいで 1,2年目 逆求人イベントで出会ったHamee時代のEMとバイブスがめちゃくちゃ合って、のびしろ採用（あるいはおもしろ採用）していただきました。 わたしもHameeの「クリエイティブ魂に火をつける」というミッションがとても好きで、いまでも自分の人生観と合っているなと感じます。 肝心のプログラミングはうまくはできなくて、よく悩んでいたな〜と思います。 3,4年目 asumikam.com 最高の上司と出会えたことで、「技術力」の部分がクッソ伸びました。伸ばしたい、と思えたことがでかいです。エンジニア人生がグワッと転換した時期ですね。 同じプロジェクトになって一緒にコードを書けたことは最高の経験です。 この時期からコミュニティにも行くようになりました。「私が悩んでいたことの答えが、ここにある！」と本気で感動しました。
Canonicalによる『Everything LTS』/12年サポートのDockerイメージ構築サービス Ubuntuを使った、しかしUbuntuだけではないサービスの提供が開始されます。Canonicalから、『Everything LTS』有償サービスの提供が開始されることがアナウンスされました。 これはDockerイメージを設計＆構築（design-and-build）する有償サービスで、オープンソースソフトウェアやその依存関係にあるライブラリについて、「Ubuntuに含まれているかどうかにかかわらず」（whether or not that software is already packaged in Ubuntu.）、12年間のセキュリティメンテナンスを提供するサービスが付随するものです。作成されるDockerイメージは「Ubuntuベース」と「Distroless」
Competitiveness is a vice of mine. When I heard that a friend got Linux to boot off of NFS, I had to one-up her. I had to prove that I could create something harder, something better, faster, stronger. Like all good projects, this began with an Idea. My mind reached out and grabbed wispy tendrils from the æther, forcing the disparate concepts to coalesce. The Mass gained weight in my hands, and a
Linus Torvalds once wrote in a book that he created Linux just for fun, but it ended up sparking a revolution. Git, his second major creation, also an accidental revolution. It’s now a standard tool for software engineers, but its origin story wasn’t so much fun this time, at least for Linus. Linus doesn’t scale 1998 was a big year for Linux. Major companies like Sun, IBM, and Oracle started getti
Software Design 2024年6月号 連載「レガシーシステム攻略のプロセス」第2回 ZOZOTOWNリプレイスにおけるIaCやCI/CD関連の取り組み - ZOZO TECH BLOG
はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 本連載では、ZOZOTOWNリプレイスプロジェクトについて紹介します。2020年に再始動したZOZOTOWNリプレイスでは、「マイクロサービス化」が大きなカギとなりました。今回は、SRE部が行った、リプレイス方針の決定から導入ツールの選定、マイクロサービスのリリース方法の改善までを紹介していきます。 目次 はじめに 目次 ZOZOTOWNリプレイスにおけるSRE部の方針 IaCの導入 IaCとは プラットフォーム基盤におけるIaC CI/CDの導入 CI/CDとは GitHub Actions 変更のあるインフラリソースのみをCIの対象とする工夫 Canary Releaseの導入 Canary Releaseとは ZOZO A
class DBClient: path = 'hoge/fuga' @classmethod def insert(cls, recs): for rec in recs: # ここでは仮でprintするだけとする print(f"path: {cls.path}, name: {rec['name']}, age: {rec['age']}") records = [ {"name": "Taro", "age": 20}, {"name": "Jiro", "age": 18}, {"name": "Saburo", "age": 12} ] DBClient.insert(records) import dataclasses @dataclasses.dataclass class Record: name: str age: int class DBClient: path =
git-cliff
Highly Customizablegit-cliff uses regex-powered custom parsers and the changelog can be customized easily with a configuration file to match the desired format. Conventional Commitsgit-cliff can generate changelog files for any Git repository that follows the conventional commits specification. Easy Integrationgit-cliff can be easily integrated with your Rust/Python/Node.js project as a command-li
この記事を書くきっかけ Linuxのhomeディレクトリの上の階層には、/(ルートディレクトリ)やbinディレクトリがあります。他にもたくさんディレクトリがありますが、普段中身を見たり触ったりすることはありません。知らないままでも今のところ困っていませんが、「そういえばbinとかlibとかって一体何が入っているディレクトリなんだろう」と疑問に思ったので、調べてみました。 Linuxのディレクトリの中で、主なディレクトリについて、以下の項目に則って記述しています。 読み方 その名の由来 そのディレクトリは何なのか（WHAT） そのディレクトリの存在する目的（WHY） 追加情報 Linuxの主なディレクトリ /（ルートディレクトリ） 読み方：ルートディレクトリ（Root Directory） 由来： ファイルシステムの最上位階層であることから「根（root）」を意味します。ツリー構造の基点であ
【書きかけ】Positron最速入門
この記事は、7月13日に開催されるTokyo.Rで発表するためのメモ用に書き溜めているものです。主に R ユーザー向けの情報をまとめていますが、 Positron 自体は Python も R もサポートしています（むしろ、説明の順序も Python の方が先に書かれていることが多いのを見るに、Python の方が優先されてそう）。 はじめに まず強調しておきたいのは、現時点で、カタギの人間が Positron に入門する必要はないです。詳しくはあとで見ていきますが、重要なポイントとして、 Positron はまだ絶賛開発中という段階で、安定して使えるようになるのはだいぶ先 たとえ Positron が正式リリースされても RStudio は残る というのが今の状況です。なので、RStudio をメインで使っている人は、数年は迷わずRStudioを使い続けて大丈夫です。いま慌てて入門する必
マニフェストの高速なアップデートを支える政策オープンソースプロジェクト（GitHub）の概要｜#安野たかひろ 事務所（公式）
安野たかひろ事務局メンバーの今泉です。 彼が共同創業者として立ち上げた二社目のスタートアップである、リーガルテック企業「MNTSQ」の縁でお声掛け頂きました。本業は法務ですが、主に政策オープンソース（GitHub）関連のPjM（プロジェクトマネジメント）を担当しております。 本記事投稿時点では7/2、まだ中盤ではありますが、これまでの活動を振り返って、政策オープンソースプロジェクトの工夫や、裏側の思想についてご紹介します。技術そのものについては、後述する自動モデレーションの仕組み以外はGitHubをそのまま使っているだけですので、本稿ではむしろ歴史的・思想的背景について言及していければなと思っています。 プロジェクト概要GitHubのissue機能とPull Request機能を用いて、誰でも政策リポジトリにアクセスし、議論し、そこに書かれているマニフェストに直接修正をかけることができる、
GPT-4超えの日本語性能？ 話題のELYZA製LLMをBedrockにインポート！ サーバーレス化してみよう - Qiita
GPT-4超えの日本語性能？ 話題のELYZA製LLMをBedrockにインポート！ サーバーレス化してみようAWSbedrockLLMELYZALlama3 Llama 3ベースの日本語LLMが登場！ なんと、日本語LLMで有名なELYZA（イライザ）社が、Llama 3ベースの新モデルを発表しました！ パラメーターサイズが2種類あり、70B版は同社のデモアプリ経由で使用可能。日本語性能ではGPT-4超えとの触れ込みです。 一方、軽量な8B版はHugging Faceで公開されています。こちらはGPT-3.5 Turbo相当の性能とのこと。 今回は後者の8B版をクローンして、AWSでサーバーレス化してみます。 AWSのBedrockにインポートしてみる クラウドサービスAWSの「Amazon Bedrock」には、任意のモデルをインポートして使える「カスタムモデルインポート」という新機能
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
東京大学のAWS入門資料がいい感じだったので最新のAWS環境でも実行できるようにしてみた - Qiita
暗号化に対応した次世代dotenvツールdotenvxを使う
【VSCode】オススメの拡張機能と設定 - Qiita
First Contributions JA
FindyにおけるDataformの活用とその効果 - Findy Tech Blog
Canonicalによる『Everything LTS』/12年サポートのDockerイメージ構築サービス | gihyo.jp
Booting Linux off of Google Drive
A Git story: Not so fun this time | Brachiosoft Blog
Python業務歴1年目から5年目でコードはこう変わった - Qiita
Linuxの主なディレクトリについて - Qiita