株式会社サイバーエージェントの商用可能な独自日本語LLM「CyberAgentLM3」を Google Colaboratory で動かすGoogleColaboratoryサイバーエージェント生成AILLM はじめに 株式会社サイバーエージェントが公開した CyberAgentLM3-22B-Chat (CALM3-22B-Chat) を Google Colaboratory 上で動かします LLMの日本語能力を評価するNejumi LLM リーダーボード3においては、700億パラメータのMeta-Llama-3-70B-Instructと同等の性能となっており、スクラッチ開発のオープンな日本語LLMとしてはトップクラスの性能となります（2024年7月現在）。 225 億パラメーターで 700 億パラメーターと同等の性能ということで、精度が高いのはもちろん、かなりコスト効率が高いと言え

はじめに 2024/6/11、弊社オーイーシーの新入社員研修講師を務めました 昨年度は半日だったのですが、今年は1日に拡大してもらいました 研修内容 私は「DX 推進部」という、社内でも新しめのことをやっている部署に所属しています 新入社員がこれからどこに配属されるかはまだ決まっていない状態でしたが、どこに行くにしても、ある程度トレンドを押さえておくに越したことはありません そんなわけで、 Stack Overflow の Developer Survey を軸として、流行りの技術を見ていく構成にしました 2023年の調査なので必ずしも最新ではありませんが ゴール設定はこんな感じ アイスブレイクとしてフェルミ推定をやってもらいました Markdown の練習兼アウトプットの練習のため、 Qiita に記事投稿 タイトル背景や下画像の猫アイコンなど、画像は DALL-E 3 に作ってもらいま

Cloudflare R2 で 10GB まで無料のストレージを使おう！しかも Amazon S3 と同じツールで操作可能！cloudflareawscliオブジェクトストレージCyberduckCloudflareR2 はじめに Cloudflare R2 はオブジェクトストレージのクラウドサービスです ざっくり言うと、ファイルをクラウドに保管できます 10 GB までは無料で利用可能です そして嬉しいのが Amazon S3 と互換性があると言うこと AWS CLI はもちろん、 Cyberduck 等の S3 対応ツールであれば R2 でも同じように使えます 本記事では、 Cloudflare R2 の使い方を紹介します Cloudflare Pages についてはこちら Cloudflare Workers についてはこちら R2 の利用開始 Cloudflare アカウントを持っ

はじめに 2/10 のイベントに先駆けて、社内で開催する Cloudflare 勉強会のための資料です 前回の記事で Cloudflare のアカウントを作りました 今回の記事では Cloudflare Pages で Web サイトを公開します Cloudflare Pages とは フロントエンド開発者のためのフルスタックプラットフォーム Cloudflare Pages では、 GitHub のリポジトリーを指定することで Web サイトを自動デプロイできます 実装から公開、運用まで、細かいことを考えずにフロントエンドが作れてしまうプラットフォームになっています アジリティー（機敏性）が求められる昨今、アイデアを思いついてから公開するまでの速さが命と言っても過言ではありません また、フィードバックを受けてからの対応速度も必要です フロントエンドに必要な全てをすぐに用意できる Clou

開発言語、フレームワークなどの End Of Life （サポート終了日）を API で取得し、一覧化するElixirExplorerEOLLivebook はじめに どんなものにも終わりはあります 今は当たり前のように存在しているサービスも、開発言語も、いつかはサポート終了 = EOL = End Of Life を迎えるのです endoflife.date　は、各種製品のバージョン毎の EOL をまとめてくれているサービスです この世のすべての製品、というわけにはいきませんが、 270 の製品について EOL の情報を持っているので、およそメジャーなものは揃っています 例えば Elixir の 1.10 は 2023 年 6 月 19 日でセキュリティーサポートを終了しています サポートが終了した製品等を使い続けていると、様々なリスクを背負い込むことになります セキュリティホールを塞ぐ

はじめに 日々の業務が忙しいと、なかなかスキル研鑽まで気を回せません そんな日常の中でもモチベーションを保ってスキルを向上させていくためには、 数値化 ・ 視覚化 が有効だと考えられます スポーツが楽しいのは何故でしょう？ スコアや打率、防御率、奪三振数、ホームラン数、飛距離などなどの数字に一喜一憂するからです ゲームが楽しいのは何故でしょう？ レベル、攻撃力、防御力、連勝数、フルコンボ、キルレートなどなどの数字に悲喜交々があるからです 競技の楽しみの一端は、間違いなく 数値化 が担っています 自己ベスト、日本記録、世界記録、多種多様な数字に挑み、それを越える快感はたまりません そして、それらを表で比較したり、グラフで推移を見たり、様々な演出でより分かりやすく伝えるのが 視覚化 です エンジニアのモチベーション維持にも、スキルの 数値化 ・ 視覚化 は欠かせません というわけで、私が利用し

はじめに Livebook はブラウザ上で Elixir や Erlang などのコードを実行し、結果を視覚化できるツールです Python における Jupyter に相当します Livebook のはじめ方はこちら Livebook からは様々な方法でデータベースに接続することができ、データベース関連の処理を視覚化しながら試行錯誤することが可能です 本記事では Livebook と PostgreSQL を Docker コンテナで起動し、データベースの接続検証が容易に行える環境を構築します 作成するファイルのディレクトリー構成は以下のような想定です （全て同一階層に作る） . ├── docker-compose.with-db.yml ├── Dockerfile └── Dockerfile.postgres 実装したコードはこちらのリポジトリーに格納しています 構築した DB

みなさん、デザインツールの Figma を使っていますか？ 私はまだ「使っている」と言えるほど使えていません というわけで勉強会を開催して勉強します Figma とは 公式の紹介文は以下のとおりです デザインの追求からプロトタイプ作成、制作物のコーディングまで、Figmaはチームがコラボレーションして製品開発するためのプラットフォームです 本記事のタイトルと同じように、「デザインからデモ・実装までチームで製品開発できる」旨が書かれています まさにその通りで、ブラウザ上で UI をデザインし、そのまま動かしてみることができ、最終的にはコードの生成までできてしまうツールです Figma の人気 2022年に世界中のデザイン関係者を対象としたアンケートでも Figma は圧倒的な人気です いずれのランキングでも2位の10倍以上の得票数になっています メインで使っている UI デザインツール第1位

はじめに Super-Linter は GitHub Actions で様々な静的解析ツール（Linter）をまとめて実行してくれるツールです ２０２３年９月時点で 49 種類の言語（JavaScriptやPython、SQL、Markdown など）、 67 種類の静的解析ツール（eslint、pylint、sql-lint、markdownlint など）に対応しています 大抵の言語はこれでまとめて静的解析してくれるため、 CI をかなり簡略的に書くことができます 未対応の言語（Swift、Elixir など）は個別に CI を書きます 以前、この Super-Linter をローカルで実行する方法について記事を書きました GitHub Actions はパブリックリポジトリーなら無償で使えますが、プライベートリポジトリーでは有償なので出来るだけ実行回数を少なく抑えたいです そのため、

はじめに GitHub Copilot は AI がペアプログラミングしてくれるサービスです Copilot = 副操縦士なので、私たちがコードを書くとき、隣からそっと助けてくれるイメージです ChatGPT のようなチャット形式とは異なり、特別指示を出さずとも、コードを書いていると自然に提案してくれます 例えば、以下の GIF では Python で def generate_random_ まで書いた時点で、残りのコードを GitHub Copilot が提案してくれています そのままタブキーを押せば提案されたコードを採用できます 最初から 100 点のコードにはなかなかなりませんが、 70 点のコードでも叩き台ができるのは非常にありがたいです 本記事では VSCode で GitHub Copilot を使う方法と、その活用術について紹介します GitHub Copilot が使える

はじめに Discord の「elixir と見習い錬金術師」サーバーにて、 @SF-28 さんから質問がりました カラー画像の黒背景を透過する処理についてです。 とりあえず以下コードで処理自体は実現出来たんですが、あまりスマートじゃないなと・・・ EvisionやNxでこのあたり上手く扱う方法をご存知の方いらっしゃいませんか？ bgr_img |> Evision.Mat.to_nx() |> Nx.to_list() |> Enum.map(fn x -> Enum.map(x, fn [0, 0, 0] -> [0, 0, 0, 0] y -> y ++ [255] end) end) |> Nx.tensor(type: :u8) |> Evision.Mat.from_nx_2d() というわけで記事に答えを書きます 実装したノートブックはこちら 実行環境 Livebook を使

はじめに evision は Elixir で画像処理をするためのモジュールです 私の記事でも度々使っています 2023/1/23 から 2023/1/25 にかけて、 evision のバージョンが 0.1.25 から　0.1.28 まで更新されました その更新内容に破壊的変更（使用しているコードを修正しないとエラーになる変更）が含まれているので、その変更内容と対応方法を残しておきます 変更内容 evision 0.1.27 において、定数を Evision から Evision.Constant に移動しています 0.1.25 以前 Evision.cv_IMREAD_ANY 0.1.27 以降 Evision.Constant.cv_IMREAD_ANY また、破壊的ではない変更ですが、プリコンパイル済バイナリでも OpenCV contrib　の機能と、 CUDA が使えるようにな

衛星データプラットフォーム Tellus と Elixir Livebook を使って、植物の分布から田畑の利用状況を推測する（休耕地探索編） はじめに 経済産業省の「衛星データ利用環境整備・ソリューション開発支援事業」において、弊社は衛星データ無料利用事業者として支援を受けています 本事業では日本発の衛星データプラットフォーム「Tellus」のデータの一部を無料利用できます （一般利用者が無料利用できるデータもあります） 「Tellus」から取得できる様々なデータを使って何をどう実装できるのか、現在調査検証中です 連載で「Tellus」の公式メディア「宙畑-sorabatake-」の記事を参考にしながら、 Elixir で衛星データを扱っています 参考にする記事 今回は植生（植物の集まり、植物がどれくらい生えているか）を見るために算出した NDVI(Normalized Differen