並び順

ブックマーク数

期間指定

  • から
  • まで

361 - 400 件 / 1505件

新着順 人気順

シェルスクリプトの検索結果361 - 400 件 / 1505件

  • Goのハンズオン環境としてGlitchを使う - YAMAGUCHI::weblog

    はじめに こんにちは、Stackdriver担当者です。この記事はGo Advent Calendar 2019の24日目の記事です。昨日は@fist0さんでした。 私は職業柄「コードラボ」「ハンズオン」「ワークショップ」と呼ばれるような、参加者に実際に手を動かして課題を解いてもらうことで特定の技術や製品を理解してもらうイベントを開催したり講師をしたりすることがあります。その場合にこちらがコントロールしづらいものの一つが実行環境です。諸々のバージョンを固定したり、コンテナを用意したり、などいろいろな方法がありますが、今回はglitchを使ってGoでのハンズオン環境を用意する方法とその使い方を紹介します。 TL;DR Glitchを使ってGo用のハンズオン環境を容易に提供できる。サンプルプロジェクトはこれ。 glitch.com Glitchとは glitch.com ウェブアプリケーション

      Goのハンズオン環境としてGlitchを使う - YAMAGUCHI::weblog
    • IaCを意識したCLI開発のエッセンス - エムスリーテックブログ

      エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 エムスリーの検索基盤ではElasticsearchを利用しています。社内で積極的に検索改善が行われており複数のIndexが管理がしづらいという問題がありました。 そこで定義ファイルからIndexの状態を冪等性を持って同期させるeskeeperというOSSを作りました。 この経験から「定義ファイルで〇〇を宣言的に管理する系のツール」を作る時のちょっとしたコツを紹介します。タイトルの通り今回はIaCツールを作るのではなくIaCのプラクティスを意識してCLIを作るお話になるのでご了承ください。 なぜeskeeperを作るに至ったか チームでのElasticsearchの運用と課題 eskeeperとは IaCを意識したCLI開発のエッセンス コマンド

        IaCを意識したCLI開発のエッセンス - エムスリーテックブログ
      • iOSエンジニアが開発効率のために最低限知るべきシェルスクリプト入門

        bashやzsh,ターミナルは弄っていますか?黒い画面は古臭いと思ってませんか? iOSエンジニアと言えどXcode上でSwiftをコーディングだけが全てではありません。 CocoaPodsやCarthage、fastlane などエコシステムはシェルコマンド操作が必須です。 またAPIとの通信にシェルスクリプトを使うことで、効率よく情報を集めたり事前準備できたりします。 シェルスクリプトはSwiftと同じただの道具です。使い方を覚えて視野を広げましょう。 この記事で基礎知識を得よう この記事では難しいイディオムテクニックが書けるなどではなく、基本を理解してシェルスクリプトを読めるようになるための土台作りだとイメージしてください。 この土台を踏み台に少しずつシェルスクリプトに触れていくことで、より生産性の高いスキルを身に付けれるかと思います。 bashやzsh, fishと色々あるが基本は

          iOSエンジニアが開発効率のために最低限知るべきシェルスクリプト入門
        • シェルスクリプトは ((i=i+1)) ではなく i=$((i+1)) で計算しなければいけない!という話 - Qiita

          count=0 max=5 while ((count < max)); do # (( 算術式 )) は条件文で使うものです count=$((count + 1)) # 計算したいだけなら算術式展開を使います echo "$count" done ついでに言うと (( 算術式 )) は POSIX シェルで規定されていません。bash、ksh、mksh、zsh では使えますが dash、yash などの純粋な POSIX シェルに近いシェルでは使えません。 なぜ? (( 算術式 )) を使って変数に値を代入したり変更することができますが、それだけのために使ってはいけません。if や while などの条件文とともに使うものです。 C 言語を使ってる人なら比較的見かける書き方だと思いますが、(( 算術式 )) で値を変えるというのは、以下のように評価するついでに値も変えちゃえと、短く書く

            シェルスクリプトは ((i=i+1)) ではなく i=$((i+1)) で計算しなければいけない!という話 - Qiita
          • Mercari Microservices Platform における Terraform 0.12 対応 | メルカリエンジニアリング

            Platform Group, Platform Infra Team の @dtan4 です。 現在メルカリ/メルペイのマイクロサービス基盤 (Microservices Platform) では、様々なクラウドリソース・SaaS を開発者に提供しています。これらのリソースを宣言的に管理するための手段として HashiCorp Terraform を利用しており、数百のマイクロサービスのインフラが Terraform によって管理されています。 1年以上前の話ですが、Terraform 0.12 がリリースされました。昨年後半に、我々が管理している Terraform リポジトリにおいて Terraform 0.12 対応作業を行いました。本記事では、我々の環境においてどのように Terraform 0.12 対応作業を行ったかについて説明します。 Terraform 0.12 対応の動

              Mercari Microservices Platform における Terraform 0.12 対応 | メルカリエンジニアリング
            • LINEはなぜBazelを使わないことにしたのか?

              Jung Giuk2023-08-292019年 LINE に Build Engineerとして入社し、現在は「アプリプラットフォーム開発室」のディベロッパーエクスペリエンス開発チームに携わっていて LINE iOSアプリのビルド環境やコードクォリティの改善に取り組んでいる。 はじめに こんにちは、ディベロッパーエクスペリエンス開発チームのJungです。 この記事では2年以上 LINE iOSのビルドシステムとして運用したBazelをやめることにした背景についてご紹介します。 Bazel導入とこれまでのLINE iOS LINE iOS は200万行以上のソースコードと200以上のモジュールで構成される大規模プロジェクトです。 LINE iOSのソースコードとモジュールの数が増えて規模を拡大し続けるにつれて、ビルド/テストの遅延と DX(デベロッパーエクスペリエンス) の低下という避けら

                LINEはなぜBazelを使わないことにしたのか?
              • AWS CLI短縮構文をシェルスクリプトから使うときに陥りやすい罠|Dentsu Digital Tech Blog

                電通デジタルでSREをしている神田です。突然ですが、みなさんAWS CLI短縮構文をご存知でしょうか? awsコマンドを使っているときに、コマンドのオプションとしてfoo=bar や foo,bar,baz といった構造を持ったパラメータを要求されることがあります。このパラメータを記述するための構文が短縮構文(shorthand)です。 本記事では、普段なんとなくお世話になっている短縮構文をシェルスクリプトから使ったときに陥りやすい罠を紹介します。 AWS CLI短縮構文の簡単な例 短縮構文は、JSONと等価な値を簡潔に表現するための構文です。JSONとの対応をみると内容を理解しやすいです。 例えば、 ["foo","bar","baz"]というJSONの配列は、短縮構文では、 foo,bar,bazと書くことができます。 また、 {"key1": "val1", "key2": "val

                  AWS CLI短縮構文をシェルスクリプトから使うときに陥りやすい罠|Dentsu Digital Tech Blog
                • 「Git for Windows」のシェルが「bash 4.4」から「bash 5.1」へ ~Vista対応も終了/シェルスクリプトの互換性問題に注意

                    「Git for Windows」のシェルが「bash 4.4」から「bash 5.1」へ ~Vista対応も終了/シェルスクリプトの互換性問題に注意
                  • MacBookの電源やWi-Fi、Bluetoothの接続が切れたのをトリガーにコマンドを実行しつづけるCLIツールを作った - Copy/Cut/Paste/Hatena

                    2014年のアイデアを実装している— k1LoW (@k1LoW) 2020年1月18日 2週に1度くらいFukuoka Growth Nextのコワーキングスペースを使わせてもらっています*1。 その時ちょっとだけ席を立ちたいときに、展開しているMacBookやバックパックを「置いておくか」「持っていくか」いつも悩みます。 バックパックはワイヤーを持ち歩いているので机に縛ってしまえばいいのですが、MacBookはそうもいかないので少しだけ安心できるような仕組みが欲しいなと思っていました。プライベートのMacBookとはいえ、盗まれたら家計に大打撃です*2。 日本ですしコワーキングスペースという出入りが限定されているエリアなのでそこまで気にする必要はないんですが。 「そういえば昔そんなこと考えていたなー」と思ったら、アイデアをエントリに残していました。 k1low.hatenablog.c

                      MacBookの電源やWi-Fi、Bluetoothの接続が切れたのをトリガーにコマンドを実行しつづけるCLIツールを作った - Copy/Cut/Paste/Hatena
                    • proto定義や成果物の管理用レポジトリを構築した話 - Kyash Product Blog

                      こんにちは、Fundsチームの @convto です。Kyashでは銀行入金やコンビニ入金などの残高の入出金に関わる部分の開発をしています。 Fundsチームではその業務の性質上多数の外部ベンダとやり取りをしています。 それぞれベンダごとに仕様なども異なるため、その接続部分のいくつかはマイクロサービスとして切り出されています。 Fundsチームの管理しているサービス間の通信でgRPCを導入する際、今後の社内の別サービスなどにも汎用的に使えるようなproto管理レポジトリを構築したのでその紹介をしたいと思います。 proto管理レポジトリで満たしたい要件について はじめに、他社の事例も参考にしつつ、自分たちがprotoを管理するにあたってどのような要件を満たせれば良いのか整理しました。 他社の事例を調査したところ、以下のような構成が多かったように思います。 名称は app-proto や p

                        proto定義や成果物の管理用レポジトリを構築した話 - Kyash Product Blog
                      • GitHubが「2022年に最も使用されたプログラミング言語」ランキングを発表

                        ソフトウェア開発プラットフォームのGitHubが、2022年に同プラットフォーム上で使用されたプログラミング言語に関する統計データをまとめたレポートを公開しました。2022年に最も使用されたプログラミング言語は「JavaScript」で、最も成長著しいプログラミング言語は「HCL(HashiCorp Configuration Language)」、使用率が減少したプログラミング言語は「PHP」です。 The top programming languages | The State of the Octoverse https://octoverse.github.com/2022/top-programming-languages GitHub上で使用されているプログラミング言語をまとめたレポートによると、2022年の最も使用されたプログラミング言語トップ10は以下の通り。 1位:Ja

                          GitHubが「2022年に最も使用されたプログラミング言語」ランキングを発表
                        • “Linuxマスター”を目指したい人のために――“応用力”をつけるためのLinux再入門(31~38)[シェルスクリプト挑戦編(2)制御構文と配列]

                          “Linuxマスター”を目指したい人のために――“応用力”をつけるためのLinux再入門(31~38)[シェルスクリプト挑戦編(2)制御構文と配列]:人気連載まとめ読み! @IT eBook(60) 人気連載を電子書籍化して無料ダウンロード提供する@IT eBookシリーズ。第60弾は、Linuxの「シェルスクリプト」をマスターして、作業を効率化したいという人のために『“応用力”をつけるためのLinux再入門』から「シェルスクリプト挑戦編」の第2弾として、「制御構文と配列」をPDFとしてまとめました。

                            “Linuxマスター”を目指したい人のために――“応用力”をつけるためのLinux再入門(31~38)[シェルスクリプト挑戦編(2)制御構文と配列]
                          • Gitと連携するツールとしてのVim - Qiita

                            はじめに Vimといえば、みなさんご存じテキストエディタですが、テキストエディタである以前に一つのCLIコマンドでもあります。そんなCLIコマンドの利点一つにThe UNIX philosophyの定理として提唱されている『7. Use shell scripts to increase leverage and portability. (シェルスクリプトによって梃子(てこ)の効果と移植性を高める)』というものがあります。 今回は私も普段の仕事で利用しているVimの梃子としての側面をご紹介できればと思います。 GitコマンドとVim 今回Vimと組み合わせるのはシステム開発で避けては通れぬバージョン管理システムGitです。私は普段Gitを使用するときにはSourcetreeやGitKrakenなどのGUIクライアントを利用せずにCLIで操作をしています。 皆さんこう思われるかもしれません

                              Gitと連携するツールとしてのVim - Qiita
                            • Jetson Nanoで動く深層強化学習を使ったラジコン向け自動運転ソフトウェアの紹介 - masato-ka's diary

                              この記事について 深層強化学習を利用してAI RC Carの走行を学習させるソフトウェアをGithub上で公開しています。learnign_racerと命名しました。2020年4月29日の時点でのバージョンはv1.0.0です。この記事ではこのソフトウェアについて紹介していきます。 github.com なお、NVIDIAのJetson Community Projectsのページでも紹介されています。 developer.nvidia.com learning_racerの概要 このソフトウェアは10分から15分程度の学習時間で、コースに沿って走行する方法を獲得することができます。従来のAI RC Carでは人間のお手本操作をDNNに覚えこませる手法が一般的です1。ですが、本手法は教師なし学習の手法である強化学習をベースとしているため、教師データとなる人間のお手本操作は必要ありません。さら

                                Jetson Nanoで動く深層強化学習を使ったラジコン向け自動運転ソフトウェアの紹介 - masato-ka's diary
                              • secretlint を使って機密情報を git commit できない環境を作る | DevelopersIO

                                AWS アクセスキーなど、機密情報の git commit を防ぐ secretlint の紹介記事です AWSアクセスキーセキュリティ意識向上委員会って何? 昨今、AWSのアクセスキーを漏洩させてしまうことが原因でアカウントへの侵入を受け、 多額の利用費発生・情報漏洩疑いなど重大なセキュリティ事案が発生するケースが実際に多々起きています。 そこで、アクセスキー運用に関する安全向上の取組みをブログでご紹介する企画をはじめました。 アクセスキーを利用する場合は利用する上でのリスクを正しく理解し、 セキュリティ対策を事前に適用した上で適切にご利用ください。 tl;dr 開発をはじめる前に、次の手順を実行しよう シェルスクリプトの保存 次のシェルスクリプトを ~/.git-template/hooks/pre-commit として保存しよう。 #!/bin/sh FILES=$(git diff

                                  secretlint を使って機密情報を git commit できない環境を作る | DevelopersIO
                                • Linux環境で使用されている圧縮ツール「XZ Utils」に仕掛けられたバックドアのスクリプトをGoogleのエンジニアが解説

                                  2024年3月29日に、圧縮ツールのXZ Utilsに、悪意のあるバックドアが仕込まれていたことが明らかになりました。そのバックドア攻撃において攻撃者が使用したスクリプトについてGoogleのエンジニアであるラス・コックス氏が解説しています。 research!rsc: The xz attack shell script https://research.swtch.com/xz-script XZ Utilsへの攻撃がどのように行われたのかという時系列順のまとめは下記記事で確認できます。 XZ Utilsにバックドア攻撃が行われるまでのタイムラインまとめ - GIGAZINE コックス氏は今回の攻撃は大まかに「シェルスクリプト」の部分と「オブジェクトファイル」の部分の2つに分割できると述べました。攻撃はソースコードをコンパイルする「make」に対し、環境に応じて適切な設定を行う「con

                                    Linux環境で使用されている圧縮ツール「XZ Utils」に仕掛けられたバックドアのスクリプトをGoogleのエンジニアが解説
                                  • CircleCI や TravisCI などの CI サービスの無料枠を食いつぶす暗号通貨採掘者

                                    CIサービス(Continuous Integration = 継続的インテグレーション)の LayerCI の CEO がブログで指摘したのが、LayerCI やその競合である GitLab, GitHub Actions, TravisCI, CircleCI, Wrecker などのサービスの無料枠を悪用した暗号通貨マイナー(miner = 採掘者)の実例です。 CIサービスの無料枠 CIサービスでは、GitHub や BitBucket などのソースコード管理サービスでコードの変更がある度に、自動的にテストセットを実施し、ソフトウェアが壊れていないかを確認してくれます。CIサービスはこれらのテストを実施するためのコンピューター資源を大量に確保・実行しています。 多数のプロジェクトを持つ企業は毎月の使用料を払ってこれらCIサービスを利用しますが、普及宣伝のために個人開発者やスタートア

                                      CircleCI や TravisCI などの CI サービスの無料枠を食いつぶす暗号通貨採掘者
                                    • WindowsとWSL2の時刻のずれを修正する - Qiita

                                      はじめに 仮想マシン上の Windows 10 で WSL2 を使うと大きく時刻がずれるが、Qiita を始め、あちこちで紹介されている hwclock を使う方法ではうまくいかない。ntpdate などで Windows と同じ NTP サーバに同期させる手もあるが、WSL2 から Windows ファイルシステム上にファイルを touch し、そのファイルのタイムスタンプで WSL2 の時刻を設定すれば、このずれが簡単に修正できる。シェルスクリプトでも良いが、Rust で専用のコマンドを作ってみる。 どんな感じか... Windows 側の PowerShell で、時刻を表示するコマンドを叩いてみる。PowerShell の Get-Date と Linux の date で同じフォーマット(ここでは RFC 3339 もどきの形式)で表示させてみる。 PS> wsl -l -v N

                                        WindowsとWSL2の時刻のずれを修正する - Qiita
                                      • Rubyとの出会い、Railsの衝撃、Rubyコミュニティの面白さ【Rubyistめぐりvol.1 takahashimさん】 - STORES Product Blog

                                        Rubyist Hotlinksにインスパイアされて始まったイベント『Rubyistめぐり』。第1回は高橋征義さんをゲストに迎えて、お話を聞きました。 パーソナルコンピュータとの出会い 藤村:こんばんは、藤村と申します。STORES のCTOをやっています。Rubyist Hotlinksをプログラミングを始めた頃にめっちゃ読んでて。 高橋:あれいいですよね。 藤村:いい。プログラマがどういう人たちなのか、なんとなくわかるみたいな、めっちゃ好きなコンテンツだったんですよ。で、ある日、これをもっとやった方がいいと思ったので、弊社でもやってみようとなったのがこのRubyistめぐりですね。ということで第一回は高橋会長に来ていただきました。なぜかというと、この STORES を手伝ってくださっているからというところでございます。 高橋:その話はあんまり外でしてないので、あらかじめお話しておきます

                                          Rubyとの出会い、Railsの衝撃、Rubyコミュニティの面白さ【Rubyistめぐりvol.1 takahashimさん】 - STORES Product Blog
                                        • 恋人を自動で見つけてくれる「恋のキューピットAI」をつくった話 - Qiita

                                          はじめに こんにちは。 クリスマスも近づき、人肌が恋しくなる時期になりました。 ですが、街で可愛い人を見かけても声をかける勇気があるわけはないし、SNSで気の合いそうな人が偶然恋人を募集していても連絡を送る勇気は当然ありません。 そこで、 じゃあ勝手に、性格の合いそうな恋人探し中の人同士をマッチングさせちゃおう!! と思い、今回開発したのが「恋のキューピットAI」です! (本当は、「#Twitter転職」を活用して新しい職を探している人と、企業をマッチングさせるTwitter Botを作りたかったが、どう上手に企業と転職希望者をツイート内容から区別するかが見えず、アドベントカレンダーの担当日も近く、諦め、恋人探しの方にしました) 何をつくったか 恋のキューピットAIはこのように、すでに稼働していて、毎時間ひたすらTwitterユーザーをマッチングさせています。 これで、自分から絡みに行きづ

                                            恋人を自動で見つけてくれる「恋のキューピットAI」をつくった話 - Qiita
                                          • SREはソフトウェアコードの再利用性、モジュールの共通化部分に正面切って取り組める【#3 論より動くもの.fm】 - STORES Product Blog

                                            CTO 藤村がホストとなって、技術や技術にまつわることについてざっくばらんに話すPodcast、論より動くもの.fmの第3回を公開しました。今回は、CTO 藤村とSREの藤原で、SREやDevOpsについて話しました。 論より動くもの.fmはSpotifyとApple Podcastで配信しています。フォローしていただくと、新エピソード公開時には自動で配信されますので、ぜひフォローしてください。 テキストで読みたい方は下記からどうぞ。 なぜ変更容易性が重要なのか 藤村:みなさん、こんばんは。論より動くもの.fmです。論より動くもの.fmはheyのCTO 藤村が技術や技術にまつわることについてざっくばらんに話すPodcastです。今日はheyのSREの藤原さんに来てもらいました。藤原さん、よろしくお願いします。 藤原:よろしくお願いします。 藤村:まずは簡単に自己紹介をお願いします。 藤原:

                                              SREはソフトウェアコードの再利用性、モジュールの共通化部分に正面切って取り組める【#3 論より動くもの.fm】 - STORES Product Blog
                                            • Tiny Core LinuxでLinuxのinitプロセスが実行されるあたりを調べる - φ(・・*)ゞ ウーン カーネルとか弄ったりのメモ

                                              この記事はLinux Advent Calendar 2020 - Qiitaの1日目の記事です。 Tiny Core Linux(以下tcl)を使ってLinuxのブートプロセスを見てましょう。Tiny Core Linuxは軽量ディストリビューションで最小のisoイメージだと11MBほどです😃 ブートプロセスを見ると言っても電源onからの流れではなくてinitプロセスの実行に関する部分です。 この記事ではバージョン11.1のCore-current.iso を利用しています。 www.tinycorelinux.net isoファイルの構成 まずはtclのisoがどんな感じで構成されていて、Linuxを起動させるのか確認しましょう。 isoファイルの構成はこのようになっています。 $ sudo mount -o loop Core-current.iso ./mnt $ tree ./

                                                Tiny Core LinuxでLinuxのinitプロセスが実行されるあたりを調べる - φ(・・*)ゞ ウーン カーネルとか弄ったりのメモ
                                              • ミーティングの時間になると勝手に議事録を開いてほしい - nakaoka3の技術ブログ

                                                これははてなエンジニアアドベントカレンダー2022 38日目の記事です。 昨日は id:yutailang0119 さんの Programmatic NavigationStack 備考録 - がんばってなんか書くでした。 MeetingBar.appとAppleScriptを使って議事録用のwebページを自動で開く方法を解説します。 毎日ミーティングのたびにGoogle MeetやZoomを開き、さらに議事録ページを開く作業にうんざりしてないでしょうか。MeetingBar.appを使うことでGoogle MeetやZoomと議事録を開く作業を自動化できます。 MeetingBarとはmacOS用のアプリケーションです。ZoomやGoogle Meetで予定されたミーティングの時間になると自動的にミーティングを起動する事ができて大変便利です。 github.com MeetingBarは

                                                  ミーティングの時間になると勝手に議事録を開いてほしい - nakaoka3の技術ブログ
                                                • clapでシェルの補完スクリプトを生成する

                                                  はじめに この記事では、2022年1月にリリースされたclapとclap_completeクレートを使って、シェルの補完スクリプトを生成する方法を紹介します。 clapはRustのコマンドライン引数パーサーです。 豊富な機能を備えており、Rustではデファクトスタンダートになっているライブラリです。 近年の他のプログラミング言語のコマンドライン引数パーサー——例えば、Pythonのargcomplete、clickやcleo、Goのgo-flags——同様に、補完スクリプトの生成に対応しています。 clapはBuilderパターンによるパーサーの構築が素の使い方ですが、バージョン3でderiveマクロによるパーサーの構築が安定化されました。 Builderパターンによるパーサーの構築——この機能はBuilder APIと呼ばれています——では、以下のようなコードでパーサーを記述します。構造

                                                    clapでシェルの補完スクリプトを生成する
                                                  • プレビュー版が登場したWSLのVer.2.0 新機能を具体的に見る (1/2)

                                                    Windows Subsystem for LinuxのプレビューVer.2.0が9月に公開された。WSL2と混同を避けるため、これをWSL V2.0と表記する。 現在、WSLはMicrosoftストア経由で配布されており、自動的にアップデートされる。ただし、WSL V2.0はまだプレビュー段階で、安定版はV1.2.5だ。このため、Windows Insider Programのプレビュー版ではないWindows 11では、当面は安定版のままになる。ただし、強制的にプレビュー版をインストールすることはできる。 追加される機能自体はそれほど難しいものではないが、動作条件などが複雑で、また既存のプログラムに影響を与える可能性があることから、評価やテストなどには十分な注意が必要と言える。実験的機能であることから、WSLや動作しているプログラムに大きな影響が出る可能性もある。日常的にWSLを使って

                                                      プレビュー版が登場したWSLのVer.2.0 新機能を具体的に見る (1/2)
                                                    • 【Kubernetes】未経験から1か月経ったので振り返る - APC 技術ブログ

                                                      こんにちは、クラウド事業部の中根です。 未経験からKubernetesに入門して約1か月が経ったので、振り返りたいと思います! 実務に入る前の予習なので、実務を通した実践的な学習はしていない点はご了承ください。 学習の動機 入門前のレベル感 学習プロセス 入門0~7時間 入門7~32時間 入門32~60時間目 入門60~71時間目 入門71~132時間目 +α できるようになったこと 次のステップ これから入門する方へ おわりに お知らせ 学習の動機 私は中途入社で、案件は決まったのですが、参画まで1か月半ほど待機期間となりました。 クラウドネイティブな案件ということで、この期間を活かしてKubernetesのキャッチアップをすることになりました。 入門前のレベル感 IT業界経験が3年と1か月です。 以下、関係する領域の詳細です。 Kubernetes ほぼ未経験。 OpenShiftをち

                                                        【Kubernetes】未経験から1か月経ったので振り返る - APC 技術ブログ
                                                      • LLM開発のための環境構築

                                                        はじめに 株式会社Elithの大森一祥です。AIテックカンパニーの一員として、お客様の課題をAIを駆使して解決しています。 大規模言語モデル(LLM)が人間と匹敵する性能を発揮することもあり、弊社には多岐にわたるプロジェクトの依頼が寄せられています。最近は、情報漏洩のリスクを回避するため、独自のLLMの開発を希望されることが多いです。このような案件では、一般に公開されたモデル(ローカルLLM)を利用します。 ローカルLLMを活用して課題を解決する方法として、以下の4つが挙げられます。 プロンプトエンジニアリング:LLMに特定の出力を生成させるための入力文の工夫する手法 RAG:外部の文章データベースから、質問に類似した文章を取り出しLLMの入力として用いる手法 インストラクションチューニング:ユーザの指示に沿った出力を生成することを目的としたチューニング手法 継続事前学習:LLMモデルに対

                                                          LLM開発のための環境構築
                                                        • LinuxでもっともF-wordなコミットを探す(git以降編) - Qiita

                                                          tl; dr: 近年のLinuxはそれほどファ●ックではない。最大の"F値"は25で、単一のファイルに集中していた。 もくてき ファッ●クと言えばLinuxの風物詩と言える時期もあったが、最近は落ちついてきた印象はある。それでも fuck コマンド やメーリングリスト等では言及は有る。 では、それを印象付けるような出来事としては何があったのだろうか。今回、コミットログおよびそのソースコードdiffにおけるF-wordの登場回数を F 値 (F value) と定義し、最もF値の高いコミット(the most F-valued commit)を探してみることにした。 (ソースコードdiffにおける登場回数であるため、F-wordを削除したコミットも高いF値が与えられることに注意する) 全てのコミットを git show する 最近シェルスクリプト代わりにCMakeを使っているので今回もCMa

                                                            LinuxでもっともF-wordなコミットを探す(git以降編) - Qiita
                                                          • Juliaでデータサイエンス100本ノック(構造化データ加工編) - Qiita

                                                            データサイエンティスト協会によるデータサイエンス100本ノック(構造化データ加工編)をJuliaで解きました。 はじめに わざわざ紹介するまでもありませんが、Juliaは書きやすくて実行が速いモダンな科学計算向け言語として昨今注目を集めています。ただ、まだデータをこねくりまわすコード例が少なく、前処理などの用途で使うには少しとっつきづらさも残っていると思います。つい先月公開されたデータサイエンス100本ノック(構造化データ加工編)はそんな日頃遭遇するデータ処理のタスクを効果的にカバーしているもので、Python、R、SQLでの回答例もついています。ということで、いっちょこれをJuliaでやって実地で使えるように練習しようと思い立ち、やってみました。いくぶんでも参考になるかもしれないので、あくまで一回答例として公開してみます。 コード https://github.com/Ken-Kurok

                                                              Juliaでデータサイエンス100本ノック(構造化データ加工編) - Qiita
                                                            • 最高のターミナル環境を手に入れろ!WezTermに入門してみた。 | DevelopersIO

                                                              Rust製のターミナルアプリ WezTermをご存知ですか? もしご存知なければ、最高の相棒を紹介させてください!! WezTerm - Wez's Terminal Emulator 基本的な性能 ターミナルアプリに求められる要素はとてもシンプルです。 1に安定! 2に軽量! 3,4がなくて 5に機能 です。 安定と軽量の2つが満足でないとターミナルアプリは 比較という俎上に上がること自体が難しいです。 さて、WezTermはというと、 あくまでも私の実感レベルですが、どちらも全く問題ないです。 ターミナルアプリでは日本語の入力系などで難ありなものも結構あったりしますが 今の所その辺でも特に問題を感じたことはないです。 非常に主観的な記述だけで申し訳ないですが、 この辺は色々書いたところで使ってみないことにはわからないと思いますので、 まずは使ってみてください。 また私はMacで利用して

                                                                最高のターミナル環境を手に入れろ!WezTermに入門してみた。 | DevelopersIO
                                                              • AWS Systems Manager Session Manager を使って、手元のマシンから楽してEC2へ接続する - hekiblo

                                                                概要 AWS Systems Manager Session Manager(以下Session Manager)を使用している環境でEC2 に接続する場合、色々と面倒なことがわかりました。 面倒事 Session Manager はマネジメントコンソールから利用する場合「マネジメントコンソールにログイン -> 接続先のEC2 インスタンスを探す -> Session Manager を使用して接続」という流れになります。 毎回この手順を踏むのは面倒ですし、SSH のように手元のマシンから接続できないのは不便なので、AWS CLI を使いたくなります。 ただし、AWS CLI + Session Manager の場合でも、接続先のEC2 インスタンスのインスタンスID を調べるためにマネジメントコンソールから確認する必要がありました。 これは非常に面倒なので、この手順をスキップして接続で

                                                                  AWS Systems Manager Session Manager を使って、手元のマシンから楽してEC2へ接続する - hekiblo
                                                                • Golangでバイナリを配布するとき、go-licensesとgoxzを使って利用モジュールのLICENSE、NOTICEを同梱する - 理系学生日記

                                                                  Golangで作ったプロダクトを公開・配布するとき、課題となるのが利用するモジュールのライセンスです。 MITライセンスであれ、MPLライセンスであれ、利用するモジュールのLICENSEやNOTICEファイルを同梱することになるでしょう。 goxzとgo-licensesを使うと、クロスビルドした実行バイナリと利用モジュールのLICENSE等を含め頒布物を作成できるようになります。 最終イメージ 同梱されていることの確認 go-licenses ハマりポイント goxz まとめ 最終イメージ 最終イメージですが、以下のようなMakefileを用意しました。 プロダクトに設定したライセンスで利用できないモジュールがあるかどうかをlicense-checkで確認した後、cross-build.shを呼び出します。 .PHONY: license-check license-check: go-

                                                                    Golangでバイナリを配布するとき、go-licensesとgoxzを使って利用モジュールのLICENSE、NOTICEを同梱する - 理系学生日記
                                                                  • DeepFake使ってみた!? MacでGPUを使った機械学習 | さくらのナレッジ

                                                                    こんにちは! テリーです。Apple SiliconのM1チップを搭載した新しいMacは、当初の期待以上の速度が出ているようで、パソコンの新モデルとしては久しぶりに購買意欲をかきたててくれました。16インチのMacBookProが出ればすぐに購入しようと思います。さて、M1はCPUの速度と価格の方に注目されがちですが、GPUも劇的に進化しています。「機械学習といえばNVIDIA」の時代が何年も続いており、TensorflowのGPU版が使えないMacは機械学習トレーニング環境としてあまり使われていませんが、M1の圧倒的な処理能力が使えるならば、多少の文法修正は受け入れられます。ここから勢力図の逆転もありえそうです。 突然ですが、最近映画を見ました。人気小説を原作にした映画で、主演俳優は原作のイメージそのものでしたが、助演の方の顔が原作とまったくイメージが異なっていて台無しだと、娘が怒ってい

                                                                      DeepFake使ってみた!? MacでGPUを使った機械学習 | さくらのナレッジ
                                                                    • kubectlのプラグイン機構とおすすめプラグインのご紹介 〜 Kubernetes制御用コマンド #k8sjp

                                                                      ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの子会社であるゼットラボ株式会社の吉田(@ryysud)です。2018年12月よりゼットラボ株式会社でKubernetesをベースとしたインフラ基盤の研究開発を行っており、現在はCloud Nativeなアクセス制御システム(認証、認可)の研究開発を担当しています。 今回は2020年6月13日(土)に開催されたKubeFest Tokyo 2020でのセッション “kubectl のプラグイン機構を活用してオペレーションを効率化しよう”をベースに、Kubernetes制御用コマンドラインツールであるkubectlのプラグイン機構とおすすめプラグインをご紹介します。スライドとビデオは以下で公開されていますのでご興味

                                                                        kubectlのプラグイン機構とおすすめプラグインのご紹介 〜 Kubernetes制御用コマンド #k8sjp
                                                                      • SwiftFormatを導入してコード記法を統一化 - Mirrativ Tech Blog

                                                                        ミラティブでiOS開発をしている福山(@fokotate)です。 今回はSwiftFormatをMirrativのiOSプロジェクト(約1500のSwiftファイル)へ導入したときのことを話します。 導入にあたって 私は当初、SwiftFormatについてよく知らなかったため導入にはあまり乗り気ではありませんでした。 しかし調べてみると、実行タイミングによってはチームにとってほぼストレスなくソースコードを綺麗に保てることがわかってきました。 コミット実行時にSwiftFormatがコードを変更してコミットを中断、その変更を取り入れて再度コミットするといった一手間だけです。 導入したい気持ちが高まってきたものの、いきなり新しいツールを持ち込むのはチームから反発も受けそうだったので、Slack上で様子をみたり、ドラフトPRを書いたり、勉強会を開いて徐々に受け入れられる状況を作りました (実際は

                                                                          SwiftFormatを導入してコード記法を統一化 - Mirrativ Tech Blog
                                                                        • LinuxやSteamDeckでSteamゲームをプレイする時の必須ツール「steamtinkerlaunch」の紹介 - joker1007’s diary

                                                                          自分はGentoo Linuxで大体何でもやる様にしているので、PCゲームも大体はそのままGentooでやってます。 LinuxでSteamを遊ぶ時にはsteamtinkerlaunchというツールがとても便利なので、これを入れておきましょう。 Linuxでゲームをする人間にとっては結構有名なツールなんですが、日本語の記事がほぼ存在しません。(まあ、皆あんまLinuxでゲームやらないよね……。) この記事自体も需要がほぼ無さそうですが、せっかくノウハウを溜めたので書いておきます。 一応、この記事の内容はSteam Deckにも対応するので、Steam Deck買ったよって人は使えるかもしれません。 github.com Arch Linuxを使っていればAURで簡単に入ります。他のディストリの場合はyadというgui toolkitだけインストールすれば、他の依存ツールはほとんど問題無くパ

                                                                            LinuxやSteamDeckでSteamゲームをプレイする時の必須ツール「steamtinkerlaunch」の紹介 - joker1007’s diary
                                                                          • Postfix から SMTP endpoint を使わずに Amazon SES 経由でメールを送る - ngyukiの日記

                                                                            Postfix から Amazon SES 経由でメールを送る場合、通常であれば SMTP credentials を作成したうえで Postfix から Amazon SES の SMTP endpoint へリレーを設定します。 Amazon SES とPostfixの統合 - Amazon Simple Email Service Classic が、やんごとなき理由によりこの方法が使えなかったときのために Postfix から SES API の SendRawEmail でメールを送信してみました。 master.cf で ses トランスポートを定義する master.cf に次のように追記して sqs トランスポートを定義します。 sqs unix - n n - - pipe null_sender=MAILER-DAEMON@example.com user=nobody

                                                                              Postfix から SMTP endpoint を使わずに Amazon SES 経由でメールを送る - ngyukiの日記
                                                                            • Kubernetesクラスターにインストールした野良アプリケーションの再現性担保とバージョン管理 - ANDPAD Tech Blog

                                                                              SREチームの須恵です。 今回は、Kubernetesクラスターの運用にまつわるちょっとした工夫について書くことにしました。 要約 何が問題か 今までのやり方 解決策 ここまでで実現できたこと Dependabotで、もうひと工夫 余談 ごあんない 要約 以下のような問題があり、 URLから直接、手動でkubectl applyしたアプリケーションが存在することにより インストールと更新が手動のためクラスターの再現性を低下させる 更新を手動で行う必要がある 誰かが更新に気がつく必要がある それぞれ、以下のアプローチで解決を試みました。 手元からインストールと更新を行うためクラスターの再現性を低下させる シェルスクリプトとDockerfileをバージョン管理する 更新を手動で行う必要がある install-from-url.shを自動的に実行する 誰かが更新に気がつく必要がある Depend

                                                                                Kubernetesクラスターにインストールした野良アプリケーションの再現性担保とバージョン管理 - ANDPAD Tech Blog
                                                                              • Lancers本番環境のコンテナ化が完了しました | ランサーズ(Lancers)エンジニアブログ

                                                                                Lancers Engineer Blog をご覧のみなさんこんにちは。開発部/技術基盤 SREの安達(@adachin0817)です。以下前回のブログから3ヶ月経ちましたが、ついにLancersのBatch、AppサーバーをEC2からECS/Fargateに移行完了しました。 そして長年自前で運用していたデプロイシステムを廃止して、CI/CDはCircleCIに完全統一しました。これにて、Lancersの全サービスをコンテナに移行完了となりました。 ※見ていない方はぜひ一読してもらえると幸いです。 ・LancersをAmazon Linux2へログ基盤のリニューアルと管理画面をECS/Fargateに移行しました 旧開発環境、EC2での運用課題 Ansibleコンテナによる開発環境の統一により工数がかかる 本番コンテナ化以前は、EC2で利用しているAnsibleの管理を開発環境にも適用す

                                                                                  Lancers本番環境のコンテナ化が完了しました | ランサーズ(Lancers)エンジニアブログ
                                                                                • CircleCIからもAWS APIへアクセスキーなしでリクエストできる仕組みをTerraformで構築する - BOOK☆WALKER inside

                                                                                  こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 CircleCIでもOpenID ConnectのIDプロバイダ機能がリリースされた 私が書いた一つ前の記事では、GitHub ActionsとAWS IAMをOpenID Connectを使って連携させ、TypeScriptで記述したアプリケーション(Next.js, Serverless Framework)のデプロイや、TerrafromのリポジトリにPRを出した際の自動planを永続的アクセスキー不要で行っているとお話ししました。 developers.bookwalker.jp 一方で、TypeScriptやTerraform以外のア

                                                                                    CircleCIからもAWS APIへアクセスキーなしでリクエストできる仕組みをTerraformで構築する - BOOK☆WALKER inside