ShellScriptで自動化を楽にしたい時に知っておいても良いこと | sreake.com | 株式会社スリーシェイク
はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ
月数100万アクセスをDB使わず超簡単にさばく - Qiita
初Qiitaな個人開発者のひさしAppと申します @Hisashi_vc 最近「じぶんコイン」というコイン系SNSサービスを作り、月間100万～数百万アクセスを激安サーバー（1000円ちょい）でさばき中です。 じぶんコイン https://crypto-app.tokyo/qCoin/?m=hisashi_vc おまけになかなかの高負荷で、３ヶ月で数百万回送金したり、10連ガチャ回しまくったり、全ユーザーページにチャットあったり、数百人に一斉メッセージ＆送金したり、さらに内部API叩きまくってたりと、かなりのヤバさですが、ブロックチェーンどころかデータベース一切使ってません。 そんなツイートしたら予想よりビックリしてもらえたので、種明かししようと思います。ちなみに私はサーバーサイドエンジニアでも何でもないので、Hellow world覚えて３日目の中学生でもできるくら超簡単ですｗ この２つ
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
ChatGPTとCopilotに要件だけ伝えて自動コーディングしてもらう(AIペアプロ) - Qiita
※この記事は個人的な実験の記事です※ ※実験内容は随時記事を更新していきます※ 24時間いつでも手助けをしてくれるGitHub Copilotさん。 24時間文句も言わずにいつでも親切に回答してくれるChatGPTさん。 そんな両者に要件だけ伝えて自動コーディングしてもらおう(AIペアプロ)、という実験記事です。 Copilot自動コーディング動画 以下の動画は、最初に要件だけをコメント入力して、それ以降はCopilotの提案を受け入れているだけになります。 コメントの入力と提案の受け入れ以外は、全くタイピングをしていません。 コメントの内容は Next.jsでボタンをクリックしたら画像を選択してブラウザに表示する です。 完成品 要件のコメントと受け入れだけをしたコードを実際に動かしてみました。 自動コーディングしてもらったコードは以下の通りです。 // Next.jsでボタンをクリック
Webサーバーアーキテクチャ進化論2023
はじめに 最近プログラマーとしてのキャリアに一区切りつけようと思っており、これまでのプログラミングの勉強の集大成となるブログを書きたくなったので書く。初めてプログラミングをして、フロントエンド開発をして、サーバーから値が返ってきたときは「どういう仕組みで値が返ってきたんだ？」と疑問に思っていた。ずっと理解したくて理解できていなかった。だからずっと勉強していた。そして最近になってようやく自分の言葉で説明できるようになった気がしたのでブログを書きたい。 2015 年版が自分の原点であり、この記事を書くモチベーションになった このような記事は実は過去に存在している。 FYI: https://blog.yuuk.io/entry/2015-webserver-architecture その記事はサーバーがどういう仕組みで動いていて、どのように進化し、2015 年に至るかを解説してくれた記事だ。自
Linuxにおけるデバイスファイルの仕組み
Linuxにおけるデバイスファイルはデバイスをファイルという概念を通して扱えるようにしたものです。デバイスファイルは通常のファイルと同様に読み書きを行うことができます。しかし実際には、その読み書きはデバイスドライバを通じてデバイスの制御に変換されます。 この記事では、デバイスファイルへの読み書きがどのようにデバイスの制御に変換されるのかを説明します。デバイスファイルはデバイスドライバとファイルの2つのコンポーネントに依存したものであるので、最初にデバイスドライバ、次にファイルについて説明し、最後にデバイスファイルがどのようにデバイスドライバと結び付けられるかを解説します。 この記事の内容は主に詳解 Linuxカーネル 第3版及びhttps://github.com/torvalds/linux/tree/v6.1によります。 目次 デバイスドライバ デバイスドライバの実例 read_wri
いっつも忘れるC++ ファイル入出力関数を図にしてみた - Qiita
継承関係 継承関係については、 https://www.ntu.edu.sg/home/ehchua/programming/cpp/cp10_IO.html 真ん中らへんの図 がわかりやすそうです。 ファイル入出力関数のダイアグラム さて、C++でファイルの入出力を扱うに当たって、C言語のscanf系やprintf系は結構落とし穴があるので、C++のifstreamとか〇〇streamとかを使いたいのですが、いつも使い方を忘れてしまいます(私だけではないはず)。そこで、普段使いに便利なダイアグラムをつくってみました！： ※2については、https://www.jpcert.or.jp/sc-rules/c-int06-c.html あたりも参考にしてください。あ、strtol関数はstdlib.hをincludeです。 サンプル #include <string> #include <i
Nginx + luaで目指すリッチで高速なWebサーバー こんにちは、SHUNです。 今回はnginxの拡張モジュールを使い、Webサーバーだけである程度の処理ができるように便利なtipsを集めました。...
こんにちは、SHUNです。 今回はnginxの拡張モジュールを使い、Webサーバーだけである程度の処理ができるように便利なtipsを集めました。 計測データの受け取りやリダイレクトなどアプリケーションサーバーを介さなくても済む処理はWebサーバー側で処理することで処理速度が圧倒的に早くなるので、なるべくWebサーバーでやりましょう、というコンセプトです。 基本的にnginxのインストールや設定はできていることが前提ですので、初めての方は以下も参照してみてください。 CentOS6.xにてnginxの最新版をインストールする手順nginx設定メモlua-nginx-moduleのインストールnginxはモジュールをインストールするたびに毎回ビルドしなければいけません。 lua-nginx-moduleのインストールは以下のエントリーを参考にさせていただきました。 Cent OS(6.4)にN
C と lua の連携方法メモ - Qiita
lua_State* l = luaL_newstate(); luaL_openlibs(l); luaL_loadfile(l, "func.lua"); lua_pcall(l, 0, 0, 0); // script を実行しておかないと関数を呼び出せない lua_getglobal(l, "func"); // 呼び出す関数 lua_pushnumber(l, 4); // 第一引数 lua_pushnumber(l, 5); // 第ニ引数 if (lua_pcall(l, 2, 2, 0)) { // 引数 2 個, 戻り値 2 個 fprintf(stderr, "cannot exec add. %s\n", lua_tostring(l, -1)); return; } if (lua_isnumber(l, -1)) { int ret = lua_tointeger
mikutterdをherokuでうごかしてみる
Clone via HTTPS Clone with Git or checkout with SVN using the repository’s web address. mikutterdをherokuでうごかしてみる mikutterの薄い本 vol.4の@_osa_kさんの記事「mikutterdのある生活」を参考にmikutterdをherokuでうごかしてみようという試みをしたときの作業メモです。 @nepisubはheroku上のmikutterdで動く得サブbotです。 mikutterをcloneする $ git clone git://toshia.dip.jp/mikutter.git GUI系プラグインを消す $ cd mikutter/core/plugin $ rm -r gtk gui change_accout.rb streamingプラグインのspec
デバイスファイル - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "デバイスファイル" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2022年3月) デバイスファイル（英: Device file）またはスペシャルファイル（英: Special file）とは、ファイルシステム上であたかも通常のファイルのような形で提示されるデバイスドライバのインタフェースである。これにより、ソフトウェアが入出力システムコールを通してデバイスドライバを使うことができ、作業が単純化される。 デバイスファイルは、プリンターなどの周辺機器への単純なインタフェースを提供する。また、ディスクパーティションなどの機器上の特定のリ
HDDのサイズはなぜ3.5インチなのか、グーグルが疑問を呈す : SIerブログ
http://www.itmedia.co.jp/news/articles/1603/10/news143.html Googleのインフラ担当副社長であるエリック・ブリュワー氏が、クラウドベースのデータセンターに向いた ハードディスクドライブについて述べている（英語版・抄訳）。この中でブリュワー氏は、ローマの戦車の幅が現代の鉄道線路の幅になっている （と言われる）例を挙げて、PCに3.5インチフロッピーディスクドライブ（FDD）が搭載されていた時代の名残りから、 現在の3.5インチハードディスクドライブ（HDD）ユニットがFDDと同じサイズに決められていることを指摘している。 かつてはデスクトップPCの3.5インチベイに収められていたメインストレージが、いまはクラウドベースのデータセンターにあるのだから、 FDDのサイズにとらわれる必要はない、としている。 そして具体的に、信頼性を保っ
GitHub - zenkay/bigdata-ecosystem: BigData Ecosystem Dataset
Data Projects Frameworks Distributed Programming Distributed Filesystem Key-Map Data Model Document Data Model Key-value Data Model Graph Data Model NewSQL Databases Columnar Databases Time-Series Databases SQL-like processing Integrated Development Environments Data Ingestion Message-oriented middleware Service Programming Scheduling Machine Learning Benchmarking Security System Deployment Contai
全文検索エンジンGroongaからword2vecを簡単に使えるプラグイン - CreateField Blog
はじめに Groonga Advent Calendar 2015の11日目の記事です。 GroongaはC/C++で書かれた高速な国産の全文検索エンジンです。 word2vecは、Googleが研究評価用に作った単語の特徴をベクトルで表現しニューラルネットモデルで教師なし学習をさせるツールです。 単語を文脈も考慮させたベクトルで表現しニューラルネットで学習することで、単語の意味的な足し引きができているんじゃないか( kingからman引いてwoman足したらqueenがでてきましたよとか。)ということで少し前に結構流行ったようです。 また、word2vecの作者が簡易的にsentenceのベクトル表現を使えるようにしたword2vecのコードもあるようです。 普段、Groongaを使ったそこそこの規模のデータベースをもっているので、Groongaに格納されたデータからword2vec/s
オープンソースの全文検索エンジンFessを試してみた
アジャイル開発に取り組むチーム向けのコーチングや、技術顧問、認定スクラムマスター研修などの各種トレーニングを提供しています。ぜひお気軽にご相談ください（初回相談無料） みなさんこんにちは。@ryuzeeです。 このWebサイト、昔はWordpressを使っていたのですが、本体やプラグインのメンテナンスを頻繁にやらなきゃいけなくて面倒なのと性能面などで辛くなって、その後Ruby製の静的サイトジェネレータであるMiddlemanに変更し、その後ビルドの遅さに耐えられなくなってGo言語で作られているHugoに置き換わっています。 静的コンテンツになればAmazon S3などで運用できるので非常に楽なのですが、一方でサイト内を検索したい場合は別の解決策の用意が必要になります。Googleの検索を埋め込んでももちろん良いのですが、調査の一環として、今回はオープンソースの全文検索エンジンFessを試し
Agen Poker369 : Situs Agen Poker 369 Dan Slot Gacor Hari Ini
Poker online telah menjadi fenomena yang mendominasi dunia perjudian daring, menggabungkan keterampilan dan keberuntungan dalam suasana yang penuh tantangan. Dalam artikel ini, kita akan membahas aspek-aspek kunci poker online, strategi untuk meningkatkan permainan, dan mengapa permainan ini terus memikat pemain dari seluruh dunia. Perkenalan dengan Poker OnlineApa yang Membuatnya Populer: IDN Pok
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spacedrive — A file manager from the future.
The W3C Markup Validation Service
Readable
Microsoft公式の削除ファイル復旧ツール「Windows File Recovery」／ただし、「Windows 10 May 2020 Update（バージョン 2004）」以降が必要【レビュー】
