Google Colabで「GPT-NEOX-20B」による日本語テキスト生成を試したのでまとめました。 【注意】「GPT-NEOX-20B」を動作させるには、「Google Colab Pro/Pro+」のプレミアム (A100 40GB) と「Google Drive」のスタンダード以上が必要です。 1. GPT-NEOX-20B「GPT-NEOX-20B」は、EleutherAIが提供するオープンソースの200億パラメータの言語モデルです。Pileデータセットで学習されています。 2. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) 新規のColabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「プレミアム」を選択 (2) Googleドライブのマウント。 # Googleドライブのマウント from google.c

背景システムの処理速度を改善するために、ボトルネック解析を行う必要があった。 ボトルネック解析の方法と、プロファイリングに使用したperfの使用方法に関して調査を行った。 記事の目的perfを使用し、ボトルネック解析を行う ここでは、perfの導入方法及び使用方法について記載する。 perfとはperf(Performance analysis tools for Linux)とはLinuxカーネル2.6.31以降で使用可能なLinuxの性能解析ツールである。 実行されているプロセス毎のCPU使用率やプロセス内で呼ばれている関数の割合などを調査できる。 利点gprofのように、プログラム作成時に専用のライブラリを入れたり、コンパイル時にオプションをつける必要がない フレームグラフにして、ビジュアライズできる 導入方法(Ubuntu編)Ubuntu16.04へperfを導入する手順について記

はじめに 本投稿は『VSCodeが最強のエディタだ!!』などといったことを伝える記事ではありません。 数あるエディタの中の『VSCode』に焦点を当てて、作業効率化できるための使い方をまとめたものです。 いくつかのテーマに分けて、ご紹介させていただきますので、興味のあるところを拾い読みしていただければと思います。 (スクリーンショットについては、随時更新させていただきますが、古い場合があります。ご容赦ください。) 1.ショートカット ショートカットはかなりの数があるので、今回は『1日の作業の中で登場頻度が多そうな操作』に焦点をあてて、効率化を目指していきます。 ショートカットを覚えることで、ある程度の操作はマウスに触らずにできるようになります。 1つ1つの効果としては微々たるものですが、操作頻度の多いものであればあるほど、効果が期待できるので、覚えることをオススメします！ VSCodeを閉

AmazonのクラウドサービスであるAWSは、コンピューティングやデータベース、ストレージなど、膨大で複雑なサービスで構成されています。こうした豊富なサービス群をうまく組み合わせて利用する「ビルディングブロック」がAWSのメリットでもありますが、サービス数が多すぎてなかなか全体像を把握できないのも事実。フリーランスのエンジニアでありコンサルタントでもあるジョシュア・テイセン氏が自身のブログで、AWSのすべてのサービスを「たった1行」で説明しています。 Amazon Web Services https://adayinthelifeof.nl/2020/05/20/aws.html テイセン氏によると、Amazon Dashboardから利用可能なAWSのサービスは記事作成時点で163あるとのこと。そのすべてを正確に理解する必要はありませんが、基本を押さえておくことはいいことであり、問題の

Page Scrolling Vertical Scrolling Horizontal Scrolling Wrapped Scrolling

この記事の目的 自分は、とある会社様の元でソシャゲの API 開発をさせていただいています。 ソシャゲは、リリース時やイベント時などに集中アクセスされやすく、負荷軽減の知識がない状態で開発を行ってしまうと、運用時に緊急メンテ祭りになりやすいジャンルかなと思っています。 これまで培ってきた MySQL の知識ですが、脳内メモリ量の関係上、暗記できないのでメモしておこうというのが主目的です。 ここ数年ほどソシャゲ開発しかしていないため、偏っている感がある内容ですのでご注意ください。 概要 ストレージエンジンは InnoDB。メインで扱っている MySQL バージョンは 5.6。 記事の内容ですが、これらのキーワードを見て、おおよそ分かる方は読む必要はないかと思います。 インデックス系 クラスタインデックス カバリングインデックス EXPLAIN で注意するべき値 トランザクション系 MVCC

山本ゆり（syunkon レンジは600W) @syunkon0507 【スパゲティの最高に簡単な茹で方】 耐熱性の器に、半分に折ったパスタ(袋の表示茹で時間が5〜7分のもの)1束(100g)、水260ml、塩少々、オリーブ油かサラダ油小さじ1を入れ、ラップ無しで表示茹で時間＋3分チン。 このまま市販のソースをかけたり味付けすればOK！ ※器が熱いので注意！ ↓ pic.twitter.com/ttUbf6E4fs 2019-05-11 20:00:41

JavaScript の console がすごいことになっているらしい。 本日、以下の記事を見つけました。 Getting creative with the Console API! この記事で紹介されている console のメソッド全然知らなかったのでビックリしましたが、実際にどう表示されるのか載っていなかったのでChromeのコンソールでスクショを取ってみました。 console.log() 本文によるとlogメソッド内のテキストリテラルは以下の書式で値のフォーマットと置換ができるそうです。 %o / %O - for objects; %d / %i - for integers; %s - for strings; %f - for floating-point numbers; マジすか・・・ そんなわけで以下のコード console.log("Object value:

不正アクセスを教訓に　GMOペパボが500台超のサーバに導入したオープンソースのセキュリティ監査基盤「Wazuh」とは：「検索コマンドを実行したら約5万回のアラートが流れて大変だった」（1/2 ページ） ホスティングサービスなどを提供するGMOペパボは、セキュリティインシデントを教訓に、OSSのセキュリティ監査基盤「Wazuh」を導入。Wazuhを選択した理由やWazuhの導入後に起きた3つの運用課題を解決した方法について語った。 Japan Perl Associationは2019年1月26日、「YAPC::Tokyo」を開催した。本稿ではGMOペパボのホスティング事業部でテックリードを務める山下和彦氏の講演「Wazuhを利用した大統一サーバ監査基盤」の内容を要約してお伝えする。 GMOペパボでは、2018年1月に起きた不正アクセスを教訓にオープンソースソフトウェア（OSS）のセキュリ

このごろ賃貸で家を探すWEBサービスのCMがバンバンテレビで流れている。 賃貸の繁忙期は1~3月が圧倒的で、他の月と比べてかなり売り上げが大きいため、各社競い合って宣伝をしている。 スーモやホームズ、アットホーム、いい部屋ネットにピタットハウス、色々あるが、実はその成り立ちから業務形態まで様々で、見ることのできる物件がかなり制限されることがある。なのでその違いを説明してく。 増田は以下のどこかの会社で働いていたことがある。 自社物件囲い込み系基本的に自社の建設した物件を取り扱う賃貸サイト。賃貸系サイトの中ではもっとも選択肢が狭い。 もしそのブランドにこだわりがあったり、親類がそこで働いていたりする場合は見ても良いと思うが、そうでないなら見る価値は薄い。 ・いい部屋ネット、DK SELECT 大東建託がやってる。270万件。 ・ホームメイト 東建コーポレーション ・MAST 積和不動産（積水

import os import img2pdf from PIL import Image # img2pdfと一緒にインストールされたPillowを使います if __name__ == '__main__': pdf_FileName = "/tmp/png/output.pdf" # 出力するPDFの名前 png_Folder = "/tmp/png/" # 画像フォルダ extension = ".png" # 拡張子がPNGのものを対象 with open(pdf_FileName,"wb") as f: # 画像フォルダの中にあるPNGファイルを取得し配列に追加、バイナリ形式でファイルに書き込む f.write(img2pdf.convert([Image.open(png_Folder+j).filename for j in os.listdir(png_Folder)i

【Laravel 6 & PHP 7.4 対応】Vue + Vue Router + Vuex + Laravel チュートリアル（全16回）を書きました。LaravelチュートリアルVue.jsVuexvue-router 2020/1/5 更新 チュートリアルを Laravel バージョン6 & PHP 7.4 に対応し、加筆修正しました。 技術ブログに 『Vue + Vue Router + Vuex + Laravelで写真共有アプリを作ろう（全16回）』 を公開しました 出来るだけたくさんの方に見てほしいので宣伝エントリを書きます。 コンテンツ フロントエンドに Vue.js + Vue Router + Vuex と サーバーサイドに Laravel を使用して写真共有アプリを開発するという内容です。 こんなやつ ができます。 写真を投稿できます。 コメント投稿、いいね、ダウン

NTTの退職エントリが流行っていますね。ぼくも今年退職したばかりなので書いてみます。と言ってもNTTデータの下請けなので、社員から見れば「何だこいつ？」と思われるかもしれませんが、下請けからの目線をお伝えできればと思います。NTTの下請けって何？まずNTTデータがどんなお仕事をしているのか説明しておくと、大規模なお仕事が多いです。お国のシステム、いわゆる官公庁系や、金融系のシステムを作ったり保守したりしています。ちなみにシステムのお仕事のことを「プロジェクト」と呼びます。日本語でいうと案件ですね。 とにかくプロジェクトの規模が大きいので自社の人だけではプロジェクトが終わりません。そこで下請けの会社と協力してプロジェクトを行います。国→NTTデータ→NTTデータの子会社→下請け1→下請け2・・・という感じでエンジニアが集められていました。 そして下請け1も下請け2も複数社あるのでピラミッド構

2018 年 7 月 12 日に、ESLint 開発チームが管理する npm パッケージに悪意あるコードが挿入されるセキュリティ インシデントがありました。 ESLint からのアナウンス: https://eslint.org/blog/2018/07/postmortem-for-malicious-package-publishes npm からのアナウンス: https://status.npmjs.org/incidents/dn7c1fgrr7ng 以下の場合に npm install を実行したユーザーの npm アカウントへのログイン情報 (アクセストークン) が盗まれた恐れがあります (盗まれたアクセストークンはすでに無効化されています)。 日本時間の 18:49 から 19:25 の約 1 時間のあいだに npm install を実行し、eslint-config-e

普段お世話になっているwebツール達の紹介です。 以下のサイトはすべて 無料 & 登録不要 です。 正規表現 regexper 正規表現を可視化してくれます。 複雑な正規表現を書くときやコードリーディングのお供に重宝します。 Rubular Rubyの正規表現をテストできます。 JSON JSON FORMATTER & VALIDATOR JSON系のツールが集まったサイト。 それぞれ、サイト名とドメインが違うのでリンクはそのうちの１つになっています。 (画像クリックでそれぞれのツールに飛べます。) ひとつずつ紹介します。 JSONをフォーマットしてくれます。 出力結果は折りたたむことができるので、長いJSONを読むときにも便利です。 JSONを含めた様々なデータ形式を変換できます。 Inputの以下に対応。 CSV INI JSON XML YAML Outputは以下に対応。 JSO

こんにちは。ヨッピーです。 普段は主にインターネットで風俗の話などをしております。 さて、「PC DEPOT」（以下ＰＣデポ）という神奈川県を基盤に、主に首都圏でパソコン販売事業などを展開する小売店が、80歳を超える高齢者に対して月額15,000円弱という高額のサポート代を含む契約を結び、親族がその解除を求めたところ、契約解除料として20万円もの大金を請求するという事案が発生し、インターネットは元より、テレビ番組でも報道されるなど大きな話題を呼んでおります。 当初、20万円の解約料を請求されたのは事実です。これが20万円の根拠のようです。フォロワーさんから教えていただきましたが、解約料に消費税はないみたいです。 何から何まで悪質です。 出典:ケンヂさんのTwitterより 騒動の発端となった、契約者の息子である「ケンヂ」さんのツイート。 契約解除料108,000円のレシート※若干画像の明る

なぜStackOverflowか Upvote/Downvoteの仕組みにより、自然とベストプラクティスが蓄積されている 世界中のプログラマの目に晒されているため質が高い 答えが幾つか出されているため視野が広がる・一つの手法に固執することがない 英語の勉強にもなる StackOverflowのおすすめの見方 質問はまずしっかり理解する それに対する答えを比較してみて、なぜそう動くのかを考える コメント欄はFont Size的には小さいが、かなり濃いコメントが書かれていることが多いので暇なら目を通す 10. Looping through the content of a file in Bash? ファイルの内容をループで取得するためのベストプラクティス。 （2015/10/23 : 本節修正しました。@heliac2000 さん、@kawazさん、ありがとうございました。詳しくは本記事コ