【AWS】大規模なバッチ処理を支える技術選定
ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要があります。 タイムアウト制約に関して留意すべきは、Lambdaの実行時間は15分までなので、それ以上を超える処理時間のバッチは実装できないことです。 起動•実行上のオーバーヘッドに関しては、Lambdaにはコールドスタートがあるため起動時にオーバーヘッドを考える必要があり、Batchではジョブをキューに送信して、最適化のために、ある程度のジョブがキューイングしてから実行しようするので、即時性を求める処理には不向きです。 既存バッチを移行したいケースがあると思いますが、Lambdaで動かせる
無料でGPT4越え!?ついに来たXwin-LM｜shi3z
今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。 大先生もまだ試してないというので番組内で一緒に試してみた。 もちろんドスパラ製Memeplexマシン(A6000x2)を使用。 >>> from transformers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s] [2023
理事長経験者で、不動産管理業務経験者はこう考える
話題の、 マンションの理事会役員をやっているのだけど について 築30年代のマンションの理事長の経験があり、不動産管理（その中でもAMという分野、大家代行みたいな感じ）の仕事もしている増田です。 管理会社は（完全に）信用するな多くの管理会社は、細かい修繕の工事費から上前を撥ねることが重要な収入源になっています。 もちろん、修繕工事にあたっては、業者の選定、管理、告知、立ち合い、検査などの付随業務があるので、多少のフィーを取るというのは理解できますが、それにしても平気でぼったくってきます。 なので、基本、管理会社の見積は取るとしても、一定の額を超えるものについては相みつを取るようにしましょう。 顧問マンション管理士を使うとはいえ、どこの業者に相みつを取ったらいいのか、付随業務をどうしたらいいのかといった課題があります。 そこで、顧問マンション管理士を雇うと良いでしょう。 月額数万かかりますが
「勉強時間の圧縮」と「記憶強化」を実現できるノート術。大切なのは “全部書かない” ことだった - STUDY HACKER（スタディーハッカー）｜社会人の勉強法＆英語学習
「勉強したことを確実に覚えるため、ノートづくりにはこだわっている。でもどうしても時間がかかってしまう……」 こうお悩みではありませんか？ 仕事が忙しくて勉強に時間をあまり割けないので、ノートづくりはできるだけ短時間で済ませたい。そしてもちろん、勉強した内容はしっかりと記憶に刻みたい――そんなあなたへ、実際に勉強で成果を出した人もやっていた「学習効率がよいノート術」をご紹介します。非効率的なノートのとり方についても触れますので、ご自身のノートが当てはまっていないか、ぜひチェックしてみてくださいね。 【ライタープロフィール】 藤真 唯 大学では日本古典文学を専攻。現在も古典文学や近代文学を読み勉強中。効率のよい学び方にも関心が高く、日々情報収集に努めている。ライターとしては、仕事術・コミュニケーション術に関する執筆経験が豊富。丁寧なリサーチに基づいてわかりやすく伝えることを得意とする。 勉強内
ソフトウェア設計・アーキテクチャの学び方 - Qiita
はじめに この記事はHow to Learn Software Design and Architecture | The Full-stack Software Design & Architecture Mapを翻訳したものです。 翻訳がおかしい箇所などあればご指摘頂けるとありがたいです。 元記事の著者: Khalil Stemmler(@stemmlerjs) 設計、アーキテクチャ、フロントエンド、ブロックチェーンに興味ある方是非Twitter(@show_clements)フォローしていただけると嬉しいです！ 設計に関する記事 ソフトウェアデザインとアーキテクチャは、DevOpsやUXデザインのように、コンピューティングの領域の中でも独自の研究分野となっています。ここでは、クリーンコードからマイクロカーネルまで、ソフトウェアデザインとアーキテクチャの幅広さを説明するマップを紹介しま
Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformは、パブリッククラウドのインフラ構築と自動化のツールとして、IaCのデファクトスタンダードとなっています。この記事では、AWS（Amazon Web Services）を活用するハンズオンを通してTerraformの動作を理解し、実務にもとづいて役立つ機能や便利なエコシステム、さらにSRE視点の事例を紹介します。アソビュー株式会社でSREユニットリーダーを務める鈴木剛志さんを中心に6名のメンバーによる共同執筆です。 アイキャッチ画像 アソビューでは、インフラストラクチャーの変更管理にTerrafo
私が好きなSF小説 ５選｜バラクーダ
こんな話を聞いた。 ビジネスマンが、男に尋ねる。 「本は読むかい？」 「まぁ、多少は」男が答える。 「どういうのを読む？」 「小説ですかね、主にSFとか」 ビジネスマンは自分の仕事に誇りを持っている。 今、世界の経済に自分は最先端の場所で関わっていることを。 それこそがビジネスマンのアイデンティティであり、全てであった。 「小説って、それを読んで何になるの？」 「何になるって、どういう意味？」男は訊ねる。 「いや、だって小説って作り話でしょ？ この世にない架空の話でしょ？ それって今の世の中を動かすものではないよね？」 ビジネスマンは悪意をもって質問しているわけではなさそうで、真顔でそう言った。 男が返答に困っていると、ビジネスマンはこう続けた。 「俺は自己啓発系か、ビジネス書しか読まないよ。それが今生きている者には一番必要だから」 男は少し考えてこう返した。 「作り話（フィクション）が何
研究データを整理しよう・したい・せねば｜まつーらとしお
軽く読んだだけですが，研究者・院生にとってもそうですし，学部生でもPCで様々なものを整理するという点から役に立ちそうだと思いました。 概略版と呼べそうな動画もあるのでそちらを先に見るのもよさそうです。 全体の構成は次のとおりです。 第１章 イントロダクション 第２章 研究データ管理の方針決定 第３章 研究データの整理法 第４章 研究データの保存 第５章 研究データの公開 「イントロダクション」よりいくつかとても参考になったことを記しておきます。 フォルダ構造やファイル命名法があるこのドキュメントは例えばフォルダ組織化やファイル命名法といった普段なかなか説明しないところまで目配りされている点が大きな特徴と言えるでしょう。例えばフォルダ組織化は次のようなスライドが用意されています。 「はじめよう、研究データ管理」第3章よりどれも「当たり前」と思うかもしれませんが，徹底することはけっこう努力が必
少しずつ育てるGo言語のプロジェクト構成
23/9/21追記：この記事を読む前に ついにGoチームから、プロジェクト構成に関するガイドが公開されました！ 本記事を読んでくださることも大変嬉しいですが、ぜひこちらのガイドもご一読ください！ この記事は何 Go言語を書いたことがある方も、興味はあるけど触ったことがない方もこんにちは。 Goに限った話ではないと思いますが、ガリガリコードを書いていて、あるタイミングで気になるのがプロジェクト構成（ここではディレクトリ構成の意図）ではないでしょうか？ それを裏付けるかのように、Go界隈では以下のリポジトリが話題に上がることがあります。Star数すごいですね😇 リポジトリ名から公式感が漂いますが、そういう訳ではないのがミソです。 こちらのリポジトリ冒頭にも記載されていますが、次の点に留意する必要があるでしょう。 これは、Goアプリケーションプロジェクトの基本的なレイアウトです。これは、コアと
バックドアの存在に7年間気づかず、政策研究大学院大学がネット接続を8カ月間遮断
政策研究大学院大学がインターネット接続を遮断する事態に追い込まれた。攻撃者が公開Webサーバーにバックドアを設置。これを利用した不正アクセスを受けたことが原因だ。情報システム担当者がメンテナンス作業中に不正な通信を検知して発覚した。バックドアは7年前に仕掛けられたもので、システム更改時にも気づかなかった。 2023年8月22日、政策研究大学院大学の大田弘子学長が「本学で発生した情報セキュリティインシデントについてのお詫び」という文書を公表した。同大学は2022年8月29日に、不正アクセスによるセキュリティーインシデントが発覚。2023年5月までの約8カ月の間、大学内からインターネットが使えない事態に陥った。 同じ2023年8月22日には、インシデント対応から復旧までに従事した学外の専門家がまとめた「政策研究大学院大学の情報システムに対する不正アクセスの調査報告書」と題した文書を公表している
大規模Kubernetesクラスタにおけるコンテナレジストリの高速化 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。サマーインターンシップ2023のKubernetes基盤開発コースに参加した、高橋 (TAK848) と花田 (hanapedia) です。 Necoチーム では現在コンテナレジストリの可用性を高めるため、コンテナレジストリミラーをクラスタ内にデプロイしています。 しかし、クラスタが数百台程度まで大きくなり、レジストリミラーからコンテナイメージを同時に大量にPullするようになりました。 そのため、イメージの取得に数十分もの時間がかかってしまう問題が起きました。 この問題に対処するため、Spegel というステートレスなレジストリミラーの動作検証を行い、PodのイメージのPullのタイミングを制御するカスタムコントローラー cat-gate を開発・検証しました。 その成果を紹介します。 課題 KubernetesではPodを起動する際、コンテナイメージを取得する必要があります
シスコがSplunkの買収を発表、約4兆円で。同社の歴史上最大規模の買収
シスコシステムズは、ログの収集解析ツール大手として知られるSplunkの買収を発表しました。 買収金額は280億ドル（1ドル145円換算で4兆600億円）。ブルームバーグの報道によると、これは同社の歴史上最大規模の買収とのこと。 シスコはネットワーク機器大手として知られていますが、現在ではサーバ分野でも存在感を示し、2017年にはモニタリングツールベンダのAppDynamicsを買収するなど、データセンターにおけるネットワーキングとサーバ、セキュリティ、そしてそれらを統合し運用管理するソフトウェアや基盤となるソフトウェアなどを提供するベンダとなっています。 参考：シスコ、AppDynamicsの買収を完了。アプリケーションやビジネスレイヤのモニタリングにも取り組みをはじめるシスコ Splunkは、サーバやネットワーク機器などあらゆるマシンやセンサー、ソフトウェアなどから生成されるログデータ
組織でのはてなブログ運営をGitHub上で行うためのテンプレートリポジトリ「HatenaBlog Workflows Boilerplate」を公開しました - はてなブログ開発ブログ
GitHub上ではてなブログ運営を可能にするテンプレートリポジトリ「HatenaBlog Workflows Boilerplate」をベータ版として公開しました。 このテンプレートをご利用いただくと、組織でのブログ運営に求められるワークフロー(下書きの作成、更新、内容のレビューや公開など)をGitHub上で行うことができます。組織利用向けに整備していますが、どなたでもご利用いただくことが可能です。 導入方法や詳しい利用方法については、上記のリポジトリのREADMEをご参照下さい。 特長など 下書きの作成時に、作成した下書きのみが含まれたプルリクエストを自動で作成します*1。コンフリクトを防ぎ、ワークフロー上の管理を容易にします GitHub Actions を利用して動作するためローカルでの環境構築が不要です。GitHub組み込みのVisual Studio Code (github.d
Java 21新機能まとめ - Qiita
Java 21が2023/9/19にリリースされました。 https://mail.openjdk.org/pipermail/jdk-dev/2023-September/008267.html The Arrival of Java 21! LTSであり、パターンマッチングや仮想スレッドが正式化され、プレビューとして入ったString Templatesや無名クラス&インスタンスメインメソッドも面白い機能なので、大切なリリースになっていると思います。 詳細はこちら JDK 21 Release Notes Java SE 21 Platform JSR 396 OpenJDK JDK 21 GA Release APIドキュメントはこちら Overview (Java SE 21 & JDK 21) 追加されたAPIまとめはこちら https://docs.oracle.com/en/
Organizing a Go module - The Go Programming Language
A common question developers new to Go have is “How do I organize my Go project?”, in terms of the layout of files and folders. The goal of this document is to provide some guidelines that will help answer this question. To make the most of this document, make sure you’re familiar with the basics of Go modules by reading the tutorial and managing module source. Go projects can include packages, co
パスキー｜ニンテンドーアカウント サポート｜Nintendo
「パスキー」とは、パスワードの代わりにアカウントの認証ができる仕組みです。 お手元のスマートフォンなどの機器にあらかじめ保存したお客様の認証情報を生体認証（指紋・顔）などで呼び出して、認証情報を基に生成したデータをニンテンドーアカウント側で照合することで認証します。 ※生体情報は機器上の認証時にのみ使用され、サーバーには送信されません。
プラットフォームエンジニアリングがわからない
先週、エーピーコミュケーションズによるプラットフォームエンジニアリングについての勉強会に参加したのだが、全然理解できなかった。理解した前提のレポート記事は無理なので、せめて解説のどこで詰まって、なにがわからなかったのかくらいは理解しておきたい。勉強会の模様を追いながら、自身の思考を追いかけていくことにする。 とにかくグローバルでは注目が集まっているらしい 勉強会を行なったエーピーコミュニケーションズ（以下、APC）はNeoSIerを標榜するエンジニア集団。2023年1月現在で社員は430名で、AWSやAzureの有資格者が各100名以上在籍している。DockerEnterpriseを買収したミランティスとJVを設立したり、最近話題になったネットワーク機器のカプセルトイ（関連記事：「手のひらネットワーク機器」のサンプル入手！ 企画元にも開発秘話を聞いた）を手がけたり、ユニークな取り組みを行な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonをデータ分析の実務で使用するノウハウ集『Pythonデータ分析 実践ハンドブック』が発売／データの読み込み・加工・可視化・評価といった作業やツールの使い方を学べる【Book Watch/ニュース】