Apache Bigtop とは何か 〜基本からコントリビューションまで〜 - セミナープログラム - オープンデベロッパーズカンファレンス(ODC)2023
Apache Bigtop とは何か 〜基本からコントリビューションまで〜 2023年8月26日(土) 15:00 〜 15:45 Hadoopの登場からはや十数年、Spark、Hive、HBaseを始めとしたHadoopエコシステムと呼ばれるさまざまなプロダクトが登場しました。これらのプロダクトは相互に組み合わせて利用することで、様々な用途に向けた基盤を構築可能ですが、複数のプロダクトを組み合わせて基盤を構築するのはそれだけでも一苦労です。 Apache Bigtopではこうしたプロダクト群を様々なOSでパッケージングして提供してしており、簡単にHadoop基盤を構築することが可能です。 本公演ではApache Bigtop の提供する基本機能をご説明しながら、登壇者自身がプロダクトにコントリビューションするに至るまでの流れをお話しします。
エンジニアを分類する、3つのタイプ｜山本 正喜 / Chatwork CEO
エンジニアのタイプは、技術が好きか、プロダクトが好きか、組織が好きかの3つに大きく分類できる。技術の人は技術の本質を追求しテックリード/アーキテクト、プロダクトの人は技術を手段と割り切りフルスタックエンジニア/PdM、組織の人は開発生産性を高めようとEM/PMOを目指すことが多い — 山本 正喜 / Chatwork CEO (@cwmasaki) February 9, 2022 思っていた以上の反響をいただいて、いろいろと「このケースはどうなんだろ」というコメントも多数いただくので、この分類にいたった背景や考察などを、しっかり記事にしてみようと思います。140文字だと伝えきれない・・！ エンジニアとしての志向性を技術・プロダクト・組織のどれが好きかで分類すると、目指すキャリアパスを考えやすいよねという話で、私がよくエンジニアの若手に話している内容をツイートしたものでした。 3つのタイプ
Tour of Go (Go言語基礎文法最速マスター)日本語版を更新しました - Qiita
Go Advent Calendar 2015 その3 2日目です。 今年は3つも並行してAdvent Calendarが走っていてすごいですね。 Go その1 Go その2 Go その3 その3も頑張っていきましょう！ Tour of Go 日本語版を更新しました さて、昨今翻訳についていろいろとありますが、それはさておきTour of Go 日本語版を更新しました。 主な更新内容は以下のとおりです: 翻訳を見直し、わかりにくい表現の日本語を修正 2014,2015年に行われた更新を取り込み。これに伴い、以下のページが増えています: Zero values Type conversions Type inference Defer Arrays Stringers Exercise: Stringers Readers Exercise: Readers はてブ等で途中のページをブックマ
手を動かさないマネージャーを試している - id:onk のはてなブログ
2 月から、Mackerel チームの所属になった。 今日から異動して Mackerel チームです。非正規ルートでの要望でもいい感じにやるので何でもください！— Takafumi ONAKA (@onk) February 1, 2023 これを期に、せっかくなのでコードを読まないマネジメントスタイルを試してみようと思って、実践している。 今までは自分が一番プロダクトのコードベースに詳しい状態を作ってきていて、障害対応でも嬉々として先頭に立つようなテックリードスタイルだった。 この姿が天職と思っているが、今までの人生で、コードの細かい話が通じない (というか、共通言語や会話のレイヤーが違う) けれども非常に信頼できるマネージャーと仕事をしてきた経験はあるので、自分も彼らのようなムーブが可能なんだろうかとやってみたくなったのだ。知識欲が減衰した老害化現象ではないと思う。きっと、たぶん。 も
Terraform で実現する効率的な GitHub 権限管理 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 今月でカミナシに入社してちょうど 1 年が経ちました。前職では 6 年間 SRE チームにいたのでプロダクト開発はブランクがありましたが、さまざまな挑戦をさせてもらっていたらあっという間に 1 年が経っていました。 カミナシのエンジニアリング組織もこの 1 年で急拡大しており、入社当初から比べると正社員のエンジニアも倍以上に増えました。 GitHub の権限管理、どうしていますか？ ところで、みなさんが所属されている組織ではどのように GitHub の権限管理を行なっていますか？ カミナシではつい先日まで、ほとんどのエンジニアが Organization の Owner 権限を持っていました。理由は、メンターになったエンジニアがニューカマーのユーザーを招待していたからです。 しかし、統制が取れていないことでいく
マイクロソフト、Webアプリテストの自動化サービス「Microsoft Playwright Testing」プレビューを開始
マイクロソフト、Webアプリテストの自動化サービス「Microsoft Playwright Testing」プレビューを開始 マイクロソフトは、Webアプリケーションのテスト自動化フレームワーク「Playwright」を用いた、Microsoft Azure上のテスト自動化サービス「Microsoft Playwright Testing」のプライベートプレビューを開始すると発表しました。 テスト自動化フレームワーク「Playwright」 Playwrightは、マイクロソフトが中心となって開発しているオープンソースのWebアプリケーション向けテスト自動化フレームワークです。 実行環境、対象ブラウザ、対応言語が幅広く、テスト実行時にはWebブラウザの動作を自動的に待つ機能を備えるなど、柔軟で精度の高いテスト自動化が実現できる点を特長としています。 具体的には、デスクトップ向けのWebア
「ドキュメントの書き方」を体系的に学んだことがないエンジニアへ 書籍『エンジニアのためのドキュメントライティング』の概要
インフラエンジニア向けの書籍を取り上げ、著者と出会い、楽しく本を知り、仲間を作る場所である「インフラエンジニアBooks」。ここで、『ユーザーの問題解決とプロダクトの成功を導く エンジニアのためのドキュメントライティング』の翻訳を担当した岩瀬氏が登壇。まずは、本書籍の概要について話します。 本セッションの対象者と、セッションのゴール 岩瀬義昌氏：ご紹介いただきました、岩瀬と申します。よろしくお願いします。『ユーザーの問題解決とプロダクトの成功を導く エンジニアのためのドキュメントライティング』は、もともと『Docs for Developers: An Engineer’s Field Guide to Technical Writing』という洋書だったんですが、その翻訳をして、今回この機会をいただいています。 余談ですが、APC（株式会社エーピーコミュニケーションズ）さんが「カプセルト
2回受験して得たAWS認定ソリューションアーキテクト(SAA)の教訓 | DevelopersIO
こんにちは、データアナリティクス事業本部の下地です。 1月にclassmethodにジョインしてから気づいたら1ヶ月過ぎました。 チームメンバーのサポートもあり業務にも慣れてきて楽しく仕事が出来てるな〜と実感しております。 今回は、SAAを取得したので感想と勉強した内容についてまとめたいと思います。 本記事の内容は以下の構成になっております。 試験振り返り SAAに必要なBlack Beltまとめ 理解不足だった内容 まとめ 試験の振り返り 2回受けた試験結果と勉強方法の比較についてそれぞれまとめます。 試験結果 試験結果を表にまとめます。 合格ラインは720でしたので2回目で(ギリギリですが)合格しました。 不合格だった1回目の反省として「SAAの資格取得のみ」が目的になってしまい、勉強の途中からサービスの理解ではなく単語の暗記になってしまったと思います。もちろん単語を覚えて解答出来る問
50過ぎのオッサンが、5ヶ月間勉強しまくってAWS CLF,SAA,SAPに合格するまでの日記 - Qiita
はじめに 最近、仕事でAWSに関わることになり(と書いているがバリバリのエンジニアではない)、一応、AWSの認定資格くらいは持っておこうと考え、最終的には、5ヶ月間で、クラウドプラクティショナー(CLF)、ソリューションアーキテクト-アソシエイト(SAA)、および、ソリューションアーキテクト - プロフェッショナル(SAP)と、ソリューションアーキテクト系のAWS試験をコンプリート(すべて合格)した。エンジニアではないので、認定試験に合格することのみを目的とした。少ない時間で合格したという体験記が多いが、これは全く逆で、めっちゃたくさん試験向けの勉強をして合格したという体験記である。ちなみに私は、勉強や試験はそんなに嫌いではない。またロールプレイングゲームをやるときに村や町で武器・防具とも最高のものをそろえてから次の町に行く性格である。このようなやり方をするとラスボスもそんなに苦労せずに倒
AWS SAA/SAP資格 予想問題集 Web版 | 日本語完全無料
[ホーム] - [AWS 資格練習問題一覧] Amazon AWS 資格取得のための演習問題集(完全無料、オリジナル) AWS資格である SAA と SAP に関して合格しました。 オンプレミスからクラウドの流れは急速です。この資格は絶対に取得しておくべきです。 有名なゲームやサービス業のシステムなどでも AWS がよく採用されています。金融業、その他でも幅広く採用が始まっています。 このページでは資格取得を目指すかたへのオリジナルで完全無料な練習問題を提供しています。 内容に誤りがある可能性があります。またAWSサービスの更新、改良により内容が古くなる可能性があります。あくまでも参考程度、自己責任でお読みください。この内容により発生した損失、損害などは誰も保証しません。 【問題 247】【SAA】自己所有 , パブリックイメージ , プライベートイメージの違い 【問題 246】【SAA】
応用情報技術者試験に最短で合格する勉強法 - Qiita
ありふれた勉強法をご紹介します。 割と短期間で応用情報技術者試験に合格したので、最短合格ルートをご紹介しようと思います。 試験の構成 午前試験は150分で4択を計80問解きます。 体感7割くらいの人が途中退出します。 午後試験も150分で記述問題です。 大問1問30分で5問解きます。 割と長いです。精神的にきついです。 1問目は必須問題 情報セキュリティ(必須) 以下10問中4問選択 経営戦略 プログラミング システムアーキテクチャ ネットワーク データベース 組込みシステム開発 情報システム開発 プロジェクトマネジメント サービスマネジメント システム監査 午前と午後で両方とも6割以上で合格となります。 午前試験の勉強法 午前対策の勉強時間はずばり 80時間 です。 午前試験の対策は基本的に本では勉強せずに、過去問道場をひたすらやります。 過去問道場はスキマ時間に活用しやすく、分厚い本も
文章生成AI利活用に関するガイドライン.pdf
文章生成AI 利活用 ガイドライン Version 2.0 令和6年（2024年）4月 東京都デジタルサービス局 2 はじめに このガイドラインは、東京都で初めてとなる文章生成AI の利活用ガイドラインです。 ChatGPTをはじめとする文章生成AIは、都職員の業務 のあり方を大きく変革する可能性を秘めている一方、 様々なリスクも指摘されています。このため、業務での 活用にあたり期待する効果を得るためには、その特性を よく理解し、正しく利用することが重要です。 東京都では、デジタルサービス局に検討プロジェクト チームを設置して、文章生成AIの利活用について議論を 重ね、令和5年８月、検討の成果をガイドライン （Version 1.0）としてまとめ、文章生成AIの全庁利用 を開始しました。 その後、10月に利用状況についてアンケートを行った ところ、活用事例やプロンプト例を求める声が多かった
Google Colab で LINE の japanese-large-lm を試す｜npaka
「Google Colab」でLINEの「japanese-large-lm」を試したので、まとめました。 1. japanese-large-lm「japanese-large-lm」は、「LINE」が開発した36億パラメータの日本語LLMです。 2. japanese-large-lmのモデル「japanese-large-lm」では、次の3種類のモデルが提供されています。 ・line-corporation/japanese-large-lm-3.6b : ベースモデル ・line-corporation/japanese-large-lm-3.6b-instruction-sft : 指示モデル ・line-corporation/japanese-large-lm-1.7b : ベースモデル 3. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) Colabの
LINEの3.6B言語モデルで遊んだら爆笑した｜shi3z
LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i
IT業界でストレスなく働くには - Qiita
はじめに ITエンジニアのみなさんこんにちは。 今日はIT業界でストレスなく働くということについて考えます。 GPT先生にお題を頂いてそれぞれコメントしていきます。 状況への適応の困難さ IT業界で最も多く発生しているのはこの要因かと思います。 ITエンジニアはSESなどで時間いくらで切り売りしている時給労働者ですが、簡単にはできない技術を提供することで高い単価を頂く仕事になっています。 学生さんから社会人になった人には分かりにくいですが、一定の期間内に一定の成果を出すといった点がコンビニのバイトとは大きく異なります。 現実の状況や要求が個人の能力や資源を超えている場合、適応することが難しくなります。このような状況では、ストレスが生じやすくなります。 誰にでも簡単にはできない技術 はマニュアル化されておらず、自分で状況を判断して適切な結果を出していく仕事となりますが、それができないとすると
オブザーバビリティにはお金がかかる - 株式会社ヘンリー エンジニアブログ
tl;dr オブザーバビリティにはあなたの直感よりもお金がかかるかもしれない。でもそれはアジリティを上げるために必要なコストである。同時にオブザーバビリティ関連ベンダーには、それらをリーズナブルに提供してもらうことを期待します。 オブザーバビリティ・エンジニアリング輪読会 8月からVPoEになりました。id:Songmuです。 社内の勉強会で輪読形式でオブザーバービリティ・エンジニアリングを読んでいます。毎週30分、参加者の中から発表者を割り当て、1~2章を読み進めるスタイルです。 ちなみに、ヘンリーではActive Book Dialogue(ADB)というフォーマットも取り入れて輪読会が運営されています。社内で同時並行で数本走っており、先日、CEOの逆瀬川が書いたソフトウェア見積もりに関する輪読会も同様の形式で実施しています。 発表者は、事前に社内のNotionにその章のアウトラインや
LINE が公開した日本語言語モデルをM2 Macbook Airで動かす
これはなに？ LINE が公開した日本語言語モデルをローカルで動かしたいけど、GPUがなくて動かなくて悲しかったのです。でも、huggingface に良い変換モデルを公開されてる方がいらして、それを試したら、いい感じで動きました。というご報告です。やったね！ 結論: 動かす手順 homebrew で cmake をインストール mmngaさんが公開されている ggml 変換版の readme に従ってターミナルで以下を実行 git clone https://github.com/ggerganov/ggml.git cd ggml mkdir build && cd build cmake .. make -j mmngaさんが公開されているggml 変換版のモデルをダウンロード 保存先は 2. で mkdir した build ディレクトリに。 以下のコマンドで推論を実行 ./bin
ソルト付きハッシュのソルトはどこに保存するのが一般的か - Qiita
pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた（中略）パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。（それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。） 不正アクセスによるpictBLand、pictSQUAREの情報流出の可能性についてまとめてみた - piyolog より引用 これに関連してMD5ハッシュやソルトに関するツイート(post)を観察したところ、どうもソルトの理解が間違っている方が多いような気がしました。
知られざる王小雲。米国の暗号学的ハッシュ関数MD5、SHA-1を過去に葬り去った女性研究者 - 中華IT最新事情
第4回未来科学大賞で多額の賞金が、数学者、王小雲に授与され、彼女の名前がにわかにメディアに注目をされた。王小雲は2004年に米国のハッシュ関数「MD5」の脆弱性を発見した研究者だったと資訊咖が報じた。 ネット社会に必須のハッシュ関数 デジタル時代、ハッシュ関数はさまざまなところで使われる。最もよく知られているのは、パスワードの保管や書類の改竄検知などだ。 ハッシュとは「混ぜこぜ」という意味で、元のデータを混ぜこぜにして、まったく別のデータに変換をしてしまうというものだ。例えば、「元の数値を2倍にして1を引く」という単純なアルゴリズムでもハッシュ関数に近いことができる。2であれば3になるし、7であれば13になる。元の数字とは異なったものになる。 しかし、これでは何かの役に立つことはできないため、暗号学者、数学者たちは、複雑なアルゴリズムを考案し、ハッシュ関数としてさまざまな応用をしてきた。こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「NAT」「NAT越え」「NATタイプ」ってなーに？
