並び順

ブックマーク数

期間指定

  • から
  • まで

481 - 520 件 / 15153件

新着順 人気順

*オープンソースの検索結果481 - 520 件 / 15153件

  • 2023年下半期に他人に勧めたいWeb技術まとめ

    はじめに Web技術は日進月歩で新しい技術が増えているが、実務でそれらすべてを触る機会はない。そこで、今回の記事では2023年下半期に赤の他人に勧めたいWeb技術を個人の独断と偏見で解説する。 対象者 これから何をすればいいのかわからないプログラマー 新しい技術に興味があるひと スキルセットを拡大したいひと タイトルでなんとなく気になったひと フレームワーク FastAPI FastAPIはPythonでAPIを開発するために開発された軽量のWebフレームワークだ。FastAPIでは、主に以下の特徴がある。 Node.jsやGo言語に匹敵する高速なアプリケーションを開発できる 構造が簡単(Flaskの影響を受けている) Pythonに型定義を含められる 環境構築がコマンド一つで終了する 非同期処理を簡単に実装できる Pythonで開発されているので、機械学習との相性が抜群 RESTとGra

      2023年下半期に他人に勧めたいWeb技術まとめ
    • 世界一わかりやすい機械学習プログラミングチュートリアル - Qiita

      はじめに この記事はNuco Advent Calendar 2022の5日目の記事です 対象読者 Pythonが注目されている理由のひとつは機械学習プロジェクトの主要な開発言語であるからといってもよいでしょう。多くの企業の業務システムのAIの開発言語はPythonです。そんなPythonの学習を始めてある程度文法の理解が進んできて、機械学習に触れてみたい方を対象にしています。 Pythonの基本文法を理解している 機械学習を始めてみたい チュートリアル概要 Pythonは長年機械学習で使用されているので、ライブラリも豊富にあります。本記事では機械学習用ライブラリのscikit-learn(サイキット・ラーン)を使用して教師あり学習を行い住宅価格を予測してみます。 何ができるようになるか 機械学習で使われる基本的な用語を理解し、学習の全体像をつかめるようになります。 機械学習の目的 機械学

        世界一わかりやすい機械学習プログラミングチュートリアル - Qiita
      • yoku0825さんがMySQLスペシャリストになるまでにやってきた勉強法を、私たちにすべて教えてください! - Findy Engineer Lab

        「日本国内でもトップレベルのスキルを持ったMySQLエキスパートは誰か?」 そう問われたときに、多くのエンジニアが名前を挙げる人物がいます。LINE株式会社のITサービスセンター データベース室 MySQL1チームでDBA(Database Administrator)として働くyoku0825さん*(@yoku0825)です。 日本人として3人目のMySQL分野のOracle ACEであり、2015年には「default_password_lifetime」の功績でMySQL 5.7 Community Contributor Awardに選出されたyoku0825さん。彼はひたむきに自己研鑽を続けるだけではなく、ブログ「日々の覚書」や技術イベントへの登壇などを通してMySQL関連の情報発信を行ってきました。 今回はそんなyoku0825さんに「これまでどのようなトレーニングをして、DB

          yoku0825さんがMySQLスペシャリストになるまでにやってきた勉強法を、私たちにすべて教えてください! - Findy Engineer Lab
        • なんでもメモして個人的な知識を蓄える「Obsidian」のキャンバスデータ保存形式「JSON Canvas」がオープンソース化、中身はこんな感じ

          Markdown形式でメモを作成できるサービスのObsidianが使用しているObsidian Canvasファイル形式を「JSON Canvas」ファイル形式としてオープンソース化することを発表しました。 JSON Canvas — An open file format for infinite canvas data. https://jsoncanvas.org/ Announcing JSON Canvas: an open file format for infinite canvas data - Obsidian https://obsidian.md/blog/json-canvas/ 仕様についてはjsoncanvas.orgに記載されています。サイトにアクセスするとこんな感じ。右下の「Toggle output」をクリックしてみます。 右側にJSON Canvas形式

            なんでもメモして個人的な知識を蓄える「Obsidian」のキャンバスデータ保存形式「JSON Canvas」がオープンソース化、中身はこんな感じ
          • Goへのヘイトに対する考え方

            https://www.kbaba1001.com/entry/2021/09/17/073149 (該当記事が削除されました) RubyのサービスをGoで置き換えるのは3倍人手がかかる 何するにも機能不足 JSONの読み書きにわざわざ構造体書くの面倒 同僚がGoを選ぼうとしたら愚かな選択ですねと答える サーバーサイド開発にGoを使うのは危険 っぽい内容だったかと。 だいぶGoの特徴や既存の言語との考え方の違いが広まってきてるのかなぁと思っていた矢先だったので十年くらい前のような指摘をあえて今されていてびっくりした。 正直、ここに書かれたようなヘイト項目は既出すぎるので、もし影響の大きい項目を多くの人が同様に嫌っているならばGoはここまでの人気のある処理系になることはなかったと思う。(もしくは多くの人が嫌ってはいるが影響の小さい項目ということ) Goは出た当初、こういうヘイトが世界中のブロ

              Goへのヘイトに対する考え方
            • Red HatがクローンOSベンダを非難、「付加価値もなくコードをリビルドするだけなら、それはオープンソースに対する脅威だ」と

              Red HatがクローンOSベンダを非難、「付加価値もなくコードをリビルドするだけなら、それはオープンソースに対する脅威だ」と Red Hatは、Red Hat Enterprise Linux(以下RHEL)のクローンOSを提供しているベンダを「オープンソースに対する脅威だ」と非難する内容を、6月26日付けのブログ「Red Hat’s commitment to open source: A response to the git.centos.org changes」(Red Hatのオープンソースへのコミット:git.centos.orgの変更に対する返答)で明らかにしました。下記はその部分の引用です。 Simply rebuilding code, without adding value or changing it in any way, represents a real t

                Red HatがクローンOSベンダを非難、「付加価値もなくコードをリビルドするだけなら、それはオープンソースに対する脅威だ」と
              • AMPを「高速化技術」「一瞬で表示する技術」というのはもうやめよう。|榊原昌彦

                AMP(Accelerated Mobile Pages)がオープンソースとして立ち上げられてから数年が経ちました。食べログなどの大手Webサービスが対応し、また簡単にAMP対応できるWordPressプラグインが出たことで、今では一般に浸透してきた感じを持っています。 ただ「表示高速化技術」「一瞬で表示する技術」というのは正しくないのでやめませんか? AMPはWeb Componentsフレームワークまず誤解されがちなのですが、AMPは新たな技術ではなく、Web標準の「Web Components」というAPIを用いて実装されています。AMPのGitHubページにもしっかりと「The AMP web component framework.」(AMPというWeb Componentsを用いたフレームワーク」と掲載されています。 Web Componentsは、再利用可能でカプセル化された

                  AMPを「高速化技術」「一瞬で表示する技術」というのはもうやめよう。|榊原昌彦
                • 非エンジニアでもわかるC#(シーシャープ)。C#やXamarin(ザマリン)についても語ってもらいました。 #さくマガ #さくらインターネット - さくマガ

                  千代田 まどか(ちよだ まどか)さん。 通称「ちょまど」さん。IT エンジニア兼漫画家として活動中。2017年に行われたデベロッパーズサミットでベストスピーカー賞 総合1位受賞。Twitter(@chomado)Instagram(chomado)ホームページ(千代田まどかのブログ『ちょまど帳』) *ちょまどさんの発言は個人の見解であり所属する組織の公式見解ではありません。 ≫ 【2週間無料!】初心者でもホームページが作れる!高速・安定・快適なレンタルサーバー 以前にもインタビューを受けてくれたちょまどさんにプログラミング言語の「C#(シーシャープ)」についてお聞きしました。C# が好きすぎて転職先を決めたというエピソードもあるちょまどさんに、非エンジニアでも分かるように C# について語っていただきました。 C# は大体なんでもできるプログラミング言語 ーー早速ですが、非エンジニアからす

                    非エンジニアでもわかるC#(シーシャープ)。C#やXamarin(ザマリン)についても語ってもらいました。 #さくマガ #さくらインターネット - さくマガ
                  • なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決する

                    なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人!? SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える(やらなければいけない)のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル

                      なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決する
                    • けしからん日本に足りないのは“船を作ろうとしないこと” 登大遊氏が語る「シン・テレワークシステム」のオープンソース化とデジタル敗戦解消のためにとるべき道筋

                      オープンソース化を目指している「シン・テレワークシステム」 ーーここからは、登さんが作られた「シン・テレワークシステム」についておうかがいしたいと思います。このシステムは、現在約18万人の方が利用されていますが、今現在はどのようなことを行っているのでしょうか? 登大遊氏(以下、登):「シン・テレワークシステム」はIPAとNTT東日本で作ったソフトウェアで、確かに十数万人が使っていますが、まだ実験フェーズでして。今後は本格化を目指していて、そのために、同じシステムのものを日本国内のどんな事業者、ITエンジニア、とにかく誰でも同じものを自分で構築して運営できるようにしようと思って改良しています。 つまり、オープンソース化です。技術の秘密の部分はなくして、全日本人の方々に、無料で全部共有・公開して、使用制限も設けず、誰でも自分の会社の専用シン・テレワークシステムや、お客さんのために、自社ブランド

                        けしからん日本に足りないのは“船を作ろうとしないこと” 登大遊氏が語る「シン・テレワークシステム」のオープンソース化とデジタル敗戦解消のためにとるべき道筋
                      • 静的サイトジェネレータ「Astro 3.0」正式リリース。JavaScriptなしでSPAのようなアニメーションの画面遷移など新機能

                        静的サイトジェネレータ「Astro 3.0」正式リリース。JavaScriptなしでSPAのようなアニメーションの画面遷移など新機能 オープンソースで開発されている静的サイトジェネレータ「Astro」の最新バージョンとなる「Astro 3.0」が正式にリリースされました。 Astro 3.0 is out now! 30% faster and more powerful than ever. View Transitions, Image Optimization, JSX Fast Refresh, and so much more. https://t.co/vOi44246Hg — Astro (@astrodotbuild) August 30, 2023 Astroは、ReactやVue、Svelte、Alpine.js、TypeScriptなどのさまざまなフレームワークやライ

                          静的サイトジェネレータ「Astro 3.0」正式リリース。JavaScriptなしでSPAのようなアニメーションの画面遷移など新機能
                        • ゲームエンジンUnityの「新料金システム」に人気ゲーム開発者達が激怒。『Among Us』『Cult of the Lamb』が脱Unityを検討、軋む信頼の牙城 - AUTOMATON

                          Unity Technologiesは9月12日、ゲーム開発プラットフォーム「Unity」について、各提供プランの利用料金に加えて、ゲームのインストール数を基準とする「Unity Runtime Fee」を2024年1月1日から導入すると発表。これを受けて、Unityを利用するゲーム開発者からは困惑や不満の声が上がっている。 Unity Runtime Feeは、利用者が開発したゲームがエンドユーザーによってダウンロード・インストールされた回数を基準として適用。ゲームの過去12か月の収益が最小しきい値を超えており、かつ累計インストール数が最小しきい値を超えている場合、さらにインストールされるたびに規定の料金の支払いが求められる。Unity TechnologiesはUnity Runtime Feeの導入について、Unityの利用料金の値上げであると認めつつ、実際に支払いが発生する利用者は

                            ゲームエンジンUnityの「新料金システム」に人気ゲーム開発者達が激怒。『Among Us』『Cult of the Lamb』が脱Unityを検討、軋む信頼の牙城 - AUTOMATON
                          • OpenAIの共同設立者が「私たちは間違っていた」と語る、AIの危険性からデータをオープンにしない方針へと大転換

                            言語モデルのChatGPTや画像生成AIのDALL·Eを手がけるAI研究所のOpenAIは、AI技術の悪用を防ぎ社会に友好的な形で発展させることを目的に、サム・アルトマン氏やイーロン・マスク氏らが2015年に発足させた非営利組織です。そんなOpenAIの創始メンバーに名を連ねるイルヤ・サツキヴァー氏が、AIをオープンにするという設立当初の理念は誤りだったと、IT系ニュースサイト・The Vergeのインタビューの中で語りました。 OpenAI co-founder on company’s past approach to openly sharing research: ‘We were wrong’ - The Verge https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-il

                              OpenAIの共同設立者が「私たちは間違っていた」と語る、AIの危険性からデータをオープンにしない方針へと大転換
                            • Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks

                              PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks(本社:東京都千代田区、代表取締役社長:西川徹、プリファードネットワークス、以下、PFN)は、研究開発の基盤技術である深層学習フレームワークを、自社開発のChainer™から、PyTorchに順次移行します。同時に、PyTorchを開発する米FacebookおよびPyTorchの開発者コミュニティと連携し、PyTorchの開発に参加します。なお、Chainerは、本日公開されたメジャーバージョンアップとなる最新版v7をもってメンテナンスフェーズに移行します。Chainerユーザー向けには、PyTorchへの移行を支援するドキュメントおよびライブラリを提供します。 PFN 代表取締役社長 西川徹は、今回の

                                Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks
                              • 「.NET Core 3.0」正式版が登場。Windowsデスクトップアプリ開発可能、exeファイルを生成、マイクロサービス対応など

                                マイクロソフトはオープンソースで開発している.NETフレームワークの最新版「.NET Core 3.0」正式版のリリースを、オンラインイベント「.NET Conf 2019」で発表しました。 マイクロソフトが提供するおもなフレームワークには、Windows向けの「.NET Framework」、当初はおもにサーバアプリケーション向けとして登場したオープンソースの「.NET Core」、そしてモバイル向けの「Xamarin」の3つに大別できます。 今回リリースされた「.NET Core 3.0」では、これまで可能だったLinuxやWindows Serverのサーバーアプリケーションの開発に加えて、Windowsデスクトップアプリケーションの開発が可能になったことが最大の特徴です。 以下、.NET Conf 2019で紹介された.NET Core 3.0の特徴を中心に紹介しましょう。 .NE

                                  「.NET Core 3.0」正式版が登場。Windowsデスクトップアプリ開発可能、exeファイルを生成、マイクロサービス対応など
                                • Flashエミュレーター誕生のきっかけは別に「フラッシュ愛」じゃなかった 「swf2js」開発者の本音と数奇な運命【フォーカス】

                                  株式会社ソニックムーブ エンジニアグループ ソリューションユニット マネージャー 家永 稔之 2011年にソニックムーブに入社。個人ではJavaScriptとTypeScriptを用いて、「swf2js」や「Next2D」の開発を手がける。業務のリモート化をきっかけに地元の消防団に所属し、防災活動として月に数回、消防車両に乗って地域の巡回を行う。 X GitHub Animation Tool かつてインタラクティブなWebコンテンツを支えた「Adobe Flash」。「Adobe Flash Player」は2020年12月末でサポートを終了し、ほとんどのコンテンツはすでに姿を消しました。そんなFlashコンテンツ(SWF)を最新のHTML環境で再生可能にする、オープンソースのJavaScriptライブラリが「swf2js」です。ソフトウェアエンジニアの家永稔之さんが開発し、2015年に

                                    Flashエミュレーター誕生のきっかけは別に「フラッシュ愛」じゃなかった 「swf2js」開発者の本音と数奇な運命【フォーカス】
                                  • jsライブラリ選定はopenbaseが超絶便利 - Qiita

                                    openbaseとは https://openbase.io Find and compare open-source packages with user reviews, categorization, and unparalleled insights about packages' popularity, reliability, activity, and more. 手を抜いてdeeplでw ユーザーレビュー、カテゴリ分け、パッケージの人気、信頼性、アクティビティなどについての他の追随を許さない洞察力で、オープンソースパッケージを見つけて比較してください。 現在、多くのプログラミング言語はパッケージマネージャがあって、何らかの方法でパッケージについての情報を取得することができると思います。 パッケージの選び方 自分の場合はjs系が殆どなので、ライブラリを選ぶ方法は以下のような感

                                      jsライブラリ選定はopenbaseが超絶便利 - Qiita
                                    • さよならVMware。本日(10月30日)Broadcomによる買収完了で、企業としての存在に幕。VMwareブランドは引き続き残る

                                      さよならVMware。本日(10月30日)Broadcomによる買収完了で、企業としての存在に幕。VMwareブランドは引き続き残る Broadcomは10月18日付けのプレスリリースで、10月30日にVMwareの買収を完了する予定だと発表しています。 買収完了には主要各国の規制当局による認可が求められますが、現時点で中国を除く主要各国の認可が得られています。そのため、おそらく買収は予定通りに完了し、企業としてのVMwareは25年の歴史に幕を下ろすことになると見られます。 2023年10月31日追記:現地時間の10月30日付けで最新の状況が発表されました。買収が現地時間30日中に完了するかどうかは明記されていませんが、いずれにせよ間もなく買収が完了する見通しとのこと。 Broadcom and VMware Provide Update on Pending Transaction -

                                        さよならVMware。本日(10月30日)Broadcomによる買収完了で、企業としての存在に幕。VMwareブランドは引き続き残る
                                      • Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 | Amazon Web Services

                                        Amazon Web Services ブログ Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 先週、Elastic 社が Elasticsearch および Kibana のライセンス変更に関するアナウンスを実施しました。これによりバージョン 7.11 以降の Elasticsearch と Kibana は、Apache License, Version 2.0 (ALv2) での提供が行われません。これを受けて AWS は、2021/1/21 (PST) に対応方針を発表いたしました。本発表の要点は以下のとおりです。 AWS は Elasticsearch と Kibana のバージョン 7.10 をベースに fork した Elasticsearch と Kibana を ALv2 ライセンスにて公

                                          Elastic 社による Elasticsearch および Kibana のライセンス変更にともなう AWS の対応方針のご案内 | Amazon Web Services
                                        • 「乳がんや脳腫瘍を検出するAI」を公開した人物は本職ではなくアマチュアのプログラマー、高性能グラボを自腹で数十枚購入

                                          2018年、「coolwulf」と名乗るプログラマーが、アップロードされたX線画像から約90%の精度で乳がんを検出するウェブサイトを無料で公開しました。中国のオンライン開発者フォーラム「V2EX」では開発者に対してさまざまな質問が寄せられましたが、coolwulfは個人的な質問には答えないまま沈黙を続けました。そして2022年、coolwulfはAIで脳腫瘍の正確な位置を検出する「NeuralRad」というプラットフォームを公開。再び表舞台に姿を見せたcoolwulfに対し、中国のニュースサイト・今日頭条がインタビューしています。 这名“业余”程序员,曾用50张1080Ti对抗癌症-今日头条 https://www.toutiao.com/article/7094940100450107935/?wid=1653278073761 This "amateur" programmer fou

                                            「乳がんや脳腫瘍を検出するAI」を公開した人物は本職ではなくアマチュアのプログラマー、高性能グラボを自腹で数十枚購入
                                          • オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に

                                            AI企業のCerebrasが、オープンソースでパラメータ数1億1100万~130億の大規模言語モデル「Cerebras-GPT」7種類を公開しました。Cerebras-GPTは、OpenAIのGPT-3をベースに、DeepMindが2022年3月にリリースしたChinchilla方式で学習したモデルで、これまでに公開されているどのモデルよりも学習時間が短く、学習コストが低く、消費電力が少ないのが特徴とのことです。 Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models - Cerebras https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/ cerebr

                                              オープンソースでGPTベースの大規模言語モデル「Cerebras-GPT」7種類が一気に誰でもダウンロード可能に
                                            • 対話型AIに気候変動を止めるために自分を犠牲にするよう言われた男性が自殺、生前最後にAIと交わした生々しい会話も報じられる

                                              ベルギーに住む2児の父親が、対話型AIと気候変動に関する会話をした結果、地球の未来に悲観して自ら命を絶ってしまう事件が発生しました。 "Sans ces conversations avec le chatbot Eliza, mon mari serait toujours là" - La Libre https://www.lalibre.be/belgique/societe/2023/03/28/sans-ces-conversations-avec-le-chatbot-eliza-mon-mari-serait-toujours-la-LVSLWPC5WRDX7J2RCHNWPDST24/ 'He Would Still Be Here': Man Dies by Suicide After Talking with AI Chatbot, Widow Says https:

                                                対話型AIに気候変動を止めるために自分を犠牲にするよう言われた男性が自殺、生前最後にAIと交わした生々しい会話も報じられる
                                              • 歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ- - NRIネットコムBlog

                                                小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「~ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載

                                                  歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ- - NRIネットコムBlog
                                                • アメリカでソフトウェアエンジニアになりたい皆さんへ - 怠惰を求めて勤勉に行き着く

                                                  この文書の目的 昨年の秋ぐらいから1on1という形で社内外の人とたくさんお話させていただく機会を得ました。その折に「米国でソフトウェアエンジニアになるにはどうすれば良いですか?」という質問をたくさんいただきました。それに関する自分の見解をまとめておこうと思ったのがきっかけです。昼休みに30分で書き終えることを目標にしているので出来るだけ簡潔になることを目指します。 免責 これはどうしても書いて置かなければならないですが、「米国でソフトウェアエンジニアになる唯一の方法」などというものはありません。ガイドラインくらいは作れるでしょうが、それにしたって時代や政権とともに刻々と変わります。正確なところは必ず移民弁護士に確認してください。この文章を最後まで読んでオファーを取られた方はそうする権利を有しているはずです。 筆者 米国でソフトウェアエンジニアをしています。正式なタイトルはSoftware

                                                    アメリカでソフトウェアエンジニアになりたい皆さんへ - 怠惰を求めて勤勉に行き着く
                                                  • Microsoft、「MS-DOS 4.0」をオープンソース化

                                                      Microsoft、「MS-DOS 4.0」をオープンソース化
                                                    • 新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

                                                      最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験!」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか? データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを

                                                        新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
                                                      • Google、マイクロソフトらが設立、「Open Web Docs」を発表。MDNなど支援、Web技術のドキュメント化を推進

                                                        オープンソースやテクノロジーを中心としたコミュニティの維持や発展を支援する組織「Open Collective」は、Web技術のドキュメント化を長期的に支援する取り組みとして「Open Web Docs」を発表しました。 Open Web Docsはおもに既存のコミュニティによるドキュメント、特にMozillaのMDNをまずは優先的に支援するとしています。 We’re happy and proud to announce Open Web Docs, to support a community of technical writers around creation and long-term maintenance of web platform technology documentation that is open and inclusive for all.https://t

                                                          Google、マイクロソフトらが設立、「Open Web Docs」を発表。MDNなど支援、Web技術のドキュメント化を推進
                                                        • ベストなパスワードマネージャーはこれ!数十種類から厳選してみた

                                                          ベストなパスワードマネージャーはこれ!数十種類から厳選してみた2020.11.25 21:0063,872 Andrew Cunningham, Thorin Klosowski -WIrecutter [原文] ( satomi ) Tags : プロダクトバイヤーズガイドWirecutterソフトウェアレビュー ネットで個人情報が盗まれたら大変! 保護の基本は2段階認証とパスワード管理ソフトというわけで、今回はガジェット徹底比較でおすすめをバシッと言い切る信頼の米国メディア「Wirecutter(from The New York Times)」 が数十種類を審査、4つをテストして、機能と互換性、堅牢性、使いやすさの観点から選んだベストを紹介します。 イチ押し:1Password1Passwordアプリは使いやすさ抜群。読みやすい文章でセキュリティのおすすめが表示され、使う人の身に立っ

                                                            ベストなパスワードマネージャーはこれ!数十種類から厳選してみた
                                                          • AIで動画&音楽生成はここまで来た!|shi3z

                                                            AI動画生成が結構いいところまできた。 Runway-MLのGen2も素晴らしいのだが、オープンソースのZeroscope-v2-xlがすごい 音楽もmusicgenで大体作れる これまで音楽生成には否定的だったが、ここまで作れるなら、DJ機材用のループ素材として十分使える気がする。というか30秒も作れるのでループでは勿体無いというか。「久石譲っぽく」とか「ジョン・ウィリアムズ風」とかでそれっぽいものが出てくる。

                                                              AIで動画&音楽生成はここまで来た!|shi3z
                                                            • 「メンタルが破綻」 コロナ接触確認アプリ不具合の裏に安倍政権の”無理な発注” | 文春オンライン

                                                              安倍政権がコロナ対策の長期化に向けて投入したスマートフォン向け接触確認アプリ「COCOA」を巡り、開発者側に過剰な負担を強いていたことが「週刊文春」の取材で分かった。 そもそも、COCOAとはいったいどういうアプリなのか。 「アプリを入れたスマホ同士が近づくと、暗号化された符号が交換される。アプリには過去14日間の行動が記録されており、陽性者と濃厚接触していれば通知が届き、医療機関の受診を促す仕組みです。安倍晋三首相が会見で、このアプリを『クラスター対策の鍵』『人口の6割近くに普及すれば大きな効果があるという研究がある』と紹介しました。6月19日に厚労省が試行版を公開しましたが、直後に不具合が発覚したため、本格運用は7月3日からとなりました」(厚労省担当記者) 「COCOA」を入れるとこんな表示が プログラムを開発したのは民間企業で働くエンジニア・A氏だ。ボランティアで開発を進め、途中から

                                                                「メンタルが破綻」 コロナ接触確認アプリ不具合の裏に安倍政権の”無理な発注” | 文春オンライン
                                                              • 中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題 新しいデモページ公開

                                                                中国Baiduは8月30日(現地時間)、画像AI「ERNIE-ViLG」を試せるデモページをオープンソースコミュニティー「Hugging Face」上で公開した。日本のTwitterユーザー間では「二次元キャラの生成に強い」などと話題を集めている。一方、先日国産の類似サービス「mimic」がβ版の機能停止を発表していたことから、中国にビジネス的なアドバンテージを取られるのではと懸念する声も見られる。 デモページでは、画像のイメージを言葉で入力し、画風を指定することで、イラストを1回につき6通り生成できる。画風は「水彩」「油彩」「アニメ風」など7種類。Baiduは中国語での利用を推奨しているが、英語も入力できる。 ERNIE-ViLGは、Baiduが手掛ける大規模データ「Wenxin」を基に、同社が開発しているAI群の一つ。中国語のテキストと画像の組み合わせを約1億4500万件学習していると

                                                                  中国産の画像AI「ERNIE-ViLG」が“二次元キャラ”に強いと話題 新しいデモページ公開
                                                                • yamlについて思うこと

                                                                  yaml、どうしてこんなに使われているのだろうか。kubernetesにも責任があるというのはありそうな話だけど、色々考えてみるとそこまで簡単な話でもなさそうな気がする。例えばtravis-CIの設定ファイルがyamlであったりというように、この分野ではyamlは割と広く使われていたんじゃないかという気がする。思い起こせばGoogle AppEngineもapp.yamlに設定を書いていたし、設定にyamlというのは割とよくあることであった、のではないかなあ。 しかしなぜyamlなんだろうか。yamlのフォーマットには問題がたくさんあることが知られているし、自分も全く好きではない。 例えばyamlの問題の一つとして、キーに任意のデータ構造を持ってこれるという話があり、これが一部のプログラミング言語で問題を厄介にしている。またエイリアスがあってデータ構造がツリーにならない(複数の経路から同じ

                                                                    yamlについて思うこと
                                                                  • めくるめくLinuxカーネルじゃないLinux実装の世界 - Qiita

                                                                    EDIT^7: blink と box86、FEX。 EDIT^6: Unikraft 。 EDIT^5: Tilck 。 EDIT^4: コメント。gVisor はすっかり忘れていました!Linuxを拡張するためにLinuxを実装した良い例だと思います。LINE有りましたね。。 SF.netのCVSはもう死んでしまったので除外にしました。。 OSvのバイナリ互換 はPIEであることが要求なので。。といっても世間的にはもうLinux = Debian/Ubuntu で良いですかね。。表現を調整しました。 EDIT^3: Noah忘れてた! EDIT^2: Cygwinは 下書き段階で削ってしまった 。。 qemuを移植したとき に互換性がイマイチだったので。。特殊fdやprocfsの充実ぶりとかを考えると "かなりLinux" と言って良いとは思うけど、 mmap 等でLinuxとWind

                                                                      めくるめくLinuxカーネルじゃないLinux実装の世界 - Qiita
                                                                    • もう人間がクエリを書く時代じゃない!SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal

                                                                      こんにちは。SUZURI事業部の@kromiiiと申します。 私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。 データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーションを覚えるのが大変でした。そこでクエリの設計を自動化するツールをSlackに導入しました。 その名も tbls-ask bot です。どのようなものか先に見てみましょう。 ユーザーはSlackでメンションする形で、どのようなクエリを実行したいのか自然言語で入力します。 メンションされるとSlack botが起動し、どのDBスキーマを利用するかを尋ねます。 ユーザーがDBスキーマを選択すると、自然言語からSQLクエリを生成し、Slackに返答します。 今回はパブリックに公開する

                                                                        もう人間がクエリを書く時代じゃない!SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal
                                                                      • OpenAI DevDay で発表された新モデルと新開発ツール まとめ|npaka

                                                                        以下の記事が面白かったので、かるくまとめました。 ・New models and developer products announced at DevDay 1. GPT-4 Turbo「GPT-4 Turbo」は、「GPT-4」より高性能です。2023年4月までの知識と128kのコンテキストウィンドウを持ちます。さらに、「GPT-4」と比較して入力は1/3、出力は1/2の安い価格で提供します。 開発者はモデルID「gpt-4-1106-preview」で試すことができます。今後数週間以内に、安定した実稼働モデルをリリースする予定です。 1-1. Function Calling の更新「Function Calling」に、単一メッセージから複数のFunction (「車の窓を開けてエアコンをオフにする」など) を呼び出す機能などが追加されました。精度も向上しています。 1-2. 構造

                                                                          OpenAI DevDay で発表された新モデルと新開発ツール まとめ|npaka
                                                                        • ゼロから始めるバーチャル美少女作成手順 - freee Developers Hub

                                                                          こんにちは!PSIRT(Product Security Incident Response Team)で仕事をしている21卒エンジニアのMBです。 freee Developers Advent Calendar2022 11日目です。 既にPSIRTメンバーが2人も記事を出していますが、私はPSIRTの仕事とは関係ないお話を書きます。 タイトルでネタバレを食らっていますが、仕事で使うアバターをゼロから自作していこうという記事です。 私は普段のお仕事でもアバターを使っており、青いアバターの人と認識されていることが多いです。 普段のアバター アバターでお仕事をするメリットとして個人的に感じているものはいくつかあります。 社内で認知度が上がるのでお仕事のお願いをしやすくなる メイクをする時間が浮く ミーティング中にかわいいアバターがいると仕事のモチベーションが上がる(当社比) 「僕と契約して

                                                                            ゼロから始めるバーチャル美少女作成手順 - freee Developers Hub
                                                                          • Googleは「社員が休日に個人的に行ったプロジェクト」にも知的財産権を主張する

                                                                            By Pressmaster Googleで働いていた経験を持つヘクター・マーティンさんが、「Googleとの間に生じた、勤務時間外に開発していたサイドプロジェクトの知的財産権の問題」に関するストーリーをTwitter上に綴っています。 Since we're talking about Google being less than nice towards its workers, here's a fun little story from my days there. There were two things that I really didn't like about Google at the time: The Google+ saga (realnames et al), and the IP ownership policy.— Hector Martin (@marc

                                                                              Googleは「社員が休日に個人的に行ったプロジェクト」にも知的財産権を主張する
                                                                            • NEDOが25億円投じ日の丸RDBを開発中、「国産にも勝機あり」と自信を見せる理由

                                                                              厳格なOLTPと高速なOLAPを両立 新RDBの特徴は厳格なOLTP(オンライントランザクション処理)が可能でありながら、ビッグデータ分析にも使用できる高いOLAP(オンライン分析処理)性能を有していることだ。OLTPとOLAPの両立はHTAP(Hybrid Transaction/Analytical Processing)と呼ぶ。OLTPで用いる行方向のデータは不揮発性メモリーを採用する主記憶(メインメモリー)に格納し、OLAP用の列方向のデータを2次記憶装置に格納する。2次記憶装置にも不揮発性メモリーを使用する。 OLTPに関しては、トランザクション処理の分野で一般的なベンチマークである「TPC-C」において1ノードで1000万トランザクション/秒(TPS)の達成を当面の目標とする。そしてトランザクション処理においては、一貫性と隔離性のレベルを示す「トランザクション分離レベル」が最も

                                                                                NEDOが25億円投じ日の丸RDBを開発中、「国産にも勝機あり」と自信を見せる理由
                                                                              • 非エンジニアの自分がウェブ地図サイトを公開するまで - Qiita

                                                                                9/7 タイトルを修正&一部加筆しました。 非エンジニアでもできる!ウェブ地図サイトの作り方 → 非エンジニアの自分がウェブ地図サイトを公開するまで こんな風にグリグリ動かせるウェブ地図サイト、作ってみたいけどハードルが高いなぁ…という方もいらっしゃるのではないでしょうか。 実際、自分もサイトを作るまではそう思っていました。 しかし意外と簡単に、オープンソースのソフトのみで作れてしまうんです! (サーバ代や取得するのであればドメイン代等はかかりますが…) 非エンジニアのデザイナーの自分ですがサイト公開までできたのでやり方を共有します! ※自分のスキルとしては関してはgithubもVScodeも使えない、CSSとhtmlぐらいならツギハギでなんとか…(10年前ぐらいの知識)というレベルなので、特に後半のサーバ周りに関してもっと楽なやり方があるかもしれません。 QGISで地図を作る 一番の肝は

                                                                                  非エンジニアの自分がウェブ地図サイトを公開するまで - Qiita
                                                                                • 無料で地図データを分析できるソフトウェア「QGIS」とは?ダウンロード方法や基本の使い方を解説

                                                                                  データのじかんトップ > 新着記事一覧 > データ活用 > 無料で地図データを分析できるソフトウェア「QGIS」とは?ダウンロード方法や基本の使い方を解説 ビジュアライズされた地図からマーケティング計画を練る、災害発生時のBCPを俯瞰的な視点から練り上げる……。 メタバースの世界が拡大しているとはいえ、まだまだ職場や自宅の存在する“土地”に根差して生活している我々にとって、地図データはときに非常に有用なデータとなります。 そこでこの記事で、有用な無料ツールとしてご紹介したいのが「QGIS」。その取得方法やメリット、簡単な利用法についてデモとともに解説いたします! QGISとは? ダウンロードする方法は?QGISとは、無料で使えるオープンソースのGISソフトです。 Windows、Mac、Linux、Unix、Androidなど、iOSを除く主要なOSのほとんどに対応しており、機能は有償ソフ

                                                                                    無料で地図データを分析できるソフトウェア「QGIS」とは?ダウンロード方法や基本の使い方を解説