コンパイラが作ったバイナリをつなぎ合わせるプログラム 「lld」の作者が語る、リンカの仕組み
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。植山氏は、制作中のリンカである「mold」について発表しました。全2回。前半は、リンカの概要について話しました。 LLVMのリンカ「lld」オリジナルの作者 植山類氏：植山類です。今僕が作っているmoldというリンカについて発表します。 今回の発表の概要です。リンカが何かを知っている人はそんなにたくさんいないと思うので、まず説明します。次に、「mold」のポイントは速いことなのですが、速いと何がうれしいのかを説明します。そのあと、どれくらい速いのかを説明した上で、どう実現されているのか、概要を紹介します。詳細になると何時間あっても終わらないので、かなりハイレベルな話をします。 自己紹介のスライドを入れていませんが、僕はリンカを何度か作ったことがあって、LLVMのlld
ワンボタンゲームをたくさん作ったので、その作り方をおさらいしたい - ABAの日誌
English version: How to realize various actions in a one-button game はじめに 自作ゲームライブラリcrisp-game-libを使ったミニゲームを最近たくさん作っているが、特に多く作っているのがワンボタンゲームだ。ここで言うワンボタンゲームは、レバーによる移動の他のボタンが1つ、といったものではなくて、純粋に1つのボタンしか操作に使わないゲームを指す。 ワンボタンゲームの利点は、操作が分かりやすく、タッチデバイスでも操作しやすい点にある。とにかく何かボタンを押せばそれがプレイヤーが取れる動作の全てであり、操作説明がほぼ不要である。またタッチデバイスでも画面中のどこかをタップあるいはホールドすれば操作ができるので、バーチャルパッドでよく起こる、ボタンを押した感触が無いので操作がしづらいという問題が発生しない。 欠点は、当然
コードで学ぶAWS入門
各方面でご好評をいただいている本講義資料ですが，この度増補・改訂のうえ書籍として出版することが決定いたしました！ 書籍限定の書き下ろしの３章 (約100ページ分！)を新たに追加して，2021年9月27日に発売予定です． この資料を気に入っていただいた方は，手に取っていただけるとありがたいです． ここで公開している資料は引き続きオンラインで無料で読めますので，ご安心ください🙇
Apache Sparkとpandasでデータ処理の時間を短縮する方法
こんにちは。データサイエンスチームのHan-Cheolです。 この記事は、NHN テコラス DATAHOTEL：確率統計・機械学習・ビッグデータを語る Advent Calendar 2017の21日目の記事になります。 はじめに PandasはPythonを利用したデータ分析で一番よく知られ、使われているツールです。 本記事では、データのサイズが大きく、またデータ分析を行うための前処理作業の計算量が多い時に、PySpark (Apache SparkのPythonインタフェース)の並列・分散処理能力を生かしてデータの前処理に掛かる時間を大きく短縮させる方法を紹介します。 今回の記事で例として使うタスクは、スコア付けの商品口コミデータからスコアに大きい影響を与える表現 (ここでは形容詞句)を抽出するデータマイニングタスクを想定します。このようなリソースは色んな場面で活用できます。たとえば、
JEDAI 第三回: Databricksが魅せる機械学習の底力 - サイエンスをプロフィットに (2021/07/06 18:00〜)
お知らせ connpassではさらなる価値のあるデータを提供するため、2024年5月23日(木)を以ちましてイベントサーチAPIの無料での提供の廃止を決定いたしました。 2024年5月23日(木)以降より開始予定の「connpass 有料API」の料金プランにつきましてはこちらをご覧ください。 なお有料の対象となるのはAPIのみであり、connpassのサービスにつきましては今後も無料でご利用いただけます。 7月 6 JEDAI 第三回: Databricksが魅せる機械学習の底力 - サイエンスをプロフィットに Delta Live Table等の新機能を活用して、超簡単に本格的MLパイプラインを構築！
日本の古き良きIT企業を退職して3年がたった
3年前、世間一般にはメーカー系SIerとして知られている会社を退職した。ただ俺のポジションはパッケージソフト開発であり純粋なSIerとは異なる。 客ともSEとも会話せず、ひたすらドキュメントとプログラムを書く部署だ。といっても別にペーペーではなく主任クラスであり、 会社の業績がとてもよかったこともあり年収は1000万弱はあった。35歳。 これだけ見るととてもいい待遇に見えるだろう。でも耐えられないことがいっぱいあった。 Linuxで動くアプリなのにVMを動かすのも苦労する8GBしかメモリのないWindows PC、紙にコードを印刷して説明しないと納得しない品質保証部、 手作業で実施しExcelにチェックを付けていくテスト、jquery一つ使うのに3ヶ月かかる承認フロー、開発中にバグを一つ出すごとに ひたすら反省文を求める品質保証部と一緒になって詰めてくるマネージャー、常にコンパイルできない
What I’ve learned about MLOps from speaking with 100+ ML practitioners
Over the past months, I’ve been banging my head to understand what stands behind the overly hyped statement “90/87/85% of the machine learning models never get to production” and what it has to do with MLOps. Heading the product and customer development effort of a brand new Machine Learning deployment platform called TeachableHub, left me with no other choice but to dive deep into those “dark mat
AWS PrivateLink・VPCエンドポイントを利用するメリットやユースケースを整理してみた | DevelopersIO
ちゃだいん（@chazuke4649）です。 「結局、PrivateLinkやVPCエンドポイントってどういう時に使ったらいいの？」 このような疑問から、ネットワークやセキュリティ面においてこれらサービスにどんなメリットがあるのか、ユースケースを改めて整理してみました。 先に結論 以下項目にメリットを感じる場合は、PrivateLink/VPCエンドポイント利用検討する価値があると思われます。 1.VPCにIGWが不要になる 2.VPCにNATGWが不要になる 3.VPC内から「特定のサービスだけ」にアクセスさせることが容易 4.VPCエンドポイントポリシーで細やかなアクセス制御が可能 5.EC2インスタンス等にパブリックIPが不要になる 6.オンプレからDX経由のAWSサービス利用をしたい 7.独自アプリケーションを社内外へプライベート公開したい（orそれを利用したい） 経緯 以前、こん
Data + AIサミット2021で発表されたDatabricksの新機能 - Qiita
Data + AI Summit North America 2021 - Databricksで発表された新機能の紹介記事です。 Delta Sharingのご紹介 : セキュアなデータ共有のためのオープンプロトコル - Qiita 企業間のデータ共有をシンプルにするための新たなオープンソースプロジェクト: 製品間の大規模データのセキュアなリアルタイムのデータ交換を初めて実現 Databricks Unity Catalogのご紹介：レイクハウスにおけるデータとAIに対するきめ細かいガバナンス - Qiita 馴染みのあるオープンなインタフェース(SQL)を用いて、レイクハウスのデータにきめ細かいガバナンスとセキュリティを提供 Delta Live Tablesのローンチ : 信頼性のあるデータエンジニアリングを簡単に実現 - Qiita 宣言型パイプライン開発、改善されたデータの信頼性
Databricksクイックスタートガイド - Qiita
初めてDatabricksを利用される方向けに、マニュアルからピックアップしたコンテンツを翻訳したものになります。全文はDatabricks documentation | Databricks on AWSから参照できます。 注意 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては英語ドキュメントを参照ください。 こちらは翻訳時点の内容となります。可能な限りアップデートしていきますが、最新の状態でない箇所がある可能性をご了承ください。 AWSでの利用を想定したものとなっています。 誤記、翻訳要望等ございましたら、コメントでご指摘いただけると幸いです。 Databricksフリートライアルへのサインアップ Databricksアカウントのセットアップとワークスペースの作成 Databricksアカウントのセットアップとワークスペースの作成(実践編) Databr
PS3®およびPS VitaのPS Storeサービス継続のお知らせ – PlayStation.Blog
2021年3月30日(火)にPlayStation®3およびPlayStation®Vita向けPlayStation®Storeについて、今夏にサービス終了予定であることをお知らせいたしました。 しかし、さらなる検討を重ね、この判断は誤っていたとの結論に至りました。そこで本日は、PS3およびPS Vita向けのPS Storeのサービスを継続することを皆さんにお伝えいたします。なお、PSP®｢プレイステーション・ポータブル｣の購入機能は、予定どおり2021年7月2日(金)に終了いたします。 PS3およびPS Vitaのコンテンツ販売を終了することを決定した当初は、旧プラットフォームにおける販売サポートに課題があったことや、多くのプレイヤーの皆さんがお楽しみいただいている現行機にリソースを集中させるためでしたが、このたび、多くのプレイヤーの皆さんが今後もPS3およびPS Vitaでクラシッ
Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 - every Tech Blog
Delta LakeとLakehouseプラットフォームによるデータウェアハウス設計 こんにちは。ビッグデータ処理基盤の物理レイヤーから論理レイヤーの設計実装、データエンジニアやデータサイエンティストのタスク管理全般を担当している、Data/AI部門の何でも屋マネージャの @smdmts です。 この記事は、弊社のデータ基盤の大部分を支えるDelta LakeとLakehouseプラットフォームによるデータウェアハウス設計の紹介です。 Databricks社が主体となり開発しているDelta Lakeをご存じでしょうか？ Delta Lakeは、Apache Sparkを利用したLakehouseプラットフォームを実装可能とするオープンソースです。 Lakehouseプラットフォームの詳細は、こちらの論文に記載されています。 Lakehouseプラットフォームとは、一つのデータレイクのプラ
rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
たったひとりで製作7年！ デル・トロ絶賛、日本人監督が独学で完成させたディストピアSFアニメ「JUNK HEAD」3月26日公開 : 映画ニュース - 映画.com
環境破壊、遺伝子操作、ウイルス感染で滅亡に向かう人類の運命は…？(C)2021 MAGNET/YAMIKEN「シェイプ・オブ・ウォーター」のギレルモ・デル・トロ監督が絶賛したSFストップモーションアニメ「JUNK HEAD」が、3月26日に公開されることが決定。本作は、堀貴秀監督が独学で作り始め、7年をかけて完成させた作品。予告編とポスタービジュアル、場面写真も一挙に披露された。 「JUNK HEAD」でアニメ界に旋風を巻き起こしたのは、本職が内装業の堀監督。原案、絵コンテ、脚本、編集、撮影、演出、照明、アニメーター、デザイン、人形、セット、衣装、映像効果、音楽の全てをひとりで担い、総ショット数は約14万コマ。7年をかけて製作している。 (C)2021 MAGNET/YAMIKEN2017年、北米最大のジャンル映画祭との呼び声も高いファンタジア国際映画祭で最優秀長編アニメーション賞を獲得し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIひらめきメーカー
組織全体でのデータ・AI活用を支援する レイクハウス・プラットフォームを提供 - 日経クロステックSpecial
Fighting Credit Card Fraud Through AI and Geospatial Analysis
JEDAI 第一回: Databricksでデータ分析のAtoZをご紹介 (2021/04/28 18:00〜)
JEDAI - The Data & AI Meetup
