データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
歴史的地名の「行政区画変遷」を大規模オープンデータ化～『日本歴史地名大系』を平凡社地図出版との協働により機械可読データとして強化～ - 国立情報学研究所 / National Institute of Informatics
2023/10/18 歴史的地名の「行政区画変遷」を大規模オープンデータ化 ～『日本歴史地名大系』を平凡社地図出版との協働により機械可読データとして強化～ 情報・システム研究機構 データサイエンス共同利用基盤施設 人文学オープンデータ共同利用センター（以下ROIS-DS CODH、センター長 北本朝展）と株式会社平凡社地図出版（代表取締役 西田裕一）は、『日本歴史地名大系』の機械可読データ化に向けた協働を推進し、このたび歴史的地名の「行政区画変遷」に関する大規模オープンデータを公開しました。 『日本歴史地名大系』（用語解説1）とは、全国の歴史研究者の協力を得て地名研究・地域史研究の全成果を結集し、株式会社平凡社が25年（1979年～2004年）をかけて出版した50巻51冊の地名辞典です。この地名辞典の編集にかつて関わった人々の全面的な協力を得て、地名辞典の内容の更新や位置情報（緯度経度）の
NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック
近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc
AIと著作権について | 文化庁
AIと著作権の関係については、令和6年3月に文化審議会著作権分科会法制度小委員会において、「AIと著作権に関する考え方について」を取りまとめました。 本ページでは、AIと著作権について、上記の考え方と、その関連文書を紹介します。 著作権法第30条の4等の基本的な考え方について IoT・ビッグデータ・人工知能（AI）等の技術を活用したイノベーションに関わる著作物の利用に係るニーズのうち、著作物の市場に大きな影響を与えないものについては、平成30年の著作権法改正により、相当程度柔軟性を確保する形で、著作物の利用の円滑化を図るべく、「柔軟な権利制限規定」が整備されました。 以下の資料では、この柔軟な権利制限規定の趣旨・内容・解釈やサービス・行為の取扱い等について、文化庁としての基本的な考え方をお示ししています。 ・デジタル化・ネットワーク化の進展に対応した柔軟な権利制限規定に関する基本的な考え方
NTTドコモは10月10日、ネットワーク通信品質対策を発表した。 2023年の春ぐらいから、ドコモのユーザーからネットワーク品質に関する不満の声がSNSなどで多く上がっている。当初は渋谷や池袋などの都心部、ターミナル駅周辺が中心であったが、最近では地方にも拡大している印象だ。 他キャリアでは数年前に実施済みの対策をようやく 発表会で実際にドコモのネットワーク通信品質に対する改善策を聞いたが、第一印象としては「後手後手」に回っており、他社に比べても大きく遅れている感が強かった。 例えば、ドコモでは駅や繁華街、住宅地など全国2000カ所以上で集中的に対策を実施。さらに乗降客の多いJRや私鉄などの鉄道動線を強化するという。 しかし、鉄道動線を強化する考え方はKDDIが5G開始当初から行っており、2021年6月にはJR東日本の山手線全30駅、JR西日本の大阪環状線全19駅のホームで、5Gネットワー
ゼロからRAGを作るならこんなふうに
どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
先週、今週とあちこちへ出張が続いているので、移動時間の合間、ネットが途切れる山奥にさしかかったあたりで東浩紀「訂正可能性の哲学」を読んだ。東さんの本はいつもそうなのだが、あまりの内容に驚愕した。 そして昨日はたまたま東さんにVisionProを体験させる約束をしていた日なので、会う前に一気に読み終えた。すごい。もっと早く読めばよかった。 東さんの本は基本的に「凄すぎる」ので、読むと影響を受けすぎてしまってしばらく自分の思考が戻ってこない状態になる。しかし最近の僕は、むしろ忙しすぎて誰かの思考を取り入れたいモードになっていたのだ。 その意味で、まさに今の時代に必要とされている本だと思うし、本当にすごい。10年前に上梓された「一般意志2.0」の続編でもあり、なおかつアップデートでもある。もちろん読んでなくても全然良い。 特に舌を巻いたのは、落合陽一の「デジタルネイチャー」や成田雄介の「無意識デ
9時間足すんだっけ引くんだっけ問題～あるいは、諸プログラミング言語はいかにタイムゾーンと向き合っているか - エムスリーテックブログ
私は日付時刻の処理が大好きです。 タイムゾーンの問題でデータ抽出が9時間分漏れていたとか、朝9時の始業前のログが昨日付けになってしまっていたなんていう問題が起こると喜んじゃうタイプ。 そんな私にとって、各プログラミング言語が標準で持っている日付時刻型クラスにはそれぞれ思うところがあり、今日はちょっとその品評会をしてみたいと思います。 エムスリーエンジニアリンググループ、Unit1（製薬企業向けプラットフォームチーム）三浦(@yuba@reax.work) [記事一覧 ]がお送りいたします、エムスリー Advent Calendar 2023の2日目です。 至高の日付時刻型を持つ言語、BigQuery SQL 不足はないが蛇足、Java 8 日付時刻で画竜点睛を欠いたC# C#よりややまし、Python 型は良い構成、なのに命名と処理関数で損しているPostgreSQL まとめ We ar
すぐに役に立つものはすぐに陳腐化してしまうから方法ではなく設計の本を読む - API Design Patterns の読書感想文 - じゃあ、おうちで学べる
あなたがさっきまで読んでいた技術的に役立つ記事は、10年後も使えるでしょうか？ほとんどの場合でいいえ はじめに 短期的に効果的な手法や知識は、ソフトウェア開発の分野において、急速に価値を失う傾向があります。この現象は、私たちが何を重点的に学ぶべきかを示唆しています。最も重要なのは、第一に基本的な原理・原則、そして第二に方法論です。特定の状況にのみ適用可能な知識や即座に結果を出すテクニックは、長期的には有用性を失う可能性が高いです。これは、技術や手法が時間とともに進化し、変化していくためです。 learning.oreilly.com 「API Design Patterns」は、このような考え方を体現した書籍です。しかも480 ページもあります。本書は単なる手法の列挙ではなく、Web APIデザインの根幹をなす原則と哲学を探求しています。著者のJJ Geewax氏は、APIを「コンピュータ
技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか？ ありますよね？(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな？」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ？」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技
anond.hatelabo.jp gothedistance.hatenadiary.jp p-shirokuma.hatenadiary.com 「昔のインターネット」の話になると、つい、いっちょ噛みしてしまいたくなる（今では「擦る（こする）とか言うんですかね）。 僕自身の記憶を辿ってみると、2000年代、まだISDN全盛の頃から、ホームページビルダーで個人サイトを作っていた頃、そして、眞鍋かをりさんが「ブログの女王」と呼ばれ、雨後の筍のようにブログサービスが立ち上がっていった時期の頃は、「楽しかった」というか、「とにかく時間を惜しんで更新していた」のだ。仕事は今よりずっと忙しくて時間に追われていたのだが、夜遅くに帰ってから睡眠時間を削って毎日更新していた。 いやむしろ、忙しくて仕事にもあまり夢中になれず、生き甲斐をブログにアウトソーシング（外注）していたのではないか、とさえ思う。 1
「運賃4割引き」「グリーン車無料」JR東日本が銀行参入で“豪華特典” 専門家「太っ腹だが…いつまで特典続くか」｜FNNプライムオンライン
9日、JR東日本が参入したのは銀行。新たにスタートしたインターネット銀行サービス「JRE BANK」が、豪華な特典を得られると話題を呼んでいる。 特典１「片道料金４割引き」 「JRE BANK」の注目の特典の1つ目は、50万円以上預金するなどの条件を満たせば、JR東日本の路線内で「片道料金が4割引」となるというもの。 この記事の画像（16枚） 例えば、東京駅から新青森駅まで新幹線で旅行した場合、指定席の片道運賃は一人約1万7500円。これが4割引きとなると、運賃は約1万500円と、約7000円の割引となる。 この割引について街の人からは、「かなり（割引が）大きい！」「ねぶた祭とか見てみたい」「“ちりつも”で、いつか年に1回の旅行とか使うチャンスがあれば使いたい」といった声が聞かれた。 特典2「グリーン車無料」 特典の2つ目は、「グリーン車の無料」だ。 こちらも預金残高が50万円以上あるのが
ＡＩスタートアップ（新興企業）の「梨電子」は１３日、９月末での解散を発表した。「脱英語化」を掲げ、ＩＴ業界が陥る英語・外来語依存からの脱却を図ったが、世界標準の壁を崩すことはできなかった。 梨電子は２２年１１月に設立したスタートアップ。ＡＩや自動運転など高度なシステム開発を手がける。２３年２月には、ビッグデータを使って通行者の人相から学歴や年収を瞬時に割り出すＡＩを開発。自動運転最大の困難とされてきた「トロッコ問題」を合理的に解決する手段として注目を浴びたことをきっかけに、新規投資家らを引受先として、３００億円の資金調達に成功していた。 巨額の資金調達を機に、同社の九十九ＣＥＯは今年３月、業務における脱英語化を発表。４月以降、英語や外来語を使った社員には人事査定に影響を与えるとした。また年１回のＴＯＥＩＣ受験を義務付け、８００点以上のスコアを取った社員に解雇を通知する一方、管理職昇格条件を
はじめに こんにちは。データアナリティクス事業本部ビッグデータチームのkasamaです。 普段は主にデータ分析基盤エンジニアというポジションでお客様のデータ分析基盤構築を支援しています。 ある日、書店に立ち寄った際に目に止まってパラパラ読んでいると、もの凄く刺さる内容がいくつも書いてあったため思わず購入し、あっという間に読み終わりました。最初から最後まで勉強になると思うことばかりなので、今回は紹介させていただきたいと思います。ブログとしてアウトプットすることで、より理解を深めようという目的があります。 書籍情報 世界一流エンジニアの思考法 2023年10月23日発売 著 者 牛尾剛 発行所 株式会社文藝春秋 目次 第1章 世界一流エンジニアは何が違うのだろう？ - 生産性の高さの秘密 第2章 アメリカで見つけたマインドセット - 日本にいるときにはきづかなかったこと 第3章 脳に余裕を生む
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
プラットフォームが巨大な力を持って人間を支配するとき、どう対抗すべきなのか──『デジタルの皇帝たち――プラットフォームが国家を超えるとき』 - 基本読書
デジタルの皇帝たち――プラットフォームが国家を超えるとき みすず書房Amazonプラットフォームが大きな力をふるう時代である。アマゾンで日々の必需品を買い、ウーバーで食事を配達してもらう。海外では配車アプリの方で生計をたてている人も多い。Appleのアプリストアでは何十万ものアプリが公開され、その売上がメインの企業も多い。アマゾンのサービスのひとつ「メカニカル・ターク」は、希望者にタスクを分配する仕様で、世界中のリモートワーカーの資金源になっている。 こうしたプラットフォームが存在することは、利点ではある。メカニカル・タークのような巨大なオンライン労働市場はそれだけ仕事を振る人も多く、人のいないサービスと比べれば容易に仕事にありつける。特にオークションや取引プラットフォームなどでは顕著だが、取引が成立したにもかかわらず品物を送らない悪質な取引事業者や個人が現れたときも、プラットフォーマーは
はじめに はじめまして。リツといいます。どうぞよろしくお願いします。今回が初めてのnote投稿になるので、読みづらい部分があると思いますが、最後まで読んでいただけると幸いです。 ◇はじめに②(追記2024/3/24) この記事が私が想像していた以上に拡散されています。自分の考えを多くの人に伝えることが出来て嬉しい限りです。しかし、拡散されていくと同時に、私の語彙力のなさも相まって想定外の解釈が生まれているのも現在発見しています。記事のまとめになりますが、私がこの記事で伝えたいのは、 1、人間の感情・直感を大切にしよう 2、道具の便利な部分だけではなく影の部分にも目を向けよう 3、互いの考えを反映させるために、パブコメ以上にしっかりとした話し合いの場を作ろう この３つを念頭に置いて読んでいただければあまり解釈違いは起こさないと思います。 また、多くの誤字脱字、伝わりにくい表現等の指摘をいただ
通話とメールだけ「アホ携帯」が人気 脱スマホ中毒だけでない米Z世代の需要 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
いま、アメリカの若い世代の間で「Dumb Phone（アホ携帯）」が人気になっている。アホ携帯とは、電話やメッセージ、アラーム、カレンダーなど機能が限定的な携帯電話のことだ。アメリカの人気ラッパーであるケンドリック・ラマーが、昨年11月に、シンプルなスマホの販売を手がけるLight社とコラボレーションし、アホ携帯「Light Phone II」のKendrick Lamar limited editionを250台限定で発売すると、即日完売した。 アメリカ・ニューヨークでエンジェル投資家として活動する山崎美未（やまざき・みみ）氏によると、実はこのアホ携帯が若者の間で売れ始めたのは2〜3年前からだという。もともとは、ガラケーを買う動きがあったが、デザイン性に古さが残る。そこでケンドリック・ラマーが、スマホのような見た目にし、販売したのだ。 人気の理由は「昭和・平成レトロブーム」と同じ アホ携
ピカチュウとイーブイ可愛いよね～！！！ 皆さんご存知、でんきネズミポケモンのピカチュウと、あの……なんだお前！ 四足歩行動物の可愛さを独り占めしたような見た目しやがって！ のイーブイ！ 最近のメディア展開だともう、ピカチュウとイーブイはいつでも一緒❤ ……って感じで、ね～～～～！？ やめようよ。社会性のあるフリなんてさ。 ピカチュウとイーブイは 釣り合っていない 別にイーブイをdisるわけではないのですが、イーブイと比べてしまうとピカチュウが偉大すぎる。 「そうやって始まったんだよ」って誰かが歌っていたけど、少なくともそう始まった頃のイーブイはピカチュウほど波に乗っていない。 片や作品の顔！ 片や1/151※！ （※……あえて初代の数字を出しています） なんか……たとえ同期でも先に売れて司会業までこなす芸人と、後に売れて舞台や雛壇で輝いてる芸人を、一緒くたに『二大スター』とされると……いや
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
AIで「普通のおじさん」を生成したフェイク新聞の作り方。そこから考える「普通」への疑い | テクノエッジ TechnoEdge
ゲームとWebのフリーランス開発者。3DCGからゲーム開発の世界に入り20年。今は生成AIの変化を追いかけて日々実験しています。 生成AIの出力画像を元にCGで作った新聞っぽいフェイク画像をXに投稿したところ、想像以上の反響がありました。気軽な実験のつもりで説明も雑過ぎたため、伝わりにくかったり誤解されたりした部分もあるようです。どのように、なぜ作ったのか補足します。 どのように作ったか今回のフェイク新聞、作り方はかなり手抜きです。こうした制作に慣れている方なら30分もかからないでしょう。今はまだ多少専門性を求められますが、1年もすると「頑張れば誰にでも」程度になっているかもしれません。 実験としては、ぱっと見新聞だと感じてもらえなければ成立しません。しかしフェイクを作るのではなく、フェイクが作れる可能性の提示が目的です。画像が単体で流れていく可能性を考えると何かしら対策が必要で、強固な透
公開日 2024/09/12更新日 2024/09/13データアーキテクチャ特集 データ利活用を推進する8社の技術選定 毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、データ分析基盤です。 データ活用に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術選定の裏側と今後の展望についてご寄稿頂きました。 ※ご紹介は企業名のアルファベット順となっております 株式会社朝日新聞社 アーキテクチャ選択の背景や意図 これまでは、朝日新聞デジタル（朝デジ）のサービス開発・運用において、データを収集する基盤が存在せず業務ごとに Adobe Analytics や AWS QuickSight、 内製のツールなど様々なBIツールが乱立している状態でした。そこで、複数のシステムのデータソースを統合的に可視化・分析を可能にするために、分析基盤の構築に着手しました。 まず、データを集積・加工す
NVMeに新機能。ストレージがデータ処理を行う「コンピュテーショナルストレージ」、NVM Expressが発表
NVMe関連規格の標準化団体であるNVM Expressは、ストレージ内でデータ処理を行うための業界標準「コンピュテーショナルストレージ」（Computational Storage）機能を発表しました。 「コンピュテーショナルストレージ」はデータ処理を行えるストレージ コンピュテーショナルストレージとは、その名前が示す通り計算機能を備えたストレージのことです。 基本的にストレージに格納されたデータは、ストレージから取り出されてメインメモリに読み込まれ、それをCPUが処理します。しかし大量のデータを処理する場合、大量のデータをストレージからメモリへと移動させなければなりません。 そこで、ストレージが備えているFPGAやプロセッサを用いてストレージ内でデータ処理が行えるようになれば、データをストレージから移動しなくて済むために高速な処理が期待できます。 そうしたインテリジェントなストレージや
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" の 34 週目の記事です！ 1 年間連続達成まで 残り 19 週 となりました！ 株式会社ログラスの龍島（りゅうしま）です。最近はもっぱら新生姜をガリにしてクラフトビールのつまみにする毎日を送っています。今日はデータベースとデータ構造の話です。 この記事でやること データ集計の高速化のため、多くの場合、列指向データベースが選ばれます。列指向が大量のデータ操作を効率的に処理できるためです。行指向のデータベースを利用している状況で、データ集計のパフォーマンス向上のため列指向データベースへの移行をすることはよくある例です。しかし、行指向データベースで有効なデータ構造やクエリが列指向で同様に優れているとは限りません。この記事では、行指向のPostgreSQLと列指向のBigQueryを使って、それぞれに
PDFを見返すと独習を始めた頃の線形代数のノートはほとんど殴り書きで、単に計算用紙としてノートを使っています。微分積分に入ると少しはましになってきますが、頭に入れたい概念の定義や定理の証明を何度も書き直したりしています。また独習ですから間違った理解を正しいと思い込んだまま証明を書いて、分かったつもりになっている箇所も少なからずありそうです。とまれ上記の表に挙げた各書籍に曲がりなりにも取り組んだことを示す、書証のつもりでノートを晒しました。 余談ですが、使用したノートは、PLUS の品番 NO-204GS (A4 G罫 5mm方眼 40枚) という方眼ノートです。また筆記用具は当初シャープペンシルを使っていましたが、「オイラーの贈物」からは万年筆に替えました。プラチナ#3776センチュリーUEF(超極細字)を使っています。 1.3 私について 本記事の作者であり学び直しをした本人である私は、
架空のおじさん新聞と「普通」の生成
架空のおじさん新聞と「普通」の生成 by kogu 2023年12月6日 生成AIの出力画像を元にCGで作った新聞っぽいフェイク画像をXに投稿したところ、想像以上の反響がありました。気軽な実験のつもりで説明も雑過ぎたため、伝わりにくかったり誤解されたりした部分もあるようです。どのように、なぜ作ったのか補足します。 AIで生成したおじさん使って適当な偽新聞のCGを作ったらとても危険な感じだった。文章だけでも危ないのに画像が入ると更に悪く、新聞っていう実績ある様式でもっと悪化する。 pic.twitter.com/ixKODQwxX5 — kogu (@koguGameDev) December 3, 2023 どのように作ったか 今回のフェイク新聞、作り方はかなり手抜きです。こうした制作に慣れている方なら30分もかからないでしょう。今はまだ多少専門性を求められますが、1年もすると「頑張れば誰
はじめに 本記事は、trocco® Advent Calendar 2023の9日目の記事になります。 trocco®だけを取り上げるわけではありませんが、この内容をおさえておくとその価値や使い方が理解しやすいと思いますし、もちろんユーザー以外でもデータエンジニアリング入門として読んでいただければと思います。 さて、私は今年の2月にtrocco®を提供する株式会社primeNumberに転職し、現在はtrocco®を利用したデータパイプライン／BIツールによるダッシュボード構築などを行っています。 前職は広告代理店でTableauを使ったマーケティングデータ分析を行っていたのですが、総合職の異動でたまたまデータ関連部門にいただけですし、プログラミング経験もなかったので、異業種異職種への転職でこの1年はめちゃくちゃ勉強をしてきました。 エンジニア出身の方向けには、『実践的データ基盤への処方箋
※本コンテンツはアキバ総研が制作した独自コンテンツです。また本コンテンツでは掲載するECサイト等から購入実績などに基づいて手数料をいただくことがあります。 反日暴動の陰で始まった日本のアニメの配信 中国における日本のアニメ配信が本格的に始まったのは2012年の後半に楽視（LeTV）で配信された「ソードアート・オンライン」からではないかと思われます。 2012年は尖閣諸島問題に関連して中国で大規模な反日暴動が発生した年です。当時の中国ではアニメや声優のイベントなど日本関連のオタク系イベントを行う流れが拡大しており、オタク関連分野の中国進出の動きもそこかしこに出ていましたが、暴動の影響によって大きくブレーキがかかることになりました。中国における日本のアニメの正規配信はそういった動きの陰で始まりました。 この配信が成功して「ソードアート・オンライン」が人気を獲得して以降、中国の動画サイトでは日本
日本を舞台に、アフリカ人の「弥助」を主人公の1人にすえた『アサシンクリード シャドウズ』。その作中描写や開発者に対し、国内外で大きな批判が展開され、ついに先日Ubisoftが公式に謝罪するに至った。 しかし、SNSやYouTubeなどでこの『シャドウズ』問題をめぐる意見を読んでいても、ゲーム文化にきちんと立脚した意見はあまり見られない。仮にゲームに詳しくともUbisoftやアサシンクリードまで理解した意見は多くないし、先日放送されたAbemaでも問題提起したゲストを含めた全員が「アサシンクリードは知らないけど」と前置きされていた。 現在、『シャドウズ』を取り巻く問題はすでに国際的なものに発展し、ゲームコミュニティを飛び出している。また問題の対象も、Ubisoftが『シャドウズ』開発に参考にしたと思われる一部の歴史家やその著作をめぐる史学的問題まで拡げられるなど、もはや収拾ができないほど拡散
データエンジニアリングの基礎
データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリングライフサイクル」を軸にデータシステムの要件を整理することで、組織の「データ成熟度」に応じたデータシステム構築の指針を与えます。またデータエンジニアの立ち位置を明確にし、組織内でデータエンジニアが果たすべき役割を示します。 まえがき Ⅰ部 データエンジニアリングの基礎と構成要素 1章 データエンジニアリング概説 1.1 データエンジニアリングとは何か 1.1.1 データエンジニアリングの定義 1.1.
攻撃者に狙われるVPN。FBI/CISA、VPNからSSE/SASEへの移行を推奨するガイダンス公開（大元隆志） - エキスパート - Yahoo!ニュース
一週間を始めるにあたって、押さえておきたい先週(2024/06/17 - 2024/06/23)気になったセキュリティニュースのまとめです。セキュリティニュースは毎日多数の情報が溢れかえっており「重要なニュース」を探すことが大変です。海外の報道を中心にCISO視点で重要なインシデント、法案や規制に関して「これを知っておけば、最低限、恥はかかない」をコンセプトに、コンパクトにまとめることを心がけています。 ■FBI/CISA、VPNからSSE/SASEへの移行を推奨米国CISAやFBI等が共同で、VPNをSSEやSASEに置き換えることを推奨するガイダンスを公表しました。背景にはCISAが公表している「既知の悪用された脆弱性(KEV)」にVPNに起因するものが22件にのぼり、国家の関与が疑われる高度な技術力を持ったサイバー攻撃グループがVPNを標的に選定する傾向があること、更にはVPNが一度
自作SSDについてキオクシアの方に伺いました - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。サイボウズ・ラボの内田（ @uchan_nos ）です。 SSD の自作という活動について、キオクシア株式会社の社員（元キオクシアを含む）にお話を伺う機会がありましたので、ご紹介します。 インタビューの様子は、電子の森ラジオ（電子工作とプログラミング系ポッドキャスト）にて配信しています。 エピソード 019 自作SSD 打ち合わせの様子 普段の収録と異なり、今回は企業からオフィシャルな立場で収録に来てくださるということで、事前に打ち合わせを行いました。 収録に向けた打ち合わせの様子 弊社の東京オフィスにある会議室での打ち合わせの様子です。 写真の左から順に、内田（サイボウズ・ラボ）、日下様（キオクシア）、米澤様（キオクシア）です。 事前の打ち合わせでは、主にどのような話をするかと、出してはいけない話題について確認しました。 企業の看板を背負って出演することの責任をひしひしと感じ
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
セキュリティ主要７分野・脅威の進化と対応 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに こんにちは、技術広報の菊池です。 セキュリティの確保は技術的な課題にとどまらず、お客様の満足、さらには企業の存続に直結する重要なトピックスです。 私たちSaaS企業も例外なく、常に変化する脅威にさらされており、日夜対策のアップデートが求められますので、 私も自身の理解を深めるためにキーワードと各分野の歴史をまとめてみました。 本記事で取り上げるセキュリティ主要７分野では、新しい技術の登場と共に、新たな脅威が絶えず発生し、その対策の進歩も伺えました。 今回は、アプリケーション、ネットワーク、エンドポイント、データ、クラウド、アイデンティティとアクセス管理、インシデント対応と復旧のセキュリティについて、 その概要と1980年代〜現代に至るまでの歴史、脅威と対応策の進化を総括しました。全てはカバーしきれませんでしたが、代表的なツールも紹介しています。 それぞれの分野では個別の発展があり
つまり、2022年の電子書籍ライトノベル市場は65.1億円という計算になった。紙のライトノベル市場211.5億円と合わせて考えると、電子の市場占有率は23.5％ということになる。これは、2015年のコミック市場における電子の市場占有率26.3％より少し小さい程度の比率だ。しかし、そろそろ無視できるような額ではないと言っていいだろう。 なお、このユーザー調査では「ライトノベルとは？」といった厳密な説明は行っていない。そのため、ユーザーがライトノベルだと思う作品がライトノベルであり、その定義は人によって異なる可能性がある。もしかしたら「新文芸」「ライト文芸」「キャラ文芸」などを利用しつつ、アンケートでは「文芸小説」だけを選択している可能性もある。 出版科学研究所の定義は？ ちなみにこの「ライトノベルの定義」というのは、昔から物議を醸しやすい、非常に厄介な問題だったりする。実は、出版科学研究所に
鉄道新駅開業で医療費が削減、大阪公立大学などがメディカルビッグデータから推計 大学ジャーナルオンライン編集部 大阪公立大学大学院と日本システム技術株式会社は、大阪の鉄道新駅開業による医療費削減効果を分析した結果、1人あたりの累積医療費支出が有意に減少していたことを推計した。 研究グループは今回、2018年3月に開業したJR総持寺駅（大阪府茨木市）の開業による医療費削減効果を分析した。研究では、日本システム技術株式会社が保有する、匿名化された約800万人のレセプトデータをソースとしたビッグデータ（メディカルビッグデータREZULT）を利用した。 その結果、JR総持寺駅の近隣エリアにおいて、新駅開業後の4年間における1人あたり累積医療費支出が、99,257円ほど有意に減少していたことを推計した。この結果は、交通機関へのアクセスが増加することで交通機関利用者の身体的活動が増加し、医療費減少につな
整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 株式会社10X事業内容10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫での支援を行っています。 データカタログ導入の背景以前はデータ分析にデータレイクのテーブルがよく利用されており、カラムのメタデ
32歳で数学を学び直しの経営者 10年で利益10倍、中途半端なリスキルはダメ2024 / 5 / 2リスキリングプレーヤーズ 「ゑびや大食堂」は、伊勢神宮の参道に立つ創業100年超の老舗食堂。伊勢エビや松阪牛など地元食材を使ったメニューが人気の店だ。しかし、10年ほど前は経営が傾きかけていた。状況を変えたのは、2012年、ソフトバンクを退職し27歳で妻の実家であるゑびやに入社した小田島春樹氏。「地方の中小企業が生き残るには生産性の課題解決しかない」と、手切りの食券やそろばんよる売上管理、勘に頼った仕入れをやめ、IoTやAIを活用するデータ経営に転換した。 従業員のリスキリングや経営多角化にも取り組んだ結果、売り上げは10年で8倍、利益は10倍に増加。現在は、データ分析のノウハウを全国に伝授しようと設立したEBI LAB（エビラボ）で、他社のDX（デジタルトランスフォーメーション）支援や人材
「デスクトップパソコン」はもう不要？ 実は「電気代が高すぎる」うえに所有率も下降傾向（オトナライフ） - Yahoo!ニュース
近年、デスクトップパソコンの必要性に疑問を投げかける声が増えています。BCNが2023年2月に発表した「若年層のPC所有に関する調査」によるとPCの所有率は「ノートPCのみ」が43.0％、「デスクトップPCのみ」が8.1％であることが判明。さらに両方所有している人は10.8%（合計61.9%）ということが判明しました。 【画像でわかる】Windows 11で不便になった右クリックをWindows 10仕様に戻す方法 つまり、パソコン所有者の中でも、多くが「ノートパソコンだけを所有している」という状態。なお近年は「スマホしか持っていない」という若者層も増えているため、デスクトップパソコン離れは今後数年かけてより進んでいくかもしれません。 たしかにデスクトップパソコンは、わずかな処理遅延が致命傷となるような「eSports」や膨大なデータを扱う「AI学習」や「ビッグデータ分析」といった用途でな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「つながらない」の声が浮き彫りにしたドコモの現状--他社から数年レベルの遅れ鮮明
東浩紀「訂正可能性の哲学」はAI関係者必読だ!｜shi3z
「昔のインターネットは面白かった」と思っている世代からみた「今のインターネット」
「社内で英語禁止」徹底のＡＩスタートアップが解散 業務成り立たず
【書評】世界一流エンジニアの思考法 | DevelopersIO
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
なぜ人は生成AIに学習されることに嫌悪感を抱くのか言語化してみる｜リツ
ピカチュウとイーブイの釣り合わなさを他の作品で喩えまくる | オモコロ
Apache Iceberg とは何か - 流沙河鎮
データアーキテクチャ特集 データ利活用を推進する8社の技術選定 - Findy Tools
列指向、行指向データベースの特性を木構造を用いた集計クエリから理解する
50代になってから始めた数学の学び直しを振り返り、独習ノートを晒します。
1年前の自分が読みたかった、データエンジニアリング入門 - Qiita
中国動画サイトによる日本アニメ配信栄枯盛衰！ - アキバ総研
Ubisoftとアサシンクリードの「真実」──欧州ゲーム産業から『シャドウズ』問題まで｜Jini | ゲームゼミ
【2024年】AWS全サービスまとめ | DevelopersIO
ライトノベル市場とはなにか？ 規模はどうなっているのか？ | HON.jp News Blog
鉄道新駅開業で医療費が削減、大阪公立大学などがメディカルビッグデータから推計
データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
32歳で数学を学び直しの経営者 10年で利益10倍、中途半端なリスキルはダメ | NIKKEIリスキリング