並び順

ブックマーク数

期間指定

  • から
  • まで

81 - 120 件 / 4396件

新着順 人気順

ビッグデータの検索結果81 - 120 件 / 4396件

  • 東浩紀「訂正可能性の哲学」はAI関係者必読だ!|shi3z

    先週、今週とあちこちへ出張が続いているので、移動時間の合間、ネットが途切れる山奥にさしかかったあたりで東浩紀「訂正可能性の哲学」を読んだ。東さんの本はいつもそうなのだが、あまりの内容に驚愕した。 そして昨日はたまたま東さんにVisionProを体験させる約束をしていた日なので、会う前に一気に読み終えた。すごい。もっと早く読めばよかった。 東さんの本は基本的に「凄すぎる」ので、読むと影響を受けすぎてしまってしばらく自分の思考が戻ってこない状態になる。しかし最近の僕は、むしろ忙しすぎて誰かの思考を取り入れたいモードになっていたのだ。 その意味で、まさに今の時代に必要とされている本だと思うし、本当にすごい。10年前に上梓された「一般意志2.0」の続編でもあり、なおかつアップデートでもある。もちろん読んでなくても全然良い。 特に舌を巻いたのは、落合陽一の「デジタルネイチャー」や成田雄介の「無意識デ

      東浩紀「訂正可能性の哲学」はAI関係者必読だ!|shi3z
    • 9時間足すんだっけ引くんだっけ問題~あるいは、諸プログラミング言語はいかにタイムゾーンと向き合っているか - エムスリーテックブログ

      私は日付時刻の処理が大好きです。 タイムゾーンの問題でデータ抽出が9時間分漏れていたとか、朝9時の始業前のログが昨日付けになってしまっていたなんていう問題が起こると喜んじゃうタイプ。 そんな私にとって、各プログラミング言語が標準で持っている日付時刻型クラスにはそれぞれ思うところがあり、今日はちょっとその品評会をしてみたいと思います。 エムスリーエンジニアリンググループ、Unit1(製薬企業向けプラットフォームチーム)三浦(@yuba@reax.work) [記事一覧 ]がお送りいたします、エムスリー Advent Calendar 2023の2日目です。 至高の日付時刻型を持つ言語、BigQuery SQL 不足はないが蛇足、Java 8 日付時刻で画竜点睛を欠いたC# C#よりややまし、Python 型は良い構成、なのに命名と処理関数で損しているPostgreSQL まとめ We ar

        9時間足すんだっけ引くんだっけ問題~あるいは、諸プログラミング言語はいかにタイムゾーンと向き合っているか - エムスリーテックブログ
      • 統計学を哲学する « 名古屋大学出版会

        内 容 統計学は実験や臨床試験、社会調査だけでなく、ビッグデータ分析やAI開発でも不可欠である。ではなぜ統計は科学的な根拠になるのか? 帰納推論や因果推論の背後に存在する枠組みを浮き彫りにし、科学的認識論としてデータサイエンスを捉え直す。科学と哲学を架橋する待望の書。 【ALL REVIEWS】序章(抜粋) 目 次 序 章 統計学を哲学する? 1 本書のねらい 2 本書の構成 第1章 現代統計学のパラダイム 1 記述統計 1-1 統計量 1-2 「思考の経済」としての記述統計 1-3 経験主義、実証主義と帰納の問題 2 推測統計 2-1 確率モデル 2-2 確率変数と確率分布 2-3 統計モデル 2-4 推測統計の世界観と「確率種」 第2章 ベイズ統計 1 ベイズ統計の意味論 2 ベイズ推定 2-1 仮説の確証と反証 2-2 パラメータ推定 2-3 予測 3 ベイズ統計の哲学的側面 3-1

        • データサイエンティストという職業の10年間の変遷を振り返る - 渋谷駅前で働くデータサイエンティストのブログ

          (Image by Gordon Johnson from Pixabay) TL;DR 今年の6月に僕自身がデータサイエンティストに転じて10年という節目の年を迎え、10月でDavenportの「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説から10周年になるのを機に、この10年間のデータサイエンティストという職業の変遷を振り返ることにしました。 6月の回顧録記事でも書いた通り、僕がデータサイエンティストの仕事に就いてから今年で10年になります。最近も同じかどうかは分かりませんが、古くから「10年ひと昔」という常套句がある通りで個人的には大きな節目の年だと感じています。 一方で、今年の10月にはあまりにも有名な「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説が出てから10周年を迎え、後述するようにDavenportは「今もデータサイエンティ

            データサイエンティストという職業の10年間の変遷を振り返る - 渋谷駅前で働くデータサイエンティストのブログ
          • 世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔(Tsurugi)」を開発

            世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔(Tsurugi)」を開発― 処理性能456万TPSと応答遅延219ナノ秒を実現 ― 日本電気(株)と(株)ノーチラス・テクノロジーズはNEDOの「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」(以下、委託事業)において、世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔(Tsurugi)」(以下、劔)を開発しました。 劔は、次世代のデータベースに用いられるハードウエア環境(メニーコア・大容量メモリーなど)に適合したシステムであり、ハードウエアの性能が向上するほどシステムの性能も高まる特性を有しています。32以上のコア数を有するハードウエアにおいては、世界最速レベルの処理性能456万TPSと219ナノ秒の応答遅延を実現しました。 劔の導入によって、複雑なバッチ処理とオンライン

              世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔(Tsurugi)」を開発
            • 2025年までに全社員を“スーツを着たオタク”に育てる NTTデータ社長が語ったDX人材計画

              DXを推進する人材が求められるようになってきた背景とは 本間氏はまず「ITを推進する人材」について次のように話した。 「当社はおよそ10年前、野村総合研究所(NRI)と共同で、今後のITを推進する人材像として『スーツ・ギーク人材』が求められるようになると提言し、これまで人材育成に取り組んできた」 ビジネスパーソンが着るスーツから思い浮かぶように、ここでいうスーツは「ビジネスのプロフェッシナル」を指す。ギーク(geek)はもともと英語で「オタク」を意味する俗語だが、ここでは「技術のプロフェッショナル」の意味で、「スーツ・ギーク人材」はビジネスと技術の双方が分かる人材を指す(図1)。 その上で、同氏は「この10年でITの役割や位置付けが大きく変わってきた」として、次のように説明した。 「従来のITは既存の業務を合理化、効率化するための手段だった。これに対し、最近のITは既存業務のさらなる効率化

                2025年までに全社員を“スーツを着たオタク”に育てる NTTデータ社長が語ったDX人材計画
              • Google スプレッドシートでテラバイト規模のデータの分析がさらに簡単に | Google Workspace ブログ

                Google Workspace を無料で体験ビジネス メール、ストレージ、ビデオ会議など、さまざまな機能をご利用いただけます。 登録する ※この投稿は米国時間 2020 年 7 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud では、複雑なクエリを記述できる専門家だけではなく、誰でもデータの力を利用できるようにしたいと考えています。企業が新しい社会に対応する際には、有用なデータに従業員がアクセスして、情報に基づいた意思決定をすばやく行い、ビジネスの成果を向上できるようにすることが重要です。この目標を実現するために、誰でも Google スプレッドシートを使用して膨大なデータセットを簡単に操作できるようにしました。また、データの準備と分析の自動化に役立つインテリジェントな新機能も追加しています。 組み合わせることでさらに便利に: Bi

                  Google スプレッドシートでテラバイト規模のデータの分析がさらに簡単に | Google Workspace ブログ
                • Dockerコンテナに開発環境を構築し、良質な開発者体験を維持した話 - MonotaRO Tech Blog

                  モノタロウのCRMグループでバックエンドエンジニアをしている新盛です。 モノタロウのCRMグループでは、主に顧客管理を中心に、フルスクラッチの基幹システムを運用しつつ、部分的にパッケージソフトや最新の技術を導入することで、増加する売上を支える事ができるシステムを目指して、システムのモダナイズに挑戦しています。 note.com モダナイズを進めると新技術を用いたシステムを取り扱う機会が必ず訪れます。従来の業務に支障なく、新しい技術を取り入れるためには様々な工夫が必要になります。 今回は引継ぎという場面で定常業務への影響をなるべく抑えて環境構築の容易化と開発者体験の両立を実現するためにDockerコンテナが活用できた話をします。 背景 課題 開発環境をDockerでコンテナ化するメリット Dockerコンテナを用いた環境構成 Dockerコンテナのシステム要件 DockerコンテナからDoc

                    Dockerコンテナに開発環境を構築し、良質な開発者体験を維持した話 - MonotaRO Tech Blog
                  • 新人エンジニアはnewsletterを読もう - Qiita

                    エンジニアには「技術的な議論についていけるようになりたい」とか「自分が伸ばしたい分野の最新情報をちゃんと追いかけたい」とか悩んでいる人が多いと思う。 例に漏れず私も悩んでいて、以前からいろいろ試していたが、同僚が紹介していた「newsletterを購読する」方法が一番ためになった。 まず不足しがちな情報として、コミュニティの最新動向をキャッチアップするためにはnewsletterを購読している。 newsletterとは有志がある技術に関する最新動向をまとめて定期的に配信するメディアで、僕が購読しているものだと https://this-week-in-rust.org/ https://www.cncf.io/kubeweekly/ などがある。 大体は「<技術名> newsletter」で検索するとそれっぽいものが引っかかるのでそれをsubscribeすればよい。 まともなnewsle

                      新人エンジニアはnewsletterを読もう - Qiita
                    • 39歳で年収2000万円超え、NTTデータ「大盤振る舞い」制度の適用第1号が判明

                      NTTデータが2018年12月に導入した高額報酬制度の「Advanced Professional(ADP)」。優れた技術者を2000万円を超える年収で遇する同制度の適用第1号がこのほど明らかになった。その人物の横顔に迫ろう。 適用第1号となったのは、ビッグデータ処理のオープンソースソフトウエア(OSS)「Apache Hadoop」の事業を同社で立ち上げたことで知られる濱野賢一朗氏だ。1980年6月生まれの39歳。同社はADP制度を発表した際に「確定申告が必要な額になる給与」、つまり年間2000万円を超える給与になると説明していた。濱野氏の給与は標準報酬だけで2000万円を超え、業績に応じて年収は最大3000万円に増えるという。 米国IT企業に対抗すべく高額報酬制度を導入する日本のIT企業が相次いでいる。しかしその適用者が明らかになるケースは珍しい。濱野氏は、2019年9月5日に開催され

                        39歳で年収2000万円超え、NTTデータ「大盤振る舞い」制度の適用第1号が判明
                      • 機械学習エンジニアが職を失いつつある。しかし、とにかく機械学習を学ぼう | AI専門ニュースメディア AINOW

                        著者のChris I.氏は、カナダ・トロントでデータサイエンティストとして活躍しています。同氏がMediumに投稿した記事『機械学習エンジニアが職を失いつつある。しかし、とにかく機械学習を学ぼう』では、北米のAI業界に関する雑感とAI業界で働き続けるための心得が書かれています。 Chris I.氏が北米のAI市場を見る限りでは、「第三次AIブーム」の熱は冷め、AI技術の研究職に関する求人は減り、AI技術者の供給が需要を上回る景気後退局面に入りました。しかし、こうした見方はAI業界の一側面を見ているに過ぎません。AI研究に対する熱は冷めたかも知れませんが、既存のAI技術を活用して解決すべき問題は、まだ無数にあるのです。このように現状を見たうえで、今後もAI業界で働くにあたっての心得を同氏は以下のように書き記しています。 問題を解決するのに、最先端のAI技術は必要ない。むしろ、既存のAI技術を

                          機械学習エンジニアが職を失いつつある。しかし、とにかく機械学習を学ぼう | AI専門ニュースメディア AINOW
                        • おそらく先がない5つのプログラミング言語? - YAMDAS現更新履歴

                          おそらく先がない5つのプログラミング言語、といういろいろと怒りをかいそうな記事だが、どうせワタシが愛する C 言語なんかがまたやり玉に挙がってるんだろうと見たら、一番最初に Ruby が挙がっている…… この記事は TIOBE や RedMonk のプログラミング言語ランキングに Dice 独自の求人票情報を加味してるようだが、Ruby は落ち目という認識らしい。うーむ。 それ以外には Haskell、Objective-C、R、そして Perl が挙げられていて、この手の記事の定番といえる Perl、Swift 誕生後やはり定番である Objective-C はそうですかという感じだが、ビッグデータの時代に人気を高めた R 言語ですら、Python に追いやられつつあるというのはそうなんでしょうね。 それにしても Ruby が先がないという意見には異論が出るだろう。ネタ元は Slashd

                            おそらく先がない5つのプログラミング言語? - YAMDAS現更新履歴
                          • AWS認定12冠を振り返る - fu3ak1's tech days

                            みなさん大好き(?)、AWS認定試験のお話です。 参考:AWS 認定 – AWS クラウドコンピューティング認定プログラム | AWS 私は現時点で全ての認定(12個)を持っているのですが、認定の有効期限があるうちに振り返っておきたいと思います。 ※Big Data認定は現在Data Analyticsに名前が変更されています。私は古い形式のBig Dataのみ合格しています。 →2021/3/9にData Analyticsも合格しました!Big Dataの後継になるため、認定の種類としては現在も12種類ですが、バッチ的には13個手にいれることができました。 受験日、スコア 認定 受験日 スコア Solutions Architect - Associate 2017-07-23 78% (*1) Solutions Architect - Professional 2018-11-06

                              AWS認定12冠を振り返る - fu3ak1's tech days
                            • 県内バス全無料化「1世帯月1000円負担で可能」 熊本で1日やってわかったこと(乗りものニュース) - Yahoo!ニュース

                              2019年9月14日(土)、熊本県で「県内バス・電車無料の日」が実施されました。県内の路線バス、市電などを(JRなど一部の鉄道と、高速バスなど一部のバス路線は対象外)、誰でも1日無料で乗車できるというもので、県内最大のバス事業者である九州産交グループが企画したものです。 【写真】日本最大規模のバスターミナルがある「SAKURA MACHI Kumamoto」 計4694便が対象という類を見ない大掛かりな企画で、熊本電鉄など九州産交以外の事業者の運賃減収分も、九州産交グループが負担しました。この日に九州産交グループは、国内最大級のバスターミナルだった熊本交通センターの跡地に、商業施設「SAKURA MACHI Kumamoto(以下、サクラマチ)」を開業しました。その認知拡大や、開業初日における駐車場の混雑対策を目的に「電車・バス無料の日」が実施されたのです。 ただ、長期的な視点に立つと、よ

                                県内バス全無料化「1世帯月1000円負担で可能」 熊本で1日やってわかったこと(乗りものニュース) - Yahoo!ニュース
                              • 町山智浩 on Twitter: "韓国と台湾がスマホとビッグデータを駆使してコロナ封じ込めに成功したのは軍事国家だから、というのはちょっと違ってて、今の韓国と台湾の政権はリベラルで、民主的に情報公開し続けて国民の信頼を勝ち得ているからできることで、そうでない政権が… https://t.co/w3dr8DKKLB"

                                韓国と台湾がスマホとビッグデータを駆使してコロナ封じ込めに成功したのは軍事国家だから、というのはちょっと違ってて、今の韓国と台湾の政権はリベラルで、民主的に情報公開し続けて国民の信頼を勝ち得ているからできることで、そうでない政権が… https://t.co/w3dr8DKKLB

                                  町山智浩 on Twitter: "韓国と台湾がスマホとビッグデータを駆使してコロナ封じ込めに成功したのは軍事国家だから、というのはちょっと違ってて、今の韓国と台湾の政権はリベラルで、民主的に情報公開し続けて国民の信頼を勝ち得ているからできることで、そうでない政権が… https://t.co/w3dr8DKKLB"
                                • GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック(構造化データ加工編)

                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                    GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック(構造化データ加工編)
                                  • 《他者》をスパイスとする搾取性と、デート文化におけるアジア人女性フェチ - It all depends on the liver.

                                    はじめに “It’s such a privilege to be able to experience another person’s culture.” 「異なる文化に接せられるというのはある種の特権だからね」 ーーGet Out, 2017 昨年からイギリスに留学している。最初は授業についていけなすぎてピーピー泣いていたのだが、だんだん落ち着いてきて、ちょっと人と会いたくなって、日本ではずいぶん前に浅瀬でピチャピチャして終わったTinderでもやってみるか〜とインストールし直したのが2021年11月のこと。開始直後は一晩でLikeが800件くらい来てまんざらでもなく「やたら猫やら犬やら抱き抱えてる人間多いな」「筋肉のアピールの仕方が……日本の比ではない……」とか悠々と眺めていたのだが、2〜3日、何人かとメッセージ交換し出したらしんどすぎてやめてしまった。「アジア人」「女性」という以

                                      《他者》をスパイスとする搾取性と、デート文化におけるアジア人女性フェチ - It all depends on the liver.
                                    • 国勢調査が「存亡の危機」に!? | 特集記事 | NHK政治マガジン

                                      「国勢調査は大丈夫か?」 いま、関係者の間で危機感が広がっている。 5年に1度、日本に住むすべての人を対象に行われる国勢調査。 「日本で最も重要な統計調査」と位置づけられ、ことし100年目という節目を迎えた。しかし、想定を超える回答率の低迷が続いている。 取材を進めると、岐路に立つ国勢調査の実態が見えてきた。 (柳生寛吾、鵜澤正貴) 回答率、3割にも届いていない! 霞が関から5キロほど離れた新宿・若松町の総務省第2庁舎。そこに、「令和2年国勢調査実施本部」は設けられた。室内のパソコン画面には、国勢調査の回答状況がリアルタイムで表示されている。 今回の国勢調査は、9月14日からインターネットでの回答の受け付けが始まった。10月1日から始まる郵送での回答もあわせ、回答期限は10月7日だ。 24日間の調査期間のうち16日が過ぎた9月29日時点の回答率は、わずか23.9%だ。前回調査の同時期のイン

                                        国勢調査が「存亡の危機」に!? | 特集記事 | NHK政治マガジン
                                      • エンジニア不足が加速する日本|現状と原因、対処法をくわしく解説 - GALK(ガルク)

                                        「日本のエンジニアは不足しているというけれど本当? その原因は?」 「わが社でもエンジニアが不足していて困っている、何かよい解決法はないか?」 いまこの記事を読んでいる方は、そのような疑問や悩みを持っているのではないでしょうか? 「エンジニア不足というのはウソだ」と主張する向きもありますが、実際にデータを見ると確実にエンジニアは不足しています。 2018年時点の調査で22万人、このままいけば最悪の場合は2030年時点で79万人が不足すると予想されているのです。 原因として考えられるのは以下のようなことです。 ・IT市場が急成長している ・技術革新のスピードが速い ・エンジニアの高齢化が進んでいる ・IT業界の労働環境がよくない そして、この解決のために企業がとれる対策としては、以下が挙げられます。 ・エンジニアの待遇を改善する ・社内で人材を育成する ・海外人材を活用する そこでこの記事で

                                          エンジニア不足が加速する日本|現状と原因、対処法をくわしく解説 - GALK(ガルク)
                                        • データベースと向き合う決意 | フューチャー技術ブログ

                                          秋のブログ週間の9本目のエントリーになります。この企画もこんなに書く人が出てくるように育っていいですね。 「中間層を増やして柔軟性を高めるのがソフトウェアの歴史」 これは大学時代に2つ上の先輩が言っていた言葉です。例えばマシン語を直接書くのではなく、アセンブラで書けば、変換(コンパイル)の手間はかかりますが、他のCPUへの移植はしやすくなります。高級アセンブラと名高いC言語を使えばさらに移植性は上がります。C言語で書かれたVMを使う言語、例えばJava、Python、Rubyなんかはさらに移植性は上がります。 ストレージもそうです。最終的にストレージはビット列を保存するものですが、それにOSのファイルシステムというレイヤーがあり、そこにスキーマで管理されたデータを入れるDBMSが乗っかり、SQLなどの問い合わせ言語でデータ取得できるようにします。DBMSを挟むことで、レプリケーションでバッ

                                            データベースと向き合う決意 | フューチャー技術ブログ
                                          • ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」

                                            「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ(53)が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した

                                              ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」
                                            • セブン&アイがエンジニアを大量採用、「DXの内製化」に注力する理由

                                              経済産業省と東京証券取引所が2021年6月に発表した「デジタルトランスフォーメーション(DX)銘柄 2021」。「日本の先進DX」といえる選定企業の事例を厳選して取り上げ、DX推進の勘所を探る。セブン&アイ・ホールディングスはエンジニアを大量に中途採用して内製化を推し進め、DXに挑んでいる。 「セブンイレブン事業を核としたグローバル成長戦略と、テクノロジーの積極活用を通じて流通革新を主導する世界トップクラスのグローバル流通グループを目指す」。セブン&アイ・ホールディングスの井阪隆一社長は2021年7月1日に開かれた中期経営計画(2021~2025年)説明会の場で、自社の将来像をこう力強く語った。 約160人を中途採用、内製化に舵を切る DX銘柄に初選出されたセブン&アイ・ホールディングスは、ここ数年でシステム開発の内製化に大きく舵(かじ)を切った企業の1社だ。2019年10月にエンジニア専

                                                セブン&アイがエンジニアを大量採用、「DXの内製化」に注力する理由
                                              • 「自転車専用通行帯」東京23区で134路線整備も8割余に違法駐車 | NHK

                                                車道の端を青く塗装するなどして区切り、自転車が安全に走行できるようにする自転車専用通行帯。東京23区では去年10月の時点で134路線が整備されていますが、警視庁が平日のある1日に調査した路上駐車のビッグデータをNHKが入手し分析したところ、その8割余りに違法駐車があることが分かりました。 自転車の関係する事故が全国で相次ぐ中、車道の端を青く塗装するなどして区切り、自動車と分離する自転車専用通行帯などの整備が進められる一方で、利用者からは、違法駐車によって通行帯の走行が妨げられているという指摘もあります。 NHKは、通行帯の違法駐車の実態を調べるため、警視庁が去年10月の平日の1日に行った調査で得られた東京都内の路上駐車のビッグデータを入手し、独自に分析しました。 分析は、昼と夕方に確認された違法駐車、およそ8万2000台の位置や車種などの情報に、通行帯の位置を重ねて行いました。 その結果、

                                                  「自転車専用通行帯」東京23区で134路線整備も8割余に違法駐車 | NHK
                                                • なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決する

                                                  なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決するShellScriptUNIXSQLitePOSIXQiitadelika 「利用者は数十億人!? SQLiteはどこが凄いデータベース管理システムなのか調べてみた」の続きです。 はじめに 複雑な構造のデータを扱うのであればシェルスクリプトや Unix (POSIX) コマンドでデータ管理を行うのは避けるべきだと思います。解決不可能な問題が多いからです。しかしそれでも何かしらの理由でやろうと考える(やらなければいけない)のであれば SQLite を使うのをおすすめします。シェルスクリプトや Unix コマンドは行単位の単純なテキストデータをシーケンシャルにデータ処理するのが前提となっており、改行や空白が含まれるデータや複雑な構造のデータ扱うのは苦手です。またシェル

                                                    なぜシェルスクリプトで高度なデータ管理にSQLiteを使うべきなのか? ~ UNIX/POSIXコマンドの欠点をSQLで解決する
                                                  • 最終盤に急増した「反対」ー 独自データで読み解く大阪都構想住民投票「否決」のワケ(米重克洋) - エキスパート - Yahoo!ニュース

                                                    2度目の住民投票が行われた、いわゆる「大阪都構想」。その開票結果は、賛成49.4%に対して反対が50.6%だった。前回は0.8%差の僅差だったが、今回もほぼ変わらない僅差での否決となった形だ。 投開票日直前の10月30日・31日にABCテレビと弊社(JX通信社)で行った合同調査では、賛否はどちらとも言えないとした未定者を除くと賛成49.2%に対して反対50.8%で、結果はほぼ事前の調査通りだったと言える。 詳細はABCテレビ・JX通信社合同調査の特設サイトより 実は、この調査は住民投票における「民意」の変動をより正確に観測するため、異例の週に1回というハイペースで行ってきた。報道各社の通例では1ヶ月おきに計2回ほどの調査となるところ、ABCテレビ報道局のご英断による弊社との合同企画が実現し、より精緻な情勢の可視化に取り組むことが出来たのだ。 では、元々「賛成が優勢」と言われてきた大阪都構想

                                                      最終盤に急増した「反対」ー 独自データで読み解く大阪都構想住民投票「否決」のワケ(米重克洋) - エキスパート - Yahoo!ニュース
                                                    • 歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ- - NRIネットコムBlog

                                                      小西秀和です。 Amazon Web Services(AWS)に関する情報や魅力を様々な観点から記事にしてみていますが、技術史が好きなこともあって今回はAWSサービスの発表の歴史を年表でまとめました。 AWSからもWhat's Newとして公式アナウンスは発表されていますが、アナウンス日、GA日(一般提供開始日)、サービス名、サービス概要といった情報に圧縮して時系列でAWSサービス一覧を一枚もので確認できる記事が今まで欲しかったので自分で作成してみることにしました。 AWS全サービスの歴史年表の作成方法 AWS全サービスの歴史年表の対象となるAWSサービスは次の手順で選定しました。 AWSサービス・製品一覧「Cloud Products(英語版)」にあるサービスのうち「~ on AWS」といったサードパーティー製品がメインとなるサービスを除いたリストを作成 AWSサービス・製品一覧に記載

                                                        歴史・年表でみるAWS全サービス一覧 -アナウンス日、General Availability(GA)、AWSサービス概要のまとめ- - NRIネットコムBlog
                                                      • 新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics

                                                        最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験!」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか? データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを

                                                          新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
                                                        • AWS、Amazon S3やEFSを爆速にする「Amazon File Cache」発表。複数のストレージを単一のビューでアクセス可能に

                                                          Amazon Web Services(AWS)は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー

                                                            AWS、Amazon S3やEFSを爆速にする「Amazon File Cache」発表。複数のストレージを単一のビューでアクセス可能に
                                                          • 技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話

                                                            こんにちは、株式会社シグマアイのエンジニアの@k_muroです。 今回の記事は最近導入した「技術blogを良い感じに共有してくれるSlack bot」のご紹介を。 はじめに 技術の進化は止まらない。(真面目な話、AI系の進捗がマジですごいて全然追えない) 毎日のように新しい技術、フレームワーク、ライブラリ、ツールが生まれています。そんな中でエンジニアとして働いていると、この情報の波に疲れを感じること、ありませんか? ありますよね?(脅迫) 実際私もその一人で、この小さな疲れが積み重なって大きなストレスとなることに気づきました。 「新しい技術情報、追いつけるかな?」 「あのブログ記事、後で読もうと思ってたのに、どこいったっけ?」 「チーム全員が同じ情報を持ってるか心配だな。」 そんな日常の疑問や不安から逃れるための一歩として、私はあるSlack botを開発しました。このbotは、送られた技

                                                              技術blogのリンクを投げたらChatGPTが要約して、いい感じに整形してチャンネル投稿してくれるbotを社内Slackに生やしたら捗った話
                                                            • NEDOが25億円投じ日の丸RDBを開発中、「国産にも勝機あり」と自信を見せる理由

                                                              厳格なOLTPと高速なOLAPを両立 新RDBの特徴は厳格なOLTP(オンライントランザクション処理)が可能でありながら、ビッグデータ分析にも使用できる高いOLAP(オンライン分析処理)性能を有していることだ。OLTPとOLAPの両立はHTAP(Hybrid Transaction/Analytical Processing)と呼ぶ。OLTPで用いる行方向のデータは不揮発性メモリーを採用する主記憶(メインメモリー)に格納し、OLAP用の列方向のデータを2次記憶装置に格納する。2次記憶装置にも不揮発性メモリーを使用する。 OLTPに関しては、トランザクション処理の分野で一般的なベンチマークである「TPC-C」において1ノードで1000万トランザクション/秒(TPS)の達成を当面の目標とする。そしてトランザクション処理においては、一貫性と隔離性のレベルを示す「トランザクション分離レベル」が最も

                                                                NEDOが25億円投じ日の丸RDBを開発中、「国産にも勝機あり」と自信を見せる理由
                                                              • 「昔のインターネットは面白かった」と思っている世代からみた「今のインターネット」

                                                                anond.hatelabo.jp gothedistance.hatenadiary.jp p-shirokuma.hatenadiary.com 「昔のインターネット」の話になると、つい、いっちょ噛みしてしまいたくなる(今では「擦る(こする)とか言うんですかね)。 僕自身の記憶を辿ってみると、2000年代、まだISDN全盛の頃から、ホームページビルダーで個人サイトを作っていた頃、そして、眞鍋かをりさんが「ブログの女王」と呼ばれ、雨後の筍のようにブログサービスが立ち上がっていった時期の頃は、「楽しかった」というか、「とにかく時間を惜しんで更新していた」のだ。仕事は今よりずっと忙しくて時間に追われていたのだが、夜遅くに帰ってから睡眠時間を削って毎日更新していた。 いやむしろ、忙しくて仕事にもあまり夢中になれず、生き甲斐をブログにアウトソーシング(外注)していたのではないか、とさえ思う。 1

                                                                  「昔のインターネットは面白かった」と思っている世代からみた「今のインターネット」
                                                                • アウシュビッツ博物館、再開に向けて新たな完全自動の全身消毒ゲート導入 ポーランドの大学が開発(佐藤仁) - エキスパート - Yahoo!ニュース

                                                                  第2次大戦時にナチスドイツによって約600万人のユダヤ人、ロマ、政治犯らが殺害された、いわゆるホロコースト。ホロコーストの象徴的な存在が、110万人以上が殺害されたポーランドにあるアウシュビッツ絶滅収容所だ。先日アウシュビッツに収容されていたポーランド人収容者からの手紙がデジタルアーカイブとして公開されたり、いまだにホロコースト教育が欧米やイスラエルでは行われている。現在でもアウシュビッツ・ビルケナウ博物館として欧米やイスラエルの修学旅行生や観光客が多く訪れ、2019年には過去最高の230万人が訪問。内訳としてはポーランド人約40万人、イギリス人20万人、アメリカ人12万人、ドイツ人7万人。特に春や夏はいつも混雑しており、いわゆる密状態だ。だが、新型コロナウィルスの感染拡大防止のために、閉鎖していた。そして2020年7月1日から再開する。 アウシュビッツに新たに設置された消毒ゲート(アウシ

                                                                    アウシュビッツ博物館、再開に向けて新たな完全自動の全身消毒ゲート導入 ポーランドの大学が開発(佐藤仁) - エキスパート - Yahoo!ニュース
                                                                  • 「コンサルあまり」の時代が始まった…マッキンゼー、アクセンチュアが大規模リストラに追い込まれた理由 IT企業向けのサービス需要が行き詰まっている

                                                                    リーマンショック後、世界の有力コンサルティング企業は、新しい事業の育成、その運営体制の企画、設計などに関する業務をIT先端企業などから受託してきた。そうすることで企業は迅速に、必要な業務運営の体制を整備できた。コロナ禍の発生によって、世界経済のデジタル化は一時的に急加速した。その結果、IT先端分野などで新しい業務運営の確立に必要なコンサルティング・サービスへの需要も押し上げられた。 しかし、競争の激化、世界的なインフレ進行、ウィズコロナへの移行、さらには世界的な金利上昇などを背景に、IT関連企業の成長期待は急速にしぼんでいる。すでに、米メタ(旧フェイスブック)などで、コンサル出身の経営幹部が要職を退いた。IT業界でのリストラは加速している。その成長を取り込んだコンサル業界などにもより強いリストラ圧力がのしかかろうとしている。 過剰投資、過剰採用を抱えたIT企業の退潮 足許、米国を中心に急速

                                                                      「コンサルあまり」の時代が始まった…マッキンゼー、アクセンチュアが大規模リストラに追い込まれた理由 IT企業向けのサービス需要が行き詰まっている
                                                                    • イラストのAI学習禁止はできるのかをAIエンジニアが短く話します

                                                                      こんにちは。 mimic(ミミック)というサービスがリリースされ、インターネットを騒がせています。 このサービスはアップロードされたイラストを学習して、類似されたイラストを生成できるというものです。 illustmimic.com 誰がこの文章を書いているか ShodoというAI文章校正サービスを作って運営しているものです。@hirokikyといいます。 Shodoは皆さんがメールや記事を書くときに、変な日本語になっていないかや、二重敬語を使っていないかなどをチェックしてくれるサービスです。 この記事はざっくりAIエンジニアが書いていると思ってください。 「AIと著作権」というかなりセンシティブな問題について当事者でもありますので、今回の件をサービスの設計などを含めてざっくり話します。 私自身も勉強中の身ですので、ぜひ文章に改善点があれば教えてくれると嬉しいです。 そして実際に困ったことが

                                                                        イラストのAI学習禁止はできるのかをAIエンジニアが短く話します
                                                                      • 竹中平蔵氏、中国社会でひそかに「大人気」になっていた(梶谷 懐) @gendai_biz

                                                                        あの竹中平蔵氏が、中国で大いに人気を集めているらしい。中国の人々はいったい竹中氏の何に惹かれ、彼から何を得ようとしているのか。その背景を追っていくと、日中で共振する「新自由主義」の動きが見えてきた。神戸大学・梶谷懐教授による全3回のレポート。 スーパーシティ法案成立の陰で 本年5月27日に、国家戦略特区法の改正案、いわゆる「スーパーシティ法案」が国会で成立した。新型コロナウイルス禍の拡大に伴う緊急事態宣言発令中の成立であり、報道などでは、遠隔医療の本格導入を始めスマート技術を用いた感染対策の進展に期待する声も多く聞かれた。 このスーパーシティ構想の背景としてAIやビッグデータを活用して社会のあり方を根本から変えるような都市設計を目指す動き、すなわちスマートシティの建設が、世界各地で本格化していることが指摘されている。 それを踏まえた上で(1)生活を支える複数のサービスが導入されている(2)

                                                                          竹中平蔵氏、中国社会でひそかに「大人気」になっていた(梶谷 懐) @gendai_biz
                                                                        • Google、都道府県別コロナ予測「COVID-19感染予測(日本版)」提供開始

                                                                          日本全国での新型コロナ感染に関する予測情報を、都道府県別に提供する。向こう4週間に予測される死亡者数、陽性者数、入院・療養等患者数などをダッシュボードで示す。 また、医療機関や研究機関向けにGoogle Cloud Platformで提供されるビッグデータ解析プラットフォーム「BigQuery」やCSVファイルとしても提供する。 オリジナルのCOVID-19 Public Forecastsは、Google Cloud AI と米Harvard Global Health Instituteが提携して開発した。ジョンズ ホプキンス大学、Descartes Lab、米国国勢調査局などが一般公開しているデータを使用してトレーニングされており、今後も更新が続けられる。 COVID-19 Public Forecastsの予測モデルのローカライズに当たっては、日本のデータセットのみを利用してトレー

                                                                            Google、都道府県別コロナ予測「COVID-19感染予測(日本版)」提供開始
                                                                          • ピボットを経てグローバル戦略へ、そして1兆円企業に…Treasure Data CEO・太田一樹の「忘れられない30分間」

                                                                            データの収集・分析・連携ができるCDP(カスタマーデータプラットフォーム)を手掛けるTreasure Dataは、グローバルでも急成長中の注目SaaS企業。2018年にはArm社へイグジットしましたが、その後、今年になって創業者たちが「出戻り」の形で経営陣につき、さらなる飛躍を目指すというニュースは、業界に驚きをもたらしました。 今でこそCDPとして名高いTreasure Dataも、実はARR 30億円の段階でピボットし、現在の姿へと変わった経緯がありました。その背景にあったストーリー、ピボット後にARR 100億円を突破するため必要だったこと、そしてカムバックの理由まで、共同創業者でCEOを務める太田一樹さんに伺います。 聞き手は、ALL STAR SAAS FUNDマネージング・パートナーの前田ヒロです。 3年でARR10億、しかしテックジャイアントの参戦で…──早速ですが、ARR3

                                                                              ピボットを経てグローバル戦略へ、そして1兆円企業に…Treasure Data CEO・太田一樹の「忘れられない30分間」
                                                                            • 日本の歯科矯正に黒船襲来!迫る価格破壊の足音 | 週刊ダイヤモンドの見どころ | 週刊ダイヤモンド

                                                                              『週刊ダイヤモンド』11月30日号の第1特集は「歯医者のホント」です。歯医者の世界は、構造変化の只中にあります。それを象徴するのが、日本で広がりつつある米国発のマウスピース型矯正ビジネス。価格破壊で業界を大きく揺るがす勢いです。日本の歯科業界は問題がまさに山積しています。「賢い患者」をめざす読者のために、知られざるホントを明らかにしていきます。 ”日本の医者飛ばし” マウスピースビジネスの破壊力と落とし穴 ”黒船”が襲来した──。日本の歯科矯正の世界ではこの数年、このような表現にふさわしいような地殻変動が起こっている。キーワードは「マウスピース矯正」。震源は米国だ。 その先兵は米アライン・テクノロジーが展開する「インビザライン・システム」。米国で蓄積された患者のビッグデータを用い、透明な樹脂製で取り外し可能な「アライナー」と呼ばれる装具を販売する。 日本ではワイヤー矯正で、口元から金具がの

                                                                                日本の歯科矯正に黒船襲来!迫る価格破壊の足音 | 週刊ダイヤモンドの見どころ | 週刊ダイヤモンド
                                                                              • LINEの個人情報事件に関するZホールディンクスの有識者委員会の最終報告書を読んでみた : なか2656のblog

                                                                                1.LINEの個人情報・通信の秘密に関する不祥事が発覚 2021年10月18日に、LINEの個人情報の事件に関するZホールディングスの有識者委員会の最終報告書が公表されました。 ・「グローバルなデータガバナンスに関する特別委員会」最終報告書受領および今後のグループガバナンス強化について|Zホールディングス 朝日新聞の編集委員の峰村健司氏などによる2021年3月17日付のスクープ報道により、通信アプリ大手LINE(国内の月間利用者約8900万人・2021年9月現在)を運営するLINE社が、中国の関連会社にシステム開発やユーザーから通報を受けた投稿等に問題がないかどうかのチェックなどの業務を委託し、中国関連会社の技術者らが日本のLINEのサーバーの個人情報にアクセスすることができる状態にあったことや、日本のユーザーの画像データ、動画データなどのすべての個人データがLINE社の韓国の関連会社のサ

                                                                                  LINEの個人情報事件に関するZホールディンクスの有識者委員会の最終報告書を読んでみた : なか2656のblog
                                                                                • 浜崎あゆみさんの年末ライブ、チケット価格が「時価」に 高額転売防止

                                                                                  エイベックス・エンタテインメントは11月22日、需要に応じてチケット価格を変動させる「ダイナミックプライシング」を、浜崎あゆみさんの年末ライブに導入すると発表した。国内アーティストでは初の試みという。顧客に適正価格でチケットを提供でき、高額転売の抑止にもつながるとしている。 ダイナミックプライシングは、AI技術を活用し、チケット購入時期、過去の販売実績、天候などのビッグデータに基づき、リアルタイムにチケット価格を変える手法。 今回、三井物産の子会社ダイナミックプラスが開発した価格算出アルゴリズムを、12月31日開催のライブ「ayumi hamasaki COUNTDOWN LIVE 2019-2020 ~Promised Land~ A」のチケット販売で導入する。 エイベックスは6月、三井物産からダイナミックプラスの株式の一部を取得。提携を通じ、音楽・コンサート分野へのダイナミックプライシ

                                                                                    浜崎あゆみさんの年末ライブ、チケット価格が「時価」に 高額転売防止