紀元前からの様々の事例から学べる事としては、絶対に失いたくないデータは大切に保管してはいけない。流通させよ。ともかくコピーの数だけが正義である。どのように保管したかとか誤差だ。媒体はどうせどれも失われる。
2022年4月27日 CSS, HTML, Webサイト制作 料金表やサービスプランの比較、タイムテーブルなどなど、使う場面が多い割には制限も多く、初心者には少しとっつきにくいと思われがちな表。今回はあると便利な表の見出し固定やレスポンシブ対応の方法を紹介します。 ↑私が10年以上利用している会計ソフト! 見出しの行を固定する 表の中の行が増えてくると、スクロールした時に表の見出しが画面から見えなくなり、なんの値だったのかがわかりづらくなります。そんな時のために、行数の多い表では一番上にくる見出しの行を固定しておくといいですね。 まずはベーシックな表を作成します。table タグに border-collapse: collapse; を指定することで、セル間のスペースがなくなってフラットな見た目になりますよ。 HTML <table> <tr class="heading"> <th>車
『データ指向アプリケーションデザイン』を読んだ。たいへんおもしろかった。技術書でこんなにわくわくしながら一気に読んだのは『Androidを支える技術』以来かもしれない。 データ指向アプリケーションデザイン ―信頼性、拡張性、保守性の高い分散システム設計の原理 作者: Martin Kleppmann,斉藤太郎,玉川竜司出版社/メーカー: オライリージャパン発売日: 2019/07/18メディア: 単行本(ソフトカバー)この商品を含むブログを見る 本書はソフトウェアシステムの設計について「データ」という観点からまとめたものだ。もちろんデータベースは登場するが、それだけでなくJSONなどのデータ形式、RPC、メッセージキュー、全文検索インデクス、バッチ処理やオンライン処理も等しく「データ」という観点から扱っている。特筆すべき点は、理論だけでなく実際のミドルウェア製品を引き合いに出しつつ具体例を
こんにちは。Forkwell の赤川です。 本記事では、2022年4月時点で Forkwell に登録するIT/Webエンジニアの匿名データのうち1万人分を分析し、年代別・経験別の年収を解説します。単なる平均年収にとどまらない、世代別の年収分布、スキル別の年収分布を詳細に出した過去に類を見ないレポートです。このレポートが、ITエンジニアの年収事情の透明性を高め、個人がキャリアを考えるうえで検討材料となること、また企業の評価が適正になるきっかけとなることを願います。なお、このレポートは個人のキャリアに貢献することを目的として執筆しておりますので、商業媒体での引用等、営利目的で利用したい場合は筆者にご相談ください。それでは見てみましょう。 ITエンジニアの世代別年収は? 以下のグラフは、ITエンジニア全体の平均年収が世代別にどのように分かれているかを示したものです。(グラフは Googleデー
CCCマーケティングとトレジャーデータは7月28日、CDP(Customer Data Platform)領域において業務提携を行い、同意取得済のT会員データ(Tポイントデータ)を、生活者のライフスタイルを基点とした情報プラットフォーム「CDP for LIFESTYLE Insights」として8月から提供を開始すると発表した。 2022年3月現在、名寄せをし重複を排除したT会員数は7025万人で、週間の利用者は2469万人、月間利用者は4175万人だという。この会員により、年間35億件以上の購買トランザクション、15万店舗のネットワークで扱われる60億種類の商品データ、数千項目からなる顧客DNAのペルソナデータ、 オフライン・オンライン上の移動・行動データやメディア接触データ、またCCCマーケティンググループオリジナルのエンハンスデータなとが得られ、データベースに蓄えられている。 20
ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね
「雑用扱いで名前もない」 データ分析の土台を支える“SQLを叩く人”の重要性を問い直す:これからのAIの話をしよう(データ整備人編)(1/3 ページ) 多くの企業がデータの分析・活用に取り組んでいますが、その中で抜け落ちがちなのが、データ整備の視点です。データベースからデータを抽出・集計して分析者に渡す作業は地味に見えますが、データ分析の土台を支える極めて重要な仕事です。 この役割は、戦争でいうところの「兵站」(へいたん)に当たるほど重要なのではないか――データ分析に関する情報発信を続けるしんゆうさんが、自身のブログでこう問いかけた所、予想以上の反響があったといいます。 ※兵站:戦場で、前線の部隊のために軍需品や食料などの供給・補充を行う機関 しんゆうさんは、データを抽出・集計して分析者に渡す人を「データ整備人」「データアーキテクト」と呼び、データ分析に関する勉強会を開催するなどの啓蒙活動
デジタル庁は、法令標準 XML スキーマに準拠した、現行の法令データをe-Gov法令検索というサイト上で公開しています[1]。今回、この法令XMLをパースするPythonライブラリ ja-law-parser をつくり、法令データの全文検索をしてみました。 この記事では、日本の法令とそのデータ構造、法令XMLパーサについて解説し、最後に、それらを使った法令データの全文検索システムを実装する方法をご紹介します。法令検索の実装についても、GitHubリポジトリで公開しています。 この記事は、情報検索・検索技術 Advent Calendar 2023の16日目の記事です。 法律と法令 法律とは 法律の制定と公布 法律と法令の違い 法律の改正 法令のデータ構造 e-Govの法令データ 法令標準XMLスキーマ 法令番号と法令ID 題名 本則と附則 条・項・号 編・章・節・款・目 法令XMLパーサ:
はじめに この記事は,Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量(最小値、最大値、平均、分散、四分位数)などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
データ分析とビジネス活用のプロとして、さまざまな業界・フィールドで活躍する「データサイエンティスト」。 スキルセットや必要な知識などが語られることはあるものの、まだはっきりとした定義がなく、いったいどんな人たちなのか?と疑問を持つ人も少なくないのでは。 そこで本企画では、企業で働くデータサイエンティストたちの"リアル"を調査。データサイエンティストを志した理由や興味深かった論文、普段の業務、自社で働く魅力などを22社、52人のデータサイエンティストに聞きました。 企業一覧 DataRobot Japan株式会社 株式会社GA technologies 株式会社HACARUS 株式会社JMDC 株式会社LIFULL MNTSQ株式会社 NABLAS株式会社 株式会社Rist Sansan株式会社 SOMPOホールディングス株式会社 株式会社ZOZO 株式会社ZOZOテクノロジーズ アスクル株
はじめに 新しいサービスにはじめて触れるとき、どうやって学べば良いかが分からずに困ることってありませんか? 特にパブリッククラウドは、サービス数が非常に多い上にアップデートが早いため、キャッチアップするのが大変ですよね。 本記事では、Microsoft Azure を学びたいと思っている方を対象に、オススメの学習方法についてまとめていきます。 想定読者 本記事が以下の皆様の Azure 学習の一助になれば幸いです。 これから Azure を学ぼうと思っている方 既に Azure を使っており、もっと学びたい方 AWS (Amazon Web Services) 経験者の方で Azure に興味がある方 GCP (Google Cloud Platform) 経験者の方で Azure に興味がある方 主要な学習リソースの概要 色々な学習リソースがありますが、Azure 公式ドキュメント と
1T🍵T @1T0T 旧友が講師を務める大学、ライブ授業禁止なだけでなくオンデマンド授業は1週当たりビデオ20分以上禁止(=70分自習必須)なんだそうだ。一番パケ死しやすい人に基準を合わせているらしい。そりゃ教員も学生もみんなツライわ…。 2020-08-29 05:40:14 1T🍵T @1T0T 「日本にはパケ死という概念があって月末にはネットワーク流量が激減する」なんて話が海外のどこかで「日本の珍現象」として報道されているらしいのですよ。我々は文科省だけでなく総務省にもメッセージを発する必要があるのかもしれない… 2020-08-29 09:03:34 1T🍵T @1T0T 大手私大→外資IT企業→女子大教員。公式発言は@1t0ochaで。 こちらの垢は大学教員の自覚のない緩々な発言多めで。ロクに通知を見てないのでリプ返しあまりしませんが無礼をご容赦ください。 ※勤務先学生さん
今や、ほぼ1人1台スマホやパソコンを所有している時代だが、そのパスワードについては、いくら親しい間柄とはいえ、知らされていないことが多い。 家族の誰かが亡くなったとき、その家族のスマホやパソコンを開かなくてはならない事態に陥っても、パスワードという壁に阻まれて、途方に暮れる遺族が増えている。一方で、スマホ・パソコンのデータ復旧やフォレンジックサービス(デジタル鑑識)に対応している企業は少なく、そうした企業の1つである「デジタルデータソリューション」には、家族が遺したデジタル資産に関するさまざまな相談が後を絶たない。 同社に相談した場合、相談料は無料だが、実際に作業を依頼すれば、20~30万円の費用がかかる。ただし、スマホやパソコンのロック解除の成功率は、100%ではない。 そこでデジタルデータソリューションに寄せられた相談から、「デジタル遺品」を取り巻く現在の人間模様を紹介し、万が一のとき
京都大学の西浦教授と北海道大学大学院の安齋麻美さんによる論文,「“Go To Travel” Campaign and Travel-Associated Coronavirus Disease 2019 Cases: A Descriptive Analysis, July–August 2020 」が公開され,大きなニュースになっています. メディアなどの報道では,「「GoToトラベル」の開始後に、旅行に関連する新型コロナウイルス感染者が最大6~7倍増加した」「旅行関連の新型コロナ発症率は約1.5倍に」といったセンセーショナルな取り上げ方になっていますが,この理解は正しくありません. 何が書いてあるのか,そしてどのような意味を持つのかについて少し整理してお話ししましょう. ※昨日の一連のツイートでは,どうもわからないところが多く,混乱している部分もあったためここにまとめておきます(実際
という非常に興味深い調査結果が発表されました。 そもそもイデオロギーとは「思想や考え、信念や理念をまとめたもの」を意味し、おもに政治思想などの世界で好んで使われます。 政治思想では「保守」と「リベラル」という二つの大きなイデオロギーが存在し、それぞれ「右」や「左」と呼称されることもあります。一般的に、保守(保守主義)は「現状の制度や思想を尊重する立場」であり、リベラルは英語の「自由な」に由来し「個人の自由を重んじて社会を変えていく立場」とされています。 選挙ドットコムではこの調査結果を参考に、「各年代のイデオロギー観」や「イデオロギー観別の政党支持」についてハイブリッド調査を用いて調べました。調査結果は以下の通りでした。 年代によってはっきり分かれるイデオロギー観 1月度のハイブリッド調査では、「政治的な立ち位置について、保守的やリベラルという言葉が使われますが、あなたは次の中でどれにあた
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
はじめに 「バスの乗り方が分からないなら検索しろ!」は的確か バスの乗り方が最もカオスなのは奈良県 前から乗るか、後から乗るのか、運賃を乗車時に支払うのか降車時に支払うのか 奈良はなぜカオスなのか 路線バスの多い都道府県 自治体の運営するバス コミュニティバスを運行する自治体の割合 コミュニティバスを含めたバスの乗り方まとめ 路線バスとコミュニティバスの集計方法 乗り方案内をHPに掲示する「路線バス会社」の割合と集計方法 コミュニティバスを運営する自治体の割合と集計方法 最後にやはり……「バスの乗り方が分からなかった検索しろ」 はじめに 「バスの乗り方が分からない」との声にお応えするため、全国の路線バスを運行する会社が HP 上で乗り方案内を掲示しているかを調べた。 ついでに、自治体が運営するコミュニティバスについても集計した。 集計結果をスプレッドシートにまとめた。具体的な集計方法は後述
try { const data = await fetchSomething(); // 正常系レスポンスの処理 } catch (err) { if (isAxiosError(err)) { // 異常系レスポンスの処理 } } 動機はつぎの 3 つです。 データ取得も宣言的に書きたいから データ取得に関係ない例外も catch してしまうから HttpError の集計に不便だから データ取得も宣言的に書きたいから 要約すると、データ取得時は常にこのように書きたい、という話です。useSWR・useQuery や apollo/client でお馴染みのインターフェイスです。 const { data, err, status } = await fetchSomething(); if (data) // 正常系レスポンスの処理 if (err) // 異常系レスポンスの処理
1. インストール 1pip install open-interpreter ターミナルで次のコマンドを実行して、Open Interpreter をインストールします。 2. 対話型チャットの開始 インストール後、次のコマンドを実行して、ターミナルで対話型チャットを開始できます。 1interpreter Python で対話型チャットを開始するには、次のコマンドを実行します。 1import interpreter 2interpreter.chat() 2. OpenAI APIキーの設定 OpenAIのAPIキーを利用する場合は設定が必要ですが、OpenAIのキーを使用しない場合は、Code-Llamaを利用することができます。 これで、Open Interpreterを利用する準備が整いました。 Open Interpreterの使い方 タスクの依頼・実行 Open Inter
KOBA789 です。 時が経つのは早いもので、気づけば2月末に無職になってから1ヶ月以上が過ぎていました。 その間に何をしていたのかといえば、表題の特集記事の執筆をしていました。 宣伝 このブログ記事は WEB+DB PRESS Vol.122 を読みたくなるためのものです。ぜひ買ってね。買ったらちゃんと読んでね。 作って学ぶ RDBMS のしくみ、書きました。みんな大好き Rust を使って解説してます https://t.co/nm526qQYnm— KOBA789 (@KOBA789) April 8, 2021 gihyo.jp 使用言語は Rust だし、RDBMS はそもそも難しいトピックだしで結構重めの内容ですが、まずは読み物として寝転びながらでもいいので読んでみてほしいです。 ゴールデンウィーク*1の自由研究のお供にもどうぞ。たぶんちょうどいい分量なんじゃないかなぁ。ゴー
0 1 2 3 4 5 6 7 8 9 a b c d e f 00: -- -- -- -- -- -- -- -- -- -- -- -- -- 10: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 20: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 30: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 40: -- -- -- -- -- 45 -- -- -- -- -- -- -- -- -- -- 50: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 60: -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 70: -- -- --
「ハスケル」と呼びます。 数学者・論理学者の Haskell Curry の名前に由来しています。 LISP, ML などの言語の影響を受けています。 関数型プログラミング言語 であり、特に 純粋関数型言語 に分類されます。 金融、セキュリティ、数学・科学解析、構文解析などの分野での利用例があります。 関数型プログラミングに慣れていない人にとっては、多少学習コストが高いようです。 遅延評価 を採用しており、式は記述されていても必要となるまで評価されません。 関数型言語ですが、モナド などを利用することにより、手続き型言語のような記述も可能です。 Haskell 1.0 (1990年)、Haskell 98 (1999年)、Haskell 2010 (2009年) などのバージョンがあります。 コンパイル型言語ですが、スクリプト言語の様にインタプリタで呼び出すこともできます。 処理系は、イン
エンジニアには「技術的な議論についていけるようになりたい」とか「自分が伸ばしたい分野の最新情報をちゃんと追いかけたい」とか悩んでいる人が多いと思う。 例に漏れず私も悩んでいて、以前からいろいろ試していたが、同僚が紹介していた「newsletterを購読する」方法が一番ためになった。 まず不足しがちな情報として、コミュニティの最新動向をキャッチアップするためにはnewsletterを購読している。 newsletterとは有志がある技術に関する最新動向をまとめて定期的に配信するメディアで、僕が購読しているものだと https://this-week-in-rust.org/ https://www.cncf.io/kubeweekly/ などがある。 大体は「<技術名> newsletter」で検索するとそれっぽいものが引っかかるのでそれをsubscribeすればよい。 まともなnewsle
2022年04月25日 NDLラボのGitHubから、次の2件を公開しました。ライセンスや詳細については、各リポジトリのREADMEをご参照ください。 NDLOCR 国立国会図書館(以下、「当館」とします。)が令和3年度に株式会社モルフォAIソリューションズに委託して実施したOCR処理プログラムの研究開発事業の成果である、日本語のOCR処理プログラムです。 このプログラムは、国立国会図書館がCC BY 4.0ライセンスで公開するものです。なお、既存のライブラリ等を利用している部分については寛容型オープンライセンスのものを採用しているため、商用非商用を問わず自由な改変、利用が可能です。 機能ごとに7つのリポジトリに分かれていますが、下記リポジトリの手順に従うことで、Dockerコンテナとして構築・利用することができます。 リポジトリ : https://github.com/ndl-lab/
Auto increment(自動採番)型を採用したくない場合 Auto Incrementは、データベースにおいて自動的に一意の識別子を生成するメカニズムです。通常、数値型の列が対象となり、新しいレコードが挿入されるたびにその列の値が自動的にインクリメントされます。典型的なIDですかね。 ここでは一意性の確保の話や、データ移行やバックアップのデメリットには言及せず、セキュリティとプライバシーの懸念にフォーカスして考えます。 予測可能性 Auto Increment型のIDは連番であるため、次に生成されるIDが容易に予測可能です。これにより、攻撃者がシステムの内部構造を推測し、不正アクセスを試みるリスクが高まります。 情報漏洩のリスク 連番のIDはデータベースの挿入順序を反映しているため、公開されることで企業の活動パターンやデータ生成の頻度が漏洩する可能性があります。 例) 競合他社は、公
「馬鹿げたプロジェクトだと思いましたね」 2018年、二人のドイツ軍将校がテュービンゲン大学を訪れてから数週間後のこと、ベルリンのドイツ国防省で、ヴェルトハイマーは最初の研究成果発表を行った。 彼は、第二次大戦期クロアチアのファシスト政党ウスタシャによるセルビア人大虐殺を扱った、作家ヨヴァン・ラデュロヴィックによる1983年の戯曲『鳩の穴』(未邦訳)、および1986年のセルビア作家協会による非セルビア人作家追放運動に注目した。 これらの出来事からまもなく、アルバニア人とセルビア人の間の民族を越えた友情や恋愛を扱った作品は姿を消し、修正主義的な歴史小説が流行するのだ。 「1998年にコソボ紛争が勃発し、大量の血が流されるずっと以前から、文学、また文学関係組織は10年にわたって、戦争への布石を敷いていたのです」とヴェルトハイマーは軍関係者らに語った。 発表会には、「プレビュー」計画の監督者、カ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く