関数とGASを使い分けてスプレッドシートでシステムを作る - ミネムラ珈琲ブログ
昨日、株式会社はてなの京都オフィスで開催されたKyoto Tech Talk #4でちょっとしたトークをした。 hatena.connpass.com タイトル「(新サービス|カクヨムネクスト)(オープン)?を支える スプレッドシート(芸|技術)」は、正直なところ決めるのがめんどくさくなったので、解釈の幅をもたせることで解決した。正規表現での発話を流行らせたい。 kakuyomu.jp オフライン登壇だったので、だいぶ実地の言葉で補足をした、つまりスライドだけ読んでもだいぶ端折られてる。スライドもこの記事の最後で公開はしておくが、テキストで補足をする。 新サービス立ち上げ時の運用機能は、作り込みすぎないではじめられるスプレッドシートが使える ぼくもそうだが、Excelやスプレッドシートはノンエンジニアでもだいたい使うことができる。新サービス立ち上げのような局面では、できるだけユーザー向けの
世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」を開発
世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」を開発― 処理性能456万TPSと応答遅延219ナノ秒を実現 ― 日本電気（株）と（株）ノーチラス・テクノロジーズはNEDOの「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」（以下、委託事業）において、世界最速レベルの性能を持つリレーショナルデータベース管理システム「劔（Tsurugi）」（以下、劔）を開発しました。 劔は、次世代のデータベースに用いられるハードウエア環境（メニーコア・大容量メモリーなど）に適合したシステムであり、ハードウエアの性能が向上するほどシステムの性能も高まる特性を有しています。32以上のコア数を有するハードウエアにおいては、世界最速レベルの処理性能456万TPSと219ナノ秒の応答遅延を実現しました。 劔の導入によって、複雑なバッチ処理とオンライン
基本4情報での名寄せは難しい｜MORIDaisuke
先日は住所の件でお楽しみでしたね。 私も楽しくなってしょうもないツイートをしたところ、@masanorkさんから有用な情報をいただいてしまいました。 異体字に加えて外字も根深いですし、日付型に収まらない住基の生年月日とか、屋号を含んだ個人事業主の口座名義とか、外国人氏名における住民登録のアルファベットと口座名義のカタカナとの解離とか、旧姓併記の例外処理とか、文字列型に刻まれたバッドノウハウの塊ですね https://t.co/GOaytijfst — Masanori Kusunoki / 楠 正憲 (@masanork) June 6, 2023 このとき、私はごく簡単な「名寄せの難しさ」の社内研修資料を作っている最中だったのですが、この情報が大変参考になりました。 一方、私だけが得をしているのがなんとなくムズムズしてきたので、ここにアウトプットしてスッキリしようと思います。 なお、住所
タクシーに乗ったら明るいお爺さんドライバーが配車アプリのシステム解説をしてくれたけど途中から不穏な話に変わった
すあま @suama13 アプリでタクシー呼んだら明るい爺さんドライバーが来て「アプリは便利ですねぇ🤗お客様の呼び出しに早押しで応じた時点で三百円確定収入なんですよ🌸位置情報がズレやすくて毎日再起動ボタンと格闘してますけど😭」とわかりやすくシステム解説してくれたんだけど、 2023-06-15 18:07:21 すあま @suama13 「誰がいつドコからドコまで移動してるかのデータは全部親会社が集めてるんですよ……この高級マンションの住人は毎日夜遅くに裏道を通るぞ、とかね。お客さんなら何に使います？アプリ使用者全員分の莫大なデータ……」と降りる直前になって急に作画がウシジマくん化した。やめてよ。 2023-06-15 18:11:08
100万ユーザーをログアウトさせずに新認証基盤に移行した話
即戦力人材と企業をつなぐ転職サイト「ビズリーチ」は2009年にサービスを開始し、スカウト可能会員数は190万人以上（2023年1月末時点）のユーザーにご利用いただくサービスに成長しました。 今回、その「ビズリーチ」の認証基盤としてIDaaS（Identity as a Service）のOkta Customer Identity Cloud（Powered by Auth0）（以下Auth0という）の導入を行いました。 本記事では認証基盤を刷新するに至った背景とAuth0を用いて100万を超えるユーザーをログアウトさせることなく移行した方法についてご紹介いたします。 前提 本記事で得られる情報 本記事を読むことで以下のような情報を得ることができます。 IDaaSを選ぶ理由 IDaaSを用いて認証・認可を運用中のプロダクトに組み込んだ事例 運用中のプロダクトに組み込む際に発生しうる課題と対
寿命迫るボイジャー2号、電気系の変更で科学機器運用を2026年まで延長。引き続き星間空間のデータを取得 | テクノエッジ TechnoEdge
ガジェット全般、サイエンス、宇宙、音楽、モータースポーツetc... 電気・ネットワーク技術者。実績媒体Engadget日本版, Autoblog日本版, Forbes JAPAN他 1977年に打ち上げられたボイジャー2号は、地球から200億km以上離れた星間空間を飛行していますが、現在も科学機器を用いて取得したデータを我々の元へ送り続けています。 しかし、45年を越えて続くミッションもそろそろ終わりが見えてきています。と言うのも、ボイジャーが搭載する放射性同位体熱電発電機(RTG)からの電源供給が終わりに近づいているから。 ボイジャー2号はすでに、消費電力を節約するため、飛行に不可欠ではないヒーターなどの一部システムをオフにしていますが、それでも早ければ2024年には5つある科学機器のうちひとつを停止しなければならない段階に達していました。 ボイジャーに搭載されるRTG (NASA/J
新潟県データ10万件消失事故 拡張子を小文字にしたかったのはなぜか 県に聞いた
新潟県で4月9日、公文書管理システムに登録した公文書データ約10万件が消失する事故が発生した。県によると、システム保守を担当していた事業者が、ファイルの拡張子を小文字にする新機能を追加したことが事故の一因という。なぜこのような機能を追加することになったのか県に聞いた。 県は富士電機ITソリューション（東京都千代田区）が開発・保守を担う公文書管理システムを使用している。同システムには不要なファイルを削除するプログラムがあるが、新機能の適用で拡張子を変更されたファイルが同プログラムの削除基準に合致してしまい、10万3389件のデータが意図せず消失したという。 消失の影響は現在調査中だが、県によると消失したファイルはすでに処理が完了したものであり、直ちに県民や関連業者に大きな影響が出るものではないとしている。 なぜ拡張子を小文字にしたかったのか では、なぜ拡張子を小文字にしたかったのか。 県では
新潟県の公文書データ10万件が消失 保守業者がテストなしで新機能追加し不具合に
新潟県は4月21日、サーバに保存していた公文書データ10万件が消失したと発表した。外部からの攻撃によるものではなく、システム保守業者の人為ミスが原因としている。 県は富士電機ITソリューション（東京都千代田区）が開発・保守を担う公文書管理システムを使用している。消失したのは同システムにおいて3月24日午後9時から31日午後11時59分までに登録した文書の添付ファイル10万3389件。「県民や関係事業者に直ちに大きな影響があるものではない」としている。 4月10日に、県の職員が添付ファイルを開けない状況になっていることに気付き、富士電機ITソリューションに調査を依頼した。ファイルが消失したのは9日夜ごろで、判明した段階でバックアップ期間（3日間）を過ぎていたためバックアップファイルが残っていないことが分かった。 原因は、添付ファイルの拡張子を小文字に変更する新機能を、運用テストや社内審査など
「PC入力できる学生で十分」ある大学図書館で事務長が司書をクビにして学生に目録を任せた結果、大変なことになった話
庫ノ林 @konobayashi 前にも書いたけど。 入力業務で出向中の大学図書館で、学生から「本が見つからない」と何度も声をかけられ、分類表片手にお手伝い。 聞けば。 事務長が「PC入力できる学生で十分」と司書を首にし、学生に目録やらせ、幽霊データ大発生等で苦情殺到。 司書を雇いなおしてデータの大修正中との事。😰 2023-03-07 06:40:03 庫ノ林 @konobayashi 図書館システムには、機能差があります。 が、公民館図書室で使われるようなシステムに、大学図書館レベルの事を無理矢理させてようとして、機能不全にしてしまい、システム入れ替えになった図書館があります。😥 大学図書館用システムは高価ですが、それには理由があるんです。無茶はいけません。😥 2023-03-07 07:00:21 庫ノ林 @konobayashi でも、この大学図書館で学生さんに声かけられて。
バッチ処理 プラクティス
バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。
「エヴァのデータを守り抜く」カラー・鈴木慎之介が語るエンジニアの仕事論 - エンジニアtype | 転職type
2022.10.13 働き方 データベースインフラDXCTO 「エンジニアやテクノロジーが主役」という会社が増えつつある一方で、エンジニアリングは脇役で、IT活用やDXの浸透はまだまだという業界も多い。 アニメ『ヱヴァンゲリヲン新劇場版』シリーズの制作を手掛ける株式会社カラーの鈴木慎之介さんもそんな環境で、課題解決に向き合っているエンジニアの一人だ。 鈴木さんは高校在学中の2000年からドワンゴへ入社し、約22年ドワンゴの技術畑や新規事業の担当として活躍。動画共有サイト『ニコニコ動画』を開発したことで知られるエンジニアだ。 約15年前のtype記事にもご登場いただき、『ニコニコ動画』開発ストーリーを伺った。ニコ動のユーザーID:1の持ち主でもある カラーに入社してからは、アナログとデジタルによるアニメ制作の両立を検討している同社の現場でDX推進に取り組んできた。 その仕事がカラーの作品に与
幻冬舎が記事をNFT化へ Web3.0系エンジニアとシステム開発
幻冬舎は9月5日、記事をブロックチェーン上に保存するシステム「あたらしい経済 ON-CHAIN WEB APP（NECO）」を開発したと発表した。メディアの廃刊やサイバー攻撃があってもコンテンツデータが消えないとしている。 NFT（非代替性トークン）の発行時に、記事タイトルとサムネイル画像のURL、本文のテキストデータをjson形式にまとめて添付する。専門知識がなくてもNFTを発行できるUIも開発した。 開発にはNFTなどWeb3.0関連技術を中心に扱うエンジニアコミュニティー「UNCHAIN」のメンバーが参加。記事データの記録先は日本発の「アスターネットワーク」を採用した。 幻冬舎は「Web3.0領域をけん引してきたプレイヤーや有識者の声を、パブリック・ブロックチェーンに記録し未来に残すことが、後世のテクノロジーの発展の一助になれば」としている。 関連記事 サンリオ、Web3.0に本腰
個人データ持ち出しにＧＰＳ付き専用ケース 尼崎ＵＳＢ紛失受け名取市が導入 | 河北新報オンライン
宮城県名取市は２９日、個人情報データを外部に持ち出す場合の専用ケースを導入すると発表した。ダイヤルキー付きで移動中の開封を制限するほか、衛星利用測位システム（ＧＰＳ）で位置情報を追跡できる。 兵庫県尼崎市で全市民約４６万人分の個人情報が入ったＵＳＢメモリーが紛失したのを受け、情報管理態勢のさらなる…
全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ対応における課題） 発表したこと 発表の反響 最後に datatech-jpは主にデータエンジニアリングやデータ活用に関わる方が参加するコミュニティで、DWHやデータマネジメント、データエンジニアリングに関わる技術、ツールなどについて知見を共有したり、輪読会やLT会のようなイベントを実施しています。 オーガナイザーとして同社同僚の吉田(id:syou6162)が参加しています。 その中でCasual
データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システムの開発をやったり、カジュアルゲーム作ったり。新規事業のスマホアプリを作りつつサーバーサイドの API を作って立ち上げたり、海外向けのサービスを作ったり。いつのまにかメディア運営に関わったりしてきましたが、最近はデータ基盤の開発もやってます。そんなキャリアを歩んできましたが、いつか森の中の開けた草原にあるネット環境の整ったポツンと一軒家で、庭にチャボを放飼にしつつ養蜂をやってみたいと思っています。 話は戻りますが、今回はこの稼働したてホカホカ状態のデータ基盤について概要を紹介したいと思います。よろ
日本の製粉大手に「前例ない」大規模攻撃 大量データ暗号化 起動不能、バックアップもダメで「復旧困難」
「システムの起動そのものが不可能で、データ復旧の手段はない」――製粉大手のニップン（東証一部上場）は8月16日、7月7日に受けたサイバー攻撃の詳細と影響を明らかにした。 グループ会社を含むサーバの大半が同時攻撃を受け、バックアップを含む大量のデータが暗号化されて復旧不能に。外部専門家に「前例のない規模」と報告を受けたという。 財務システムも被害を受け、早期の復旧が困難なため、8月5日に発表予定だった2021年4～6月期の決算は、約3カ月延期。8月16日が提出期限だった四半期報告書の提出も、11月15日に延期する。 サイバー攻撃を受けたのは7月7日未明。グループの情報ネットワークのサーバや端末が同時多発的な攻撃を受け、大量のファイルが暗号化された。 ニップン単体の財務・販売管理データを保管しているファイルサーバに加え、グループ企業で同じ販売管理システムを使っていた11社と、同じ財務会計システ
管理者用初期化URLを踏んでWebサービスのデータをふっとばした話 - Qiita
自己紹介 本職のエンジニアではありませんが、ちょっとICT系に詳しそうなやつって感じで、部署のサーバ管理を任されたりもしています。 背景 私の（当時所属していた）部署では、毎年、数週間かけて前年の各人の業務実績をとりまとめて一つの冊子（PDF）にするという仕事があり、この作業を少しでも自動化するため、Webサービスが内製されました。当初は単純に各ユーザが自分の業務実績一覧をテキストで用意してアップロードするというものでしたが、秘伝のタレのように毎年少しずつ改良されたり、大幅に作り直されて別システムから業務データを取り込んでからブラウザ上で編集できるようになったりしつつ、なんやかんやあって私が引き継ぎます。他にやりたい人もなく、ひとり鯖管です。OSはCentOS6でした。 このシステムでは、毎年新しいデータを編集するため、その作業開始時にデータを初期化する必要があります。この作業も自動化し、
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本として、データソース毎に典型的なデータ収集方法を整理して説明しています。またJapanTaxiアプリにおいてどのように実践しているかを説明しています。Read less
「Goの父」ロブ・パイクの「プログラミング5カ条」、ネット上で話題に
「UNIXはただ死んだだけでなく、本当にひどい臭いを放ち始めている」「キャッシュはアーキテクチャではない。単なる最適化だ」などの語録を生んだ「Goの父」とも呼ばれるロブ・パイク氏の「プログラミング5カ条」について、ネット上で話題となっています users.ece.utexas.edu/~adnan/pike.html http://users.ece.utexas.edu/~adnan/pike.html Rob Pike's Rules of Programming (1989) | Hacker News https://news.ycombinator.com/item?id=24135189 パイク氏の「プログラミング5カ条」は以下。 ルール1：プログラムのどこで処理時間がかかるかはわからない。ボトルネックは意外な場所で発生するので、ボトルネックがどこにあるかを証明するまでは、臆測
NTTデータ子会社のクラウドが壊滅、ストレージのバグで戸籍や税務などのデータ全消失 : 痛いニュース(ﾉ∀`)
NTTデータ子会社のクラウドが壊滅、ストレージのバグで戸籍や税務などのデータ全消失 1 名前：ベスタ(茸) [US]：2019/12/05(木) 17:18:57.47 ID:yztuQHN80 日本電子計算株式会社（通称：JIP）とは、NTTデータの子会社、いわゆる「デー子」である。 概要 1962年に日本証券金融株式会社の電算室が独立し「日本電子計算」として分社化するかたちで設立された。 2012年にNTTデータにより公開買付（TOB）が行われ約100億円で買収された。 この買収は「NTTデータは銀行業には強いが証券業には弱い」というのを補うためだとしている。 2019年12月4日午前11時ごろ、同社が運営するクラウドサービスが吹っ飛び、その上で動く全国の自治体システムも吹っ飛び、全国約50の自治体で戸籍管理や税務処理、医療保険、図書館などのデータが消失した。 2019年12月4日午後
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
