バグは“数千パターンのテスト”をすり抜けた ―NTTデータ「2023/10/10 全銀ネット障害」について説明 NTTデータグループは2023年11月6日、10月10日に発生した全国銀行データ通信システムの障害に関する記者説明会を実施、現時点で判明している障害の概要について説明を行うとともに、再発防止策に向けたタスクフォースの設立などについて明らかにしました。会見の冒頭、NTTデータグループ 代表取締役社長 本間洋氏は、今回の障害により全国の預金者や金融機関をはじめとする社会全体に大きな混乱をもたらしたことを謝罪し、今後の原因究明と再発防止に向け、全国銀行試験決済ネットワーク（以下、全銀ネット）とともに全力をかけて取り組むことを明言していました。 本記事では会見の内容をもとに、現時点で判明している10月10日の事故の原因についてレポートします。 2023年10月10日 ―なにが起こったのか

大量の文章から学習することで、多言語を取り扱う能力だけでなく、高度な推論能力まで手に入れました。 GPT-3.5、とりわけその初期モデルのCodexはGitHubに存在する5400万の公開リポジトリから採取された159GBのPythonコードでGPT-3をfine-tuning（微調整）することで生まれました。ChatGPTがとりわけPythonが得意なのはここから来ています。 ChatGPTの学習データを考えることはその能力を発揮させるときに極めて有効です。質問時も以下のように、『⁠涼宮ハルヒの憂鬱』というライトノベル作品について日本語で聞いたときはSOS団の略称を間違えるなどしますが、英語ではほぼ期待通りの回答を見せます。 図1 『ハルヒの憂鬱』について日本語で聞いた場合の回答 図2 『ハルヒの憂鬱』について英語で聞いた場合の回答 知ったかぶりをするChatGPT ところで、ChatG

パイプライン処理とは GUIは非常に直感的です。はじめて使うアプリであっても、なんとなくそれなりに動かせてしまうという点で、優れたインターフェイスと言えます。しかし効率を突き詰めると、軍配が上がるのはGUIよりもCLIでしょう。本連載の読者であれば、UnixライクなOSのCLIが持つパワーについては当然ご存知かと思います。 とはいえ、古典的なUnixコマンドの多くは、単体ではそれほど強力なものではありません。というのも、ひとつひとつのコマンドはシンプルに、特定の用途においてのみ上手く動作するよう設計されていることがほとんどだからです。こうしたコマンド群に無限のシナジーを与えるのが「パイプライン処理」です。標準入出力を通じて複数のコマンドを直列に繋げることで、複雑な処理をインスタントに組み立てることができるパイプラインは、まさにUnix哲学の体現であり、CLIの真髄はここにあると言ってもよい

ネットワーク技術を学ぶのは難しい 我々の日常生活に欠かすことのできない社会インフラの1つと言えるコンピュータネットワーク。スマホやPCから利用するだけなら，その仕組みを深く知る必要はありませんが，仕事でシステムの構築や運用管理に従事する方は，きちんと理解しておくことが必要になります。 しかし，次のような理由からマスターするまでの道のりは険しいです。 押えておくべき技術用語が多すぎる たとえば，社内LAN内でファイルをやり取りしている状況を詳細に説明する場合，「⁠TCP/IP」「⁠IPアドレス」「⁠サブネット」「⁠DHCP」「⁠プロトコル」「⁠MACアドレス」「⁠ARP」「⁠ゲートウェイ」……，さらに機器として「ルータ」「⁠レイヤ3スイッチ」……などなど，数多くの技術用語を理解しておく必要があります。 お試し環境を準備するのが大変 技術用語をある程度理解できたとしても，社内LANをいきなり設

Android SDKはAndroid Studio付属のものです。筆者の場合、既存のAndroid開発環境は持ち合わせていませんので、上記以外にAndroid関連の設定は一切ありません。すでにAndroid開発環境を持っている方は、環境変数ANDROID_SDK_HOMEや~/.androidなどを一時待避しておくと、無用なトラブルに悩まされないで済むかと思います。 説明上の注意 今回からAndroid Studioの操作説明が入ります。説明の都合上、以下のルールで画面や機能について記述します。 画面名や画面上の項目はカッコ（⁠「⁠」⁠）で示します（例：「Preferences」「⁠Appearance」など） 設定画面など、画面内の特定のタブや項目を指示する場合はスラッシュ（/）で区切って示します（例：「Preferences / Appearance」Preferences画面のAp

前回のMilkodeでの事例紹介では、Rubyでrroongaを使ってソースコード検索エンジンを実装している事例を紹介しました。Milkodeは全文検索エンジンを組み込むことにより、大量のファイルに対しても高速な検索を実現しています。rroongaを使った代表的なアプリケーションの1つです。プログラマにとってとても便利なアプリケーションなので、ぜひ使ってみてください。 前回はユーザ視点からのrroongaの紹介でしたが、今回は違った角度から紹介します。rroongaの歴史、大事にしていることについて説明します。 自分のアプリケーションで利用するプロダクトを検討するときに、プロダクトがどのような方向で作られているかを考慮していますか？ 自分のアプリケーションが大事にしたいことをそのプロダクトでも大事にしているなら、相性がよいかもしれません。さて、rroongaはあなたが大事にしたいことを大事

3年ほど連載を続けているこのコラムだが、今号からは少し装いを変え、最新の技術トピックを業界全体の流れから俯瞰（ふかん）的に見た考察を加えていきたい。最初のトピックはNode.jsだ。 Node.jsを取り巻く議論の背景 2009年に発表されて以来、ソフトウェアエンジニアの間で注目を集めているNode.js だが、それを取り巻く非同期プログラミングへの賛否両論の根底は、1990年代の初めにミニコンピュータからパーソナルコンピュータ（以下PC）へと引き継がれたRPC（Remote Procedure Call）に関する議論にある。 RPCの発想をPCの世界に持ち込んだのはMicrosoftである。Windows 95より前は、ノンプリエンプティブマルチタスク[1]しかサポートしていなかった。 Windowsに本格的なマルチタスク機能を持ち込んだのは、David Cutlerを筆頭とするDEC（

はじめまして、おんがえしと申します。 今回は私が作っているソースコード検索エンジンのMilkodeにて、rroonga（とその内部で動くgroonga）がどのように使われているのかを紹介します。 Milkodeの検索画面 ソースコードを検索するということ プログラマの仕事はプログラムを書くことですが、同じくらい「検索する」ことは多いのではないでしょうか。 ある関数の名前を変えたいので使っている箇所をすべて見つけたい ライブラリの仕様が変わった。使っているコードはどこだったか？ コードリーディング中。今読んでいる関数の実体はどこにあるのか？ ベーマガを買ってゲームのプログラムを写経していた頃から時代は進み、WebにアクセスすればゲームやOS、Webアプリなどのソースコードを無料[1]で手に入れることができるようになりました。必要なものをソースコードから検索し、知識として取り込んでいく技術は今

ターゲットは国内製造業のビッグデータ!? Treasure Dataがトレジャーデータとなって日本市場で本格展開 5月20日、米Treasure Dataの芳川裕誠CEOが来日会見を行い、同社のクラウド型ビッグデータプラットフォーム「Treasure Data Platform」のグローバルおよび日本市場における事業戦略を発表しました。 会見には日本法人トレジャーデータ株式会社の実質的責任者であるジェネラルマネージャの堀内健后氏も同席し、日本でのビジネスを本格的に開始する旨を明らかにしています。米国で順調にビジネスを展開しているTreasure Dataが"トレジャーデータ"として日本企業に対しどんなサービスを提供しようとしているのか、その動向にさまざまな方面から注目が集まっています。 gihyo.jpの読者であればご存知の方も多いでしょうが、Treasure Dataは2011年12月に

前回は形態素解析を使う検索エンジンのしくみについて説明しました。今回は、FINDSPOTで使用しているN-gramという検索エンジンのしくみについて説明します。 N-gramによる見出し語の切り出し 前回は、形態素解析による検索エンジンでは、検索可能な最小単位が分かち書きの切り分け単位となる点を説明しました。 一方、N-gramを使った検索エンジンでは、単純に文字の並びを見出し語としてインデックスを作成します。1文字を元にインデックスを作成する方法をユニグラム、2文字の並びを元にインデックスを作成する方法をバイグラム、3文字の並びを元にインデックスを作成する方法をトリグラムと呼んでいます。 1文字：ユニグラム 2文字：バイグラム 3文字：トリグラム N-gramによる見出し語の切り出しは、形態素解析のための文法解析を伴わないため、特定の自然言語に依存しないという特徴があります。 FINDS

2013年4月26日、Googleのオフィスをお借りして、第38回HTML5とか勉強会を開催しました。今回のテーマは「Webアプリ×テスト最新事情⁠」⁠。Webアプリとしましたが、今回の内容は主にJavaScriptのテストになります。昨今JavaScriptが利用されるシーンが非常に多くなり、コードの量も多くなってきています。これによりテストが必要になるケースが増えてきていますが、JavaScriptのテストといえばこれ、というものがあまりない現状です。 このような背景もあってか、今回の勉強会の参加率はとても高く、当初予定していた部屋だけでは収まりきらず急遽サテライト会場ができるほどで、JavaScriptテストへの注目度が高いことが伺えました。 本稿では、今回のイベントについてレポートします。 JavaScript Unit Test Why? What? How? トップバッターとし

現状と課題 ここまで見てきたように、File APIを使うことで、JavaScriptでファイルを直接加工してからアップロードするということが可能になりました。今回取り上げたのは、「⁠ブラウザ（ローカル）で暗号化してアップロード」することですが、これはHTML5のFile APIで可能になったことの、ほんの一例に過ぎません。専用アプリケーションを使わないとできないと思われていたようなことがプラグインなしで、JavaScriptだけで実現可能になったというのは、たいへん画期的なことです。 JavaScriptの速度は劇的に改善されていますし、巨大なファイルに対する処理であっても実用的な速度で動くようになっています。適度にファイルを分割して処理させることで、ブラウザの動作が固まるといったこともないでしょう。また、必要に応じてWeb Workersを使えば、完全にバックグラウンドで処理することも

顧客に合わせて施策を行う2つのマーケティング手法 マーケティングにおいては、実際の予算や機会は限られているため、実施する施策には効果の高さや費用対効果の高さが求められます。そのような要求を満たすために有効な手段の1つとして、顧客をよく知り、顧客に合った施策を実施することが挙げられます。 たとえばDMを送る場合には、すべての顧客に同じ内容、同じタイミングで送るよりも、顧客に合わせて送る内容や、送るタイミングを変えるほうが、より高い効果が期待できます。 では、具体的にはどのような手法があるのでしょうか。 顧客の分析粒度の観点からは、大きく以下の2つの手法に分けることができます。 1　One to Oneマーケティング 1つ目は、顧客一人一人の特性を把握し、その顧客に施策を最適化する「One to Oneマーケティング」です。 One to Oneマーケティングは、顧客一人一人の特性に合った施策

今回のテーマは、Fair Schedulerを使った複数ジョブの同時実行です。1つのHadoopクラスタを使って複数のジョブを実行する際、どのようにクラスタのリソースを割り振るかが重要になります。複数のMapReduceジョブを同時に実行した際に、デフォルトの設定とFair Schedulerを使った場合で、どのような挙動の違いが生じるか、見ていきましょう。 HadoopのSchedulerとは？ MapReduceジョブを実行する際、Hadoopクラスタ上では、予め指定されたslot数だけ、同時にMapタスクやReduceタスクが実行されます。デフォルトでは、1つのTaskTrackerあたり、Mapのslot数がとReduceのslot数がそれぞれ2に設定されています。そのため、ノードが10台ある環境では、MapとReduceのタスクがそれぞれ20ずつ同時に動くことができます。通常、1

「Microsoftの動画配信ツールって、メディアプレイヤーじゃなきゃ再生できないのでは？」といった都市伝説が、巷ではまだささやかれているとかいないとか（古すぎ？⁠）⁠。実際はまったく逆で、動画配信に必要な便利ツールやアシスト機能がふんだんに盛り込まれた「かゆいところに手が届く」サービスになっています。ではそのポイントをご案内しましょう。 動画素材さえあればボタンひとつで動画配信完了 新しくなったWindows Azureの中でも画期的なソリューションのひとつ、Windows Azure Media Servicesの商用展開がスタートしました。他のサービスにない特徴としては、Windows Azureの強みであるスケーラビリティに加え、あらゆるプラットフォームに対してSDKおよびプレイヤーのフレームワークを提供。言い換えれば動画素材さえ準備すれば、主要なデバイスに対してオンデマンドのビデ

2013年2月18日、第36回のHTML5とか勉強会はサイバーエージェントさんに会場をお借りして開催しました。 今回は「2013年、Web開発の進化を探る」をテーマに、Web標準の進化、「⁠オフライン・ファースト」というコンセプトによるアプリ開発の進化、HTML5の現状における使われ方とこれからの使い方について講演いただきました。 本稿では、HTML5とか勉強会スタッフの本間がその内容についてレポートします。 勧告候補になったHTML5.0の仕様についてと、HTML5.1の始まり はじめにW3C（World Wide Web Consortium）のMichael Smithさんより、HTML5.1で追加されるAPIの中からNavigationControllerとtemplateを中心に講演いただきました。 appcache オフラインWebアプリケーション用のAPIとしてHTML5.0

個別技術では、MySQLのI/O負荷を軽減するようなテクノロジーが発達していることから、エンジニアの質というよりは、単にコストの問題として捉えて現状の課題解決を図るようなものが多かったようです。 伊勢さんからは、変化していく技術のなかでひたすらにトレンドを追いかけて行くのではなく、エンジニア自身が好きな技術をひたすら追いかける、現状の課題解決のためだけにテクノロジーを採用するのではなく、エンジニアの技術を高めるほうが、モチベーション的にも、企業の成功のためにも重要だというお話があり、テクノロジーとの関わり方について非常に考えさせられました。 以上、だいぶ端折ってしまいましたが、それぞれの技術項目での非常に深い話、エンジニアの生き方についての話、本の売れ行きの話ありと、多彩な内容となりました。来年は、「⁠アニメでわかる◯◯」シリーズのランキング企画でお会いできればと思います。 「CROSS

CSSとLESSでの階層構造の考え方 今回は技術的なLESSの文法から少し離れて、効率的なLESSファイルの分割の仕方や構造について考えてみましょう。 本連載の第2回の「インポート　～ほかのCSSを読み込む」で解説をしたように、LESSではコンパイルする際、インポートしたファイルが1ファイルにまとめられます。そのため、多くのファイルに分割してもサーバーへのリクエスト回数が増えず、その分読み込みを高速に、かつ製作者の都合の良いようにファイルを管理することができます。 大枠ではCSSとLESSであまり差がないのですが、より機能や役割に特化した形で分割できるようになったと言えます。 サービスやサイトの性格にもよって変わってきますが、今回は大きく以下2つのパターンを考えてみましょう。 （1）サイト全体を通して最低限の容量のCSS（LESS）を、分割した複数ファイルで読み込む構成 （2）1ページごと

パフォーマンス向上でナニに使える？ OpenBlocks Aファミリによるサーバ実力診断 第2回マイクロサーバの新モデル「OpenBlocks A6」と「OpenBlocks AX3」の性能を徹底チェック！ はじめに OpenBlocksシリーズは、小型、堅牢、低消費電力のLinuxサーバとして、さまざまな用途に活用いただいてきました。しかし、性能面に関しては、ネットワークのインフラや監視用途としては必要十分なものの、LAMPなどのリッチなアプリケーションを搭載しようとすると不満が出ることもありました。そのため、いつかこの点は改善したいと思い続けてきました。 本連載で前回ご紹介したとおり、2012年6月7日に2つの新モデルを発表しました。1つは従来の用途を見据えつつストレージ性能の向上や導入コストの低減を図った「OpenBlocks A6」（⁠以降、A6⁠）⁠、もう1つはCPUが1.33G

Web広告配信のインフラを探る 第1回0.1秒で行われるリアルタイムトレード～マイクロアドが開発/運営する広告配信システムの裏側 普段何気なく見ているWeb広告ですが、その裏側では極めて高度な処理が行われているのをご存じでしょうか。ここでは、最新の広告枠の販売形態である「RTB」を支えるインフラについて解説します。 広告主と媒体社の双方のニーズに応えるRTB 近年、市場が急成長しているWeb広告は、広告表示回数やクリック数など効果測定が定量的に行えるという、これまでの広告とは大きく異なる特徴を持ちます。広告の出稿目的はさまざまで、たとえばブランドの認知度を上げることであったり、Webサイトに来て商品を購入してもらうことであったりと多岐にわたります。それらのニーズに応えるため、Web広告技術はこれまで日進月歩で進化してきました。 当初は、広告を出す企業がWebサイト上の広告枠を事前（数週間か