山形には地方が４つ Twitterでこんな記事を見た。 多民族国家・山形の地域別言語比較です。ご査収ください。 pic.twitter.com/8eeXGNe479 — そ (@g_glider0714) 2016年9月26日 山形県には村山、置賜、最上、庄内の4つの地方があり、それぞれ山形市、米沢市、新庄市、酒田/鶴岡市が中心都市である。（酒田と鶴岡はほら、ツインシティだから・・・） 庄内は他の3つの地方とは山で隔てられていて1つだけ海沿いである。当然言語も庄内とそれ以外に分かれてるんだろうと思ったら、なんかそうでもないようだった。面白そうなので、どの地方が言語的に近いのか測ってみようじゃないか。 どうやって測るか それぞれの標準語について、4つの地方の単語の音声学的な近さを測ればよい。それには、単語を音素表記して、音素列同士の近さを測り、それをすべての項目について足し合わせればよいだろ

※ 本記事は、"A new Planned Maintenance experience for your virtual machines" の翻訳、ならびに、補足解説を行う内容となります。 Azure 仮想マシンの再起動を伴うメンテナンスについて、新機能をご紹介します。 Azure においては信頼性・パフォーマンス・セキュリティの向上のためメンテナンスを行っております。多くの更新は、VM の再起動を行わず、一時停止状態にして行われますが、一部のメンテナンス内容によって再起動が必要となります。 新しい機能は以下の通りです。 "より良い通知" : メンテナンス通知が Azure Monitor に統合され、好きなメール アドレスで受け取ることができる Azure VM の再起動を伴うメンテナンスは、従来の「共同管理者・サービス管理者」向けの通知に加え、Azure Monitor という機能

画像アップロードサイト「Imgur」、2014年に170万人分のメールアドレスとパスワードが流出：セキュリティ専門家からの通報後の内部調査で確認 画像アップロードサイト「Imgur」は2017年11月24日（米国時間）、ハッカーが2014年にImgurのシステムに侵入し、約170万人分のユーザーアカウント情報を盗んだことを明らかにした。スロバキアのセキュリティ企業ESETは2017年11月27日（現地時間）、公式ブログでこのインシデントの概要を紹介し、Imgurの対応を論評した。 以下、内容を抄訳する。 Imgurは、Webサイト「Have I Been Pwned」を運営するセキュリティ専門家のトロイ・ハント氏から2017年11月23日に連絡を受け、情報漏えい被害の発生を確認した。Have I Been Pwnedは、自分のアカウントがハッキング被害にあっていないかどうかをユーザーが確認

はじめに こんにちは、佐伯です。 私はre:Invent 2017に参加していないので、レポートではなく「読んでみた」という形で以下ワークショップのスライドをGoogle翻訳を駆使して読んでみました。所々にAWSドキュメントのリンクも入れています。なお、ワークショップのスライドなので、ハンズオン部分は省いてます。ご了承ください！ [slideshare id=83144263&doc=net309-best-practices-for-secu-d21b4ab5-aad1-4bf0-bf1e-4018bb9b832b-525728499-171201191331] 予防的制御 悪意のある、意図しない、または望ましくないアクティビティの防止 一般的にベースラインのセキュリティ要件(インターネットからのSSH接続を許可しないなど)を満たす インフラストラクチャの「望ましい状態」を表す AWSに

さくらインターネットのアドベントカレンダー25日目が空いてしまったので、ウェブサーバのチューンナップについて書くことにしました。 私は今日からお休みですが、さくらインターネットは年末年始も休まずに働いていますので、ご安心ください。 年末年始のシフトに入ってくれた社員の皆さんに感謝です。 ということで、責任を持って空いたカレンダーの埋め合わせをさせて頂きますｗ サーバのレスポンスが遅いとは？ なんだかサーバのレスポンスが悪いなぁってことは皆さんも体験されたことあると思います。 原因としては大きく分けて2種類あり、ひとつはApacheやnginxなどのウェブサーバソフトウェアの設定において同時に処理できる上限に達しているケースと、サーバ自体の負荷が高まっているケースです。 前者はApacheでいうとMaxClientsを調整することで対応できますが、そもそもサーバの性能以上にMaxClient

「もっと早く知っておけばよかった・・・」 という気持ちしか湧いてこない、素晴らしいGoogleスプレッドシートのアドオンがあったので紹介します。昔から探してたんですが、ようやく巡り会えました。 導入も利用方法も超カンタン、普段からMarkdownで表を書いている人には絶対オススメしたいアドオンなので、これを機にガンガンMarkdownで表を書きましょう！ 2021年1月25日追記 現在、このアドオンが利用できなくなっています。ちょっと探しましたが代替のサービスもなさそうで、似たようなサイトとしてこちらが使いやすいかと思います。 Create LaTeX tables online – TablesGenerator.com 「MarkdownTableMaker」とは？ Googleスプレッドシートの内容を、Markdown記法で出力するアドオンです。Markdownはドキュメント記述に非

TL;DR データサイエンティストはエンジニアではなく、コンサルタントである。なので、エンジニアの延長線上としてデータサイエンティストを考えるべきではない。 データサイエンティストは、「データ分析をすることで、顧客に本当に価値を提供できるのか」を(時にはビジネスサイドよりも)本気で向き合う必要がある。なぜならビジネスサイドはデータの見方に熟知しているわけではないからだ。 課題に向き合うときは、なぜその課題を解決する必要があるのか、から出発して、課題の難易度を下げることに注力しよう。あなたのミッションは難易度の高い問題を解くことではない。 (プロダクションの実装時に)機械学習の手法を採用するデメリットを述べられないならば、特に運用面で他のエンジニアに迷惑をかけることになるだろう。 ちょっと言い方きついですが、へこまないでね あくまで、一個人としての意見でありポエムです。 はじめに いつもは、

2017年3月からGCEのf1-microインスタンスが一人1台無料になりました。私自身3月からずっと起動したままで運用してきて10月まで無料で使わせてもらっていたのですが、下記の通り11月は1円を請求されていました。 GCEのf1-microインスタンスは1ヶ月分（月の日数に応じて720時間もしくは744時間）のCPU利用が無料になるのですが、11月は721時間使っていたというのです。 課金された理由はサマータイムの終了 いい大人であれば1円くらい仕方ないなと思うところでしょうが、私は理由が気になって課金ログを確認してみました。すると、11/5だけ25時間分のCPUを使っていることがわかりました。アメリカの11月第1日曜日はサマータイム終了の日なので、実際に1日が25時間あるのです。 これがGoogleさんの意図通りかは不明ですが、おそらく考え漏れなんじゃないでしょうか。サマータイムって

お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。

「UPDATE JAPAN」をビジョンに掲げ、 情報技術で人々の生活と社会をアップデートするYahoo! JAPAN。 提供するサービスの数は100以上、 そしてそこから生まれるデータは日本最大級の規模。 各サービスやアプリ開発において、 インフラ、サイエンス、バックエンド、フロントエンド、UI/UXなど 多種多様なクリエイター（エンジニアやデザイナー）がいます。 さまざまな分野で取り組んでいるクリエイターがスピーカーとして登壇し、 現在と未来のテクノロジーをお話しします。 この機会に、たくさんのクリエイターのみなさんと会えることを楽しみにしています。 CTO 藤門　千明

2017年12月は、なかなか豪快なTLS脆弱性が公開されました。その名もReturn Of Bleichenbacher's Oracle Threat（略称：ROBOT）と呼びます。 19年前に、暗号研究者のDaniel Bleichenbacher氏により考案された攻撃を防ぐための手法は、TLS 1.2のRFCにも反映されているのですが、この手法を適切に実装していないために、Bleichenbacher攻撃の成立を許してしまいます。 ROBOT攻撃とは何なのか？～「RSA暗号による鍵交換実装」の脆弱性を突く ROBOT攻撃は、本質的には鍵交換時の処理の不具合により、適応型選択暗号文攻撃に対して脆弱になってしまっているTLSサーバを攻略することにほかなりません。 そしてこの脆弱性は、RSA暗号による鍵交換を行う際に利用可能とされています。 この攻撃は、理論と実装の両面から情報が公開されて

「恋人となら自身の性的画像をSNS（ソーシャル・ネットワーキング・サービス）で共有しても構わない」──。インターネット利用者のなかで、こんなモラルハザードが徐々に広がりつつある調査結果がこの年の瀬に発表された。 その調査は、情報処理推進機構（IPA）技術本部 セキュリティセンターが2017年12月14日に公表したWeb調査「2017年度情報セキュリティに対する意識調査」だ。2005年から毎年実施しており、今回が16回目。2017年9月から10月にかけて、情報セキュリティの倫理と脅威の2つに分けてアンケートを実施し、それぞれのアンケートでネットを利用する13歳以上のPCとスマートデバイスの利用者5000人ずつ、合計1万人の回答を集めた。 今回の調査で対象にしているテーマは、SNSをはじめとするネットの利用状況や個人情報の公開に対する意識、セキュリティ対策の実施率など、多岐にわたる。そこで、調

どれだけクライアント側のUXが変わっても、アルゴリズムが変更されても、変わらないのがリレーショナルデータベースの世界。それだけに経験値とベンダーごとに微妙に異なる方言を操るための“鍛錬”は必須の世界といえます。 しかし“鍛錬”は、それこそ思考し手を動かさなければ鍛錬とは言えません。 そこで本書では、単なる教科書的なSQL文の組み立て（鍛錬の方法）を超えて、さまざまなケースにマッチした最適なSQLを自然に記述できるようになるための知見と勘所を、具体的なテーブルやDB構成とともに解説します。 そのためSQL方言は極力排し、標準SQLで解説を行い、各サンプルの方言版はGitHubで公開するという方法を取っています。 つまり、 ・解くべき問題を明確にし、 ・次にその解決方法を整理し、 ・考え方を標準的なやり方で提示し、 ・必要であれば方言でも参照できる、 というスタイルです。 SQLの現場ですぐに

Linux Daily Topics 2017年12月26日「salsa.debian.org」がベータリリース、GitLabへのリプレースが近づく DebianプロジェクトのAlexander Wirtは12月25日（ドイツ時間⁠）⁠、自身のブログおよび開発者向けメーリングリストにおいて「salsa.debian.org」のベータリリースをアナウンスした。SalsaはDebianの開発プラットフォームをGitLabへと移行するためのプロジェクトで、2017年夏からスタートしていた。 salsa.debian.org salsa.debian.org (git.debian.org replacement) going into beta - a place called home salsa.debian.org (git.debian.org replacement) going in

本記事はWACUL Advent Calendar 2017の12/25の記事になります。 こんにちは、株式会社WACULで、データ分析の仕事をしている@onhrsです。 現在、機械学習エンジニアをしておりますが、数学や物理などが好きなので（できるとは言ってません）、今でも重力波を解析したり、量子アニーリングのイジングモデルを計算したりしております。 今回は、徐々に浸透してきた量子コンピュータについて、最近の動向を含め個人的に勉強しまとめてみました。とりあえず量子コンピュータは何か、量子アルゴリズムとは何かっていうのがわかってもらえたらと思います。 はじめに 今回参考にした書籍です 全体な流れは量子コンピューター 量子コンピュータとは何か (ハヤカワ文庫NF―数理を愉しむシリーズ) 量子アルゴリズムについては 量子コンピュータ―超並列計算のからくり (ブルーバックス) どちらも10年以上前

Alien invasion! Where are they coming from? Let's shoot them all down first then asks questions. This large mother ... ship is you primary target, but first fight through 100 or more of smaller ones. Our engineers scanned the remains of the mothership and found some Martian dust. Now we know that they came from Mars, but their goals are not clear. We could squeeze some information out of the main

12月19日、オープンソースのグラフデータベース「Dgraph 1.0」がリリースされた。Dgraphは高速で拡張性のある分散型グラフデータベースで、「世界で最も先進的なグラフデータベース」だという。 Dgraphは水平方向の拡張性に優れた分散グラフデータベース。ACIDトランザクション、Raftベースの一貫性のあるレプリケーション、高い可用性などを特徴とし、ディスク上でのデータの配列を制御することでクエリの性能やスループットを最適化する。FacebookのGraphQLライクなクエリシンタックスをサポートし、GRPCとHTTPを介してJSONとProtocol Buffersでレスポンスする。 元Google社員が2015年にスタートしたネイティブなグラフデータベースプロジェクトで、テラバイド級の構造化データからリアルタイムのユーザークエリに対応する低レベルの遅延も目指す。 プロジェクト

はじめに 2017年は私にとって忙しくも充実した年となりました。今年はLinuxの不揮発メモリ開発のメンテナーの方とお会いしたり、弊社のOSS開発者を育てるためにOSS Gateを弊社社内で行って記事を書いたり、色々なことをやった気がします。 さて、今年のFujitsu Advent Calender part2 24日目のの記事として、昨年Linux Advent Calenderに記載した不揮発メモリの続編を書きたいと思います。昨年の記事をまだ参照されてない方は、そちらを先に見たほうが良いでしょう。 本記事ではpart1としてまず不揮発メモリ(NVDIMM)の設定や使い方を紹介したいと思います。2017年のACPIやコミュニティでの動向もこの記事に一緒に記載したかったのですが、長くなるのでpart2として別の記事に記載します。 お断り（お約束） 本記事の内容は私個人の見解であり、所属す

No OSS, No Life. これはOSS紹介 Advent Calendar 2017 の24日目の記事です。 2017/12月中旬にFacebookがリリースしたドキュメント管理ツールDocusaurusを試してみて、なかなかよかったので紹介記事を書きます。 DocusaurusはGitBookと同種のツールですが、（素の状態では）GitBookよりちょっと高機能という印象です。 こんな感じのドキュメントが手軽に作られます。 公式ドキュメント: https://docusaurus.io/ （これ自体もDocusaurusで作られています） リポジトリ: https://github.com/facebook/docusaurus 特徴とか機能とか マークダウンで書ける レイアウトをReactで書ける 検索機能 i18nにも対応 バージョニング対応 GitHub Pagesに簡単に

直接は聞きにくいことや秘密の質問でも何でも聞いちゃおう

Chromium Code Review Advent Calendar 2017の25日目の記事です。参入障壁が低かったのでなんとなく書いてみました。興味のある方は充実の本家Chromium Browser Advent Calendar 2017も参照下さい はじめに オープンソースのウェブブラウザ Chromiumでそこそこ長く開発をしてるので、自分や周りの人がコードレビューで心がけていることを書いてみました。良いコードとは何かという話はまた別の長い議論になるのでここではとりあげません。 基本的に、コードレビューはコミュニケーションと思っており、うまくやることで開発効率をあげたりコードベースをより良くしたりできる可能性があると思ってるので、そんなことを書こうかと思います。なお、目指しているだけで、必ずしもいつもできているわけではないです 以下、唐突にである調で。 レビューレイテンシを

Retty に投稿された数千万枚の写真から、AIが見つけた良い写真 (Photo by Yutaro.K / shu.g / Tom Adagio) この記事は Retty Advent Calendar 2017 25日目です. 昨日は @shinyorke さんの 予約導線をささえるPython製バックエンドをLuigi+pandas+Scrapyで作ったハナシ でした. みなさん、こんにちは。Retty CTO の樽石です。 昨年は、深層学習が大きく広がり始めた年ということもあり、当社で独自開発した「機械学習基盤」のアーキテクチャについて紹介させていただきました。ご好評いただき誠にありがとうございました。 今年は、深層学習の普及を背景に、 AI というキーワードが社会にも浸透。活用事例も増えていることから、AI によって「今」なにが出来、どう便利になるかを具体的に示すことが、AIを活

これは「TeX ＆ LaTeX Advent Caleandar 2017」の25日目の記事です。 （24日目は golden_lucky さん です。） 例によって前フリ アドベントカレンダーもいよいよ今日が最終日ですが、何だか超絶アレなタイトルです。「システムプログラミング」って何なのでしょうか。チョットこちらの記事を見てみましょう。 Goで覗くシステムプログラミングの世界（プログラミング＋） 本連載では、一番最後の「OSの提供する機能を使ったプログラミング」をシステムプログラミングの定義として話をすすめます。 なるほど。そういうわけで、本記事では、「TeXで、OSの機能を直接利用する」という超絶アレな世界をチョット覗いてみます。ただし、対象とするOSはWindowsに限定します。つまり、TeXでWindows APIを呼び出す、という話です。 ※本記事で扱ったソースコードは以下のリポ

このエントリは KLab Advent Calendar 2017 の最終日の記事です。 こんにちは。インフラ担当 高橋です。 このエントリでは、つい先日、少し変わった仕組みの外部向け HTTP 通信の 3way ハンドシェイクの再送検知ツールを作りましたのでご紹介します。 きっかけ このツールを作ったのは、DSAS の外部で発生するネットワーク障害を検知できるようにするためです。 例えばこのような障害がありました。 DSAS は複数のデータセンタで稼働しているのですが、ある日、特定データセンタの Web サーバから外部 API への接続が重くなる事象が発生しました。 原因は外部ネットワークからの DDoS 攻撃により、データセンタのネットワークの一部区間が飽和状態になったことによるものでした。 またある日は、特定のデータセンタの Web サーバから外部の特定 API に接続ができなくなり

はじめに にゃーん この記事は、PostgreSQL 10全部ぬこ Advent Calendar 2017 の25日目、最終日のエントリです。これで完走できた！ 最後のネタは検証が面倒くさそうで後回しにしていたmulti-column optimizer statisticsに挑んでみようかと。 この機能はなぜ必要だったのか PostgreSQLのプランナが実行計画を立てるときに、列単位にANALYZE処理背景で更新された統計情報を使うのだが、列同士の対応関係(多変量相関)は管理していないため、クエリによっては適切な実行計画を立てることができないケースがあった（たぶん）。 PostgreSQL 10での改善 PostgreSQL 10では列間の相関と、固有値の数の情報（拡張統計情報）を管理するための機能が追加された。また、その情報を使って、より適切な実行計画を生成できるようになった（はず

この記事はドワンゴ Advent Calendar 2017 24日目の記事です。メリークリスマス！ ドワンゴ 技術コミュニケーション室の塩谷（ @kwappa / kwappa@friends.nico ）です。 先日、技術コミュニケーション室のメンバーから「友人が転職を検討しているが、職務経歴書の書き方がわからず悩んでいる」という相談を受けました。ぼくは以前から職務経歴書についてはなんども書いたり喋ったりしてきたのですが、具体的な書き方やサンプルについてまとめたものはなかったので、この記事を書くことにしました。 以下は、ぼくが以前から考えていることと、書類選考をするときに書いてあると嬉しいことをまとめたものです。会社としてオフィシャルに定めた基準ではないことをご了承ください。 転職に必要な書類 中途採用に応募する場合、「履歴書」と「職務経歴書」が必要です。転職サービスを経由しての応募の

この記事は MySQL Casual Advent Calendar 2017 の23日目の記事です。 みなさんORマッパーは使っていますか？ 僕は仕事とか趣味でActiveRecordというORマッパーを使っているんですけど、こいつ例えば Team.preload(players: :high_score).to_a みたいなことをするとすぐ SELECT `scores`.* FROM `scores` FROM `scores`.`id` IN (a, b, c, ...数千個続く...) みたいなクエリを生成しよるんですけど、MySQL 5.7に上げたときに range_optimizer_max_mem_size の制限で実行計画がテーブルスキャンに落ちてえらい目にあったことがありました。MySQL側で range_optimizer_max_mem_size = 0 することで

freee株式会社 土佐です。今年の7月からCISOとして、全社セキュリティ・プロダクトセキュリティを担当しております。 この記事は、 freee developers Advent Calendar 2017 の 22日目の記事になります。 標的型攻撃メール訓練やってますか？ IPAが毎年発表している 情報セキュリティ10大脅威 で、2014年 から ４年連続で１位となっているのが「標的型攻撃による情報流出」です。 当社でも、たまたま素晴らしく注意深い社員が受信したことで被害を未然に防ぐことができましたが、実際にかなり巧妙な標的型攻撃メールを受信しました。 もちろん様々にシステム的な防御策をとってはいますが、如何せん人を狙った攻撃である以上、人が強くならないといけないのが、この攻撃の厄介なところです。 ということで、多くの企業も実践済みだとは思いますが、当社でも標的型攻撃メール訓練を実施

One Million robots.txt Files The idea for this article actually started as a joke. We do a lot of web scraping here at Intoli and we deal with robots.txt files, overzealous ip bans, and all that jazz on a daily basis. A while back, I was running into some issues with a site that had a robots.txt file which was completely inconsistent with their banning policies, and I suggested that we should do a