終わり行く2017年にgrepを - 理系学生日記
みんな大好き grep についてですが、かなり機能が豊富な一方でなかなかそれがまとまっていないこともあるのと、自分自身、結構細かな Tips を忘れたりするので、ここで簡単にまとめてみたいと思います。 OR 検索 後述する拡張正規表現でも可能といえば可能ですが、サクっとできるのは -e (--regexp) を複数与えることです。 $ grep -e abc -e xyz hoge.txt abcdefg vwxyz この OR 条件がときどき変わって、その都度シェルスクリプトを変えたくないという場合、これらの条件は外出しすることも検討して良いでしょう。外出ししたファイルには、条件を 1 行 1 条件で並べます。 このファイルを -f (--file=filename) で与えれば、grep はそれらを OR 条件として解釈します。 $ cat cond.dat abc xyz $ gre
画像での商品検索に向けて | メルカリエンジニアリング
こちらは Mercari Advent Calendar 2017 の23日目の記事になります。 はじめに メルカリで機械学習エンジニアをやっている kumon です。 今年の10月に、出品時に画像認識によって、商品名・カテゴリー・ブランドの項目を自動的に埋めるという機能をリリースしました。 もちろん認識結果が得られない場合や、間違えることもありますが、作った本人も驚くような正しい結果を出力してくれることもよくあります。 この認識エンジンはまだまだ改善中ではありますが、画像を使った別の機能についても検討しておりまして、その一つが画像による商品検索です。 画像で画像を検索するためには、一般的に、画像をなんらかの方法でベクトル表現にして、検索対象の画像のベクトル集合から、クエリ画像のベクトルとの類似度がもっとも高いものを類似画像として抽出します。 しばらくはSIFTやHoGといった特徴表現が利
下水道管 全国で点検区間の約３割に腐食などの異常 | NHKニュース
老朽化が進む全国の下水道管について、昨年度、自治体が点検した区間のうち、およそ３割に当たる１３０キロ余りで腐食などの異常が見つかりました。中には、道路の陥没事故を招く危険性がある場所もあり、国土交通省は補修など速やかな対応を求めています。 これを受けて国は、コンクリートなど腐食しやすい材料で作られたおよそ５０００キロの下水道管について、５年に１度点検するよう管理する自治体などに義務づけていて、このうち昨年度は、およそ４９０キロで点検が行われました。 その結果、全体のおよそ３割に当たる１３０キロ余りの区間で、腐食やひび割れなどの異常が見つかったということです。さらにこのうちのおよそ５キロについては、腐食などがかなり進んでいて、道路の陥没事故を招く危険性があると評価されました。 過去の陥没事故では、道路にできた「くぼみ」や穴に人がつまずいて転倒したり、車のタイヤが落ちたりするケースもあったとい
ActiveRecordでINの中が一万個とかにならないようにする - かみぽわーる
この記事は MySQL Casual Advent Calendar 2017 の23日目の記事です。 みなさんORマッパーは使っていますか？ 僕は仕事とか趣味でActiveRecordというORマッパーを使っているんですけど、こいつ例えば Team.preload(players: :high_score).to_a みたいなことをするとすぐ SELECT `scores`.* FROM `scores` FROM `scores`.`id` IN (a, b, c, ...数千個続く...) みたいなクエリを生成しよるんですけど、MySQL 5.7に上げたときに range_optimizer_max_mem_size の制限で実行計画がテーブルスキャンに落ちてえらい目にあったことがありました。MySQL側で range_optimizer_max_mem_size = 0 することで
Redashの長期運用を見据えてクエリの名前付けについて考える - ariarijp’s blog
この記事はRedash Advent Calendar 2017 24日目の記事です。 qiita.com Redashのクエリも名前付け重要 Redashはフォーク機能によって、あるクエリをもとにした派生クエリを作成することが簡単になっており、新規クエリもUIから簡単に作成できるため、お手本のクエリを参考にしつつ、利用者が欲しいデータをエンジニアを介さずに抽出することができるようになります。 しかし、クエリの作成・フォークがカジュアルにできることによって、「クエリの名前付け」問題が少しずつ影を落としはじめるのも事実です。 クエリ名前付けに関わる問題としては、以下のような問題が考えられます。 何をするためのクエリなのかわからない 同じような名前のクエリがいくつもある フォークを繰り返した結果、"Copy of (#2) Copy of (#1).." のようなクエリが乱立する 過去にはエウ
自販機のサンプルが動き回っていたので調査したら頭がおかしくなりそうになった - おにノート
突然ですが、こちらの写真をご覧ください。 酔っぱらって帰る道中で、ふと撮った写真です。 自販機のサンプルが傾いてて面白かったので撮影しました。 酔っぱらってると何にでもウケちゃうの恐ろしいですね。 続いて、同じ自販機の翌日の様子をご覧ください。 お分かりでしょうか。向かって右側のオロナミンCです。 180度回転して、こちらへおしりを向けているんです。 不思議に思い、また翌日に様子を確認しに行くと… 真正面に向き直ってました。何だこれ、こわい。 ちなみに他のサンプルに変わった様子はありませんでした。 どういうわけか、このオロナミンＣだけが回転しているのです。 1人元気ハツラツに活動するオロナミンＣ。 何故回るのか。勝手に回るのか、それとも誰かに回されているのか。 考え得るどのルートを辿っても、「いや、なんでだよ！」にたどり着いてしまいます。 私はこの回るオロナミンＣの真相が気になり、観察して
「天安門事件の死者は1万人」 英公文書を公開
中国・北京で、民主化運動が軍によって武力弾圧された「天安門事件」の際に群衆に燃やされた約20台の装甲車（1989年6月4日撮影）。(c)AFP PHOTO / Manny CENETA 【12月23日 AFP】1989年に中国の首都・北京の天安門広場（Tiananmen Square）で民主化運動が軍によって武力弾圧された「天安門事件」の死者が、少なくとも1万人に上るとする英国の公文書が新たに公開された。 公開されたのは英国の外交機密電報で、陰惨な天安門事件の詳細をつづっている。天安門事件から28年以上を経て公にされた電報をAFPが英国立公文書館で確認した。 当時の駐中国アラン・ドナルド（Alan Donald）英大使は本国政府への電報で「最低に見積もっても一般市民の死者は1万人」と報告している。 当時、一般的に報じられた死者数は数百人から1000人余りで、弾圧が起きた翌日の6月5日に出さ
「ブラック企業大賞 2017」は「アリさんマークの引越社」に決定 解雇した社員の顔写真を“罪状”として店舗に掲示
※本記事はアフィリエイトプログラムによる収益を得ています その年もっとも“ブラック”だった企業に贈られる「ブラック企業大賞」の授賞式が12月23日行われ、“アリさんマークの引越社”で知られる、引越社・引越社関東・引越社関西が2017年の大賞に選ばれました。 引越社グループから不当に解雇されたとして声を上げていた男性。授賞式では企業側に代わって賞状とトロフィーを受け取りました（ニコニコ生放送より） 引越社グループを巡っては、当時引越社関東に所属していた男性営業員を、労働組合に加入したことをきっかけにシュレッダー係へ配転。さらに懲戒解雇する際「罪状」などと記載し、男性の顔写真入り書類をグループ店舗に掲示したり、社内報に掲載したりした行為が問題となっていました。授賞式には解雇された男性も訪れており、大賞が発表されると声をあげて喜ぶ一幕もありました。 引越社グループのノミネート理由 またWeb投票
DOTSプロトコルを使ってDDoS対策を自動化してみたい！ - Qiita
NTTコミュニケーションズアドベントカレンダー 12日目。 今日は、荒ぶるDDoS攻撃1からサービスを防御するための新しいプロトコル DOTS (DDoS Open Threat Signaling)を紹介します。 DOTSプロトコルについての詳しい日本語の記事は初めてなのではないかと思います。 DOTSとは？ DOTSとはIETFで策定中のDDoS対策のためのプロトコル DDoS対策の自動化と標準化を実現するよ OSSによる実装がでているよ この記事では、OSS実装である go-dots を使って、DOTSプロトコルの利用方法を紹介します。 これからのDDoS対策の話をしよう DDoS攻撃は2つの方向で脅威が進化しています。 大規模化: Arbor社によると、2016年のリオオリンピックでは、500Gbpsを超えるDDoS攻撃があったとのことです。IoTなどインターネットに接続される機器
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
気付けば格付け先進国 日本企業75%がA格、米の2倍 - 日本経済新聞
吉祥寺.pm13を開催します - kichijojipm’s blog
27歳フリーランスエンジニアが1200万稼いでみて、得たものと失ったもの | Permanent Til
iPhone旧機種、意図的に減速 アップルに訴訟 - 日本経済新聞