最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020
PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020
PyCon JP 2020 での発表スライドです。 GitHub: https://github.com/taishi-i/toiro/tree/master/PyConJP2020
概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に
SOLID原則をまとめてみた Part1 ～SOLID原則とはなんぞや編～ - ecbeing labs（イーシービーイング・ラボ）
はじめに SOLID原則とは どうしてSOLID原則が生まれたのか ダメなソフトウェア設計の4つの原因 Rigidity-剛性 Fragility-脆弱性 Immobility-不動性 Viscosity-粘性 本当の原因 どんな変更が設計をダメにするのか おわりに&次回記事に続く… はじめに はじめましてorこんにちは！ ecbeing2年目、R&D部門所属のいかちゃんです。 これまでは、Dockerの記事やスクラムに関する所感記事、JavaScriptライブラリに関する記事を書きました。 blog.ecbeing.tech そして今回…というより本シリーズでは、泣く子も黙る『Clean Architecture』本を参考に…。 https://www.amazon.co.jp/dp/B07FSBHS2Vwww.amazon.co.jp ソフトウェア設計の5つの原則として名高い「SOLI
「gigazine.net」といったドメイン名をコンピューターが処理できるIPアドレスに変換するDNSは、インターネットを支える重要な技術です。そんなDNSサービスのひとつである「NextDNS」の機能について、クラウドサービスのエンジニアであるStanislas Lange氏が説明しています。 NextDNS is my new favourite DNS service https://angristan.xyz/2020/04/nextdns/ Lange氏はDNSサービスとして、広告をネットワークレベルでブロックできる「Pi-hole」や、Cloudflareが提供する「1.1.1.1」、「AdGuard DNS」などの利用を検討しましたが、通信の遅延や信頼性において、いずれもLange氏の要求水準を満たさなかったとのこと。 そんな中Lange氏が出会ったのが「NextDNS」でし
ホクソエムサポーターの白井です。 今回は日本語の word2vec に着目し、日本語の学習済み word2vec の評価方法について紹介します。 自然言語は非構造化データであるため、単語や文章を計算機で扱いやすい表現に変換する必要があります。 そのための方法の1つに word2vec があり、Bag of Words (BoW) や tf-idf とならんでよく用いられます。 一般に、word2vec は Mikolovが提案した手法 (CBOW, Skip-gram) をはじめ、 GloVe や fastText など、単語をベクトルで表現する単語分散表現のことを指します。 word2vec は教師なし学習のため、コーパスさえ準備できれば誰でも新しい単語分散表現を学習することができます。 しかし、実際に word2vec を使う際に、どのように評価すれば良いのかがよく分からず、配布されて
以前，MySQL (正確にはMariaDB) を使った際，いろいろはまったので記載します． 使ったバージョンが古い（MariaDB 10.1.37, MySQL 5.7くらいに相当）なので，最新版では治っているところもいくつかあります． sql_modeをデフォルトの設定で使わない これはよく言われていることですが，sql_modeがデフォルトでは変な値が入ったりエラーになって欲しいところがスルーされたりしてまずいので，適切なsql_modeを設定します． 第18回 MySQL5.7のデフォルトのSQLモードを確認してみる：MySQL道普請便り｜gihyo.jp … 技術評論社 MySQLのSQLモードをstrictモードで設定する。 - Qiita ただ，MySQL 5.7以降はデフォルト設定が改善されたようです．（でも確認すべきですが） MySQL :: MySQL 8.0 Refer
エンジニア歴1年の僕がドメイン駆動設計(DDD)を参考にLaravelのプロジェクトをフルリニューアルした話 - Hajimari Tech Blog| 株式会社Hajimari
こんにちは！ はじめまして！ 2020年7月からPIECE事業部でエンジニアをさせてもらっています。 野澤です。 今回、PIECEというサービスのリニューアルを担当させてもらったのでその時のことについて書きたいと思います！ まだ若輩者なので至らない点が多々あると思いますが フルリニューアルってどんな事したんだろう〜？ Hajimariのエンジニアはどんな仕事をしてるんだろう〜？ って思った人はぜひ読んで見てください！ ※ドメイン駆動設計の説明も書いたのですがボリュームが多くなってしまいました… ドメイン駆動設計について概要知りたいという方は是非読んでみてください。 クリーンアーキテクチャの説明やモデリングのやり方などは説明していません。 ご了承ください。 PIECEリファクタリングプロジェクトの概要 PIECEとはどのようなサービスなのか リニューアルの目的 リニューアル施策 ドメイン駆動
スマートキャンプのプロダクトマネージャーの郷田です。 皆さんは普段の業務で、以下のように感じる場面はありませんか？ - 「同じチームで働くあの人と、いつもなんだか認識がずれてるかもと感じる」 - 「一通り会議はやったものの、なんだかいまいち話しきれてないようなモヤモヤがある」 - 「あの人にはもっと注力してもらいたいことがあるのに、なかなかそこまでやってもらえない」 こういった場面に遭遇したときには、リーンコーヒーを実施されることをおすすめします！ この記事では、チームのMTGで活用してみていただきたい「リーンコーヒー」を紹介します。 リーンコーヒー（Lean Coffee）とは？ リーンコーヒーの進め方 準備するもの その１：トピック出しと優先順位の決定（5分~15分） その２：トピックのディスカッション（10分〜45分） 初めてのリーンコーヒーでのハマりどころ 継続するかの判断をせずに
heyのSTORESでECの開発をしている@nkobaです。 この記事ではフロントエンドで使用しているUIライブラリについて発信していきます！ 社内UIライブラリとは STORESのECではSTORES.jp-Front-Commonというフロントエンドライブラリを作成しています。 その一部としてUIライブラリが含まれており、これを社内プロダクトで利用することで開発効率を向上させたり、ユーザーにとっての触り心地を担保しています。 基本的にSTORESのECではブランド、デザイン、使い心地などを表現するために、ほぼ全てのUIは自作しています。 社内UIライブラリで主に使用している技術は以下になります。 Vue.js Storybook REG-SUIT Jest コンポーネントライブラリの実際 実際に使われているページ 導入期 背景 私がフロントエンドチームに加わったのは2018年の末頃でし
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
TDD実践を経て変わったこと
Qiita × Uzabase Tech Meetup#1 技術講演②「TDD実践を経て変わったこと」 で発表した内容になります。 https://connpass.com/event/210103/
ブラウザのタブなどに表示されるFavicon(ファビコン)は、サイトのシンボルとして重要なアイコンです。しかし、このファビコンにはCookie(クッキー)のようにユーザーを追跡可能な「スーパークッキー」の問題が潜んでいると、研究者らが警鐘を鳴らしています。 Tales of Favicons and Caches – Persistent Tracking in Modern Browsers (PDFファイル)https://www.cs.uic.edu/~polakis/papers/solomos-ndss21.pdf supercookie • workwise https://supercookie.me/workwise ファビコンとは、サイトのシンボルマークとしてタブやURLの隣などに表示される小さなアイコンのことです。 イリノイ大学シカゴ校のセキュリティー研究者らは2021
こんにちは！SUGAR株式会社のCTOをしている杉谷と申します。SUGARという生放送システムを作っています。 “SUGAR is 何” については社長の鎌田(UUUM社長でもある)が https://note.com/sugarcorp/n/n2f3a0fe1a107 で解説していますので、よろしければご覧ください！ はじめに昔(もう13年前)にも生放送システムを作ったことがあったんですが、当時は技量と知見が足りず今みたいに便利なサービスやツールも無かったので負荷に弱く、数万人のユーザーが殺到すると落ちる、なんてことが頻繁にありました。 それから11年後、いろいろあって人生2度目の生システムであるSUGARを作ることになりました。今度こそはとガッチガチに負荷対策をしたところ某人気俳優の方の配信で三十数万人が一瞬で殺到してもなんとか死なない※システムを作ることができました。 ※正確には最初
はじめに こんばんは、菅野です。 皆さんは Amazon S3 の利用料金って厳密な計算なんてしてないですよね？ もちろん私もしてませんし、今後も恐らくしません。 でも、自分では知らないうちに無駄な利用料金が発生してるかもしれないとしたらどうでしょう？ 今回のブログではその「無駄」を自動で削減してもらうための設定についてご紹介します。 マルチパートアップロードを知ってますか？ S3 は最大5TBまでのオブジェクト（ファイル）を保管できるのですが、保存のため一度に送信できるサイズは5GBという制限があります。 ではどうやって5TBのオブジェクトを保存するのか？というと aws cli や SDK を使って小さく分割したファイルを送信し、全ての部品が揃ったら S3 で一つのファイルに復元されます。 この機能を「マルチパートアップロード」といいます。 マルチパートアップロードを利用するメリットと
Ubie(ユビー)株式会社でソフトウェアエンジニアをしている八木(@sys1yagi)です。Ubieに入社してすでに1年8ヶ月くらい経ってますが(2019年4月入社)、入社エントリを書いていなかったので書きます。 【特にこんな人に読んでほしい】 ・Ubieに興味があるけど、技術スタック全然違うしな〜って思ってる人 ・キャリアとか転職とか皆どういう観点で考えてるんだろと気になる人これまでのキャリアソフトウェアエンジニアになって2021年でちょうど15年になります。Ubieに入社する2019年までは10年間ほどAndroidアプリケーションエンジニアをしていました。クックパッドのAndroid版をスクラッチしたり、新規事業のAndroid部分を担当したり（当時は一つのクックパッドアプリケーション内で複数事業の機能が入ってました）、新規事業がMBOして独立する際に技術部長を兼任しつつAndroi
無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (技術編) - NFLabs. エンジニアブログ
tl;dr 前半をサイバー脅威インテリジェンスの理論、後半をハンズオンの形式で全6回の連載をしてきました 連載は現実のインテリジェンス業務をなるべく反映させたものであり、戦術脅威インテリジェンスがアウトプットの中心になります 実態のよくわからないバズワードに飛びつかず、企業は自組織の体制と世の中の脅威を正しく理解するところからはじめましょう はじめに 本稿は前回の記事「無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (非技術編)」の技術的内容部分を抜き出したものです。未読の方は先にそちらの記事を参考にしていただいた方が、内容を理解しやすいと思います。 blog.nflabs.jp 前回に引き続き @strinsert1Na です。事業推進部の Defensive チームで脅威インテリジェンスの生成やソフトウェアの開発をしていま
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧
PyTorch／TensorFlow／Keras／scikit-learnライブラリ内蔵のデータセット一覧：AI・機械学習のデータセット辞典 機械学習やディープラーニング用の主要ライブラリが提供する「画像／音声／テキストなどのデータセット」の名前とリンクを表にまとめ、典型的な使い方を簡単に紹介する。 連載目次 本連載「AI・機械学習のデータセット辞典」では、ここまで主に、scikit-learnやKeras／TensorFlow（tf.keras）、TensorFlow Datasets、PyTorchといった主要なPythonライブラリに共通的に含まれる代表的なデータセットを紹介し、各ライブラリでの典型的な実装コード例を示してきた。しかし、これらの全ライブラリに共通的に含まれているデータセットはまれで非常に少ない。よってこれからは、個々のライブラリに1つしか含まれていないようなこまごまと
商品リンクはこちら https://little-hands.booth.pm/items/1835632 DDDはドメインモデリングを通じてソフトウェアの価値を高めようとする設計・開発手法です。 新しく得られたモデルに関する知見を頻繁にコードに落とし込む必要があるのですが、 それはソフトウェアにとっては非常に高い要求をしていることになります。 そこでDDDでは、オブジェクト指向の手法を利用して、メンテナブルで、拡張性の高いコードを書くことを目指しています。 このセッションでは、DDDではモデリング結果をどのようにコードに落とし、どのような利益を得られるのかを、具体的なコードを交えながら解説します。Read less
順を追って学ぶKubernetesのキホン〜ローカル環境でKubernetesクラスターを作成してKubernetesの概念を理解する〜 - Qiita
順を追って学ぶKubernetesのキホン〜ローカル環境でKubernetesクラスターを作成してKubernetesの概念を理解する〜Dockerインフラkubernetescontainermicroservices こちらの記事は、Jonathan Natanael Siahaan 氏により2019年 10月に公開された『 Step by Step Introduction to Basic Concept of Kubernetes 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 Kubernetesを聞いたことがありますか？ 興味があることは間違いないはずです。 だからこそこの記事を開いたのでしょう。 この記事では、Kubernetesの基本概念とその使い方について説明します。 最終的には、Minikube上で動くKubernetesを使用してdocker
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
クックパッドアプリ(Android)の開発効率化のためにやったこと/やっていること - クックパッド開発者ブログ
モバイル基盤部のこやまカニ大好き(id:nein37)です。 モバイル基盤部では、CI環境の改善やアプリのリリースサイクル自動化といった開発・リリースフローの効率化に加え、アプリのビルド速度改善や開発のしやすさを改善する様々な取り組みを行っています。 今回はその中から、クックパッドアプリ(Android)に対して行った開発効率化の取り組みの一部を紹介したいと思います。 あわせて読みたい : Android版クックパッドアプリで採用している技術の現状確認 2018年版 日々のメンテナンス系 不要になったソースコードやリソースの削除 Lint設定の最適化/Lint警告の除去 画像リソースのWebP化/WebPおじさん化 minSdkVersion 21 後の変更 Ripple 対応 android:elevation の指定で影をつける *-v21 系代替リソースの整理 ツール導入など And
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの大岩です。 ヤフーが提供するYahoo!ショッピングやPayPayモールでは1年に1度大規模セールを行っています。 去年（2020/10/17～11/15）の対象期間は、超PayPay祭の開催に合わせて過去最大級の大規模セールとなっていました。特にセール最終日はグランドフィナーレと呼ばれ、ポイント還元率が年間を通して最大となる1年で最もお得な日となっていました。 集客の予測値は通常セールの数倍が見込まれており、セールの高負荷を乗り切るために、セール高負荷専用の対策チームが組まれ、そこを中心として高負荷対策を進めることになりました。 本記事では、大規模セールの高負荷に対して実際にどのような負荷対策を行ったかをサー
ポルトガル商人に毎年1000人が海外へ売られた！『大航海時代の日本人奴隷』著者が踏み込んだキリシタン史のタブー 写真：Werner Forman/Universal Images Group/Getty Images ルシオ・デ・ソウザ／岡美穂子著『大航海時代の日本人奴隷 増補新版』（中公選書）は、書名の通り、大航海時代まっただ中の16世紀――日本では戦国時代――に、多くの日本人がポルトガル商人たちによって世界各地へ奴隷として売られていたことの実証研究をまとめたものである。旧版は好評を得て5刷と広く読まれたが、増補新版ではイエズス会の日本人奴隷取引とのかかわりや、秀吉の朝鮮出兵によって長崎市場が朝鮮人奴隷だらけになったことなどに関する研究を補章として加え、旧版以上に驚くべき内容となっている。 東京大学大学院情報学環（史料編纂所兼任）の岡美穂子准教授に、この時代の日本／日本人の奴隷貿易につい
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
【Vue.js】【Firebase】routerを使ってログイン認証がないと見れないようにする設定方法 - かとのぼのマイコード・マイライフ
この記事は、Vue.jsとFirebaseでログイン認証を実装した際、ログインしていないと見れない画面を設定したい場合のサンプルコードと解説です。 サンプルコードは、サーバーはFirebaseで、Vue-Routerを使っている前提で説明しています。 1.Vue-routerのログイン認証判定のポイントは「meta」と「requiresAuth」 2.「router.beforeEach」を設定することで画面遷移する前にログイン判定 3.実際のサンプルコード 1.Vue-routerのログイン認証判定のポイントは「meta」と「requiresAuth」 ログイン判定が必要なパスだと設定するには「ルートメタフィールド（要するにmeta情報）」を利用します。 ルートメタフィールド | Vue Router 「router.js」にVue-routerのコードを記述していますが、そのroute
技術部 Site Reliability (SR) グループの id:itkq です。2020 秋タイトルで一番期待しているのはおちこぼれフルーツタルトです。本エントリでは、Web サービスの負荷試験に対する障壁を下げるために、汎用的な Web コンソール開発に至ったまでの話を書きます。 Web サービスの負荷試験の障壁を下げたい クックパッドでは、マイクロサービスを支える基盤が成熟しており、新規サービス開発や、サービスリニューアルなどの機能開発の場面では、疎結合な新規のマイクロサービスとして実装されることが多いです。このようなサービスをリリースする際は、予想されるトラフィックに対して、実際にそれを捌ききれるかどうかテストする、いわゆる負荷試験をすることは一般的です。これまで、サービスリリース時に、負荷試験をきちんと行うこともあれば、負荷試験を行わないこともありました。負荷試験が行われない
iOS Safari の <select> 要素は密かに変わっているのをご存知ですか - マンガ〜ノ伊藤ノ〜ト
私事ですが先日引っ越した． それはよくて，引っ越しすると住所変更が面倒で 外部キーでマスターからカスケードですべて変わってくれないかと思う． それもよくて，大事な書類が届かないと大変だと 銀行口座やクレジットカードの住所変更をしていた． 起 生活に必要なものを大抵スマホのアプリで入れている． クレジットカードアプリも生体認証でログインできたりして， いまや 2段階認証なりが必要な PC よりも楽な気がする． (なんか本末転倒でダメなことをしているような気もする) なので，住所変更もキーボードのほうがやりやすいのは脳裏によぎりつつも 簡単な操作はスマホアプリからやっている． 前置きが長いけど，問題はドロップダウンで住所を選ぶ箇所で， iOS だと選択のドラムがグルグル回るやつが 住所が長いと途切れるということに気づいた: 住所の文字数が多いと選択が厳しい世の中になっていることに気づいた。 p
こんにちは、エンジニアの @MinoDriven です。 今年2019年4月にリファクタリング専門チームを発足しました。 crowdworks.jp の最重要機能であるお金周りの機能に関して、どのような技術アプローチでリファクタしているかを紹介致します。特に、Railsには適用困難と言われているドメイン駆動設計の考え方を取り入れた手法を解説致します。 目次 背景 リファクタリング専門チーム発足 技術的負債 リファクタリング対象選定 方針①：パレートの法則（80:20の法則） 方針②：リファクタリング選定基準3軸 「仕事周り」か「お金周り」か お金周りモデルのリファクタリングを妨げるConcern 課題①：ActiveRecord側の構造に依存したコード 課題②：型や構造のチェック(リスコフの置換原則違反) 課題③：重要業務概念の埋没 どのようにリファクタしたか 手法①：Concern側メソ
「メモリ内の（アクセス権限のある）ある1つのアドレスに繰り返しアクセスするだけで、（アクセス権限のない）他のアドレスに格納されたデータを改ざんできてしまう」という脆弱性がDRAMにはあった。これを悪用した攻撃手法はローハンマーと呼ばれる。 CPUの投機的実行の脆弱性を突く（SpectreやMeltdownといった）攻撃と同様に、ローハンマーはメモリハードウェアにおけるセキュリティを侵害する。メモリ回路内部の電気的結合現象を悪用するローハンマーは、ハードウェアのメモリ保護ポリシーをくぐり抜けてしまう可能性がある。もしそうなれば、例えば不正なコードがサンドボックスから出て、システムを乗っ取る恐れがある。 Googleの回避策はこれまでメモリメーカーに採用されてきた ローハンマーを初めて扱った論文が登場した2014年当時、DRAMの主流世代は、「DDR3」だった。2015年にはGoogleのPr
おまたせしました この度、ついにこの記事を完成させることができました。これは私が数年前からずっと書きたいと思っていた、ウェブのアクセスログに対する、機械学習を使った異常検知の実例です。私は事あるごとに(※1)「情報セキュリティ分野でもデータサイエンスの技術は非常に重要だ」と繰り返していますが、この記事の内容はまさにその1つの証となると思います。この記事で示される内容を見れば、「うわ、機械学習、マジでヤバイい(語彙力)んだな...」となるでしょう。以下に心当たりのあるセキュリティエンジニアはぜひ読んで、そして実践してみてください。 機械学習に興味はあるものの、どこから手を付ければよいのかイメージがわかない 本当にAIやデータサイエンス、機械学習がセキュリティの分野で役に立つのか、確信がもてない データサイエンスや機械学習は難しそうだと思っている ログ解析において、grepや単純な統計処理より
PlantUMLでドメイン駆動設計のモデリングを実装する（Nizi Project編） - ContractS開発者ブログ
こんにちは！株式会社Holmesでエンジニアをしている平田です。 Holmesでは、現在、プロダクト開発にドメイン駆動設計を取り入れようと、社内で勉強会の開催や各メンバーが勉強したことを共有しあったりしています。 ドメイン駆動設計に取り組むにあたって、大切なことのことの一つにより良いモデルを作成する、モデリングがあります。 今回はそんなモデリングをPlantUMLで行う方法について、一例をご紹介できればと思います。 ※本記事のモデリング手法は以下の書籍を参考に行なっております。 PlantUMLとは なぜPlantUMLを用いるのか ユースケース図 全体像 @startuml,@enduml actors usecases rectangle ドメインモデル図 全体像 packages objects notes direction relations label 振り返り 最後に Pla
先日、VMware上で動かしていたKali Linuxが突然エラーで起動できなくなりました。 コマンドラインだけならログインできるんですが、GUI操作ができず復旧が絶望的なので一からKali LinuxをInstallし直すことにしました。 その際、せっかくなので自分がVulnhubやHTBを攻略するうえで便利だと思って使っていて、かつKali Linuxにデフォルトで入っていないけど有用なツールをまとめたいと思います。 完全に個人の意見なので、参考までにどうぞ！ ちなみに、niktoやgobusterといったツールはめちゃくちゃ使いますがデフォルトでInstallされているため省略します。 Information Gatering AutoRecon onetwopunch Parsero smbver.sh FindSMB2UPTime.py impacket oracle(sqlpl
本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆
要点 T5（Text-To-Text Transfer Transformer、論文、日本語解説記事）の日本語モデル（事前学習済みモデル）を作り、公開しました。ご活用ください。 T5とは、様々な自然言語処理タスクの入出力がともにテキストになるよう問題形式を再定義することにより、一つの事前学習済みモデルを多様なタスク用に転移学習させることができる高い柔軟性を持ち、かつ、性能も優れている深層ニューラルネットワークです。 転移学習の例: 文章分類、文章要約、質問応答、対話応答、機械翻訳、含意関係認識、文の類似度計算、文法的妥当性判定、タイトル生成、スタイル変換、誤字修正、検索結果のリランキングなど（固有表現抽出などのシーケンスラベリングの実施例はない？） 日本語T5モデルはHugging Face Model Hubからダウンロードできます。 ベンチマークとして、ある分類問題について、既存のmT
TL; DR 変数をダブルクォートしない使い方は上級者向けの危険な機能です！ $@ と $*（または配列の全要素）をダブルクォートしない使い方は知る必要すらありません！ ShellCheck を導入すれば誰でも簡単に正しい書き方がわかります！！ 2021-08-21 補足 この記事は dash や bash などの POSIX シェルの一般的な動作を解説しており zsh のデフォルトとは異なります。記事の中でも説明していますが zsh の場合はシェルのオプションを変更することで POSIX 準拠の動作に変更することができます。zsh に関しては後半の「zsh に関する注意点」も参照してください。 はじめに プログラミング言語は、言語によって記号の意味が異なることがよくあります。クォーテーションマークはその一つです。C 言語ではシングルクォートは文字リテラル（一文字）を意味し文字列はダブルク
自分のTweetsをインクリメンタルに全文検索できるmytweetsを作りました。 また、自分のTweetsをtextlintや単語感情極性対応表や辞書ベースでフィルタリングしてまとめて削除するdelete-tweetsを作りました。 どちらもTwitterのアーカイブを使って今までのすべてのTweetsを対象にしています。 そのため、どちらも最初に次のドキュメントに従って、Twitterのデータアーカイブをダウンロードしておく必要があります。(申請から1日ぐらいかかります) 全ツイート履歴とツイートをダウンロードする方法 | Twitterヘルプ mytweets mytweetsは、Twilogやツイセーブのように自分のTweetsの履歴を全文検索できるサイトを作るツールキットです。 Twitterのデータアーカイブをインポートするので過去全ての履歴に対応していて、 また新しいTwee
こんにちは、らくからちゃです 2年連続ステイホームのゴールデンウィークになりそうです。 もはやゴールデンウィークって普段何してたのか忘れかけてきたので、過去の履歴を漁ってみたら、一昨年は伊豆半島の東側をぐるぐる回りながら下田までいってたみたいです。 そういやコロナ前のゴールデンウィークって何してたんだっけ？と思ってGoogleフォトのフォルダ漁ってみたら、伊豆半島をぐるぐるしてたらしい。 また落ち着いたら行きたいなあ。 pic.twitter.com/N0fNxIZ5Uq — らくからちゃ@育休中専業主夫 (@lacucaracha) 2021年5月3日 こんなどこにも行けない日には、家でデータ分析をするに限りますね！！（鼻息） 統計局が、e-statを使って遊ぶ方法も教えてくれるそうなので、ご興味がある方は是非！ gacco.org 統計として公開されているデータを眺めてみるのも面白いっ
Docker、これまでで最も深刻な cp コマンドの脆弱性CVE-2019-14271を修正
By Yuval Avrahami November 19, 2019 at 10:35 PM Category: Cloud, Unit 42 Tags: container breakout, container escape, containers, CVE-2019-14271, Docker, exploit, vulnerabilities This post is also available in: English (英語) 概要 ここ数年、Docker、Podman、Kubernetesを含むさまざまなコンテナプラットフォームで、copyコマンド(cp)の脆弱性が複数確認されてきました。それらの中で最も深刻なものはこの7月というごく最近発見・開示されたものです。驚くべきことに、CVEの説明内容があいまいだったこと、公開されたエクスプロイトがなかったことなどの理由から、本脆
機械学習研究者＆エンジニアが頭を抱える実験管理に役立つツールを比較した - のんびりしているエンジニアの日記
皆さんこんにちは。 お元気でしょうか。GoogleQA20thで悔しいけど楽しかったです。 自然言語処理のみのコンペを真面目に挑んだのは初で、勉強になることが多かったです。 今回は実験管理ツールの紹介と比較をします。 特徴がわかる範囲で簡単に実装も書いているので、参考にしてみてください。 実験管理ツール 実験管理の必要性 実験管理ツールの要件 実験管理ツールの紹介 Excel Excelとは 良い点 欠点 mag magとは サンプル実装 良い点 ここが少し残念 Weights and Biases Weights and Biasesとは サンプル実装 良い点 ここが少し残念 MLFlow サンプル実装 良い点 ここが少し残念 まとめ 最後に 実験管理ツール 実験管理の必要性 コンペティションや研究では多くのハイパーパラメータや構造などに対して様々な変更を加えます。 私の場合の例ですが、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchで分散表現を使った類似文書検索
新進気鋭のDNSサービス「NextDNS」を使うと何ができるのか？
学習済み日本語word2vecとその評価について - 株式会社ホクソエムのブログ
MySQL (MariaDB) でハマった仕様 - kamocyc’s blog
リーンコーヒー（Lean Coffee）のすすめ - SMARTCAMP Engineer Blog
社内UIライブラリの変遷 - STORES Product Blog
ガチャを1から作り直した話 ─規模の拡大につれて開発速度を落とさないための取り組みについて─
ブラウザのFavicon(ファビコン)でユーザーを追跡する「スーパークッキー」とは？
3万同接で苦しんでたのに30万同接が楽勝になった話｜SUGAR株式会社｜note
S3の利用料金を損してるかも？安心して利用するための設定をしましょう | DevelopersIO
事業とプロダクトで転職先を選んだら一致する技術スタックがほぼ0個だった話｜sys1yagi
DDDはオブジェクト指向を利用してどのようにメンテナブルなコードを書くか
SQLで始める自然言語処理 - やむやむもやむなし
超PayPay祭による高負荷にヤフーはどのように立ち向かったか
ポルトガル商人に毎年1000人が海外へ売られた！『大航海時代の日本人奴隷』著者が踏み込んだキリシタン史のタブー
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
負荷試験用 Web コンソールの開発 - クックパッド開発者ブログ
リファクタリング専門チームによるお金周りリファクタリング - クラウドワークス エンジニアブログ
メモリに繰り返しアクセスするだけで権限のないメモリ内容を変更可能、Googleが攻撃手法を発見
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
Kali Linuxに(自分が)追加したいペネトレーションツール - 高林の雑記ブログ
AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ - Qiita
【日本語モデル付き】2021年に自然言語処理をする人にお勧めしたい事前学習済みモデル - Qiita
シェルスクリプトの変数はダブルクォートしなければいけない！という話 - Qiita
自分のTweetsをインクリメンタル検索できるサービス作成キット と Tweetsをまとめて削除するツールを書いた
どこにも遊びに行けないなら"はてブ"のデータ分析をして遊べばいいじゃない - ゆとりずむ