目次 はじめに この記事は Slackチャンネルへの参加 環境構築 GitHubリポジトリをFork ローカルにCloneしてくる yarnによる環境構築 yarnのインストール 必要なパッケージのインストール サーバー起動 GitHubのissueを見てみる 開けてみる ラベルを見てみる 気になったissueを改善してみる 自分で改善したものをプルリクエストする ForkしたリポジトリにPush プルリクエストを送る テンプレートに沿った文章を書く マージされるの待つ その他の注意事項 さいごに はじめに この記事を見ている人は少なからず東京都の新型コロナウイルス対策サイトへの貢献に興味を持っているのではないでしょうか。 「ガチガチのプロしか参加しちゃいけないんでしょ？」 「OSSにプルリクなんて敷居高そう...」 そんなことありません！現に私は高校２年生ですが、対策サイトのGitHub

概要 チームによる継続的開発を前提としたコーディングのガイドライン。 特定の言語を対象としたものではないが、主に静的型付けのオブジェクト指向言語を想定している。 サンプルコードは別段の定めがなければSwiftで記載。 ガイドラインの目的 生産性を高め、メンテナンスコストを下げる バグが生まれづらくする 開発メンバー（特に新規参加者）がコードを理解しやすくする 初心者プログラマーの教育 内容の説明 タイトルの頭についた【数字】は重要度。 高いほどシステムに与える影響が大きいが、低いものの方が影響が小さく改修しやすいものが多い。 【5】変数のスコープを小さくする 変わり得る値は複雑さを生み誤解やバグに繋がるため、プログラムは変数が少ないほど問題が生まれづらい。 プログラミングの大原則として、変数は必要最低限を心がけ、むやみに増やさないようにする。 また、変数はスコープや寿命が大きいほど悪影響が

本記事は Towards Complex Text-to-SQL in Cross-Domain Database with Intermediate Representation（論文, リポジトリ）のサーベイ記事です。 日鉄ソリューションズ（NSSOL）様での研究開発インターンの一環として執筆しました。 今回紹介するのは、ざっくり言えば、自然言語で記述された質問からSQLクエリを生成するタスク（Text-to-SQL）において、文脈自由な中間表現を導入して性能を上げた研究で、提案モデルはIRNetと呼ばれています。 この研究ではSpider (論文, サイト) というデータセットを用いています。Spiderは従来のText-to-SQLデータセットよりも複雑な事例を多く含んでいます。 Spiderの公式サイトで挙げられている難易度が中くらい（Meidum）の例がこちらです： 複数テーブ

目次 本記事はPyTorchを使って自然言語処理 $\times$ DeepLearningをとりあえず実装してみたい、という方向けの入門講座になっております。本記事をご覧になった後、以下の順番で読み進めていただくとPyTorchを使った自然言語処理の実装方法がなんとなくわかった気になれるかもしれません。 PyTorchを使ってLSTMで文章分類を実装してみた ←イマココ PyTorchを使ってLSTMで文章分類を実装してみた（バッチ化対応ver） PyTorchでSeq2Seqを実装してみた PyTorchでAttention Seq2Seqを実装してみた PyTorchのBidirectional LSTMのoutputの仕様を確認してみた PyTorchでSelf Attentionによる文章分類を実装してみた PyTorchで日本語BERTによる文章分類＆Attentionの可視化

CamphrはspaCyのプラグインです．日本だとGinzaがspaCyを利用しており有名ですね． spaCyはNLPフレームワークで，以下のような特長があります(主観). 様々な機能を簡単に合成できる (深層学習からパターンマッチまで何でもOK) パイプラインを1コマンドで保存&復元できる 1つ目の機能は実用上とても重要です．NLPはここ数年で大幅に進歩しましたが，実際のタスクはend-to-endにデータを食わせればOK，みたいに美味しいものばかりではありません．かといって新しい手法を全く使わないのも，あまり筋が良くなさそうです． spaCyを使うと，最新の手法からルールベースの手法まで，様々な手法を組み合わせることができます．そしてCamphrを使うと，例えばBERTをfine-tuneした後にKNPと正規表現を組み合わせる，ということが簡単にできます． また2つめの機能のおかげで，

ある程度経験を積んだレビュワーがやりがちな失敗は、 指摘しやすいコーディング規約違反だけ指摘している というもの。 コードレビューで指摘するべき欠陥とは、必ずしも規約違反だけではなく、 仕様考慮もれや機能的なバグ、非機能的なセキュリティやパフォーマンス上の問題点も含まれる。 一つ関数に対して複数の視点でソースチェックをしないといけないが、 人間は同時に複数のことは考えられない。 そこでどうすればいいかと情報をあさっていたところ、 われらがIPAがセキュアプログラミング講座というWEBページで、 四回に分けてレビューすることを提唱していた。 １回目はどこに何があるか、 ２回目は可読性が確保されているか、規約にのっとっているか ３回目は機能性 ４回目はセキュリティ といった具合である。 IPAの講座では４回目はセキュリティに限定しているが、 担当していたプロダクトは、非機能面はセキュリティはも

draw.io はブラウザを使用してフローチャート、プロセス図、組織図、UML 図、ER モデル、ネットワーク図などを作成できる優れたツールです。作成した図は xml ファイルとして保存でき、GitHub との連携もシームレスに行われます。3 年ほど愛用しているツールですが、隠された使い方がたくさんあります。すぐに忘れてしまうので取りまとめておきます。 「こんな使い方あるよ！オススメだよ！！」という方はぜひ編集リクエストをいただければ追記していく予定です 😊 ※ 主に参照している文献は以下、公式ブログは非常に分かりやすいのでオススメです。 ツイッター公式アカウント 公式ブログ ショートカット ショートカット集です。机の上に置いて覚えましょう。 Line / 線 まずは最も頻繁に使う Line(線)の使い方からご紹介します。 矢印をまっすぐに揃える ちまちまと矢印の線をドラッグして微調整し

こちらの記事は、Indrek Lasn 氏により2019年 6月に公開された『 Here Are 5 Productivity Tools Every Developer Should Know 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 私がプログラミングに関して学んだ最も重要なスキルは、おそらく適切な仕事に適切なツールを選ぶことでしょう。ハンマーしか持っていないと、すべてが釘のように見えてしまいます。そのため、開発者の生産性と満足度を向上させる新しいツールを常に探すことが重要なのです。 注意:私はここで紹介する会社やツールとは一切関係がありません。私がそれらを選んだのは、それらが単純とても便利だと感じたからです。 Insomnia バックエンド、フロントエンド、フルスタックのいずれの開発者でも、APIを使った作業をする時があります。ほとんどのモダンアプリケー

JAWS-UG 初心者支部 #22 ハンズオン用の資料です。 目的 AWSアカウントを不正利用されないために、アカウントを作成したらまずやるべきセキュリティ周りの設定を行います。 前提 AWSアカウントを作成済みであること AWSアカウントにログインしていること リージョンは東京リージョンを利用します ハンズオン手順 アカウント周りの設定 ルートアクセスキーの削除 ※ルートアカウントのアクセスキーは、デフォルトでは作成されておりません。アクセスキーを作成済みの方を対象とします。 ルートアカウントは全てのサービスへのアクセスが出来てしまうため、ルートアカウントは使用せず、IAMユーザーを使用しましょう。 CLI等のプログラムアクセスも不要なため、アクセスキーを削除します。 https://console.aws.amazon.com/iam/home#/security_credential

Vagrant上で動くUbuntuのデスクトップ（GUI）環境が欲しくなったので、手順をまとめました。 ホストOS: Windows 10 Home 64bit ゲストOS: Ubuntu-16.04 VirtualBox: 5.1.14 Vagrant: 1.9.1 ※BIOSレベルで仮想化支援機能(VT-x/AMD-V)の有効化が必要です。 VirtualBoxをインストール 以下よりダウンロードしてインストールします。 https://www.virtualbox.org/wiki/Downloads http://www.oracle.com/technetwork/server-storage/virtualbox/downloads/index.html?ssSourceSiteId=otnjp Vagrantをインストール 以下よりダウンロードしてインストールします。 htt

brew install aalib brew install libcaca brew install mplayer --with-libcaca

これは Arm Treasure Data Advent Calendar 2019 25日目の記事です。 ※ こちらの記事に書かれている情報は v0.9.40 をベースにしており、将来的に変更される可能性があります。 はじめに みなさんこんにちは。 先日 (2019-12-11) に、digdag v0.9.40がリリースされました。 リリースノートはこちら: Release 0.9.40 — Digdag 0.9.40 documentation 久しぶりのリリースになった関係でたくさんの変更が含まれる形になりましたが、実はUIも大きく変わっております。 今回ではそんなデザインの変更に触れつつ、今までDigdag UIを利用したことがないなというユーザーの皆さんにも「こんな感じなのか」とイメージをつけていただけるように、ページの一覧や機能を少し詳しく書いてみたいと思います。慣れればそう

こんにちは、CET というチームに所属している @kojisuganuma です。 普段は機械学習エンジニアリングと Splatoon2 をメインでやってます。 本記事では、個人的に勉強中の OSS ワークフローエンジン digdag を使って、機械学習モデルの継続的学習を実現してみたいと思います。ポイントは以下の通り。 digdag server, PosgreSQL を docker コンテナで動かす digdag のタスクを digdag server とは別コンテナの上で動かす scikit-learn を使って機械学習モデリング scikit-learn の学習済みモデルを cloudpickle でシリアライズ 対象読者 docker を使って digdag server を構築したい方 機械学習モデルの継続的学習を実現したい方 scikit-learn を使って機械学習モデリ

はじめに この記事はMicroAd Advent Calendar 2017の1日目の記事です。 Digdagはジョブをコンテナで実行する事ができ、スケールが容易なワークフローエンジンです。 本エントリではそんなDigdagサーバ自体もコンテナで動かしながらジョブもコンテナで動かす際の設定やハマり所を紹介します。 使用ソフトウェアとバージョン digdag: 0.9.21 docker: 1.12.6 全体像 先にどんな感じの構成を実現しようとしているか、全体像を図示します。 _export: docker: image: python:3 +-------------+ | | | | +---+----+ +----v---+ | | | | docker run | digdag | | python | +---------> server | | (job) | | | | |

この記事は Python Advent Calendar 2019 の 19 日目の記事です。 🐍 あらすじ Python のパッケージ管理。特にここ数年で新しいツールが多く出たこともあり、一体何を使うべきなのか、少し調べただけでは分からないと思います。本記事では、新しめの管理ツールを独断と偏見で比較します。著者は Poetry 信者なのでバイアスが掛かっているので悪しからず。 本記事で書いていること Pipenv、Poetry、Pyflow の違いと使い方 本記事で書いていないこと Pyenv、Venv、Virtualenv などの既存ツールの説明 著者の環境は以下の通り。 Ubuntu 18.04 Python 3.8.0 Pipenv 2018.11.26 Poetry 1.0.0 Pyflow 0.2.1 特に Poetry と Pyflow は開発途中なので、本記事の内容と違う

TL;DR バイオ系の常として、実験室で実験プロトコルを参照したい時があります。スマホでネットを調べるとか、居室に戻るとかしてたんですがこの時間がかなり無駄に感じていました。 そこで、Google Driveにあらかじめプロトコルをアップロードしておき、Slackを介してリンクURLを参照することで簡易にスマホでプロトコルを参照する、ということを目的としました。また、プロトコルがよく散逸していて探せないことが多かったので、Slackを使って各プロトコルを集積し、DBを使って管理することで実験効率が上がることも期待できます。 全体像 求める機能は以下の通りです。タグ付けや、SlackAPIを使ってリスト、ボタンなどを使ったりなどいろいろ機能を追加していきたいとは思っていますが、まずキリがいいかなと思いました。 Slackからプロトコル名、Google DriveへのリンクURLをDBへ登録す

形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un

ERROR:root:code for hash md5 was not found. Traceback (most recent call last): File "/usr/local/Cellar/python/2.7.8_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/hashlib.py", line 139, in <module> globals()[__func_name] = __get_hash(__func_name) File "/usr/local/Cellar/python/2.7.8_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/hashlib.py", line 91, in __get_builtin_constructo

(1-2) OSインストール設定 起動ディスクとして「CentOS-7-x86_64-DVD-1810.iso」を指定 DL先URL：Index of /pub/linux/centos/7/isos/x86_64 ディスク読み込み後の画面で「Install CentOS7」を選択してEnter 「WELCOME TO CENTOS 7.」の画面で「日本語」を選択して「続行」をクリック 検索バーで「j」って入れればすぐに「日本語」が出てきます 「インストールの概要」画面で以下操作が完了したら、「インストールの開始」をクリック 「ソフトウェア」において以下項目が「ソフトウェア...をチェック中...」から変更されるまで待つ インストールソース：ローカルメディア ソフトウェアの選択：最小限のインストール 「ソフトウェアの選択」をクリックして画面遷移し、以下項目を指定して「完了」をクリック ベー

問題 ベースイメージのDockerfileにENTRYPOINT [...]が書かれているものを使うときとか。 Dockerfileをbuild後、確認で一旦docker run -it ... bashとかで入りたくても、ベースイメージのENTRYPOINTの引数みたいになってしまい入れない。 解決 書いてるDockerfileのどこかにENTRYPOINT []と書くだけ。 追記 次の２つの方法でもできます。 docker run時に--entrypoint ''を渡す