はてなブックマーク

- はじめに - 9月くらいから趣味でフロントエンド周りをやっていたので、その勉強過程のまとめ。 何が良かった悪かったとか、こうすればよかったとか、所感とか。 - はじめに - - 前提 - - どんな感じで進めたか - 最初の開発 TypeScriptとNext.jsを使った開発 アプリ手伝いから自分のアプリ開発まで - できてないこと - - 所感 - - おわりに - - 追記 - - 前提 - 前提として9月頭くらいの私のフロントエンドに対する理解と技術的な知識はこんな感じ。 5年程前まではjQueryで謎のWebサービスや動きモリモリのプロフィールページを作ったりDjangoで研究室のWebサイトを作ったりしてた Railsチュートリアルはやったことある 仕事では普段機械学習モデル作ってるが、機械学習のデータやモデルの変更が及ぶ場合に既存のPHP、Railsアプリの改修をしたり、

はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、「実用的でないPythonプログラミング」をひょんな事から献本していただく事になった。（訳者が同僚である） 実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう! 作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本 ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。 書籍の概要 「実用的でないPythonプログラミング」は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ

- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂

- はじめに - 本を読んで筆者に媚を売る記事シリーズです。 「人工知能プログラミングのための数学がわかる本」という書籍を筆者の石川 聡彦（Aidemy）@akihiko_1022さんから譲り受けました。 人工知能プログラミングのための数学がわかる本 作者: 石川聡彦出版社/メーカー: KADOKAWA発売日: 2018/02/24メディア: 単行本この商品を含むブログを見る 明日2/24発売ですが、筆者である石川さんがCEOを務めるAidemyさんと人工知能、機械学習のイベントにてご縁があり頂く形になりました。 そもそもAidemyは、Python及び機械学習のための知識と実装に関する学習を行えるWebサービスです。 aidemy.net 似たサービスではUdemy(https://www.udemy.com/jp/)というアメリカのサービスがかなりのシェアを誇っています。 Aidemy

- はじめに - 本ブログでは恒例になりつつある、献本されたので媚を売るシリーズです。 「機械学習のための特徴量エンジニアリング」は2/23に発売される、機械学習エンジニアのための書籍です。 本記事は、筆者に媚びを売りつつ、どういった内容の書籍か、どういう人が読むと良さそうか、私がどう感じたかをつらつら書いていくもでのす。 機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 作者: Alice Zheng,Amanda Casari,株式会社ホクソエム出版社/メーカー: オライリージャパン発売日: 2019/02/23メディア: 単行本（ソフトカバー）この商品を含むブログを見る - はじめに - - 書籍の概要 - - どんな層に向けた書籍か - - 感想とか - - おわりに - - 書籍の概要 - 「機械学習のための特徴量エンジニアリング」は、謎のデータサイエン

- はじめに - 最近、所属企業でYouTubeの企画やインタビューを進める事になった。 私の所属する企業は、どのような事柄に対しても説明責任を重視する企業であり、ある程度の合理的な理由付けの上でYouTube上での広報活動をしていこうとなったのだが、実際は「Podcastで良いんじゃないか？」「ブログとリーチできる層は違うのか？」という話が後からも出てくる事が予想できるので、自分の中でも整理と記録を取っておきたい。 体感として、特にソフトウェアエンジニアリング業界でのYouTubeに対する評価は、正直半々といった所だろう。 私の認識としては、大きな2つの主張を短く要約すると「YouTube（全般的に）は面白い」「日本のソフトウェアエンジニアのYouTuberが技術の話をしていない」辺りにまとめられる。 これはある種実態を表しているとも言えるし、違うとも言える。 この事も踏まえ、本記事では

- はじめに - 以下、MANABIYA techなるイベント内のAIセッションにて登壇させて頂きました。 manabiya.tech 大きなスペースでフザけたタイトルで発表するという最悪さでしたが、満員になり立ち見状態でした。 ありがとうございました。 正当な方向性でいけば登壇スライドを公開して終わりなのですが、会社のアカウントでSlideShareにアップロードするという行為に宗教上耐えきれそうにないため、会社情報を含まない範囲でここに思い出と共に書き残す形にしようかと思います。 - 登壇内容 - 登壇では、以下3つをテーマに話をしました。 AI屋さんの定義、分類は？ 実際AI屋さんって何やってるの？ 上手くAIプロジェクトを回すには？ AI屋さんの定義と分類 AI屋さんとは、「セッションタイトルが ‘AI’ だったので私が仕方なく付けた名称」です。 そもそも私は、機械学習や統計モデル

- はじめに - フォロワーも増えてきて大体毎月n*100単位でフォロワーが変動するようになってきて、巷のフォロー管理ツールじゃ全然要求を満たせないので、自作する体でGWに友人と1日ハッカソンみたいなのを開いて勢いだけで作った話。 「100万人とかフォロワーが居る訳じゃないけど1000から1万くらいの "小さな界隈のアルファ" 」は多く居て、皆どうやってTwitterを見てるのか知りたいのでまず自分から。 自分がTwitterを見ている方法や、フォロバに関する個人的な意見など、偏見を含む記事。ほぼポエム - 作ったもの - 自身の要件を満たす物を一旦作った。 裏側はpandasが走る事でquery検索やsort、別途の分析、拡張が容易 画面内でqueryの調整、閲覧、フォロー、アンフォロー、リスト管理ができる tableに最低限の情報が羅列されている queryを保存したりDB側にも更新機

- はじめに - 前回機械学習ライブラリであるCaffeの導入記事を書いた。今回はその中に入ってるDeep Learningの一種、Convolutional Neural Network(CNN:畳み込みニューラルネットワーク)の紹介。 CNNは今話題の多層ニューラルネット、Deep Learningの一種であり、画像認識等の分野に大きな成果をもたらしています。 まあCNNすごい。本当、画像認識系だと一強といった感じ。 実装経験もあるのでよしなに書いてみようという記事。 追記：2018-10-24 この記事は2014年終盤、Deep Learningに関連するネット記事も数個しかなく、各論文でもCNNに関する理解が分かれていたような時期に、大学生であった筆者が書いた記事です。概念の理解の助けになるよう残していますが、正しくない箇所も後々多く出てくるかと思います。考慮の上、お読み頂ければと

- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。 今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の起業と言っても過言ではない、DeNA株式会社の豪華レビュワー。筆者がブログを書いていたり、u++さんがめちゃくちゃ丁寧な書評を書いていたり、Kaggle Grand Master各位の薦めツイートも出てきた段階で、もう私が媚を売る必要すらないと思いますが、良かったので感想だけでも残しておければと思います。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司出版社/メーカー: 技術評論社発売日: 2019/10/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る 端的に言えば、テーブ

- はじめに - 以下を読んで、筆者ら (@chezou, @tokoroten, @hagino3000) ともTwitterで相互フォローだし、いっちょ媚び売るために感想記事でも書いとくかみたいな記事。 www.oreilly.co.jp 私は「企業で機械学習プロジェクトをいくつか経験している」「書に載っているアルゴリズムや検定も大体わかる」くらいで本書のターゲットからは少し外れているっぽいのだけれど、知ったことではない。 - この本どんな人がターゲット？ - 「仕事ではじめる機械学習」というタイトルの通り、「俺は来年から新卒社会人！大学で学んだ知識を活かして機械学習エンジニアとして頑張っていくぞ！」みたいな人が読むとすごく為になる本。 あと、ターゲットとしては「バイトで機械学習経験したい学生」とか「突然上司に機械学習やってくれって言われた！」みたいな人とか。 あと、機械学習を使った時

- はじめに - Pythonにおけるpython-prompt-toolkit(以下ptk)を使って作られたシェルである「xonsh」を同僚にオススメされて、大体半年くらい使ったので設定とかxontribとか所感を晒していく。 前半でxonshのメリット、デメリットの概要を記載し、後半に自身が利用する設定やxontribについて記載する。 この記事は、xonsh導入に至る人もしくは、環境設定について広く知りxonshを扱える人を増やす事が目的である。 追記：2018/07/18 xonsh 0.7.0が出ていますが、現在prompt-toolkit2.0の各機能対応中という感じです。 これは、ptk1.x -> 2.xにおいて結構な破壊的変更があるためです。 現状はpip install xonshする時に pip install prompt_toolkit==1.0.15 pip i

- はじめに - 本記事では、Rustで扱える機械学習関連クレートをまとめる。 普段Pythonで機械学習プロジェクトを遂行する人がRustに移行する事を想定して書くメモ書きになるが、もしかすると長らくRustでMLをやっていた人と視点の違いがあるかもしれない。 追記：2021/02/24 repositoryにしました。こちらを随時更新します github.com 追記；2021/07/26 GitHub Pagesでウェブサイトにしました vaaaaanquish.github.io - はじめに - - 全体感 - - 機械学習足回り関連のクレート - Jupyter Notebook Numpy/Scipy Pandas 画像処理 形態素解析/tokenize - scikit-learn的なやつ - 各ライブラリと特徴比較 - Gradient Boosting - XGBoos

- はじめに - このブログの人気シリーズの一つ、「献本されて読んだら良かったので書評で作者に媚を売ろうシリーズ」です。 今回は、あるきっかけで「FINAL FANTASY XV の人工知能 - ゲームAIから見える未来」（以下 FF本）という本を頂く形になりました。 FINAL FANTASY XV の人工知能 - ゲームAIから見える未来 作者: 株式会社スクウェア・エニックス『FFXV』AIチーム出版社/メーカー: ボーンデジタル発売日: 2019/06/04メディア: 大型本この商品を含むブログを見る 私自身の専門もあって、普段はこの手の「人工知能本」と私が認識しているジャンルの本、例えば「よくわかる人工知能」「人工知能ビジネス徹底解説」といった旨の本を手に取る事はほぼなく、ましてや誤った知識を流布する事が多いジャンルでもあると認識していたが、このFF本はまた別の楽しみ方が出来たの

- はじめに - 近年、IT業界のダジャレは熾烈の一途を辿っている(ITだけに) 。 類義語を巧みに取り入れたダジャレ、難読化されたダジャレなどが増加し、一体どれで「初笑い」すれば良いのか悩む若者も少なくない。 そのような背景があり、ダジャレを判定するアルゴリズムの開発も盛んである。 ルールベースによる判定では、@kurehajimeが提案、開発したdajarep *1 や、@fujit33によるShareka *2が存在する。特にSharekaは、ルールベースのロジックにも関わらず、反復型とされる種類のダジャレに対して高い精度での判定を可能にしている。また、機械学習モデルを用いた判定手法として、谷津(@tuu_yaa)らが開発したDajaRecognizer *3がある。DajaRecognizerは、多くのルールベースによって子音音韻類似度をPMIとして定義、Bag-of-Words、

- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。 近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習データとするといった案件も多く見るようになっています。 ありがたい事に本年度書きました以下の記事は、はてなブログに投稿されたPython関連の記事の中で歴代はてブ数1位だそうです。 Webスクレイピングも日に日に情報が増え、様々なパッケージやフレームワークによって手軽になっています。 本記事は、スクレイピングやクローラを記述する際に抜けがちな、「規約」について記載するものです。 スクレイピングの間隔はどうすればいい？規約は？違法でないの？という人のために法律等もまとめています。 追記2019/01/0

- はじめに - 今回、技術書典11に「Rustによる機械学習概覧」というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る「エムスリーテックブック3」に文章を寄稿した。 執筆チームからの熱いコメントは以下。 販売ページは以下。 techbookfest.org 本ブログは、エムスリーテックブック3を企画して立ち上げてから、自分で同人誌を書くまでのお気持ちを綴った、所謂ポエムである。 - はじめに - - Rustによる機械学習への想い - - エムスリーテックブック3の立ち上げ - - おわりに - - Rustによる機械学習への想い - ポエムといえば自分語り、自分語りといえばポエム。まず思い出に浸ろう。 私が機械学習を初めて実装したのは高専の頃。あの時はC/C++とJava、C#なんかを使って、何とかアルゴリズムを理解して実験していた。VisualStudioの起動に悠

- はじめに - 本記事はpython prompt toolkit（以下 ptk）の動作を理解するメモです。 ptkで出来ること、その概要を書いています。 - はじめに - - ptkとは - ptkで作成されたツール - ptkの描画を理解する - print_formatted_text Application Screenオブジェクトのレンダリング KeybindingとFilter 関連 おわりに - ptkとは - ptkは、Pythonで実装されているCLI用のツールキットである。 コンソール上でのフルスクリーンアプリケーションの作成 dialogs、progress-barの生成 シェルのようなインタラクティブな入出力 補完 clipboardの管理 出力テキスト色の変更 シンタックスハイライト EmacsとViのキーバインディング マウスカーソルによる操作 各種非同期処理

- はじめに - データ分析、機械学習という仕事柄、csvやtsvを見る機会が多い。 処理する時は大体はpythonのpandasで読み込んで〜とするのだが、コンソール上で作業する時、どうしても「このcsvなんだっけ…」という事が発生する。 cat hoge.csv | head 等として上部だけ見たり、jsonならjqコマンドに流すのだが、いかんせん見栄えの問題で一瞬で判断出来なかったりする。 https://stedolan.github.io/jq/ そこで、table形式にしてコンソール上で表示して見れると嬉しいなと思って調べた事をまとめる記事。 端的に結果を最初に言うと、一般的なコンソールで使うだけならcsvkitなるCLIツールがかなり機能的で便利。tty-tableコマンドとしてjqコマンドのように扱えるtty-tableも綺麗に見れて良い。 CLIツールを今から自前で作るな

- はじめに - 文章がローランド(@roland_0fficial)様っぽいか判定するサービスをつくった。 できてた 『ばんくし』は俺以外でした https://t.co/MxSTPmKVWL #oreka_oreigaika via @vaaaaanquish— ばんくし🎃 (@vaaaaanquish) 2020年12月26日 学習済みモデルをダウンロードし、WebAssemblyで形態素解析、機械学習モデルによる判定を全てブラウザ上で処理する。 この記事は、そこに至るまでメモ。 - はじめに - - 技術的な概要 - - データの収集 - - 技術的な構成 - - モデル周りの話 - - おわりに - - 技術的な概要 - 何が面白いのか簡易図 なんか適当な図学習済みの機械学習モデルをダウンロードして、手元のブラウザ上で動くjavascriptだけで、テキストの処理や判定をすると

- はじめに - 近年では、チャットツールの発展が睦まじく、グループ内、企業内においてもチャットツールによるコミュニケーションが盛んとなっている。 チャットツールでのコミュニケーションにおいて欠かせないのが、画像によるハイコンテクストなやり取りである。 互いに同じレベルでの前提知識を持ち合わせている時、「有名な漫画のコマ」や「その場の状況を風刺する画像」を共有するコミュニケーションは、一般的な文字でのやり取りよりも時に頑強となる事が多い。 本記事では、有名な画像を検索しチャットに貼るために必要な工程である、画像検索、選択、コピーを簡略化するため、xonshを利用したPythonによる画像検索スクリプトを提示する。 つまるところコンソールだけで以下のように画像検索、URLコピーまでを扱えるようにする。 書いたスクリプト：imgsearch_on_xonsh · GitHub - 画像検索先

- はじめに - 本記事は、近似最近傍探索（ANN: Approximate Nearest Neighbor）による画像検索をRustを用いて実装した際のメモである。 画像からの特徴量抽出にTensorFlow Rust bindings、ANNのインデックス管理にRustライブラリであるhoraを利用した。 RustとANNの現状および、実装について触れる。 - はじめに - - RustとANN - - pretrainモデルによる特徴量化 - - 画像特徴のインデックスと検索 - - 検索結果 - - おわりに - - RustとANN - Rustの機械学習関連クレート、事例をまとめたリポジトリがある。 github.com この中でも、ANN関連のクレートは充実している。利用する場合は以下のようなクレートが候補になる。 * Enet4/faiss-rs * lerouxrgd/

- はじめに - PythonでOSSパッケージ等を利用していると、Exceptionが発生した際に表示されるTraceback(正確にはスタックトレース)がかなり長い場合がある。 例えば、以下の簡易なコード実行で表示されるTracebackの行数は30近くなる。 import pandas as pd df = pd.DataFrame(dict(a=[1,2,3])) df['b'] 引用 : python - Shorten large stack traces when using libraries - Stack Overflow より複雑なプログラムにおいては、この比ではない。 にも関わらず、記述ミスのようにTraceback上位部にエラーの重要な内容がある場合もあれば、パッケージ内部のValidationで下位部が重要な場合もある。 得てしてPython開発環境として利用さ

今回はAutoEncoderについて書きます。以前ほんのちょっとだけ紹介しましたが、少し詳しい話を研究の進捗としてまとめたいと思います。(AdventCalendarに向けて数式を入れる練習がてら) まず、AutoEncoderが今注目されている理由はDeepLearningにあると言っても過言ではないでしょう。DeepLearningは様々なコンペディション、例えば、ILSVRC2012(画像認識のコンテスト)や化合物の活性予測で、従来の手法を抑えとてつもない成績を収めて注目を浴びました。今年のILSVRC2013ではその殆どがDeepLearningを取り入れているほどです。さらには、「一般紙であるNewYorkTimesにまで記事が掲載」「第一人者であるHinton先生を学生ごとかのGoogleが買収」「BaiduがシリコンバレーにDeep learningの研究所を作る」等学習界隈

- はじめに - JSAI2017 – 2017年度 人工知能学会全国大会（第31回） に参加した。 今まで学会への参加は学生発表、個人の聴講参加だけだったが、今回は企業ブースでの参加となった。 あまり聴講への参加は出来てないがメモ程度に気になったものをまとめておく。 - 聴講 - 企業ブース出展者での参加では1企業につき2名分のみ聴講証が渡されていたため、6割は会社の犬として自社の説明やステッカー配りなどをしていた。 以下には会社の犬時間以外で聴講し気になった所のみまとめておく。 会社の犬なので、基礎研究より産業応用の部分が多いかもしれない。 05月23日 DNNによるRDF上の単語間の関係の予測を見たかったのだが、部屋に着いた時には質疑だった。 Deep Learning系やチュートリアルセッションはどこも激混みで、大変であった。 DNN圧縮時のパラメータと圧縮後の精度, 大きさの関係

- はじめに - Chrome 59が正式版となりheadless版も正式に動き始めました。めでたい。 New in Chrome 59  |  Web  |  Google Developers headless chromeをUbuntuに導入してPythonから触ったという記事です。 Ubuntuへの導入から、実行時の引数となるargsの考察などを含みます。 スクレイピング関連記事です。 vaaaaaanquish.hatenablog.com - インストール - まずPythonからの起動に必要なchromedriverを取得しておきます。 apt-getでも入りますが最新版が欲しいので以下のように。 (記事書いた当時で最新版は2.29) wget https://chromedriver.storage.googleapis.com/2.29/chromedriver_linu