GitHub - google/magika: Fast and accurate AI powered file content types detection
Magika is a novel AI-powered file type detection tool that relies on the recent advance of deep learning to provide accurate detection. Under the hood, Magika employs a custom, highly optimized model that only weighs about a few MBs, and enables precise file identification within milliseconds, even when running on a single CPU. Magika has been trained and evaluated on a dataset of ~100M samples ac
Rust製高速データフレームライブラリ、Polarsを試す | gihyo.jp
門脇@satoru_kadowakiです。今月のPython Monthly Topicsでは、Rust製の高速データフレームライブラリ Polars について紹介します。 Polarsとは Pythonでデータ分析に使用される主なライブラリに pandas があります。Polarsはpandasと同様にデータフレームというデータ構造オブジェクトを提供するサードパーティライブラリです。特にpandasを意識して作られており、メインページに「Lightning-fast DataFrame library for Rust and Python」とあるように、Rustによる高速処理を謳っています。 Polarsのリポジトリや関連ドキュメントは以下を参照してください。 Github: https://github.com/pola-rs/polars ユーザーガイド: https://pola
OCR処理プログラム及び学習用データセットの公開について | NDLラボ
2022年04月25日 NDLラボのGitHubから、次の2件を公開しました。ライセンスや詳細については、各リポジトリのREADMEをご参照ください。 NDLOCR 国立国会図書館（以下、「当館」とします。）が令和3年度に株式会社モルフォAIソリューションズに委託して実施したOCR処理プログラムの研究開発事業の成果である、日本語のOCR処理プログラムです。 このプログラムは、国立国会図書館がCC BY 4.0ライセンスで公開するものです。なお、既存のライブラリ等を利用している部分については寛容型オープンライセンスのものを採用しているため、商用非商用を問わず自由な改変、利用が可能です。 機能ごとに7つのリポジトリに分かれていますが、下記リポジトリの手順に従うことで、Dockerコンテナとして構築・利用することができます。 リポジトリ : https://github.com/ndl-lab/
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
rust.tokyo のまとめ・感想 - mizchi's blog
このブログを書いてる経緯 rust.tokyo 楽しみ！絶対行く！といってたのに申込みを忘れたところ、じゃあスタッフとしてブログを書けという話になったので、ブロガー枠？らしく感想を書きます。とはいえ書けるのは見たやつだけです。 https://rust.tokyo/sessions# 前提 自分は低レベルプログラミングは詳しくないです。年に3日ぐらい思い出したように Rust 勉強することがある。 wasm 周りのエコシステムはずっと追ってる。 会場の雰囲気 組み込み勢とブロックチェーン勢が多そうな気配を感じた。 Visualization of mechanical CAD drawings using WebAssembly and WebGL Aki / CADDi (発表資料見つからず) 概要 Computer aided design (CAD) models used in m
Get Started | Intel® Distribution for Python* | Intel® Software
Intel® Distribution for Python*: A high-performance Python* distribution optimized for Intel® CPUs, GPUs—including current and upcoming Intel® GPU architectures—and accelerators. Built on open-source Python* and enhanced with Intel® performance libraries, it delivers faster analytics, AI, and large-scale scientific workloads across Intel architectures—without code changes or vendor lock-in. Design
Python at Netflix
By Pythonistas at Netflix, coordinated by Amjith Ramanujam and edited by Ellen Livengood As many of us prepare to go to PyCon, we wanted to share a sampling of how Python is used at Netflix. We use Python through the full content lifecycle, from deciding which content to fund all the way to operating the CDN that serves the final video to 148 million members. We use and contribute to many open-sou
Pythonによる自動化の結果、ニューヨーク中でタダメシが食えるようになったエンジニアの話 | 秋元@サイボウズラボ・プログラマー・ブログ
いかにして私はPython/自動化/AI/インスタグラムを使いニューヨーク市で無料の食事をできるようになったか(How I Eat For Free in NYC Using Python, Automation, Artificial Intelligence, and Instagram)という記事が面白かったのでご紹介。 ニューヨーク在住のデータサイエンティスト、クリス・ブエッティさん(Chris Buetti)が明かした、3万フォロワー超の人気アカウントを育てた秘密。 Instagramを育てる Pythonスクリプトで、毎日、一日に数回、ニューヨークに関する写真をInstagram に自動投稿させます。ブログ主によると、Instagram の「発見」ページに掲載してもらうにはこれが大事だそう。一日も欠かさず、何週間も続けることで掲載されやすくなるそうで、ほとんどの人力Instag
年末のご挨拶と近況、あるいは機械学習のはじめ方 - 怠惰を求めて勤勉に行き着く
あ、退職エントリとかではないです。雑多な駄文をお許しください。 2018年を振り返る 3月にカリフォルニア州パロアルトのラボに異動になって早くも3/4年が経ちました。 自分としてはまだ1年経ってないのかという感じです。もっと長く居るような気もするが、来たばかりのような感じもある。 生活には完全に慣れました。結局の所、生きていくだけなら "You need a bag?" に "No" だけ言えれば何とかなります。 家族のこと、子供のこと 家族が適応に苦しんでいます。特に子供は、8月からTKという公立小学校の下部組織に通っていますが、予想を遥かに超えて心を閉ざしたままです。 娘はとてもシャイで、思ったことが口にできません。非常に端的に言うと、生きる力が強くありません。象徴的なできごとが幾つかありました。 ある日、先生が陪審員の義務で代わりの先生が来た日、普段とは違う教室に預けられた。 お昼に
Rebuild: 223: Ear Bleeding Pods (higepon)
Taro Minowa さんをゲストに迎えて、Kaggle, PayPay, Liberty Air, Switch, YouTube などについて話しました。 Show Notes Kaggle Titanic: Machine Learning from Disaster | Kaggle New York City Taxi Fare Prediction | Kaggle How to Win a Data Science Competition: Learn from Top Kagglers | Coursera XGBoost Akinator ロバート秋山&友近の国産洋画劇場「船と氷山」 PayPay LINE Payで飲み物を買う Google Home Hub Soundcore Anker Liberty Air UNDERTALE Wizard of Legend
『みんパイ』著者が、Pythonはなぜ流行ったのかを考える
空前のPythonブーム、到来!! 「Python」流行っていますね。最近は、AIや機械学習、データサイエンスというようなキーワードを頼りに、Pythonを探しあてる人が多いようです。他にも、ネットワーク、IoT、Webやスクレイピングなど、いろいろなキーワードでPythonにたどり着く人がいます。応用範囲が広く、学びやすく、それでいて長く使えるのがPythonの魅力です。 コンピューターが便利な点は、「手順」を自動化してくれるところです。たとえば、Webから必要な文字や数字を取ってきて、Excelのシートにまとめる手順を自動化することで、面倒なルーチンワークから解放されます。あるいは、CO2濃度が高まって眠気が増すのを避けるために、センサーで検知した数値が2,000ppmを超えたら自動的に社内SNSにお知らせを投げるプログラムを書くこともできます。こうして換気をうながすことにより、生産性
『仕事ではじめる機械学習』＆『前処理大全』著者対談（Part 1）
今回より4回を予定して、書籍『仕事ではじめる機械学習』著者の有賀康顕さん、『前処理大全』著者の本橋智光さんの対談をお届けいたします。ひょんなことから実現した今回の対談、今話題の機械学習を中心に、さまざまな角度からのお話しが飛び出します。まずはお二人の著書の話題から… 書籍の評判と執筆の苦労 （名刺交換をするお二人…） 有賀： そうか、CTOですもんね。 本橋： CTOと言ってもエンジニアは僕入れて4人ですけどねｗ 有賀： よくあるスタートアップのCTOって最初のエンジニアで、みたいな感じで。だから4人いるんだったら、ハイアリングがもうできるようになったという。 本橋： でも、いまAndroidエンジニアがいないから僕Androidアプリ書いてますよｗ もう少しすると入社する予定ですけれど。 有賀： スタートアップのCTOはできることは何でもやるということで。いやあ。ご活躍されていて。 本橋
「Pythonプロフェッショナルプログラミング 第3版」は、10年の取り組みの集大成 - ビープラウド社長のブログ
2018年6月12日にビープラウドのメンバーで執筆した「Pythonプロフェッショナルプログラミング 第3版」が出版されます。 Pythonプロフェッショナルプログラミング第3版 作者:株式会社ビープラウド出版社/メーカー: 秀和システム発売日: 2018/06/13メディア: Kindle版 第1版が2012年3月26日、第2版が2015年2月27日、第3版が2018年6月12日の発売で、約3年おきに版を重ねてきました。 最新技術に合わせてバージョンアップ IT技術は日々バージョンアップされ、数年もすれば技術の構成やベストプラクティスも変わってきます。 技術の進歩に合わせて、書籍も第3版としてバージョンアップしました。 主な改訂内容は以下のとおりです。 Python2.7.6→Python3.6.4 Ubuntu14.04 LTS→Ubuntu16.04 LTS Webアプリケーション(
Rebuild: 206: Make Ruby Differentiable (omo)
Hajime Morita さんをゲストに迎えて、ドキュメント、キーボード、CPU、自作言語処理系などについて話しました。 スポンサー: Ergodox EZ Show Notes Perl Toolchain Summit 2018 – Tatsuhiko Miyagawa’s Blog Essential Admits the Essential Phone Has a Bad Camera Misreading Chat – Nonsensical CS Paper Talk by Morrita and Mukai Anchor Jeff Bezos makes Amazon execs read 6-page memos in meetings ErgoDox EZ: An Incredible Mechanical Ergonomic Keyboard ★ Community
「Ubuntu 18.04 LTS」リリース | OSDN Magazine
英Canonicalは4月26日（英国時間）、Linuxディストリビューション「Ubuntu 18.04 LTS（Bionic Beaver）」を公開した。デフォルトのディスプレイサーバーはWaylandからX.orgに戻っている。 Ubuntu 18.04は2017年10月公開の「Ubuntu 17.10（Artful Aardvark）」に続くもの。 Canonicalは5年間セキュリティアップデートを提供する長期サポート版（Long Term Support、LTS）を2年おきにリリースしており、2016年4月に公開された「Ubuntu 16.04 LTS（Xenial Xerus）」以来のLTS版リリースとなる。Ubuntu 18.04のサポート期間は2023年4月まで。 Linuxカーネルは4.15を採用した。CPUの脆弱性であるSpectre、Meltdown向けの対策を行った
Python Developers Survey 2017 - Results
Python Developers Survey 2017 ResultsAt the very end of 2017, the Python Software Foundation together with JetBrains conducted an official Python Developers Survey. We set out to identify the latest trends and gather insight into how the Python development world looks today. Over 9,500 developers from almost 150 different countries participated to help us map out an accurate landscape of the Pytho
Rebuild: 203: Automation Can Be Dangerous (higepon)
Taro Minowa さんをゲストに迎えて、マラソン、OKR, 機械学習、ドラえもん、Skyrim などについて話しました。 Show Notes YAPC::Okinawa 2018 ONNASON Bay To Breakers Why I Quit Google to Work for Myself Error Budget Colaboratory Python — Homebrew Ruby25 映画ドラえもん のび太の宝島 ドラえもん物語 ～藤子・F・不二雄先生の背中～ | むぎわらしんたろう 【ちゃぶ台アフロ】スカイリム編 第1回【The Elder Scrolls V: Skyrim®】
この１０年間のプログラミングの変化｜山本一成🌤️チューリングのCEO
はじめましてnoteの皆さん、名人を倒した将棋プログラムPonanzaというものを作っていた山本一成と言います。この度ははてなから引っ越してきました。2018年になったので新しくブログ書いてみようかなぁ〜ってはじめました。 私がプログラミングをはじめたのは大学生だった時ちょうど10年前でした。そして今2018年になって、同じプログラミングにしても色々変わったなぁという印象です。今日はそのへんを皆さんと共有できたらなぁ〜と書きました。 あくまで私の観測範囲内での話をすればですけど、10年前のプログラミングの世界は速く動くことがかっこよかったです。実際にかっこいいだけでなく、必要とされる場面も多かったような気がします。私が愛用しているプログラミング言語はC++(シープラスプラス)と言って、まあそれは高速に動作することだけを意識して作られた言語でした。 加えて、今から考えれば一体なんでそんなトリ
［速報］Windows、Linux、Dockerに対応した「SQL Server 2017」正式版リリース。Microsoft Ignite 2017
［速報］Windows、Linux、Dockerに対応した「SQL Server 2017」正式版リリース。Microsoft Ignite 2017 マイクロソフトはフロリダ州オーランドで開催中のイベント「Microsoft Ignite 2017」で、SQL Server 2017の正式版を10月2日にリリースすると発表しました。 SQL Server 2017 brings the power of SQL Server to Windows, #Linux & #Docker containers for the first time: https://t.co/hY5k2Ev4UH#MSIgnite pic.twitter.com/G1CHtHalXm — Microsoft SQL Server (@SQLServer) 2017年9月25日 SQL Server 2017はW
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「たとえ報酬がゼロでも、複業をやっていた」──西尾泰和がサイボウズ・ラボを辞めずに、機械学習の技術顧問を始めた理由 | サイボウズ式
