記憶は定かではないがある時を境にでビジュアルモードで選択されるようになった。 最初に何か設定したかもしれないけど思い出せないのでぐぐったら解決した。 d.hatena.ne.jp ここに書いてあるとおりですが、設定項目は微妙に変わっていて、 iTerm2 > Preferences > Profiles > Terminal > Terminal Emulation Enable mouse reporting のチェックを外す でした。
今回は Python のパッケージ「 Poetry 」を紹介します。 最初に Poetry とは何ぞや( WHAT )の説明をした後に Poetry の使い方( HOW )について説明します。最後に Pipenv からの移行方法についてかんたんに説明します。 Poetry とは Poetry とは 2018 年 2 月頃から開発がスタートした Python パッケージの管理ツールです。 ドキュメント: Poetry - Python dependency management and packaging made easy. リポジトリ: GitHub - python-poetry/poetry pip と venv を組み合わせて、 npm ・ bundle ・ composer 等他の言語で定番のパッケージ管理ツールと似た使用感で使える Python パッケージ管理機能を提供していま
砲撃する自走砲(PzH2000自走榴弾砲)。自走砲は戦車によく似ていますが、戦車ではありません。*本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね?」 「pipenv があれば venv はオワコンなんですね?」 「pyenvは要らないんですよね!?」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって(一見)複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース(Webアプリとか、CLIツールとか、ライブ
GoogleがPerfumeのライブに技術提供した「Reframe Visualization」をKeras/Scikit-learnで再現するPython機械学習scikit-learnKerasNK-POP Perfumeが紅白歌合戦でディープラーニングについて言及して話題になりましたが、それに関連する技術がGoogleのブログで公開されていたので再現してみました1。本来はColud Vision APIを使ったとのことですが、精度や速度を犠牲にすれば、普通のPCかつ1人でも実装できてしまいます。その方法を書いていきます。 訂正:Googleが使ったではなく、正しくはライゾマティクスに使っていただいただとのことです。失礼いたしました2。タイトルも訂正いたしました。 元ネタ こちらのブログに詳しく書かれています。 Perfume とライゾマティクスの新たな試みを支える Google の機
国立国語研究所「日常会話コーパス」プロジェクトでは、 200時間規模の日常会話を収めた『日本語日常会話コーパス』(CEJC)の構築を進めています。 2021年度に予定している本公開に先立ち、コーパスの利用可能性や問題などを把握するために、 2018年12月に50時間分のデータをモニター公開しました。 CEJCモニター公開版の利用期限は本公開を予定している2022年3月31日までです。 今回のモニター公開では学術研究利用の目的に限ります。 商業利用はできませんが,商業利用に向けた基礎研究は問題ありません。 ハードディスクでの公開については2021年10月29日(金)で新規利用申請の受け付けを終了しました。 ハードディスク版コーパスの見積書および納品書への公印を2021年10月1日発行分より省略致します。 ご理解とご協力のほど、よろしくお願い申し上げます。なお、押印が必要な場合には、下記までご
新春特別企画 Apache Kafkaにも注目 ―Hadoop, Spark、分散処理フレームワークをめぐる2019年 あけましておめでとうございます。 今年も大規模データ向けの分散処理フレームワークの展望についてご紹介します。例年Apache HadoopとApache Sparkを中心にお届けしておりましたが、今年はこれらに加えて、2018年に活用が広がりが認知された分散メッセージシステムのApache Kafkaについても 同様に取り上げたいと思います。 今年は、NTTデータに所属するエンジニアの中でも特にHadoop、Spark、Kafkaなどに深く取り組んでいる 岩崎正剛(Hadoopコミッタ)、猿田浩輔(Sparkコミッタ)、都築正宜(Sparkコントリビューター)、吉田耕陽、佐々木徹(Kafkaコントリビューター)、酒井遼平、田中正浩(Hadoopコントリビュ
This article shows how to install Python on Red Hat Enterprise Linux (RHEL), including both versions 3 and 2 of Python along with the pip, vent, virtualenv, and pipenv utilities. The article starts with RHEL 9 and continues with RHEL 8 and RHEL 7, including plenty of tips useful in all versions. The article also covers virtual environments, which help you ensure that your applications have the cor
概要 virtualenv環境で開発したPythonスクリプトをcronで呼び出したいとき、ライブラリとかをどうやって指定するのか分からなかったので考えてみた。 結論 以下のようなスクリプトを作っておき、これを呼び出せばOK。 #!/bin/sh PROG_DIR=/usr/local/hoge source $PROG_DIR/bin/activate python $PROG_DIR/hoge.pyc 解説というほどでもないけど 要するに、普段やっているsource bin/activateを呼んでおけばいいという話。 なので上記のようなスクリプトを書いておけば対応できる。 引数がある場合にはスクリプトに引数を付ければOK。 crontab -eで上記スクリプトの呼び出しを追加すれば試合終了。 # m h dom mon dow command 10 4 * * * /usr/loca
こんにちは。 今日は、データドリブンな組織になるために、何をしたらいいかを考えてみたので、それについて書きます。 データドリブンな組織の必要性 先日、以下の記事で「データドリブンな組織ってなんで必要なのか」と言う観点で記事を書きました。 st-hakky.hatenablog.com 上の記事を要約すると、以下のようになります。 意思決定を「早く・確実に・納得感を持って」するために、データ分析をする(アナリスト視点) データを活用して新機能の開発やコスト削減を行う(MLエンジニア視点) データ分析をベースにした組織、つまりデータドリブンな組織になるためには「データ分析の民主化」が必要(組織全体の視点) データドリブンな組織になるためには、「データ分析の民主化」って言う最近のホットワード(?)なのか知りませんが、そう言うのが必要です。 ぼんやりした言葉なので、具体的に何をすればいいのかと言う
はじめに 当社にアルバイトに来ていた人(来春に新卒入社の予定)に「pandasを高速化するための情報は無いですか?」と尋ねられました。 このパッケージの使い方は多数の書籍やWebで体系立った記事で書かれています。 しかし、高速化に関しては体系的な情報源が思いつかなかったので、「実際に書いてみて、1つ1つチューニングするしかないです」としか答えられませんでした。 そこで、この方を始め、来春(2019年4月)にデータアナリストまたはデータサイエンティストになる新卒へ向けて、pandasの高速化に関する私の経験をTips集にしてお伝えしたいと思います。 この記事は今後も内容を充実させるために、Tipsを追加していきます。 この記事を読んだ後にできるようになること pandasでレコード数1000万件のデータでも1分以内で完了する前処理が書けるようになります。 その結果、1日中実行し続けなければな
2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンと各分野での取り組みについて、エンジニアたちが技術的側面から紹介します。セッション「"Clova Inside" の裏側 -いつでもどこでもサポートしてくれる自然言語理解の仕組み 」に登壇したのはLINE株式会社VA開発チームの佐藤敏紀氏。ClovaのVoiceUIを支える自然言語理解の仕組みについて解説します。講演資料はこちら Clovaを支える自然言語理解の仕組み 佐藤敏紀氏(以下、佐藤):こんにちは。このセッションを選んでいただき、ありがとうございます。最初に自己紹介をさ
この記事はRetty Inc. Advent Calendar 2017 2日目です。 昨日は @bokeneko さんによる 「うわっ…私のリコメンド、ビール多すぎ…?」doc2vecの拡張とリコメンドシステムへの応用 でした。 ということで、みなさん こんにちは。 RettyでSoftware Engineerをやってます@tkngueです。 Retty においては日々の分析業務〜データサービス開発の範囲で BigQueryが利用されています 僕は使い始めてから、およそ半年というところでBigQueryの知見も溜まってきたところで せっかくなのでベストプラクティスを本稿においてまとめてみたいと思います。 Disclaimer: BigQueryの基本的な構文の説明はしません ( クエリリファレンス を参照ください) Standard SQL を利用した BigQueryの説明です。Le
機械学習チームの林田(@chie8842)です。好きなスポーツはテニスとスノボです。 システムは、その当時の最新の技術で作ったとしても必ずレガシー化します。 機械学習システムも他システムと同様、一度デプロイしたら終わりではなく、継続的なメンテナンスが必要です。昨今機械学習は、特に技術の進歩が目覚ましいため、レガシー化するのも早い分野といえます。本稿ではレガシー化した機械学習アプリケーションのメンテナンスと、それに伴うGPU環境からCPU環境への移行によって、大幅にシステムの運用コストを削減した例をご紹介します。 機械学習アプリケーションにおけるコスト課題 クックパッドにおける最初の大きな機械学習プロジェクトである料理きろくがリリースされたのは、2年前のことです。それ以来、様々な機械学習アプリケーションがデプロイされ、現在では大小含めて30を超える機械学習アプリケーションが運用されています。
終了 2018/12/11(火) 19:00〜 Shibuya Synapse #4 多角型事業と集約型事業、それぞれのMLOps/AI基盤 yuriko.n 他 〒150-8510 東京都渋谷区渋谷2-21-1 渋谷ヒカリエ
こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識のアップデートをするのにいい機会だと思いますので、まとめ読みしてみてはいかがでしょうか。 では、スタート! まずは 2018年にみんなが使った Colaboratory 関連から 1位: 【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く