Qiita:Teamへの移行のため、この記事は https://blog.sioyaki.com/entry/2016/06/02/073548 に移行されました。この記事は移行のために一定の期間を置いて削除します。
![Hiveのユーザー定義関数(UDF)を作成する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbc1f0f7d57c0fbd7dc87d81bc07542c36a83eff/height=288;version=1;width=512/https%3A%2F%2Fcdn.qiita.com%2Fassets%2Fqiita-fb-2887e7b4aad86fd8c25cea84846f2236.png)
▲訂正とお詫び▲ テキスト本体(第3.2版以前のもの)の中のオブジェクト指向プログラミングの解説部分で,デストラクタ(ファイナライザ)に関する記述に誤りがありましたので修正しました.どうか最新版に差し替えてください. ●テキスト本体(PDF形式421ページ:3.58MB) 2024/06/18更新 (→ミラーサイトからDL)(→GitHubからDL) 言及している主なライブラリ: Kivy, argparse, socket, threading, concurrent, requests, BeautifulSoup, mpmath, subprocess, datetime, time, timeit, tzlocal, zoneinfo, pickle, struct, locale, re, csv, functools, asyncio, sched, schedule, tra
<script type="text/javascript"> var data = [ [1973,1000,750,300,400,70,20], [1268,549,336,221,122,115], [1892,1282,250,32,18], [1832,379,254,314], [1171,256,120], [2533,340] ], // The initial date is the date displayed // in the first column of the first row initialDate = new Date(2012, 0), // DOM Element where the Cohort Chart will be inserted container = document.getElementById('main-example');
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト(本物:及びその他の統計分析職)vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
最速で知る! ElixirプログラミングとErlang/OTPの始め方【第二言語としてのElixir】 Elixir入門の手引、第1弾となる今回はErlangのVM上のプロセスをElixirで扱う方法を説明し、Elixirでどのようにアプリケーションを構築するのかを解説します。 はじめまして! 大原常徳(おおはら・つねのり)といいます。 今回から2回に分けて「第二言語としてのElixir」というテーマで、プログラミング言語Elixirの入門記事をお届けします。 Elixirは、José Valim氏によって開発されているプログラミング言語です。 最大の特徴は、ErlangのVM上で動作し、Erlangのモジュールを利用できることでしょう。 ちょうど、ScalaがJava VM上で動作し、Javaの関数を利用できるという関係に似ていますね。 {$annotation_2}Elixir Erl
Ruby on Railsで特定の値やクエリ結果をキャッシュするしくみとしてRails.cacheを紹介します。 この機能を使うとや有効期限を設定したり、キャッシュ内容を圧縮できます 🏈 メソッドRails.cache.fetchRails.cache.fetchはキャッシュされた値を取得するメソッドです。 ブロックを渡すことで、キャッシュがなかった場合は指定されたデータをキャッシュにセットして返すことができます。 def cached_title Rails.cache.fetch("/model/article/title/#{id}", expired_in: 1.hour) do Article.find(id).title end end
昨日の書いたエントリがホッテントリ入りしてて、喜ばしい限りです。 kuchitama.hateblo.jp 悲しい思いをしましたが、いく分か取り戻せた気がします。 今日は、昨日の反省を活かして、トラブルがあっても大丈夫なようにRedashのPostgresデータのバックアップとリストアの手順をまとめます。 ちゃんとリストアの手順までまとめておかないとね!! でないと、実況Youtubeをするはめになる… (実際昨日は @kiy0taka さんと、 @irof さんに実況しないのって煽られてました) 例によってDocker上で運用している前提です。 AWSとかGCP上で運用しているなら、こちらのドキュメントに従えば多分大丈夫だと思います。 Backup Your Redash Database and Restore It on a Different Server · Redash Hel
会社で、Redashを運用してるんですが、そのRedashがぶっ飛んで、もうだめだーと思ったものの、なんとか復旧出来たので、忘れないうちにやったことをまとめておきます。 結論から言うと、 ちゃんとDocker, Docker Composeの運用ノウハウ勉強してから、Redash立てようなって話です。 長いので先にまとめ RedashをDockerで運用してた docker-compose down したら、データが全て消えた Volumeを指定してなかったのが原因 Volumeディレクトリから発掘して事なきを得た RedashをDockerで運用するなら volumes は指定しような 経緯 会社で、Mac mini に Docker for Mac を入れて、 Redash運用してます。 コイツでプロダクションデータの可視化なんかもやってて、非エンジニアの人に色々見せるのに重宝してまし
ひとつ注意点ですが、Swiftは書き方の自由度が比較的高いので、チーム開発をする場合は、あらかじめコーディング規約を共有しておいた方が良いでしょう。 Swiftでの命名や慣例のほか、さまざまな指針がSwift.orgにある「API Design Guidelines」にまとめられています。興味のある方は目を通してみてください。 Swift.org - API Design Guidelines インタラクティブ環境でSwiftを触ってみよう 早速ですが、Swiftを触って動作させてみましょう。Swiftはコンパイラ言語でありながら、インタラクティブ(対話的)に実行しながら動作を確認することができます。Swiftに慣れるには、このインタラクティブ環境でいろいろと動作させてみるのが手っ取り早いです。 インタラクティブにSwiftを実行するには、ターミナル(コマンドライン)のREPL(レプル)を
mongoDBをつかっているRailsアプリケーションで、複数DBにアクセスするための設定方法です。 config/mongoid.yml development: sessions: default: database: primary_db hosts: - 192.168.56.100:27017 secondary: database: secondary_db hosts: - 192.168.56.101:27017 secondaryのデータベースを参照するModelに以下追記します。 class Item include Mongoid::Document include Mongoid::Timestamps store_in session: :secondary, database: :secondary_db ... end いちおうこれでプライマリにもセカンダリに
現在、DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集し、データドリブンマーケティングやマーケティングオートメーションに活用しています。しかし、データの規模が増大し、その用途が多様化するにともなって、データ処理のレイテンシが課題となってきました。本発表では、既存のデータ処理に用いられていたHiveの処理をHive on Sparkに置き換えることで、1日あたりのバッチ処理の時間を3分の1まで削減することができた事例を紹介し、Hive on Sparkの導入方法やメリットを具体的に解説します。 Hadoop / Spark Conference Japan 2016 http://www.eventbrite.com/e/hadoop-spark-conference-japan-2016-tickets-2
DETAIL [Small Talk API] 完全自動の日常会話を可能にするAPIです。 例えばあなたの運用しているWebサイトでAPIを呼び出しサイト上でユーザとの会話を可能にします。 さらにユーザとの会話を学習していくことでより賢く・より自然な会話を実現します。 NOTES 個人情報について: 他人の名称・メールアドレス・住所・電話番号など個人を特定しうる情報はアップロードしないでください。 推奨ブラウザについて: 本ページはGoogle Chromeを推奨しています。 Google Chrome以外のブラウザでは正しく作動しないケースがあります。 DEMO DEMOの使用には、API KEYが必要になります。
あしたのオープンソース研究所では、これから注目されるであろう海外のオープンソースソフトウェアを発見し、サイトを日本語訳することで、みなさまにいち早くご紹介いたします。 2012/08/06 reactive-web の翻訳コンテンツをアップしました。 2012/07/24 「あしたの研について」と「運営会社」のページを更新しました。 2012/07/05 Red5 の翻訳コンテンツ (第2弾) をアップしました。 2012/06/06 Red5 の翻訳コンテンツをアップしました。 2012/06/04 Red5 の座談会資料を SlideShare に掲載しました。 2012/05/07 Friendica の翻訳コンテンツをアップしました。 2012/04/04 Apache UIMA の翻訳コンテンツをアップしました。 2012/03/07 Friendica の座談会資料を Slid
ちまたでは、機械学習がブームのようです。 が、、まったく時代についていけていません。 しかし、機械学習、特に自然言語処理に精通した人の採用にかかわる仕事をしている、、、 にもかかわらず、自然言語処理どころか機械学習が全く分からない。 これでは、いけない。ということで 「機械学習をたしなむ学生の皆さんと、ふわっと雑談ができるレベル」 を目指して、2017年正月明けから勉強を始めました。 ちなみに、どんなにキリが悪くても1日3時間まで!と決めています。 そもそも機械学習に興味関心があるわけではない やらなければならない他の仕事がある 家事育児が優先 なので、すこしでも無理すると続かないためです。 「AIで世界を変えられる!」 「人工知能で想像もできない未来が、、、」 みたいなご時世の中、ありえないほどの低テンションで淡々と勉強しているわけで 逆に、そういう意識低い系人間はそんなに多くないでしょ
(注:編集中) 対象とする functions ファイルは initscripts-9.03.31 に含まれているもので、下記のようにして取得できる。内容は、2012 年 7 月 9 日にリリースされた CentOS 6.3 に含まれる /etc/init.d/functions と同じ。 $ wget http://vault.centos.org/6.3/os/Source/SPackages/initscripts-9.03.31-2.el6.centos.src.rpm $ rpm2cpio initscripts-9.03.31-2.el6.centos.src.rpm | cpio -id $ tar xjf initscripts-9.03.31.tar.bz2 # --> initscripts-9.03.31/rc.d/init.d/functions /etc/init
会社でUnityを使うことになったんだけれども「何から手を付けてよいかわからない」とか「Unityの基本操作は分かったけど、自分のゲームに応用できない」とかいう方は多いと思います。 私もUnityを触り始めたときは、あまりに機能が多くて何から始めたら良いのか・・・さっぱり分かりませんでした。 そこで、初心者の方にも理解しやすいように、ここでは簡単なシューティングゲームを作りをとおして、Unityを使ったゲーム作りの方法を紹介していこうと思います。 どんなゲームを作るのかというと・・・こんな感じ。 上から降ってくる隕石を、ロケットを動かしながら破壊するというよくあるサンプルです。ですが、Physicsや当たり判定、UI、エフェクトなどゲーム作りに必要な一通りの要素は入っているので、Unity入門にはちょうど良いかと思います。 記事は第1回〜第6回まであり、次のような流れになっています。 第1
Railsで簡単に可逆暗号をする方法 情報が古くなったため、rails4.2, rails5.0, rails5.1, rails5.2, rails6.0 で変更点確認し更新 使い方 ActiveSupport::MessageEncryptor を利用することで簡単に可逆暗号ができる key_len = ActiveSupport::MessageEncryptor.key_len secret = Rails.application.key_generator.generate_key('salt', key_len) crypt = ActiveSupport::MessageEncryptor.new(secret) encrypted = crypt.encrypt_and_sign('Qiitaきーたキータ') # => "Adp1SPOkYRqLgTMoAlcyEganoi
コンパイラを作ってみたいと思っていても、アセンブリ言語はよくわからない。 パーサーみたいなコードは書いたことがあるけれど、コード生成の処理はさっぱりだ。 実行ファイルをバイナリエディターで見るとかなにそれ怖い。 そんな私なのですが、LLVMに興味を持ち始めています。 SwiftやRust、あるいはEmscriptenなど、近年注目されている言語やコンパイラ技術の中枢にはLLVMがあります。 アセンブリはよく分からなくてもLLVMを使いこなせるようになれば、マルチプラットフォームで実行ファイルを生成できる言語処理系を作るのではないか。 コンパイラ作ってみたいな、LLVMを使ってみようかなと思っている今日このごろです。 ところが、いざLLVMを勉強しようと思ってもどこから始めればいいかよく分かりませんでした。 マニュアルは巨大で読む気が起きないし、リファレンスを見てもさっぱりです。 雰囲気はわ
みんなのAI講座は、誰に対しても開かれた人工知能、機械学習の講座です。プログラミングや数学の事前知識はほとんど必要ありません。 難解な数式やプログラミングが学習の妨げであった方でも、問題なく学習できます。 文系や非エンジニアの方にもお勧めです。 Udemyの受講生数が数万人に及ぶ経験豊富な講師が指導します。 本コースでは、人工知能技術全般の解説を行いますが、実際にを書くのは主に機械学習のコードです。 機械学習のコードは、人工知能の分野で最もメジャーなプログラミング言語、Pythonで記述します。 開発には、Google Colaboratoryという開発環境を使います。これにより、初心者の方が躓きやすい環境設定が大幅に楽になります。ターミナルなどのコマンドラインを開く必要はありません。 データの分類や、文字認識、株価分析などの実践も行います。 その他コースの特徴は、以下通りです。 - 理論
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く