大量データの転送にEmbulkを使ってみたら本当に楽だった - CARTA TECH BLOG
はじめまして。Zucks Affiliateでエンジニアをしている宗岡です。 今回は、リアルタイム性は求めないけど、簡単に大量のデータをどこか別の場所に転送したい。 という要望に答えてくれるEmbulkを紹介したいと思います。 実際に導入に至ったきっかけや、運用上よくある課題なども触れていきたいと思います。 同じ境遇の人が「簡単そうだしEmbulk使ってみようかな」となっていただければ幸いです。 目次 目次 背景 Embulk以外にも出てきた案 実際のEmbulkの導入と使い方 1. Embulkのインストールとセットアップ 2. 必要なプラグインのインストール 3. 設定ファイルを書く 実務でcodecommitを使った例 設定ファイルの書き方 4. まずはpreviewで問題なさそうか確認 5. 問題なさそうなのでrunして実行 Embulkの運用上、よくぶつかる課題 1. 重複に気付
ESDocという(多分)モダンなドキュメンテーションツールの紹介 - maru source
こんにちは丸山@h13i32maruです。 僕は2015年からESDoc*1というJavaScript向けのドキュメンテーションツールを開発しています。 https://esdoc.org https://github.com/esdoc/esdoc Star 最初のリリースから2年、昨日ようやくv1.0をリリースできました🎉 いやー、ここまで長かったです。今ではRxJSやSketchAPIなど、様々なツールで使用されています。 この2年間、ESDocは2つのゴールを目指して開発してきました。 ドキュメントの作成・メンテナンスを快適にする（ドキュメントを書くの楽しい！という状態） ソフトウェアの使い方を簡単に理解できるドキュメントを作成する（ソースコード読まなくても大丈夫！という状態） この2つを満たすためにESDocは色々な機能を提供しています。 今日はそれらの機能の中でも(多分)モダ
進捗ヤバいプロジェクトに直面した経験がある人なら（多分）楽しめるカードゲーム「Not My Fault!」 - 科学と非科学の迷宮
エンジニアがプロジェクトがオンスケであると嘘をつき続けるゲームは盛り上がった pic.twitter.com/aWkKIPtAAS— Yoshifumi Yamaguchi (@ymotongpoo) 2017年7月30日 @ryushi さんの主催で仲間内で集まってボードゲーム・カードゲームで盛り上がったのですが、その中で @tokoroten が持ってきた「Not My Fault!」というカードゲームが非常に衝撃的でした。 まず、背景設定がすごい。 残り30日で絶対に完成させなければいけないプロジェクトに、プレイヤー達はプロジェクトメンバーとして参加しています。 進捗は絶対に遅れてはいけません。 もし、プロジェクトの進捗が報告されていたよりも進んでいないとしたら？ それはもちろん、進捗を過大報告したヤツの責任です。 監査を入れて、そいつを追い詰めよう！ というのがゲームの設定です。
NEC、モバイルサービスに顔認証を導入できるソフトを提供
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます NECは4月20日、ユーザーデータ活用基盤ソフトウェア製品「NC7000-3A」を金融機関や通信事業者などに提供すると発表した。 同製品は、モバイルサービスの本人確認に顔認証を利用できるようにするもの。パスワードに代わる新しい認証方法として注目される生体認証などを含めた多要素認証に関する標準規格「FIDO」に対応する。これにより、生体情報などのデータを端末外部に送信することなくオンライン認証が可能になる。同ソフトウェアでは、生体認証機能やユーザーデータ連携機能などを個別に提供することや、利用人数に合わせたシステム拡張にも対応する。 IDの管理・認証機能や、IDにひもづくユーザーデータをパートナー事業者などに提供する機能もあり、米国国立標
「VR ZONE Project i Can」を仕掛けたコヤ所長・タミヤ室長の狙いとは何か？ - VR Inside
ALVRアプリが公開！SteamVRゲームがVision Proでプレイ可能に MRVRAppleVision ProAR 17時間前 名酒センター「酒マルシェ」を6/25に開始！そらのうえショッピングモール ベネリックデジタルエンターテインメント株式会社名酒センター酒マルシェVRスマホVRイベントメタバースそらのうえショッピングモール 2024/06/21 18:00 VRChatに「VRC-JP 初心者プラザ」公開！Discordコミュニティ「VRC-JP」 VRVRchatイベントメタバース株式会社VVRC-JPVRC-JP 初心者プラザ 2024/06/20 18:00 「xambr」がアップデート！アバター対応や出展ブース入稿システムなど実装 xambrVRイベントアプリambr株式会社ambrメタバース 2024/06/20 18:00 「ホロアース」Ver.0.8.0アップデ
「アフリカの呪術師」と全面対決するため、電子マネーを導入した話。
こんにちは。日本植物燃料株式会社、代表の合田です。 今回は、前回に引き続き、モザンビークで「バイオディーゼル事業」に着手したところからの話です。 バイオディーゼル燃料事業を成立させるためには「生産」と「販売」の２つが課題です。 ですから何よりもまず、私たちは「バイオディーゼル燃料」を安定して生産できなければなりませんでした。 そこで、前回も少し触れましたが、ヤトロファの種を現地の人に提供しました。 今利用している農地にヤトロファを植えてもらうことはできませんが、今ある畑の脇に「柵」としてヤトロファを植えてもらい、収穫したヤトロファは私たちが買い取り、加工して燃料とします。 「組合」と言う形態をとりながら、１万人の農民たちに協力してもらい、なんとか私たちはモザンビークでバイオディーゼル燃料の原料となるヤトロファを栽培し、燃料を作り出すことはできるようになりました。 ですが、もちろんそれだけで
Magazine ALC コラム 2006/10
『山形浩生の：世界を見るレッスン』 連載 7 回 技術移転と「フランス人の箱」 月刊『マガジン・アルク』 2006/10号 要約：フランス技術者は日本の発電事業者に「これには触るな」とブラックボックスを残していった。それに敢えてさわり、そのブラックボックスを自分のリスクでなくしたとき、日本の電力技術は独立できた。教育はしばしば教えたことを暗唱できればおしまいだと思われがちだけれど、教育が本当にめざすべきなのは、生徒が自分たちの教えたことを超えて、ときにはその知識で刃向かってくれることなのだ。 前回に続いて、日本が途上国だった頃の話と、その日本が受けた技術移転の話をしようか。そもそも技術移転とは何をめざすべきなんだろうか、という話とともに。 もちろん表面上は、技術移転は技術を学んでくれればいい。電気だったら、オームの法則と安全な工事方法をおぼえて等々。教科書に書いてある通りに学んで、卒業試験
ついに出たWHOISの“後継者”、ドメイン情報の検索性向上
JPドメイン（.jp）の登録管理を担う日本レジストリサービス（JPRS）は、WHOISの次世代プロトコルである「RDAP（Registration Data Access Protocol）」の技術仕様（RFC 7480～7484）を日本語化、同社のWebサイトで2016年12月15日に公開した。 WHOISは、IPアドレスやドメイン情報などのインターネット資源を検索するためのサービス。やり取りを規定したWHOISプロトコルは1982年に作られた。現在は主にドメイン名を取得するときの事前調査や、ドメインの管理者を調べるときなどに使われている。 一方で、プロトコルに起因する問題も抱えている。最大の問題は、RFCで定められている内容が極めてシンプルなため、運用組織によって実装がバラバラになっている点だ。ドメイン名を管理するレジストリや、IPアドレスを管理する地域インターネットレジストリごとにも
inner join / outer join - by shigemk2
この図がとてもわかり易かった。 出典: Visual Representation of SQL Joins - CodeProject stackoverflow.com
｢成績のよい子｣は､だいたい何時に寝るのか
日本では長年、テストでいい点数を取るために夜遅くまで勉強することは「勤勉」であり、「美徳」であり、「エライ子」だと考える風習がありました。ところが数々の学校現場での調査や医学の進歩により、「早寝」「早起き」で規則正しい生活をしている子の学力の方が、「遅寝」で不規則な生活をしている子の学力よりも高いことがわかってきました。 たとえば、2014年に改訂された厚生労働省の「健康づくりのための睡眠指針」では、不規則で遅い就寝や起床が学校の成績の低さと関係している旨が指摘されています。寝る間を惜しんでは、成果は上がらないのです！ では、何時に寝ると学力が上がりやすくなるのでしょうか？ これについては、全国でさまざまな調査結果が出されています。 遅く寝る子ほど、テストの平均点が低い 『基礎講座 睡眠改善学』によると、小学生の睡眠と学力の関係を調べると、成績が上位の子ほど早い時刻に寝ていることがわかりま
20170111-the-true-size-of
多くの人が「地図」と聞いて思い浮かべるであろうメルカトル図法による地図は、北極や南極に近づくほど実際よりも大きく表示されてしまうという特長を持っているため、北極に近いグリーンランドなどの国は実際よりも何倍も大きく人々に認識されていることはよく知られています。そんな地図の欠点を解消し、各国の大きさを正確に比較することができるサイトが「The True Size Of ...」です。 The True Size Of ... http://thetruesize.com/ サイトを開くとGoogleマップを使用した地図が表示されました。よく見ると、アフリカ大陸の上には何やら3つの図形が表示されています。 3つの図形は色分けされており、特に水色はどこかで見たことがあるような図形。 この図形はぞれぞれ別の国の国土を示しているもので、初期状態ではアメリカ合衆国(水色)、インド(オレンジ色)、そして中
10 New iOS 10 Settings You Should Change
iOS 10 is here, and it's packing a number of very cool new features. To activate some of those features -- like sending read receipts in Messages or having Siri announce calls -- you'll need to tweak a few settings. A few other new options will change how your device behaves with iOS 10. Let's dive right in! Here are 10 settings you'll want to check out as soon as you update. 1. Rest Finger to Ope
TensorFlow For Poets
TensorFlow is an open source library for numerical computation, specializing in machine learning applications. What you will build In this codelab, you will learn how to run TensorFlow on a single machine, and will train a simple classifier to classify images of flowers. Image CC-BY by Retinafunk daisy (score = 0.99071) sunflowers (score = 0.00595) dandelion (score = 0.00252) roses (score = 0.0004
電気料金比較シミュレーション-安い電力会社に乗り換えて電気代を節約！
プラン名は現在ご利用中の電力会社からの請求書に記載されています。 プラン名は現在ご利用中の電力会社からの請求書に記載されています。プラン名がわからない場合、 エネチェンジ電力比較はもっとも一般的な電力プランを選択して診断します。
AIを使ったスマート農業システム「Prospera」は害虫、干ばつ、栄養不足などを自動で対処 | Techable(テッカブル)
農業や漁業など、一次産業に対するITの導入が、世界的に注目されている。 今最もホットな話題は、イスラエルの企業「Prospera」によるスマート農業システムだろう。アメリカ最古のベンチャーキャピタルBessemer Venture Partnersを介し、700万ドル（約7億円）の資金調達にも成功。農業革新へ、大きな一歩を踏み出した。 ・人工知能ベースのデータサイエンス農業システム Prosperaが提案するのは、人工知能をベースとした農業ソリューション。インフィールドカメラや気象センサーを駆使しながら、高精度な管理を可能にするというもの。 このソリューションは、作物ごと、あるいは複数の畑、作物ごとにおいて、農作物の状況をリアルタイムで分析していく。システム上でできることは、多数。病気や害虫の検出、水分と栄養の最適化、収穫量のモニタリングと予測、新たな作物の開発やそれに伴う分析も可能だ。
IoT向け通信に価格破壊をもたらす「LPWA」
今やIoTは、聞かない日がないほど注目を集めている。ただし多くの導入ケースで通信コストがネックになる。携帯電話事業者が展開する3G回線やLTE回線を使う場合、相対料金で値下げ交渉した場合でも、1回線当たり月300〜500円程度のコストがかかる。年換算すると3600円であり、それだけのコストを支払っても投資対効果が成立する製品にしか通信機能を入れにくい実態がある。 LPWA分野の通信技術は、そんな壁を崩そうとしている。欧州や米国を震源地に今、仏SIGFOX（シグフォックス）やLoRa Alliance（LoRaアライアンス）、米Ingenu（アンジェヌ）といったLPWAに分類される新興プレーヤーが続々と参入している（表1）。 例えば2009年に創業し、2012年にサービスを開始したSIGFOXは、独自にいち早くIoT特化のネットワークを敷設、フランスやスペイン全土をカバーした。速度はわずか1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Reddit - Dive into anything
PCのドライバーを一括更新するフリーソフト「Driver Booster Free」v4.4が公開
LTEドラレコ設置、タクシー500台から走行データを収集～トヨタとKDDI
コンピュータ制御システム ロビ編