Hadoop との比較用に MySQL を構築しました。 VM 構築 Vagrant.configure("2") do |config| config.vm.box = "ubuntu/bionic64" config.vm.synced_folder "./share", "/home/vagrant/share", owner: "vagrant", group: "vagrant" #--- MySQL 構築 ---# confi…

象さん(Hadoop)を Pig で操作するために Pig をインストールしました。 Pig インストール $ cd ~ $ wget https://archive.apache.org/dist/pig/pig-0.17.0/pig-0.17.0.tar.gz $ cd /opt $ sudo tar xvf ~/pig-0.17.0.tar.gz $ sudo chown -R hadoop:hadoop .…

Hadoop と RDB でどれくらい処理時間に差が出るか手元で検証してみたかったので Python で Big Data を自作しました。 データ構成 テーブル 説明 売上 100,000,000 件の売上明細。 店舗 1,000,000 件の店舗。 エリア 1,000 件の店舗エリア。 商品 10,000,000…

こちらに移行しました。 developer-note.com