こちらに記事を移動しました。 developer-note.com
こちらに記事を移動しました。 developer-note.com
性能評価で Windows のメトリクスをリアルタイムで監視したかったので,Telagraf で Windows のメトリクスを取得して InfluxDB に格納し,Grafana で可視化した。 概要 ソフト 内容 InfluxDB 時系列DB。メトリクスをここに格納する。 Grafana 様々なデータソ…
Hadoop との比較用に MySQL を構築しました。 VM 構築 Vagrant.configure("2") do |config| config.vm.box = "ubuntu/bionic64" config.vm.synced_folder "./share", "/home/vagrant/share", owner: "vagrant", group: "vagrant" #--- MySQL 構築 ---# confi…
象さん(Hadoop)を Pig で操作するために Pig をインストールしました。 Pig インストール $ cd ~ $ wget https://archive.apache.org/dist/pig/pig-0.17.0/pig-0.17.0.tar.gz $ cd /opt $ sudo tar xvf ~/pig-0.17.0.tar.gz $ sudo chown -R hadoop:hadoop .…
Hadoop と RDB でどれくらい処理時間に差が出るか手元で検証してみたかったので Python で Big Data を自作しました。 データ構成 テーブル 説明 売上 100,000,000 件の売上明細。 店舗 1,000,000 件の店舗。 エリア 1,000 件の店舗エリア。 商品 10,000,000…
こちらに移行しました。 developer-note.com
こちらに移行しました。 developer-note.com
こちらに移行しました。 developer-note.com
こちらに移動しました。 developer-note.com
こちらに移動しました。 developer-note.com
こちらに移動しました。 developer-note.com
こちらに移行しました。 developer-note.com
こちらに移行しました。 developer-note.com
こちらに移行しました。 developer-note.com
Vagrant で Solr を Master-Slave で構築しました. Solr のバージョンは 6.2.0 です. 構成 Solr の構築はシェルでやることにしました. D:\vagrant\solrmasterslave ┣Vagrantfile ┗create_solr.sh Vagrantfile OS は CentOS 7 を使用します. プロビジョナ…
前回 Solr Cloud を構築ました. 今回は Solr Cloud の可用性を検証しました. node の管理 node が停止したら Failover するか,node が再起動したら Failback するか実験しました. 1個の node を停止する 全ての node が起動しているときの node 一覧とグ…
いよいよ Solr Cloud を構築します. Solr Cloud を構築するには,Solr はもちろん ZooKeeper も必要です. これまで Vagrant で Solr を Standalone で構築したり,ZooKeeper を Ensemble で構築してきたのもこのためでした. Solr Cloud イメージはこんな…
前回 ZooKeeper を Standalone で構築しました. 次は ZooKeeper も冗長構成を取れるように ZooKeeper Ensemble を構築します. ZooKeeper のバージョンは 3.4.14 です. ZooKeeper Ensemble ZooKeeper の可用性を高めるために複数台で Ensemble 構成を取り…
Solr Cloud を構築するには ZooKeeper を構築する必要があります. そこで Vagrant で ZooKeeper を構築しました. ZooKeeper のバージョンは 3.4.14 です. ZooKeeper??? Solr Cloud を構築する上で必須なサービスです. Solr Cloud では collection を 複…
Vagrant で Solr を Standalone で構築しました. Solr のバージョンは 6.2.0 です. 構成 Solr の構築はシェルでやることにしました. D:\vagrant\solr-standalone ┣Vagrantfile ┗create_solr.sh Vagrantfile OS は CentOS 7 を使用します. プロビジョナで…
いまさら Vagrant に入門しました. Vagrant って? Virtual Box 等の仮想化ソフトのラッパーツールです. 通常は Virtual Box で仮想マシン(以下 VM)作って,OSインストールして,Guest Addition入れて,...って使えるようにするまで色々手順を踏む必要があ…
こちらに移行しました。 developer-note.com
パフォーマンスチューニングをおこなう際に修正したSQLの取得結果が修正前と変わらないことを確かめるために調べました. 事前準備 例えばこんなテーブルとデータがあったとします. CREATE TABLE SAMPLE_ROLL ( ID int, NAME nvarchar(20), PRIMARY KEY(ID)…
こちらに移動しました。 developer-note.com
こちらに移行しました。 developer-note.com
ArcGIS ServerのREST APIでデータを取得するのが面倒だからArcGIS Serverを介さずにデータを取得できないか試してみたらできました. 例えばフィーチャーを格納するテーブルがあって CREATE TABLE SAMPLE_FEATURE(SHAPE geometry NULL); こんな感じにデータ…
Linux初心者に突然以下の仕事が振られました. 試験環境サーバー構築 シェルの要所要所でログを出すようにする 今回構築するサーバーはなんと本番環境しかなく,まともな手順書がないっていうもう残念な感じでした. そんな中でもtry & errorでなんとか構築…
こちらに移行しました。 developer-note.com
こちらに移行しました。 developer-note.com