ビッグデータ分析で使用するPythonコード一覧

こちらに記事を移動しました。 developer-note.com

ビッグデータ分析で使用するシェルコマンド

こちらに記事を移動しました。 developer-note.com

TelegrafでWindowsのメトリクスを取得しInfluxDBに格納しGrafanaで可視化する

性能評価で Windows のメトリクスをリアルタイムで監視したかったので,Telagraf で Windows のメトリクスを取得して InfluxDB に格納し,Grafana で可視化した。 概要 ソフト 内容 InfluxDB 時系列DB。メトリクスをここに格納する。 Grafana 様々なデータソ…

MySQL 構築

Hadoop との比較用に MySQL を構築しました。 VM 構築 Vagrant.configure("2") do |config| config.vm.box = "ubuntu/bionic64" config.vm.synced_folder "./share", "/home/vagrant/share", owner: "vagrant", group: "vagrant" #--- MySQL 構築 ---# confi…

Pig をインストールする

象さん(Hadoop)を Pig で操作するために Pig をインストールしました。 Pig インストール $ cd ~ $ wget https://archive.apache.org/dist/pig/pig-0.17.0/pig-0.17.0.tar.gz $ cd /opt $ sudo tar xvf ~/pig-0.17.0.tar.gz $ sudo chown -R hadoop:hadoop .…

検証用に Python で Big Data を自作する

Hadoop と RDB でどれくらい処理時間に差が出るか手元で検証してみたかったので Python で Big Data を自作しました。 データ構成 テーブル 説明 売上 100,000,000 件の売上明細。 店舗 1,000,000 件の店舗。 エリア 1,000 件の店舗エリア。 商品 10,000,000…

Hadoop Cluster を構築する

こちらに移行しました。 developer-note.com

シェルティー判定 AI を Web アプリに組み込む

こちらに移行しました。 developer-note.com

機械学習入門者が一日でシェルティー判定AIを作成してみた

こちらに移行しました。 developer-note.com

Flask + uWSGI + Nginx で API

こちらに移動しました。 developer-note.com

Flask + uWSGI で API

こちらに移動しました。 developer-note.com

Flask で API

こちらに移動しました。 developer-note.com

Elasticsearch を構築する

こちらに移行しました。 developer-note.com

Elasticsearchとgrepでどれだけ検索速度が違うのか実験してみた

こちらに移行しました。 developer-note.com

ElasticsearchにWikipediaのドキュメントをインデキシングする

こちらに移行しました。 developer-note.com

Solr(Master-Slave) を Vagrant で構築する

Vagrant で Solr を Master-Slave で構築しました. Solr のバージョンは 6.2.0 です. 構成 Solr の構築はシェルでやることにしました. D:\vagrant\solrmasterslave ┣Vagrantfile ┗create_solr.sh Vagrantfile OS は CentOS 7 を使用します. プロビジョナ…

Solr Cloud で可用性を検証した

前回 Solr Cloud を構築ました. 今回は Solr Cloud の可用性を検証しました. node の管理 node が停止したら Failover するか,node が再起動したら Failback するか実験しました. 1個の node を停止する 全ての node が起動しているときの node 一覧とグ…

Solr Cloud を Vagrant で構築した

いよいよ Solr Cloud を構築します. Solr Cloud を構築するには,Solr はもちろん ZooKeeper も必要です. これまで Vagrant で Solr を Standalone で構築したり,ZooKeeper を Ensemble で構築してきたのもこのためでした. Solr Cloud イメージはこんな…

ZooKeeper Ensemble を Vagrant で構築した

前回 ZooKeeper を Standalone で構築しました. 次は ZooKeeper も冗長構成を取れるように ZooKeeper Ensemble を構築します. ZooKeeper のバージョンは 3.4.14 です. ZooKeeper Ensemble ZooKeeper の可用性を高めるために複数台で Ensemble 構成を取り…

ZooKeeper(Standalone) を Vagrant で構築した

Solr Cloud を構築するには ZooKeeper を構築する必要があります. そこで Vagrant で ZooKeeper を構築しました. ZooKeeper のバージョンは 3.4.14 です. ZooKeeper??? Solr Cloud を構築する上で必須なサービスです. Solr Cloud では collection を 複…

Solr(Standalone) を Vagrant で構築する

Vagrant で Solr を Standalone で構築しました. Solr のバージョンは 6.2.0 です. 構成 Solr の構築はシェルでやることにしました. D:\vagrant\solr-standalone ┣Vagrantfile ┗create_solr.sh Vagrantfile OS は CentOS 7 を使用します. プロビジョナで…

いまさら Vagrant に入門した

いまさら Vagrant に入門しました. Vagrant って? Virtual Box 等の仮想化ソフトのラッパーツールです. 通常は Virtual Box で仮想マシン(以下 VM)作って,OSインストールして,Guest Addition入れて,...って使えるようにするまで色々手順を踏む必要があ…

PowerShellでサーバーリプレース前後の設定を比較する

こちらに移行しました。 developer-note.com

SQLを修正して修正前と結果が変わらないことを確認する

パフォーマンスチューニングをおこなう際に修正したSQLの取得結果が修正前と変わらないことを確かめるために調べました. 事前準備 例えばこんなテーブルとデータがあったとします. CREATE TABLE SAMPLE_ROLL ( ID int, NAME nvarchar(20), PRIMARY KEY(ID)…

SQL Serverで処理時間を計測する

こちらに移動しました。 developer-note.com

OpenLayersでレイヤの読み込み開始/終了を検知する

こちらに移行しました。 developer-note.com

SQL Serverで領域に含まれるフィーチャーを取得する

ArcGIS ServerのREST APIでデータを取得するのが面倒だからArcGIS Serverを介さずにデータを取得できないか試してみたらできました. 例えばフィーチャーを格納するテーブルがあって CREATE TABLE SAMPLE_FEATURE(SHAPE geometry NULL); こんな感じにデータ…

Linux初心者がとあるプロジェクトで手順書が無いサーバーの構築を命じられたときに使用したコマンドをまとめた

Linux初心者に突然以下の仕事が振られました. 試験環境サーバー構築 シェルの要所要所でログを出すようにする 今回構築するサーバーはなんと本番環境しかなく,まともな手順書がないっていうもう残念な感じでした. そんな中でもtry & errorでなんとか構築…

動的に追加した要素のイベントを拾う

こちらに移行しました。 developer-note.com

C#でクラスのフィールド名と値を取得する

こちらに移行しました。 developer-note.com