hbase性能测试（hbase性能调优）

本篇文章给大家谈谈hbase性能测试，以及hbase性能调优对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享hbase性能测试的知识，其中也会对hbase性能调优进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、大数据平台最核心的软件是
• 2、运维的运维工程师使用的平台、工具
• 3、大数据安全有没有较好的解决方案或者案例？
• 4、Linux运维人员必知必会工具汇总

大数据平台最核心的软件是

大数据平台最核心的软件是：

一、Phoenix

这是一个Java中间层hbase性能测试，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写hbase性能测试，代码位于GitHub上hbase性能测试，并且提供了一个客户端可嵌入的JDBC驱动。

Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。

二、Stinger

原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要优点包括：让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。

三、Presto

Facebook开源的数据查询引擎Presto，可对250PB以上的数据进行快速地交互式分析。该项目始于2012年秋季开始开发，目前该项目已经在超过1000名Facebook雇员中使用，运行超过30000个查询，每日数据在1PB级别。Facebook称Presto的性能比诸如Hive和Map*Reduce要好上10倍有多。

四、Shark

Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。

五、Pig

简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

运维的运维工程师使用的平台、工具

运维工程师使用的运维平台和工具包括： Web服务器：apache、tomcat、nginx、lighttpd 监控：nagios、ganglia、cacti、zabbix 自动部署：ansible、sshpt 配置管理：puppet、cfengine 负载均衡：lvs、haproxy 传输工具：scribe、flume 备份工具：rsync、wget 数据库：mysql、oracle、sqlserver 分布式平台：hdfs、mapreduce、spark、storm、hive 分布式数据库：hbase、cassandra、redis、MongoDB 容器：lxc、docker 虚拟化：openstack、xen、kvm 安全：kerberos、selinux、acl、iptables 问题追查：netstat、top、tcpdump、last 广义上所有开源的软件都是运维工程师会使用到的平台和工具，同时也包括运维各个技术方向上自行研发的各类平台。

大数据安全有没有较好的解决方案或者案例？

一款合格的大数据安全审计产品须符合以下特性：

实现对非关系型数据库的监控：大数据的数据来源复杂，数据格式繁多，不仅有传统的结构性数据(Oracle,SQLServer等)，还有非结构型数据(Hbase，MongoDB,Caché等)，BAAS全面支持非结构化数据库NOSQL的审计，实现大数据库全面的监控与审计。

全面支持第三方工具对大数据库行为的监控：由于大数据的结构区别于传统的数据库(如ORACLE,SQL等)，如果要做到真正的安全管控，就要支持对Hive、Pig、Mahout等工具的使用进行安全监控。产品对于第三方的工具或系统通过NO SQL语言访问数据库的行为进行监控。

支持的数据库类型：大数据平台下数据库：Hadoop平台下的HBase、MongoDB、Caché等，传统数据库：如 Oracle、MS-SQL 、DB2、MYSQL、Caché DB、 Sybase 、POSTGRESQL、达梦、人大金仓等

实时海量检索：对所有存储的海量信息进行索引，根据任意关键字检索到所有相关信息，高效处理能力；专业级测试仪、构造模拟现场报文进行压力、性能测试，保障大数据下的性能要求。

动态实时可视化监测：将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析及定位。

监测异常行为：对大量的历史日志与安全信息进行机器学习与算法分析来侦测出异常行为模式和隐藏的威胁，无论是外部APT攻击，还是内部人员泄密

实时告警：提供了多种方式来自动进行告警，可以根据告警级别，实时发送短信、邮件、SNMP等方式给相关负责人，方便事故及时处理。

海量数据统计分析报表：昂楷BAAS针对大数据平台分布式文件系统(如HDFS)下存储的海量数据，在数据交互过程中进行实时分析并生成各类统计报表，如：会话行为：登录成功失败报表、用户访问情况报表等;SQL行为：访问失败报表、表对象访问情况报表等;政策性报表：等级保护报表等；还可针对客户需求自由定制报表。

Linux运维人员必知必会工具汇总

领域 hbase性能测试：工具名称

操作系统 ：CentOS、Ubuntu、Redhat、suse、Freebsd

网站服务： nginx、apache、lighttpd、php、tomcat、resin

数据库： MySQL、MariaDB、PostgreSQL

DB中间件 :maxscale、MyCat、atlas、cobar、amoeba、MySQL-proxy

代理相关: lvs、keepalived、haproxy、nginx、heartbeat

网站缓存: squid、nginx、varnish

NoSQL库: Redis、CacheCloud、Memcached、MongoDB、HBase、Cassandra、CouchDB

存储相关 :Nfs、FastDFS、Moosefs(mfs)、Ceph 、Hadoop、glusterfs、lustre

版本管理 :svn、git、gitlab、gogs

监控报警 :nagios、cacti、zabbix、munin、hyperic、mrtg、graphite

域名解析: bind、powerdns、dnsmasq

同步软件: scp、rsync、inotify、sersync、drbd

批量管理: SSH、Ansible、Saltstack、expect、puppet

虚拟化: kvm、xen

云计算: openstack、docker、k8s

内网软件: iptables、zebra、iftraf、ntop、tc、iftop

邮件软件: qmail、posfix、sendmail、zimbra

远程拨号: openvpn、pptp、openswan、ipip

统一认证: openldap

队列工具: ActiveMQ、RabbitMQ、Metaq、MemcacheQ、Zeromq、kafka

打包发布: mvn、ants、Jenkins、Walle

测试软件: ab、JMeter、Webbench、LoadRunner、http_load、tcpcopy

带宽测试 :smokeping

性能测试 ；dd、 fio(IOPS测试)、iozone(磁盘测试)

日志相关： rsyslog、Awstats、flume、storm、ELK(Elasticsearch+Logstash+Kibana)

搜索软件： Sphinx、Xapian、Solr

无人值守： rpm、yum（设计rpm包定制及yum仓库构建）

大数据： HDFS、Hive、Hbase、Zookeeper、Pig、Spark、Mahout、flume、sqoop

项目管理： Jira、Redmine

linux管理： 宝塔Linux面板

渗透测试工具: SQLMap、Webscan

开源邮箱: iRedmail、extmail、Zimbra

软件开发 :Sublime Text、Eclipse、Jetbrains

远程连接: putty、Xshell、SecureCRT、MobaXterm、TeamViewer、向日葵

在此为服务器运维人员推荐使用：宝塔面板 www.bt.cn

宝塔面板,近200个免费应用提供使用hbase性能测试，如：网站管理、系统安全、系统监控、计划任务、文件管理、软件管理、一键部署等为服务器运维人员提供安全高效hbase性能测试的完成服务器运维工作。

关于hbase性能测试和hbase性能调优的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 hbase性能测试的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase性能调优、hbase性能测试的信息别忘了在本站进行查找喔。