MrChang Blog

这家伙总以为自己是个天才,实际并不比别人聪明多少!

spring-cloud-config-server-git

"Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持"

Spring Cloud Config Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持。 使用Config Server,您可以在所有环境中管理应用程序的外部属性。 客户端和服务器上的概念映射与Spring Environment和PropertySource抽象相同,因此它们与Spring应用程序非常契合,但可以与任何以任何语言运行的应用程序一起使用...

spring-cloud-turbine

"Turbine是聚合服务器发送事件流数据的一个工具,用来监控集群下hystrix的metrics情况。"

Turbine 从个人实例看,Hystrix数据在系统整体健康方面不是非常有用。Turbine是将所有相关/hystrix.stream端点聚合到Hystrix仪表板中使用的/turbine.stream的应用程序。个人实例位于Eureka。运行Turbine就像使用@EnableTurbine注释(例如使用spring-cloud-starter-turbine设置类路径)注释主类一样简...

hadoop Hive

"就是一个利用HDFS存储数据,利用mapreduce运算数据的数据仓库工具"

HIVE 基本概念 在真实生产中,数据处理的需求量非常多,如果对每个需求都需要开发一个mapreduce程序来实现,则开发的成本代价太高,开发的周期很长; 所以,急需要一种工具,能够快速生成mapreduce程序,则可以极大地降低开发成本,降低对开发人员的技术难度要求,极大缩减项目开发周期; HIVE就是这么一个神器!!! 它可以让你把你的数据文件 “映射”成一个表,然后还可以让你输入...

hadoop hdfs java代码

"分布式文件系统,可以存储海量文件"

hdfs的特性 hdfs是一个分布式系统,用户存储的文件被切块后存储在N台DATANODE服务器上; 每一个文件的块信息及具体存储位置由NAMENODE记录 文件的切块默认大小是:128M 文件的默认副本数量:3 参数可以配置在客户端的什么地方? 可以配置在客户端的hadoop安装目录的配置文件hdfs-site.xml中; 可以在客户端的程序中设置; Java API ...

hadoop MAP REDUCE

"分布式运算编程模型"

MAP REDUCE 一个分布式运算程序,往往需要分成多个阶段,最基本应该分2个阶段: 阶段1:读数据,拆分数据 阶段2:聚合数据 什么是MAP REDUCE 两个角度: 角度1:MAP REDUCE是一种分布式运算编程模型 它将整个运算逻辑分成两个阶段: 阶段1:将数据映射成key:value形式 阶段2:将key:value按相同key分组,对每组聚合运算 之所以这么设计,...

spring-cloud-hystrix-dashboard

"Hystrix指标数据的可视化面板"

断路器:Hystrix仪表板 Hystrix的主要优点之一是它收集关于每个HystrixCommand的一套指标。Hystrix仪表板以有效的方式显示每个断路器的运行状况。 创建 Hystrix Dashboard 创建springboot工程,引入依赖 <parent> <groupId>org.springfram...

hadoop hdfs

"分布式文件系统,可以存储海量文件"

大数据 大数据到底在干嘛(数据分析): 收集大量业务行为数据,进行数据分析,得到一些业务结论 支撑业务功能(推荐) 支撑公司的运营分析 当数据分析面对的是海量(1T以上)的数据时,普通技术手段难以胜任,就需要更强大的技术手段来实现: 存储:分布式文件系统(HDFS) 运算分析:分布式运算程序(MAP REDUCE) 分布式运算程序的运行调度:(YARN)...

hadoop hdfs 常用命令

"分布式文件系统,可以存储海量文件"

说明 通过上篇博客,我们已经搭建好了单机版的hdfs,下面介绍下常用命令。 上传机器本地的一个文件到HDFS中 hadoop fs -put /本地文件 /hdfs的目录 (-copyFromLocal) 比如: hadoop fs -put /root/a.txt / 从HDFS中下载一个文件到本...

spring-cloud-eureka-consumer-ribbon-hystrix

"服务调用容错"

断路器:Hystrix客户端 Netflix的创造了一个调用的库Hystrix实现了断路器图案。在微服务架构中,通常有多层服务调用。 较低级别的服务中的服务故障可能导致用户级联故障。当对特定服务的呼叫达到一定阈值时(Hystrix中的默认值为5秒内的20次故障),电路打开,不进行通话。在错误和开路的情况下,开发人员可以提供后备。 开放式电路会停止级联故障,并允许不必要的或失败的服务时...

spring-cloud-eureka-consumer-feign

"更快捷优雅的客户端负载均衡服务消费"

声明性REST客户端:Feign Feign是一个声明式的Web服务客户端。这使得Web服务客户端的写入更加方便 要使用Feign创建一个界面并对其进行注释。它具有可插入注释支持,包括Feign注释和JAX-RS注释。Feign还支持可插拔编码器和解码器。Spring Cloud增加了对Spring MVC注释的支持,并使用Spring Web中默认使用的HttpMessageConvert...