分类
Java Linux

Linux环境启动Elasticsearch错误

Elasticsearch默认启动监听的是本地127.0.0.1端口,现需要把服务发布出来,供其他机器访问。修改Elasticsearch配置文件(config/elasticsearch.yml):

network.host: 0.0.0.0
discovery.seed_hosts: ["0.0.0.0"]

启动后报错,如图:

ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
分类
Java

Java8 Function和BiFunction

Function

  1. Function作为一个函数式接口,主要方法apply接收一个参数,返回一个值
@FunctionalInterface
public interface Function<T, R> {

    /**
     * Applies this function to the given argument.
     *
     * @param t the function argument
     * @return the function result
     */
    R apply(T t);
}
分类
Java 编程

Java8中map和flatmap的共同点和区别

在函数式语言中,函数作为一等公民,可以在任何地方定义,在函数内或函数外,可以作为函数的参数和返回值,可以对函数进行组合。由于命令式编程语言也可以通过类似函数指针的方式来实现高阶函数,函数式的最主要的好处主要是不可变性带来的。没有可变的状态,函数就是引用透明(Referential transparency)的和没有副作用(No Side Effect)。

任何一种函数式语言中,都有map函数与faltMap这两个函数,比如python虽然不是纯函数式语言,也有这两个函数。再比如在jdk1.8之后,也加入了Lambda表达式,自然也支持map函数。

分类
Java 编程

Java8的DateTimeFormatter 和 SimpleDateFormat

DateTimeFormatter 和 SimpleDateFormat

  • DateTimeFormatter 线程安全 ,SimpleDateFormat 非线程安全
  • DateTimeFormatter是Java8提供的新方式
  • 单线程环境下DateTimeFormatter和LocalDateTime的parse性能比SimpleDateFormat的parse性能高
  • 多线程环境下DateTimeFormatter作为共享变量时,大部分情况下性能比SimpleDateFormat高(因为多线程环境的复杂性,此结论不一定准确)
分类
Java Web 软件

高性能对象存储-MinIO

前言

在之前的图床开发中撸主曾使用了分布式文件服务FASTDFS和阿里云的OSS对象存储来存储妹子图。奈何OSS太贵,FASTDFS搭建配置又太繁琐,今天给大家推荐一款极易上手的高性能对象存储服务MinIO 

简介

MinIO 是高性能的对象存储,兼容 Amazon S3 接口,充分考虑开发人员的需求和体验;支持分布式存储,具备高扩展性、高可用性;部署简单但功能丰富。官方的文档也很详细。它有多种不同的部署模式(单机部署,分布式部署)。

为什么说 MinIO 简单易用,原因就在于它的启动、运行和配置都很简单。可以通过 docker 方式进行安装运行,也可以下载二进制文件,然后使用脚本运行。

分类
Java 编程

JAVA 8 stream中的Spliterator简介

Spliterator是在java 8引入的一个接口,它通常和stream一起使用,用来遍历和分割序列。

只要用到stream的地方都需要Spliterator,比如List,Collection,IO channel等等。

我们先看一下Collection中stream方法的定义:

default Stream<E> stream() {
    return StreamSupport.stream(spliterator(), false);
}
default Stream<E> parallelStream() {
    return StreamSupport.stream(spliterator(), true);
}

我们可以看到,不管是并行stream还是非并行stream,都是通过StreamSupport来构造的,并且都需要传入一个spliterator的参数。

好了,我们知道了spliterator是做什么的之后,看一下它的具体结构:

spliterator有四个必须实现的方法,我们接下来进行详细的讲解。

分类
Java

浅谈AutoCloseable接口

一、前言

最近在翻看中间件源码时候发现有些类实现了AutoCloseable接口,这个接口很生疏,所以搜了下资料,学习了下,下面做个总结。

二、AutoCloseable接口由来

从AutoCloseable的注释可知它的出现是为了更好的管理资源,准确说是资源的释放,当一个资源类实现了该接口close方法,在使用try-catch-resources语法创建的资源抛出异常后,JVM会自动调用close 方法进行资源释放,当没有抛出异常正常退出try-block时候也会调用close方法。像数据库链接类Connection,io类InputStream或OutputStream都直接或者间接实现了该接口。

2.1 使用AutoCloseable之前资源管理方式

如上代码创建了两个资源,在try-catch-finally的finally里面进行手动进行资源释放,释放时候还需要进行catch掉异常,这几乎是经典资源使用的方式,那么既然资源管理都是一个套路,那么为何不做到规范里面那?所以AutoCloseable诞生了。

分类
Java

SpringBoot + Sharding-JDBC3.x配置

sharding:
  jdbc:
    datasource:
      names: ds0, ds1 # 数据源名称,多数据源以逗号分隔
      ds0:
        type: # 数据库连接池类名称
        driver-class-name: com.mysql.cj.jdbc.Driver # 数据库驱动类名
        url: jdbc:mysql://localhost:3306/ds0?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&characterEncoding=utf8 # 数据库url连接
        username: root # 数据库用户名
        password: root # 数据库密码
        xxx: #数据库连接池的其它属性
      ds1:
        type:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://localhost:3306/ds1?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&characterEncoding=utf8
          username: root
          password: root
    config:
      props:
        sql:
          show: true # 是否开启SQL显示,默认值: false
          executor:
            size: # 工作线程数量,默认值: CPU核数
          check:
            table:
              metadata:
                enabled: # 是否在启动时检查分表元数据一致性,默认值: false
      sharding:
        binding-tables: # 绑定表规则列表1
        broadcast-tables: #广播表规则列表1
        default-data-source-name: # 未配置分片规则的表将通过默认数据源定位
        default-database-strategy: # 默认数据库分片策略,同分库策略
          inline:
            sharding-column: user_id
            algorithm-expression: ds$->{user_id % 2}
        default-table-strategy: # 默认表分片策略,同分表策略
        default-key-generator-class-name: # 默认自增列值生成器类名称,缺省使用io.shardingsphere.core.keygen.DefaultKeyGenerator。该类需实现KeyGenerator接口并提供无参数的构造器
        tables: # 数据分片
          t_order:
            # 由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点。用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况
            actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
            database-strategy: # 分库策略 4选一
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
              complex: # 用于多分片键的复合分片场景
                sharding-columns: # 分片列名称,多个列以逗号分隔
                algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
              inline: # 行表达式分片策略
                sharding-column: # 分片列名称
                algorithm-expression: # 分片算法行表达式,需符合groovy语法
              hint: # Hint分片策略
                algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
            table-strategy: # 分表策略
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
                complex: # 用于多分片键的复合分片场景
                  sharding-columns: # 分片列名称,多个列以逗号分隔
                  algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
                inline: # 行表达式分片策略
                  sharding-column: # 分片列名称
                  algorithm-expression: # 分片算法行表达式,需符合groovy语法
                hint: # Hint分片策略
                  algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
            key-generator-column-name: # 自增列名称,缺省表示不使用自增主键生成器
            key-generator-class-name: # 自增列值生成器类名称,缺省表示使用默认自增列值生成器。该类需提供无参数的构造器
            logic-index: # 逻辑索引名称,对于分表的Oracle/PostgreSQL数据库中DROP INDEX XXX语句,需要通过配置逻辑索引名称定位所执行SQL的真实分表
          t_order_item:
            # 由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点。用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况
            actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
            database-strategy: # 分库策略
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
              complex: # 用于多分片键的复合分片场景
                sharding-columns: # 分片列名称,多个列以逗号分隔
                algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
              inline: # 行表达式分片策略
                sharding-column: # 分片列名称
                algorithm-expression: # 分片算法行表达式,需符合groovy语法
              hint: # Hint分片策略
                algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
            table-strategy: # 分表策略
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
                complex: # 用于多分片键的复合分片场景
                  sharding-columns: # 分片列名称,多个列以逗号分隔
                  algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
                inline: # 行表达式分片策略
                  sharding-column: # 分片列名称
                  algorithm-expression: # 分片算法行表达式,需符合groovy语法
                hint: # Hint分片策略
                  algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
        master-slave-rules: # 读写分离
          ds0: # 主从数据源的名称
            master-data-source-name: # 主库数据源名称
            slave-data-source-names: # 从库数据源名称列表
            load-balance-algorithm-class-name: # 从库负载均衡算法类名称。该类需实现MasterSlaveLoadBalanceAlgorithm接口且提供无参数构造器
            load-balance-algorithm-type: # 从库负载均衡算法类型,可选值:ROUND_ROBIN,RANDOM。若`load-balance-algorithm-class-name`存在则忽略该配置
          ds1: # 主从数据源的名称
            master-data-source-name: # 主库数据源名称
            slave-data-source-names: # 从库数据源名称列表
            load-balance-algorithm-class-name: # 从库负载均衡算法类名称。该类需实现MasterSlaveLoadBalanceAlgorithm接口且提供无参数构造器
            load-balance-algorithm-type: # 从库负载均衡算法类型,可选值:ROUND_ROBIN,RANDOM。若`load-balance-algorithm-class-name`存在则忽略该配置
          map:
            key1: # 用户自定义配置 Key1为用户填
            key2: # 用户自定义配置
        orchestration: # 数据治理
          name: # 数据治理实例名称
          overwrite: # 本地配置是否覆盖注册中心配置。如果可覆盖,每次启动都以本地配置为准
          registry:
            server-lists: # 连接注册中心服务器的列表。包括IP地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181
            namespace: # 注册中心的命名空间
            digest: # 连接注册中心的权限令牌。缺省为不需要权限验证
            operation-timeout-milliseconds: # 操作超时的毫秒数,默认500毫秒
            max-retries: # 连接失败后的最大重试次数,默认3次
            retry-interval-milliseconds: # 重试间隔毫秒数,默认500毫秒
            time-to-live-seconds: # 临时节点存活秒数,默认60秒
分类
Java 大数据 笔记

初识Sharding-JDBC 4.0

昨天(1月14日)ShardingSphere 4.0.0 发布。发布说明:ShardingSphere 4.0.0 发布,ShardingSphere 四周年贺礼

基于4.0版简单写了个Demo,主要是测试数据分片,读写分离,数据脱敏。

数据分片

数据分片应该是Sharding-JDBC最核心的功能。主要是根据自定义规则解析SQL,把数据放到不同库表中,从不同库表中查询,组装数据并返回最终结果。这种水平分片的方
式相对于垂直分片,它不再将数据根据业务逻辑分类,而是通过某个字段(或某几个字段),根据某种规则将数据分散至多个库或表中,每个分片仅包含数据的一部分。数
据分片的核心概念。

分类
Java 笔记

JVM 性能调优监控工具

现实企业级Java应用开发、维护中,有时候我们会碰到下面这些问题:

  • OutOfMemoryError,内存不足
  • 内存泄露
  • 线程死锁
  • 锁争用(Lock Contention)
  • Java进程消耗CPU过高
  • ……

这些问题在日常开发、维护中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源),但能够理解并解决这些问题是Java程序员进阶的必备要求。本文将对一些常用的JVM性能调优监控工具进行介绍,希望能起抛砖引玉之用。