分类
Java

Java8 Function和BiFunction

Function

  1. Function作为一个函数式接口,主要方法apply接收一个参数,返回一个值
@FunctionalInterface
public interface Function<T, R> {

    /**
     * Applies this function to the given argument.
     *
     * @param t the function argument
     * @return the function result
     */
    R apply(T t);
}
分类
Java 编程

Java8中map和flatmap的共同点和区别

在函数式语言中,函数作为一等公民,可以在任何地方定义,在函数内或函数外,可以作为函数的参数和返回值,可以对函数进行组合。由于命令式编程语言也可以通过类似函数指针的方式来实现高阶函数,函数式的最主要的好处主要是不可变性带来的。没有可变的状态,函数就是引用透明(Referential transparency)的和没有副作用(No Side Effect)。

任何一种函数式语言中,都有map函数与faltMap这两个函数,比如python虽然不是纯函数式语言,也有这两个函数。再比如在jdk1.8之后,也加入了Lambda表达式,自然也支持map函数。

分类
Java 编程

Java8的DateTimeFormatter 和 SimpleDateFormat

DateTimeFormatter 和 SimpleDateFormat

  • DateTimeFormatter 线程安全 ,SimpleDateFormat 非线程安全
  • DateTimeFormatter是Java8提供的新方式
  • 单线程环境下DateTimeFormatter和LocalDateTime的parse性能比SimpleDateFormat的parse性能高
  • 多线程环境下DateTimeFormatter作为共享变量时,大部分情况下性能比SimpleDateFormat高(因为多线程环境的复杂性,此结论不一定准确)
分类
Java Web 软件

高性能对象存储-MinIO

前言

在之前的图床开发中撸主曾使用了分布式文件服务FASTDFS和阿里云的OSS对象存储来存储妹子图。奈何OSS太贵,FASTDFS搭建配置又太繁琐,今天给大家推荐一款极易上手的高性能对象存储服务MinIO 

简介

MinIO 是高性能的对象存储,兼容 Amazon S3 接口,充分考虑开发人员的需求和体验;支持分布式存储,具备高扩展性、高可用性;部署简单但功能丰富。官方的文档也很详细。它有多种不同的部署模式(单机部署,分布式部署)。

为什么说 MinIO 简单易用,原因就在于它的启动、运行和配置都很简单。可以通过 docker 方式进行安装运行,也可以下载二进制文件,然后使用脚本运行。

分类
Java 编程

JAVA 8 stream中的Spliterator简介

Spliterator是在java 8引入的一个接口,它通常和stream一起使用,用来遍历和分割序列。

只要用到stream的地方都需要Spliterator,比如List,Collection,IO channel等等。

我们先看一下Collection中stream方法的定义:

default Stream<E> stream() {
    return StreamSupport.stream(spliterator(), false);
}
default Stream<E> parallelStream() {
    return StreamSupport.stream(spliterator(), true);
}

我们可以看到,不管是并行stream还是非并行stream,都是通过StreamSupport来构造的,并且都需要传入一个spliterator的参数。

好了,我们知道了spliterator是做什么的之后,看一下它的具体结构:

spliterator有四个必须实现的方法,我们接下来进行详细的讲解。

分类
Java

浅谈AutoCloseable接口

一、前言

最近在翻看中间件源码时候发现有些类实现了AutoCloseable接口,这个接口很生疏,所以搜了下资料,学习了下,下面做个总结。

二、AutoCloseable接口由来

从AutoCloseable的注释可知它的出现是为了更好的管理资源,准确说是资源的释放,当一个资源类实现了该接口close方法,在使用try-catch-resources语法创建的资源抛出异常后,JVM会自动调用close 方法进行资源释放,当没有抛出异常正常退出try-block时候也会调用close方法。像数据库链接类Connection,io类InputStream或OutputStream都直接或者间接实现了该接口。

2.1 使用AutoCloseable之前资源管理方式

如上代码创建了两个资源,在try-catch-finally的finally里面进行手动进行资源释放,释放时候还需要进行catch掉异常,这几乎是经典资源使用的方式,那么既然资源管理都是一个套路,那么为何不做到规范里面那?所以AutoCloseable诞生了。

分类
Java

SpringBoot + Sharding-JDBC3.x配置

sharding:
  jdbc:
    datasource:
      names: ds0, ds1 # 数据源名称,多数据源以逗号分隔
      ds0:
        type: # 数据库连接池类名称
        driver-class-name: com.mysql.cj.jdbc.Driver # 数据库驱动类名
        url: jdbc:mysql://localhost:3306/ds0?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&characterEncoding=utf8 # 数据库url连接
        username: root # 数据库用户名
        password: root # 数据库密码
        xxx: #数据库连接池的其它属性
      ds1:
        type:
          driver-class-name: com.mysql.cj.jdbc.Driver
          url: jdbc:mysql://localhost:3306/ds1?useUnicode=true&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC&characterEncoding=utf8
          username: root
          password: root
    config:
      props:
        sql:
          show: true # 是否开启SQL显示,默认值: false
          executor:
            size: # 工作线程数量,默认值: CPU核数
          check:
            table:
              metadata:
                enabled: # 是否在启动时检查分表元数据一致性,默认值: false
      sharding:
        binding-tables: # 绑定表规则列表1
        broadcast-tables: #广播表规则列表1
        default-data-source-name: # 未配置分片规则的表将通过默认数据源定位
        default-database-strategy: # 默认数据库分片策略,同分库策略
          inline:
            sharding-column: user_id
            algorithm-expression: ds$->{user_id % 2}
        default-table-strategy: # 默认表分片策略,同分表策略
        default-key-generator-class-name: # 默认自增列值生成器类名称,缺省使用io.shardingsphere.core.keygen.DefaultKeyGenerator。该类需实现KeyGenerator接口并提供无参数的构造器
        tables: # 数据分片
          t_order:
            # 由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点。用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况
            actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
            database-strategy: # 分库策略 4选一
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
              complex: # 用于多分片键的复合分片场景
                sharding-columns: # 分片列名称,多个列以逗号分隔
                algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
              inline: # 行表达式分片策略
                sharding-column: # 分片列名称
                algorithm-expression: # 分片算法行表达式,需符合groovy语法
              hint: # Hint分片策略
                algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
            table-strategy: # 分表策略
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
                complex: # 用于多分片键的复合分片场景
                  sharding-columns: # 分片列名称,多个列以逗号分隔
                  algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
                inline: # 行表达式分片策略
                  sharding-column: # 分片列名称
                  algorithm-expression: # 分片算法行表达式,需符合groovy语法
                hint: # Hint分片策略
                  algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
            key-generator-column-name: # 自增列名称,缺省表示不使用自增主键生成器
            key-generator-class-name: # 自增列值生成器类名称,缺省表示使用默认自增列值生成器。该类需提供无参数的构造器
            logic-index: # 逻辑索引名称,对于分表的Oracle/PostgreSQL数据库中DROP INDEX XXX语句,需要通过配置逻辑索引名称定位所执行SQL的真实分表
          t_order_item:
            # 由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持inline表达式。缺省表示使用已知数据源与逻辑表名称生成数据节点。用于广播表(即每个库中都需要一个同样的表用于关联查询,多为字典表)或只分库不分表且所有库的表结构完全一致的情况
            actual-data-nodes: ds$->{0..1}.t_order$->{0..1}
            database-strategy: # 分库策略
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
              complex: # 用于多分片键的复合分片场景
                sharding-columns: # 分片列名称,多个列以逗号分隔
                algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
              inline: # 行表达式分片策略
                sharding-column: # 分片列名称
                algorithm-expression: # 分片算法行表达式,需符合groovy语法
              hint: # Hint分片策略
                algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
            table-strategy: # 分表策略
              standard: # 用于单分片键的标准分片场景
                sharding-column: # 分片列名称
                precise-algorithm-class-name: # 精确分片算法类名称,用于=和IN。该类需实现PreciseShardingAlgorithm接口并提供无参数的构造器
                range-algorithm-class-name: # 范围分片算法类名称,用于BETWEEN,可选。该类需实现RangeShardingAlgorithm接口并提供无参数的构造器
                complex: # 用于多分片键的复合分片场景
                  sharding-columns: # 分片列名称,多个列以逗号分隔
                  algorithm-class-name: # 复合分片算法类名称。该类需实现ComplexKeysShardingAlgorithm接口并提供无参数的构造器
                inline: # 行表达式分片策略
                  sharding-column: # 分片列名称
                  algorithm-expression: # 分片算法行表达式,需符合groovy语法
                hint: # Hint分片策略
                  algorithm-class-name: # Hint分片算法类名称。该类需实现HintShardingAlgorithm接口并提供无参数的构造器
        master-slave-rules: # 读写分离
          ds0: # 主从数据源的名称
            master-data-source-name: # 主库数据源名称
            slave-data-source-names: # 从库数据源名称列表
            load-balance-algorithm-class-name: # 从库负载均衡算法类名称。该类需实现MasterSlaveLoadBalanceAlgorithm接口且提供无参数构造器
            load-balance-algorithm-type: # 从库负载均衡算法类型,可选值:ROUND_ROBIN,RANDOM。若`load-balance-algorithm-class-name`存在则忽略该配置
          ds1: # 主从数据源的名称
            master-data-source-name: # 主库数据源名称
            slave-data-source-names: # 从库数据源名称列表
            load-balance-algorithm-class-name: # 从库负载均衡算法类名称。该类需实现MasterSlaveLoadBalanceAlgorithm接口且提供无参数构造器
            load-balance-algorithm-type: # 从库负载均衡算法类型,可选值:ROUND_ROBIN,RANDOM。若`load-balance-algorithm-class-name`存在则忽略该配置
          map:
            key1: # 用户自定义配置 Key1为用户填
            key2: # 用户自定义配置
        orchestration: # 数据治理
          name: # 数据治理实例名称
          overwrite: # 本地配置是否覆盖注册中心配置。如果可覆盖,每次启动都以本地配置为准
          registry:
            server-lists: # 连接注册中心服务器的列表。包括IP地址和端口号。多个地址用逗号分隔。如: host1:2181,host2:2181
            namespace: # 注册中心的命名空间
            digest: # 连接注册中心的权限令牌。缺省为不需要权限验证
            operation-timeout-milliseconds: # 操作超时的毫秒数,默认500毫秒
            max-retries: # 连接失败后的最大重试次数,默认3次
            retry-interval-milliseconds: # 重试间隔毫秒数,默认500毫秒
            time-to-live-seconds: # 临时节点存活秒数,默认60秒
分类
Java 大数据 笔记

初识Sharding-JDBC 4.0

昨天(1月14日)ShardingSphere 4.0.0 发布。发布说明:ShardingSphere 4.0.0 发布,ShardingSphere 四周年贺礼

基于4.0版简单写了个Demo,主要是测试数据分片,读写分离,数据脱敏。

数据分片

数据分片应该是Sharding-JDBC最核心的功能。主要是根据自定义规则解析SQL,把数据放到不同库表中,从不同库表中查询,组装数据并返回最终结果。这种水平分片的方
式相对于垂直分片,它不再将数据根据业务逻辑分类,而是通过某个字段(或某几个字段),根据某种规则将数据分散至多个库或表中,每个分片仅包含数据的一部分。数
据分片的核心概念。

分类
Java 笔记

JVM 性能调优监控工具

现实企业级Java应用开发、维护中,有时候我们会碰到下面这些问题:

  • OutOfMemoryError,内存不足
  • 内存泄露
  • 线程死锁
  • 锁争用(Lock Contention)
  • Java进程消耗CPU过高
  • ……

这些问题在日常开发、维护中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源),但能够理解并解决这些问题是Java程序员进阶的必备要求。本文将对一些常用的JVM性能调优监控工具进行介绍,希望能起抛砖引玉之用。

分类
Java

使用 Java 持久化 API

对应用开发者来说,Java 持久化 APIJava Persistence API(JPA)是一项重要的 java 功能,需要透彻理解。它为 Java 开发人员定义了如何将对象的方法调用转换为访问、持久化及管理存储在 NoSQL 和关系型数据库中的数据的方案。

本文通过构建自行车借贷服务的教程示例来详细研究 JPA。此示例会使用 Spring Boot 框架、MongoDB 数据库(已经不开源)和 Maven 包管理来构建一个大型应用程序,并且构建一个创建、读取、更新和删除(CRUD)层。这儿我选择 NetBeans 11 作为我的 IDE。

此教程仅从开源的角度来介绍 Java 持久化 API 的工作原理,不涉及其作为工具的使用说明。这全是关于编写应用程序模式的学习,但对于理解具体的软件实现也很益处。可以从我的 GitHub 仓库来获取相关代码。

Java: 不仅仅是“豆子”

Java 是一门面向对象的编程语言,自 1996 年发布第一版 Java 开发工具(JDK)起,已经变化了很多很多。要了解其各种发展及其虚拟机本身就是一堂历史课。简而言之,和 Linux 内核很相似,自发布以来,该语言已经向多个方向分支发展。有对社区免费的标准版本、有针对企业的企业版本及由多家供应商提供的开源替代品。主要版本每六个月发布一次,其功能往往差异很大,所以确认选用版本前得先做些研究。

总而言之,Java 的历史很悠久。本教程重点介绍 Java 11 的开源实现 JDK 11。因其是仍然有效的长期支持版本之一。

  • Spring Boot 是由 Pivotal 公司开发的大型 Spring 框架的一个模块。Spring 是 Java 开发中一个非常流行的框架。它支持各种框架和配置,也为 WEB 应用程序及安全提供了保障。Spring Boot 为快速构建各种类型的 Java 项目提供了基本的配置。本教程使用 Spring Boot 来快速编写控制台应用程序并针对数据库编写测试用例。
  • Maven 是由 Apache 开发的项目/包管理工具。Maven 通过 POM.xml 文件来管理包及其依赖项。如果你使用过 NPM 的话,可能会非常熟悉包管理器的功能。此外 Maven 也用来进行项目构建及生成功能报告。
  • Lombok 是一个库,它通过在对象文件里面添加注解来自动创建 getters/setters 方法。像 C# 这些语言已经实现了此功能,Lombok 只是把此功能引入 Java 语言而已。
  • NetBeans 是一款很流行的开源 IDE,专门用于 Java 开发。它的许多工具都随着 Java SE 和 EE 的版本更新而更新。

我们会用这组工具为一个虚构自行车商店创建一个简单的应用程序。会实现对 Customer 和 Bike 对象集合的的插入操作。