当我们在使用Flink的时候，避免不了要和时间(time)、水位线(watermarks)打交道，理解这些概念是开发分布式流处理应用的基础。那么Flink支持哪些时间语义？Flink是如何处理乱序事件的？什么是水位线？水位线是如何生成的？水位线的传播方式是什么？让我们带着这些问题来开始本文的内容。
Tag: java
一般情况，实现全局唯一ID，有三种方案，分别是通过中间件方式、UUID、雪花算法。
方案一，通过中间件方式，可以是把数据库或者redis缓存作为媒介，从中间件获取ID。这种呢，优点是可以体现全局的递增趋势（优点只能想到这个），缺点呢，倒是一大堆，比如，依赖中间件，假如中间件挂了，就不能提供服务了；依赖中间件的写入和事务，会影响效率；数据量大了的话，你还得考虑部署集群，考虑走代理。这样的话，感觉问题复杂化了
方案二，通过UUID的方式，java.util.UUID就提供了获取UUID的方法，使用UUID来实现全局唯一ID，优点是操作简单，也能实现全局唯一的效果，缺点呢，就是不能体现全局视野的递增趋势；太长了，UUID是32位，有点浪费；最重要的，是插入的效率低，因为呢，我们使用mysql的话，一般都是B+tree的结构来存储索引，假如是数据库自带的那种主键自增，节点满了，会裂变出新的节点，新节点满了，再去裂变新的节点，这样利用率和效率都很高。而UUID是无序的，会造成中间节点的分裂，也会造成不饱和的节点，插入的效率自然就比较低下了。
方案三，基于redis生成全局id策略，因为Redis是单线的天生保证原子性，可以使用原子性操作INCR和INCRBY来实现，注意在Redis集群情况下，同MySQL一样需要设置不同的增长步长，同时key一定要设置有效期，可以使用Redis集群来获取更高的吞吐量
方案四，通过snowflake算法如下：
SnowFlake算法生成id的结果是一个64bit大小的整数，它的结构如下图：
Spring Data Redis 的 RedisTemplate 对 Redis 进行了封装。在对某值调用increment()方法时报错：
redis ERR value is not an integer or out of range
redisTemplate.opsForValue().increment(key);
大家都知道redis序列化是将key，value值先转换为流的形式，再存储到redis中。
RedisTemplate是使用的JdkSerializationRedisSerializer序列化，序列化后的值包含了对象信息，版本号，类信息等，是一串字符串，所以无法进行数值自增操作。
而StringRedisTemplate序列化策略是字符串的值直接转为字节数组，所以存储到redis中是数值，所以可以进行自增操作。
用Java把Flink结果数据下沉到Elasticsearch，执行时执出ElasticsearchSinkFunction is not serializable异常：
The implementation of the provided ElasticsearchSinkFunction is not serializable. The object probably contains or references non-serializable fields.
Elasticsearch默认启动监听的是本地127.0.0.1端口，现需要把服务发布出来，供其他机器访问。修改Elasticsearch配置文件(config/elasticsearch.yml)：
network.host: 0.0.0.0
discovery.seed_hosts: ["0.0.0.0"]启动后报错，如图：
ERROR: [1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]Function
- Function作为一个函数式接口，主要方法apply接收一个参数，返回一个值
@FunctionalInterface
public interface Function<T, R> {
/**
* Applies this function to the given argument.
*
* @param t the function argument
* @return the function result
*/
R apply(T t);
}在函数式语言中，函数作为一等公民，可以在任何地方定义，在函数内或函数外，可以作为函数的参数和返回值，可以对函数进行组合。由于命令式编程语言也可以通过类似函数指针的方式来实现高阶函数，函数式的最主要的好处主要是不可变性带来的。没有可变的状态，函数就是引用透明（Referential transparency）的和没有副作用（No Side Effect）。
任何一种函数式语言中，都有map函数与faltMap这两个函数，比如python虽然不是纯函数式语言，也有这两个函数。再比如在jdk1.8之后，也加入了Lambda表达式，自然也支持map函数。
DateTimeFormatter 和 SimpleDateFormat
- DateTimeFormatter 线程安全 ，SimpleDateFormat 非线程安全
- DateTimeFormatter是Java8提供的新方式
- 单线程环境下DateTimeFormatter和LocalDateTime的parse性能比SimpleDateFormat的parse性能高
- 多线程环境下DateTimeFormatter作为共享变量时，大部分情况下性能比SimpleDateFormat高(因为多线程环境的复杂性，此结论不一定准确)
前言
在之前的图床开发中撸主曾使用了分布式文件服务FASTDFS和阿里云的OSS对象存储来存储妹子图。奈何OSS太贵，FASTDFS搭建配置又太繁琐，今天给大家推荐一款极易上手的高性能对象存储服务MinIO 。
简介
MinIO 是高性能的对象存储，兼容 Amazon S3 接口，充分考虑开发人员的需求和体验；支持分布式存储，具备高扩展性、高可用性；部署简单但功能丰富。官方的文档也很详细。它有多种不同的部署模式（单机部署，分布式部署）。
为什么说 MinIO 简单易用，原因就在于它的启动、运行和配置都很简单。可以通过 docker 方式进行安装运行，也可以下载二进制文件，然后使用脚本运行。
Spliterator是在java 8引入的一个接口，它通常和stream一起使用，用来遍历和分割序列。
只要用到stream的地方都需要Spliterator，比如List，Collection，IO channel等等。
我们先看一下Collection中stream方法的定义：
default Stream<E> stream() {
return StreamSupport.stream(spliterator(), false);
}default Stream<E> parallelStream() {
return StreamSupport.stream(spliterator(), true);
}我们可以看到，不管是并行stream还是非并行stream，都是通过StreamSupport来构造的，并且都需要传入一个spliterator的参数。
好了，我们知道了spliterator是做什么的之后，看一下它的具体结构：
spliterator有四个必须实现的方法，我们接下来进行详细的讲解。