我曾七次鄙视自己的灵魂

知乎上看到的一段话,虽然本人不太喜欢鸡汤文,但是觉得这篇文章说的自己基本上都遇到过,共勉吧。

1
2
3
原文:
给你启发最大的一段话是什么? - Daisy的回答 - 知乎
https://www.zhihu.com/question/28385545/answer/40608814

我曾七次鄙视自己的灵魂:
第一次,当它本可进取时,却故作谦卑;
第二次,当它在空虚时,用爱欲来填充;
第三次,在困难和容易之间,它选择了容易;
第四次,它犯了错,却借由别人也会犯错来宽慰自己;
第五次,它自由软弱,却把它认为是生命的坚韧;
第六次,当它鄙夷一张丑恶的嘴脸时,却不知那正是自己面具中的一副;
第七次,它侧身于生活的污泥中,虽不甘心,却又畏首畏尾。

Tesseract分享

本分享基于tesseract4.x

认识Tesseract

项目主页:https://github.com/tesseract-ocr/tesseract

Tesseract的OCR引擎最先由HP实验室于1985年开始研发,至1995年时已经成为OCR业内最准确的三款识别引擎之一。然而,HP不久便决定放弃OCR业务,Tesseract也从此尘封。

数年以后,HP意识到,与其将Tesseract束之高阁,不如贡献给开源软件业,让其重焕新生--2005年,Tesseract由美国内华达州信息技术研究所获得,并求诸于Google对Tesseract进行改进、消除Bug、优化工作。

识别

识别前处理

调整尺寸

Tesseract对于dpi >= 300的图片有更好的识别效果。所以在识别之前将图片调整到合适的尺寸有助于提高识别效果。下图为识别图片调整尺寸前后的识别效果对比,可以看出图片放大之后,识别效果有明显的提升。

二值化

二值化就是将图像中灰度值大于某个临界灰度值的像素点设置为灰度最大值,灰度值小于某个临界灰度值的像素点设置为灰度最小值。这样图像中就只会出现黑和白两种颜色。合理的二值化能够减少被识别图像中的干扰因素,对于提升识别效果也是有很大的帮助的。例如下图,在二值化之前图片是有水印的,二值化之后能将水印直接去掉。

图片切割

很多情况下我们要识别的图片中文字的排版并不是我们想要的样子,有很多无用的信息,并且排版也不利于tesseract去识别。

简单切割

例如下图,我们要从图片中识别出违章信息,包括违章的时间、地点、原因、罚了多少钱、扣了多少分。如果直接拿原图去进行识别,假设所有的字都是别正确,那么这些字的排版也是不是我们最终想要的样子,并且图片中有很多的信息是我们不需要的。所以,可以在识别前分别将图片中时间、地点、原因、金额、分数分别切出多张图,将其他无用的信息都剔除掉。这样做的好处一是单行文字识别对tesseract很友好,二是针对时间、金额、分数这些数字内容可以针对性的使用数字语言库进行识别来提高识别率。

多行、多列切割

图片旋转

如果图片中的文字是倾斜的,会导致Tesseract的行数据分割不准确,严重影响ocr的效果,所以在识别之前可以先旋转图片,使文字保持水平。

命令号调用识别

命令行使用手册

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
➜  bin ./tesseract --help-extra
Usage:
./tesseract --help | --help-extra | --help-psm | --help-oem | --version
./tesseract --list-langs [--tessdata-dir PATH]
./tesseract --print-parameters [options...] [configfile...]
./tesseract imagename|imagelist|stdin outputbase|stdout [options...] [configfile...]

OCR options:
--tessdata-dir PATH Specify the location of tessdata path.
--user-words PATH Specify the location of user words file.
--user-patterns PATH Specify the location of user patterns file.
-l LANG[+LANG] Specify language(s) used for OCR.
-c VAR=VALUE Set value for config variables.
Multiple -c arguments are allowed.
--psm NUM Specify page segmentation mode.
--oem NUM Specify OCR Engine mode.
NOTE: These options must occur before any configfile.

Page segmentation modes:
0 Orientation and script detection (OSD) only.
1 Automatic page segmentation with OSD.
2 Automatic page segmentation, but no OSD, or OCR.
3 Fully automatic page segmentation, but no OSD. (Default)
4 Assume a single column of text of variable sizes.
5 Assume a single uniform block of vertically aligned text.
6 Assume a single uniform block of text.
7 Treat the image as a single text line.
8 Treat the image as a single word.
9 Treat the image as a single word in a circle.
10 Treat the image as a single character.
11 Sparse text. Find as much text as possible in no particular order.
12 Sparse text with OSD.
13 Raw line. Treat the image as a single text line,
bypassing hacks that are Tesseract-specific.

OCR Engine modes:
0 Legacy engine only.
1 Neural nets LSTM engine only.
2 Legacy + LSTM engines.
3 Default, based on what is available.

识别效果展示

效果如下图所示,对于这种排版整齐、文字清晰、大小合适的图片,直接使用官方提供的中文语言库,识别效果是很好的,下图就做到了100%正确识别。所以一个合适的输入图片,对于提高识别的正确率是有很大的帮助的,识别前图片的预处理就显得尤为重要。

识别后处理

识别之后有些词能看出明显无语义的错误,可以再做一下替换,例如下面的词。

1
2
3
4
匕京=北京
交又=交叉
东潮=东湖
...

训练

对于一些特殊的字体,使用Tesseract自带的识别库,识别效果并不是那么理想。所以我们可以训练自己的识别库。例如下图的手写字体,我们对比下使用官方提供的chi_sim库和我训练的chi_my库的识别效果。

很明显,我自己训练的识别库能够100%准确的识别出图片中的文字,那么我们接下来看下如何去训练自己的识别库。

jTessBoxEditor是一个第三方工具,借助这个工具能够很方便的去训练一个自己的字库。jTessBoxEditor下载地址:https://sourceforge.net/projects/vietocr/files/jTessBoxEditor/ 我接下来的介绍中所使用的版本为jTessBoxEditorFX-2.1.0。jTessBoxEditor其实是对Tesseract命令的GUI封装,该工具其实最终也是调用的Tesseract相关的命令来完成训练工作。

基于图片训练

根据图片生成box文件

下面介绍下上图标注的5个步骤

  1. tesseract的安装目录,在这个目录下可以找到tesseract等可执行文件。
  2. 需要训练的图片所在的路径。
  3. 所要训练的语言名称,这个可以自己取名,我这里叫做:chi_my
  4. Bootstrap Languange,在生成box文件的时候Tesseract会先根据这里指定的语言识别下,虽然这里识别的会有很多的错误,但是也能帮我们减少一定的工作量。
  5. 这里选择Make Box File Only,因为生成的box文件可能会有错误,我们后面还会在进行一次编辑,所以这里先只生成box文件。

在jTessBoxEditor下面的输出中我们可以看到,我们最终执行的命令其实是:

1
/Users/gaoyoubo/lib/tesseract/bin/tesseract train.png train -l chi_sim batch.nochop makebox

编辑box文件

在生成box文件之后,我们可以使用jTessEditor文件打开查看下box文件。如下图:

我们对照着生成的box文件查看一下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
轲 69 17 165 72 0
轲 159 17 193 72 0
他 199 16 261 72 0
放 268 12 384 75 0
士 1040 0 1040 0 0
3 416 13 474 71 0
, 1040 0 1040 0 0
正 534 15 625 72 0
如 631 12 694 75 0
收 729 19 759 72 0
轲 753 17 825 72 0
轲 819 17 853 72 0
他 859 16 968 72 0
李 969 17 980 33 0
。 996 17 1011 30 0

可以看出box文件其实就是描述了图片中的每个字所在的位置,格式为:

1
字 x坐标 y坐标 宽度 高度

当然我们使用命令生成的box文件是有很多错误的,接下来就需要使用jTessBoxEditor来编辑box文件,调整文字、xy坐标、宽高来准确的标注图片中的每个字。调整完成的结果如下图:

完成训练

在完成box文件的编辑之后就可以使用box文件进行训练了,如下图:

我们这里需要选择Train with Existing Box,进行训练,训练过程中具体使用了哪些命令,都可以在控制台中查看。训练完成之后会在Training Data目录下生成有一个tessdata文件夹,文件夹文件夹中有个chi_my.tessdata文件就是我们的训练结果。我们需要将这个文件copy到%TESSERACT_HOME%/share/tessdata就可以使用了。

基于字体训练

字体各式各样,很多情况下我们在识别图片中文字的时候可能由于字体问题,导致识别并不准确。所以就有为某种字体单独训练识别库的需求。对于根据字体进行训练jTessBoxEditor也做了很好的支持。

如下图,我们输入想要训练的文字,然后选择字体就能生成相应的图片和box文件了。

生成结果如下:

有了box文件之后,我们的识别库训练就可以参照上面的步骤了。

参考文档

How to build tesseract 4 beta on macOS

转载这篇文章之后找到了官方的文档,建议官方文档,官方文档描述更全面。官方文档地址:https://github.com/tesseract-ocr/tesseract/wiki/Compiling

1
2
3
4
brew info tesseract

tesseract: stable 3.05.01 (bottled), HEAD
OCR (Optical Character Recognition) engine

The result of recognition on Chinese - Simplified is a little bit terrifying.

I noticed that it added a new neural network system based on LSTMs after 4.0.0+

But it need to be build from source code on macOS.

Thankfully, the manul is quit specify on their README.md

Install dependencies

1
2
3
4
5
brew install automake autoconf autoconf-archive libtool
brew install pkgconfig
brew install icu4c
brew install leptonica
brew install gcc

Compile

1
2
3
4
5
6
git clone https://github.com/tesseract-ocr/tesseract/
cd tesseract
./autogen.sh
./configure CC=gcc CXX=g++ CPPFLAGS=-I/usr/local/opt/icu4c/include LDFLAGS=-L/usr/local/opt/icu4c/lib
make -j
make install

Their best trained modes, download the language chi_sim.traineddata and put it under tesseract/4.0.0.1/tessdata/

Usage

1
2
tesseract image.png image -l chi_sim
cat image.txt

OK, it is still terrible under the Song typeface font. It need to be trained a new model by myself.

文章转载自:http://artwalk.github.io/2018/05/06/How-to-build-tesseract-4-beta-on-macOS/

JavaCV分享

JavaCV是什么

JavaCV 是一款开源的视觉处理库,基于GPLv2协议,对各种常用计算机视觉库封装后的一组jar包,封装了OpenCV、ffmpeg、videoInput…等计算机视觉编程人员常用库的接口。

maven引用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
<properties>
<javacpp.version>1.4.2</javacpp.version>
<!-- 这里要根据自己的平台选择不同的依赖 -->
<!--<javacpp.platform.dependencies>linux-x86_64</javacpp.platform.dependencies>-->
<javacpp.platform.dependencies>macosx-x86_64</javacpp.platform.dependencies>
</properties>
<dependencies>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv</artifactId>
<version>${javacpp.version}</version>
<exclusions>
<exclusion>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>*</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>opencv</artifactId>
<version>3.4.2-${javacpp.version}</version>
</dependency>
<dependency>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>ffmpeg</artifactId>
<version>4.0.1-${javacpp.version}</version>
</dependency>
<dependency>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>ffmpeg</artifactId>
<version>4.0.1-${javacpp.version}</version>
<classifier>${javacpp.platform.dependencies}</classifier>
</dependency>
</dependencies>

提取视频中的图片

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
/**
* 从视频中将每一帧的图片提取出来
*
* @param video
* @return
* @throws FrameGrabber.Exception
*/
public static List<BufferedImage> grab(File video) throws Exception {
try (FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(video.getPath())) {
grabber.start();

List<BufferedImage> images = Lists.newArrayList();
Frame frame;
while ((frame = grabber.grabImage()) != null) {
images.add(Java2DFrameUtils.toBufferedImage(frame));
}
return images;
}
}

图片合成视频

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
private static class VideoRecorder implements Closeable {
private FFmpegFrameRecorder recorder;

public VideoRecorder(String output, int width, int height) throws FrameRecorder.Exception {
recorder = new FFmpegFrameRecorder(output, width, height);
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
recorder.setFormat("mp4");
recorder.setFrameRate(FPS);
recorder.setAudioBitrate(192000);
recorder.setSampleRate(44100);
recorder.setAudioChannels(2);
recorder.start();
}

public void addFrame(BufferedImage image) throws FrameRecorder.Exception {
Frame frame = Java2DFrameUtils.toFrame(image);
recorder.record(frame, avutil.AV_PIX_FMT_ARGB);
}

public void addAudio(File audioFile) throws FrameGrabber.Exception, FrameRecorder.Exception {
if (audioFile == null || !audioFile.exists()) {
return;
}
try (FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(audioFile)) {
grabber.start();
Frame frame;
while ((frame = grabber.grabSamples()) != null) {
recorder.recordSamples(frame.sampleRate, frame.audioChannels, frame.samples);
}
}
}

@Override
public void close() throws IOException {
recorder.close();
}
}

Java图片处理工具类

这段代码是我四年前写的,当时的使用场景为使用tesseract做图片的预处理。功能包含图片二值化、移除杂色、横向切分、水平切分等。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
import java.awt.Color;
import java.awt.Image;
import java.awt.Toolkit;
import java.awt.image.BufferedImage;
import java.awt.image.ColorModel;
import java.awt.image.MemoryImageSource;
import java.awt.image.PixelGrabber;
import java.util.ArrayList;
import java.util.List;

/**
* @author Gao Youbo
* @since 2014-05-29 14:34:13
*/
public class ImageUtils {

public static class SplitItem {

private int x;
private int w;
private int y;
private int h;

public int getX() {
return x;
}

public void setX(int x) {
this.x = x;
}

public int getW() {
return w;
}

public void setW(int w) {
this.w = w;
}

public int getY() {
return y;
}

public void setY(int y) {
this.y = y;
}

public int getH() {
return h;
}

public void setH(int h) {
this.h = h;
}

}


/**
* 图片纵向切分(切分为列)
*
* @param image
* @param minWidth 每个汉字的最小宽度,如果汉字的最小宽度小于该参数,那么认为系统将一个汉字截断了
* @return
*/
public static List<BufferedImage> splitLengthwaysWithMinWidth(BufferedImage image, int minWidth) {
if (minWidth < 0) {
minWidth = 0;
}
List<BufferedImage> subImgs = new ArrayList<>();
int width = image.getWidth();
int height = image.getHeight();
int startX = 0;
int endX = 0;
boolean start = false;
boolean end = false;
for (int x = 0; x < width; ++x) {
boolean blank = isXBlank(image, x);
if (!start) { //如果是白色
int space = spaceX(image, x);
x = x + space;
startX = x;
endX = x;
start = true;
}
if (start && !blank) {
endX = x;
}
int wordLength = endX - startX;
if (start && blank && wordLength > 0) {
// 汉字长度小于设定长度,那么认为这不是一个完成的汉字,而是将左右结构的汉字切分成了两份
if (wordLength < minWidth) {
int space = spaceX(image, x);
x = x + space;
} else {
end = true;
endX = x;
}
}
if (start && end && wordLength > 0) {
BufferedImage subImage = image.getSubimage(startX, 0, (endX - startX), height);
subImgs.add(subImage);
start = false;
end = false;
}
}
return subImgs;
}

/**
* x轴上的所有点是空白的(白色的)
*
* @param image
* @param x
* @return
*/
private static boolean isXBlank(BufferedImage image, int x) {
int height = image.getHeight();
for (int y = 0; y < height; y++) {
int rgb = image.getRGB(x, y);
if (isBlack(rgb)) {
return false;
}
}
return true;
}

/**
* 图片纵向切分(切分为列)
*
* @param image
* @param minGap 文字之间的最小间隙,如果间隙文字之间的间隙小于或等于该参数,那么认为该间隙为一个汉字上的正常间隙。主要处理左右结构的一些汉字,例如:”北、川、外...“
* @return
*/
public static List<BufferedImage> splitLengthways(BufferedImage image, int minGap) {
if (minGap < 0) {
minGap = 0;
}
List<BufferedImage> subImgs = new ArrayList<>();
int width = image.getWidth();
int height = image.getHeight();
List<Integer> weightlist = new ArrayList<>();
for (int x = 0; x < width; ++x) {
int count = 0;
for (int y = 0; y < height; ++y) {
if (isBlack(image.getRGB(x, y))) {
count++;
}
}
if (minGap > 0) {
int space = spaceX(image, x);
if (space <= minGap) {
count = count + space;
}
}
weightlist.add(count);
}
List<SplitItem> splitItems = new ArrayList<>();
for (int i = 0; i < weightlist.size(); i++) {
int length = 0;
while (i < weightlist.size() && weightlist.get(i) > 0) {
i++;
length++;
}
if (length > 0) {
int x = i - length;
int w = length;
int y = 0;
int h = height;
SplitItem item = new SplitItem();
item.setX(x);
item.setW(w);
item.setY(y);
item.setH(h);
splitItems.add(item);
}
}
for (SplitItem splitItem : splitItems) {
subImgs.add(image.getSubimage(splitItem.getX(), splitItem.getY(), splitItem.getW(), splitItem.getH()));
}
return subImgs;
}

/**
* X轴上两个字之间的间距
*
* @param image
* @param currentX 当前索引所在的x坐标
* @return
*/
private static int spaceX(BufferedImage image, int currentX) {
int w = image.getWidth();
int h = image.getHeight();
int spaceLength = 0;
for (int x = currentX; x < w; x++) {
boolean space = true;
for (int y = 0; y < h; y++) {
if (isBlack(image.getRGB(x, y))) { //有黑色的,表明非空白
space = false;
break;
}
}
if (space) {
spaceLength++;
} else {
return spaceLength;
}
}
return spaceLength;
}


/**
* y轴上两个字之间的间距
*
* @param image
* @param currentY 当前索引所在的y坐标
* @return
*/
private static int spaceY(BufferedImage image, int currentY) {
int w = image.getWidth();
int h = image.getHeight();
int spaceLength = 0;
for (int y = currentY; y < h; y++) {
boolean space = true;
for (int x = 0; x < w; x++) {
if (isBlack(image.getRGB(x, y))) { //有黑色的,表明非空白
space = false;
break;
}
}
if (space) {
spaceLength++;
} else {
return spaceLength;
}
}
return spaceLength;
}


/**
* 图片横向切分(切分为行)
*
* @param image
* @param minGap 两行之间的最小间隙,如果间隙小于或等于该参数,那么认为没有折行
* @return
*/
public static List<BufferedImage> splitCrosswise(BufferedImage image, int minGap) {
if (minGap < 0) {
minGap = 0;
}
List<BufferedImage> subImgs = new ArrayList<>();
int w = image.getWidth();
int h = image.getHeight();
List<Integer> heightlist = new ArrayList<>();
for (int y = 0; y < h; y++) {
int count = 0;
for (int x = 0; x < w; x++) {
if (ImageUtils.isBlack(image.getRGB(x, y))) {
count++;
}
}
if (minGap > 0) {
int space = spaceY(image, y);
if (space <= minGap) {
count = count + space;
}
}
heightlist.add(count);
}
for (int i = 0; i < heightlist.size(); i++) {
int length = 0;
while (i < heightlist.size() && heightlist.get(i) > 0) {
i++;
length++;
}
if (length > 0) {
int y = i - length;
int x = 0;
int height = length;
int width = w;
BufferedImage bufferedImage = image.getSubimage(x, y, width, height);
subImgs.add(bufferedImage);
}
}
return subImgs;
}

/**
* 图片横向切分(切分为行)
*
* @param image
* @return
*/
public static List<BufferedImage> splitCrosswise(BufferedImage image) {
List<BufferedImage> subImgs = new ArrayList<>();
int w = image.getWidth();
int h = image.getHeight();
List<Integer> heightlist = new ArrayList<>();
for (int y = 0; y < h; y++) {
int count = 0;
for (int x = 0; x < w; x++) {
if (ImageUtils.isBlack(image.getRGB(x, y))) {
count++;
}
}
heightlist.add(count);
}
for (int i = 0; i < heightlist.size(); i++) {
int length = 0;
while (i < heightlist.size() && heightlist.get(i) > 0) {
i++;
length++;
}
if (length > 0) {
int y = i - length;
int x = 0;
int height = length;
int width = w;
BufferedImage bufferedImage = image.getSubimage(x, y, width, height);
subImgs.add(bufferedImage);
}
}
return subImgs;
}

/**
* 删除杂色(图片二值化)
* <p>
* 默认图片中字体颜色为黑色,如果非黑色像素全部替换为白色
*
* @param image
* @return
* @throws java.lang.InterruptedException
*/
public static final BufferedImage removeMotley(BufferedImage image) throws InterruptedException {
int width = image.getWidth();
int height = image.getHeight();
int[] pixels = new int[width * height];
int grey = 100;
PixelGrabber pixelGrabber = new PixelGrabber(image.getSource(), 0, 0, width, height, pixels, 0, width);
pixelGrabber.grabPixels();
ColorModel cm = ColorModel.getRGBdefault();
for (int i = 0; i < width * height; i++) {
int red, green, blue;
int alpha = cm.getAlpha(pixels[i]);
if (cm.getRed(pixels[i]) > grey) {
red = 255;
} else {
red = 0;
}
if (cm.getGreen(pixels[i]) > grey) {
green = 255;
} else {
green = 0;
}
if (cm.getBlue(pixels[i]) > grey) {
blue = 255;
} else {
blue = 0;
}
pixels[i] = alpha << 24 | red << 16 | green << 8 | blue; //通过移位重新构成某一点像素的RGB值
}
//将数组中的象素产生一个图像
Image tempImg = Toolkit.getDefaultToolkit().createImage(new MemoryImageSource(width, height, pixels, 0, width));
image = new BufferedImage(tempImg.getWidth(null), tempImg.getHeight(null), BufferedImage.TYPE_INT_BGR);
image.createGraphics().drawImage(tempImg, 0, 0, null);
return image;
}

/**
* 清除空白部分
*
* @param image
* @return
*/
public static BufferedImage removeSpace(BufferedImage image) {
BufferedImage result = removeTBWhite(image);
return removeLRWhite(result);
}

/**
* 移除上下白色部分(top bottom)
*
* @param image
* @return
*/
public static BufferedImage removeTBWhite(BufferedImage image) {
int width = image.getWidth();
int height = image.getHeight();
int start = 0;
int end = 0;
Label1:
for (int y = 0; y < height; ++y) {
int count = 0;
for (int x = 0; x < width; ++x) {
if (isBlack(image.getRGB(x, y))) {
count++;
}
if (count >= 1) {
start = y;
break Label1;
}
}
}
Label2:
for (int y = height - 1; y >= 0; --y) {
int count = 0;
for (int x = 0; x < width; ++x) {
if (isBlack(image.getRGB(x, y))) {
count++;
}
if (count >= 1) {
end = y;
break Label2;
}
}
}
return image.getSubimage(0, start, width, end - start + 1);
}

/**
* 移除左右白色部分(left right)
*
* @param image
* @return
*/
public static BufferedImage removeLRWhite(BufferedImage image) {
int width = image.getWidth();
int height = image.getHeight();
int start = 0;
int end = 0;
Label1:
for (int x = 0; x < width; ++x) {
int count = 0;
for (int y = 0; y < height; ++y) {
if (isBlack(image.getRGB(x, y))) {
count++;
}
if (count >= 1) {
start = x;
break Label1;
}
}
}
Label2:
for (int x = width - 1; x >= 0; --x) {
int count = 0;
for (int y = height - 1; y >= 0; --y) {
if (isBlack(image.getRGB(x, y))) {
count++;
}
if (count >= 1) {
end = x;
break Label2;
}
}
}
return image.getSubimage(start, 0, end - start + 1, height);
}

/**
* 移除黑色部分
*
* @param img
* @return
*/
public static BufferedImage removeBlack(BufferedImage img) {
int width = img.getWidth();
int height = img.getHeight();
int start = 0;
int end = 0;
Label1:
for (int y = 0; y < height; ++y) {
for (int x = 0; x < width; ++x) {
if (isBlack(img.getRGB(x, y))) {
start = y;
break Label1;
}
}
}
Label2:
for (int y = height - 1; y >= 0; --y) {
for (int x = 0; x < width; ++x) {
if (isBlack(img.getRGB(x, y))) {
end = y;
break Label2;
}
}
}
return img.getSubimage(0, start, width, end - start + 1);
}

/**
* 是否是黑色
*
* @param colorInt
* @return
*/
public static boolean isBlack(int colorInt) {
Color color = new Color(colorInt);
return color.getRed() + color.getGreen() + color.getBlue() <= 100;
}

/**
* 是否是白色
*
* @param colorInt
* @return
*/
public static boolean isWhite(int colorInt) {
Color color = new Color(colorInt);
return color.getRed() + color.getGreen() + color.getBlue() > 100;
}
}

小米手机安装Charles证书

平时使用Charles进行接口抓包,新换小米手机之后发现按照之前的流程安装Charles ssl证书不好使,百度了好久才找到一下解决办法。

  • 使用第三方浏览器(我用的是QQ浏览器)下载.pem 格式的文件
  • 将这个文件放入小米的Download文件夹下
  • 将.pem文件修改为.crt 格式
  • 设置—更多设置—系统安全—加密与凭据—从存储设备安装–选择Download文件夹下的文件
  • Finish~~

javacv使用笔记

使用过程中遇到的异常

异常:Could not initialize class org.bytedeco.javacpp.avutil

1
2
3
4
5
6
7
8
Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.bytedeco.javacpp.avutil
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:274)
at org.bytedeco.javacpp.Loader.load(Loader.java:385)
at org.bytedeco.javacpp.Loader.load(Loader.java:353)
at org.bytedeco.javacpp.avformat$AVFormatContext.<clinit>(avformat.java:2249)
at org.bytedeco.javacv.FFmpegFrameGrabber.startUnsafe(FFmpegFrameGrabber.java:346)
at org.bytedeco.javacv.FFmpegFrameGrabber.start(FFmpegFrameGrabber.java:340)

解决办法:

1
mvn package exec:java -Dplatform.dependencies -Dexec.mainClass=Demo

警告:Warning: data is not aligned! This can lead to a speedloss

出现这个警告是因为ffmpeg要求视频的宽度必须是32的倍数,高度必须是2的倍数,按要求修改下宽高就好了。

使用示例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
import com.google.common.collect.Lists;
import org.apache.commons.io.FileUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.math.NumberUtils;
import org.bytedeco.javacpp.avcodec;
import org.bytedeco.javacpp.opencv_core;
import org.bytedeco.javacpp.opencv_imgcodecs;
import org.bytedeco.javacv.*;

import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.File;
import java.util.Collections;
import java.util.List;

/**
* @author Gao Youbo
* @since 2018-08-15 16:43
*/
public class OpenCVUtils {
public static void main(String[] args) throws Exception {
List<BufferedImage> images = grab(new File("/data/opencv/test.mp4"));
int i = 1;
for (BufferedImage image : images) {
ImageIO.write(image, "jpg", new File("/data/opencv/frame/" + i + ".jpg"));
i++;
}

// grabAudioFromVideo(new File("/data/opencv/test.mp4"), new File("/data/opencv/test.aac"));

List<File> files = Lists.newArrayList(FileUtils.listFiles(new File("/data/opencv/frame/"), new String[]{"jpg"}, false));
Collections.sort(files, (o1, o2) -> {
int i1 = NumberUtils.toInt(StringUtils.substringBefore(o1.getName(), "."));
int i2 = NumberUtils.toInt(StringUtils.substringBefore(o2.getName(), "."));
return Integer.compare(i1, i2);
});
record("/data/opencv/out.mp4", files, new File("/data/opencv/test.aac"), 544, 960);
}

/**
* 将多个图片文件合成视频
*
* @param output 输出文件
* @param images 序列帧图片
* @param audioFile 音频
* @param width 宽
* @param height 高
* @throws Exception
*/
public static void record(String output, List<File> images, File audioFile, int width, int height) throws Exception {
try (FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(output, width, height);
FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(audioFile)) {
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
recorder.setFormat("mp4");
recorder.setFrameRate(30);
recorder.setAudioBitrate(192000);
recorder.setAudioQuality(0);
recorder.setSampleRate(44100);
recorder.setAudioChannels(2);
recorder.start();

OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();
for (File file : images) {
opencv_core.IplImage image = opencv_imgcodecs.cvLoadImage(file.getPath());
recorder.record(converter.convert(image));
opencv_core.cvReleaseImage(image);
}

grabber.start();
Frame frame;
while ((frame = grabber.grabSamples()) != null) {
recorder.setTimestamp(frame.timestamp);
recorder.recordSamples(frame.sampleRate, frame.audioChannels, frame.samples);
}
}
}

/**
* 从视频中将每一帧的图片提取出来
*
* @param video
* @return
* @throws FrameGrabber.Exception
*/
public static List<BufferedImage> grab(File video) throws Exception {
try (FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(video.getPath())) {
grabber.start();

List<BufferedImage> images = Lists.newArrayList();
Frame frame;
while ((frame = grabber.grabImage()) != null) {
images.add(Java2DFrameUtils.toBufferedImage(frame));
}
return images;
}
}

/**
* 从视频中提取出音频
*
* @param video
* @param outputAudio
*/
public static void grabAudioFromVideo(File video, File outputAudio) throws Exception {
try (FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(video);
FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(outputAudio, 1)) {
grabber.start();
recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
recorder.start();

Frame frame;
while ((frame = grabber.grab()) != null) {
if (frame.audioChannels == 1) {
recorder.recordSamples(frame.sampleRate, frame.audioChannels, frame.samples);
}
}
}
}

}

图片合成视频简单的封装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
private static class VideoRecorder implements Closeable {
private FFmpegFrameRecorder recorder;

public VideoRecorder(String output, int width, int height) throws FrameRecorder.Exception {
recorder = new FFmpegFrameRecorder(output, width, height);
recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
recorder.setFormat("mp4");
recorder.setFrameRate(FPS);
recorder.setAudioBitrate(192000);
recorder.setAudioQuality(0);
recorder.setSampleRate(44100);
recorder.setAudioChannels(2);
recorder.start();
}

public void addFrame(BufferedImage image) throws FrameRecorder.Exception {
Frame frame = Java2DFrameUtils.toFrame(image);
recorder.record(frame, avutil.AV_PIX_FMT_ARGB);
}

public void addAudio(File audioFile) throws FrameGrabber.Exception, FrameRecorder.Exception {
if (audioFile == null || !audioFile.exists()) {
return;
}
try (FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(audioFile)) {
grabber.start();
Frame frame;
while ((frame = grabber.grabSamples()) != null) {
recorder.recordSamples(frame.sampleRate, frame.audioChannels, frame.samples);
}
}
}

@Override
public void close() throws IOException {
recorder.close();
}
}

解决maven打包时将不必要的包引入进来的问题

我在实际使用中只用到了ffmpeg,但是打包的时候却将flycapture、libdc1394、libfreenect、artoolkitplus、tesseract…等包都打进来了,这些都是我不需要的,下面贴出我的maven配置示例。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
<properties>
<javacpp.version>1.4.2</javacpp.version>
<!-- 这里要根据自己的平台选择不同的依赖 -->
<!--<javacpp.platform.dependencies>linux-x86_64</javacpp.platform.dependencies>-->
<javacpp.platform.dependencies>macosx-x86_64</javacpp.platform.dependencies>
</properties>
<dependencies>
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv</artifactId>
<version>${javacpp.version}</version>
<exclusions>
<exclusion>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>*</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>opencv</artifactId>
<version>3.4.2-${javacpp.version}</version>
</dependency>
<dependency>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>ffmpeg</artifactId>
<version>4.0.1-${javacpp.version}</version>
</dependency>
<dependency>
<groupId>org.bytedeco.javacpp-presets</groupId>
<artifactId>ffmpeg</artifactId>
<version>4.0.1-${javacpp.version}</version>
<classifier>${javacpp.platform.dependencies}</classifier>
</dependency>
</dependencies>

收藏两首程序员打油诗

1
2
3
4
5
6
7
8
商女不知亡国恨,一天到晚敲代码。
举头望明月,低头敲代码。
洛阳亲友如相问,就说我在敲代码。
少壮不努力,老大敲代码。
垂死病中惊坐起,今天还没敲代码。
生当作人杰,死亦敲代码。
人生自古谁无死,来生继续敲代码。
众里寻他千百度,蓦然回首,那人正在敲代码。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
写字楼里写字间,写字间里程序员;程序人员写程序,又拿程序换酒钱。
酒醒只在网上坐,酒醉还来网下眠;酒醉酒醒日复日,网上网下年复年。
宁愿老死程序间,只要老板多发钱;小车大房不去想,撰个二千好过年。
若要见识新世面,公务员比程序员;一个在天一在地,而且还比我们闲。
别人看我穿白领,我看别人穿名牌;天生我才写程序,臀大近视肩周炎。

年复一年春光度,度得他人做老板;老板扣我薄酒钱,没有酒钱怎过年。
春光逝去皱纹起,作起程序也委靡;来到水源把水灌,打死不做程序员。
别人笑我忒疯癫,我笑他人命太贱;状元三百六十行,偏偏来做程序员。
但愿老死电脑间,不愿鞠躬老板前;奔驰宝马贵者趣,公交自行程序员。
别人笑我忒疯癫,我笑自己命太贱;不见满街漂亮妹,哪个归得程序员。

不想只挣打工钱,那个老板愿发钱;小车大房咱要想,任我享用多悠闲。
比尔能搞个微软,我咋不能捞点钱;一个在天一在地,定有一日乾坤翻。
我在天来他在地,纵横天下山水间;傲视武林豪杰墓,一樽还垒风月山。
电脑面前眼发直,眼镜下面泪茫茫;做梦发财好几亿,从此不用手指忙。
哪知梦醒手空空,老板看到把我训;待到老时眼发花,走路不知哪是家。

小农村里小民房,小民房里小民工;小民工人写程序,又拿代码讨赏钱。
钱空只在代码中,钱醉仍在代码间;有钱无钱日复日,码上码下年复年。
但愿老死代码间,不愿鞠躬奥迪前,奥迪奔驰贵者趣,程序代码贫者缘。
若将贫贱比贫者,一在平地一在天;若将贫贱比车马,他得驱驰我得闲。
别人笑我忒疯癫,我笑他人看不穿;不见盖茨两手间,财权富贵世人鉴。

DelayQueue使用

DelayQueue特性

  • 队列中的元素都必须实现Delayed,元素可以指定延迟消费时长。
  • 实现了BlockingQueue接口,所以他是一个阻塞队列。
  • 本质上是基于PriorityQueue实现的。

贴一段我在实际生产环境中使用到代码

队列管理

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.concurrent.DelayQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

/**
* @author Gao Youbo
* @since 2018-07-26 19:53
*/
public class DelayQueueManager {
private static final Logger LOG = LoggerFactory.getLogger(DelayQueueManager.class);

private String name;
private ExecutorService executor;
private Thread monitorThread;
private DelayQueue<DelayTask<?>> delayQueue; // 延时队列

public DelayQueueManager(String name, int poolSize) {
this.name = name;
this.executor = Executors.newFixedThreadPool(poolSize);
this.delayQueue = new DelayQueue<>();
init();
}

/**
* 初始化
*/
private void init() {
monitorThread = new Thread(() -> {
execute();
}, "DelayQueueMonitor-" + name);
monitorThread.start();
}

private void execute() {
while (true) {
LOG.info("当前延时任务数量:" + delayQueue.size());
try {
// 从延时队列中获取任务
DelayTask<?> delayTask = delayQueue.take();
if (delayTask != null) {
Runnable task = delayTask.getTask();
if (task != null) {
// 提交到线程池执行task
executor.execute(task);
}
}
} catch (Exception e) {
LOG.error(null, e);
}
}
}

/**
* 添加任务
*
* @param id 任务编号
* @param task 任务
* @param time 延时时间
* @param unit 时间单位
*/
public void put(String id, Runnable task, long time, TimeUnit unit) {
long timeout = TimeUnit.MILLISECONDS.convert(time, unit);
long delayTimeMillis = System.currentTimeMillis() + timeout;
delayQueue.put(new DelayTask<>(id, delayTimeMillis, task));
}

/**
* 添加任务
*
* @param id 任务编号
* @param task 任务
* @param delayTimeMillis 延迟到什么时间点
*/
public void putAt(String id, Runnable task, long delayTimeMillis) {
delayQueue.put(new DelayTask<>(id, delayTimeMillis, task));
}

/**
* 根据任务编号删除任务
*
* @param id
* @return
*/
public boolean removeTaskById(String id) {
DelayTask task = new DelayTask(id, 0, null);
return delayQueue.remove(task);
}

/**
* 删除任务
*
* @param task
* @return
*/
public boolean removeTask(DelayTask task) {
return delayQueue.remove(task);
}
}

延迟任务对象

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

import java.util.Objects;
import java.util.concurrent.Delayed;
import java.util.concurrent.TimeUnit;

/**
* @author Gao Youbo
* @since 2018-07-26 19:54
*/
public class DelayTask<T extends Runnable> implements Delayed {
private final String id;
private final long delayTimeMillis; // 延迟到什么时间点执行
private final T task; // 任务

public DelayTask(String id, long delayTimeMillis, T task) {
this.id = id;
this.delayTimeMillis = delayTimeMillis;
this.task = task;
}

public T getTask() {
return task;
}

@Override
public int compareTo(Delayed o) {
DelayTask other = (DelayTask) o;
long diff = delayTimeMillis - other.delayTimeMillis;
if (diff > 0) {
return 1;
} else if (diff < 0) {
return -1;
} else {
return 0;
}
}

@Override
public long getDelay(TimeUnit unit) {
return unit.convert(this.delayTimeMillis - System.currentTimeMillis(), TimeUnit.MILLISECONDS);
}

@Override
public boolean equals(Object o) {
if (this == o) return true;
if (o == null || getClass() != o.getClass()) return false;
DelayTask<?> delayTask = (DelayTask<?>) o;
return Objects.equals(id, delayTask.id);
}

@Override
public int hashCode() {
return Objects.hash(id);
}
}

hexo-client 1.1.3更新

  • 升级markdown编辑器,使用mavonEditor编辑器(https://github.com/hinesboy/mavonEditor)。
  • 修复图片文章列表过长是,切换页面滚动位置丢失的问题。
  • 重构代码,优化调用逻辑和布局层级关系。
  • 升级electron版本到2.0.6。

mac版本下载地址:https://pan.baidu.com/s/1VuJIOoltpsTwnurn9aVQXw