Mr. Kin's Blog

计算机知识分享/软件应用讲解

1   数组和字符串

1.1   数组

  • 集合的定义:由一个或多个确定的元素所构成的整体。
  • 集合的特性:
    • 集合里的元素类型不一定相同
    • 集合里的元素没有顺序
  • 列表(又称线性列表)的定义:是一种数据项构成的有限序列,即按照一定的线性顺序,排列而成的数据项的集合。
    • 列表的概念是在集合的特征上形成的,它具有顺序,且长度是可变的。
    • 列表最常见的表现形式:数组和链表
      • C++和Java中,数组中的元素类型必须保持一致。
      • Python数组叫list,元素类型可以不同,具有更多高级功能。
    • 特殊类型的列表:栈和队列
  • 列表和数组的区别
    • 数组
      • 数组有索引,用来标识每项数据在数组中的位置,且在大多数编程语言中,索引是从 0 算起的。
      • 数组中的元素在内存中是连续存储,且每个元素占用的相同大小内存。
    • 列表
      • 列表没有索引
      • 列表中的元素在内存中可能彼此相邻,也可能不相邻。例如链表。

1.2   数组的操作

对于数组,计算机会在内存中为其申请一段连续的空间,并且会记下索引为 0 处的内存地址

  • 读取元素:读取数组中的元素,是通过访问索引的方式来读取的,索引一般从 0 开始。寻找索引为2的元素,实际就是在索引为0的元素内存地址上偏移+2得到新地址的元素。
    • 时间复杂度:O(1)
  • 查找元素:由于只保存了索引为 0 处的内存地址,因此需要从数组开头逐步向后查找。
    • 时间复杂度:O(N)
  • 插入元素
    • 末尾插入:只需要一步(根据数组的长度和位置计算出需插入元素的内存地址插入即可)。
    • 中间插入:需要在数组中腾出空间,才能继续操作插入(这种操作,更推荐使用链表)。
  • 删除元素:与插入元素类似
    • 末尾删除:只需要一步
    • 中间删除:删除中间元素后,后面的元素需要对该位置进行操作
    • 时间复杂度:O(N)。数组长度N,例如删除第一个元素,总步骤数:1+(N-1)=N。(1为删除操作,N-1为移动操作)

1.3   字符串

字符串是由字符串数组形成的。

2   参考文献

[1] 数组和字符串[EB/OL]. https://leetcode.cn/leetbook/detail/array-and-string/.

“程序设计类教学辅助教学平台”(Programming Teaching Assistant,亦简称 PTA)(依稀记得以前这玩意叫PAT),面向高校和社会的程序自动评测、开放式的教学辅助平台。

练习代码文件的仓库链接:点击跳转

难点题解主要参考PAT(tiny656)和[PAT(枝桠)]

基础编程题目集PTA平台

函数题

6-1 简单输出整数PTA平台

简单的for循环运用

6-2 多项式求值PTA平台

先罗列多项式值,分析构成规律,再去考虑如何编写逻辑。(当年我是傻乎乎分开两个for循环处理,因此导致会导致部份用例运行超时)

6-3 简单求和PTA平台

for循环中应为i<N,注意main函数最后赋值的下标,即需要保持和main函数中for循环的条件一致。(当年是挺傻乎乎的)

6-4 求自定类型元素的平均PTA平台

for循环中应为i<N,注意main函数最后赋值的下标,即需要保持和main函数中for循环的条件一致。

6-5 求自定类型元素的最大值PTA平台

for循环中应为i<N,注意main函数最后赋值的下标,即需要保持和main函数中for循环的条件一致。

第一个MaxNum应该设为数组里的元素。如果设为0的话,当元素全为负数时,没法输出最大值。(也不知道我当年是怎么想出这种傻乎乎的逻辑)

1   docker的基础命令操作

命令功能注释
docker ps列出当前正在运行的容器
docker ps -a列出所有容器(包括已停止的容器)
docker logs container_name查看指定容器的日志
docker inspect container_name/image获取指定容器或镜像的详细信息
docker exec -it container_name /bin/bash进入指定容器的交互式终端-i: 交互式操作
-t: 终端
-it:以交互式终端运行容器,例如 docker exec -it container_name bash
docker stop container_name停止一个或多个容器
docker rm container_name删除一个或多个容器
docker rmi image-name:tag删除一个或多个镜像不加tag则会删除所有
docker run image-name --name container_name -d启动一个新的容器并运行命令
docker start container_name启动已停止的容器
docker restart container_name重启一个容器
docker version显示 Docker 客户端和守护进程的版本信息
docker network ls列出所有 Docker 网络
docker volume ls列出所有 Docker 卷
docker images ls列出本地存储的所有镜像
docker compose -f docker-compose.yml up -d启动多容器应用(从 docker-compose.yml 文件)-d:后台运行容器,例如 docker run -d ubuntu
docker compose down停止并删除由 docker-compose 启动的容器、网络等
docker info显示 Docker 系统的详细信息
docker stats显示容器的实时资源使用情况

2   使用apt仓库为Debian安装docker

2.1   添加Docker的官方GPG密钥

1
2
3
4
5
6
apt update
apt install ca-certificates -y
install -m 0755 -d /etc/apt/keyrings
# 可能下载会出现ssl验证错误,多重复执行几次wget下载就能成功下载
wget https://download.docker.com/linux/debian/gpg -O /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc

2.2   添加Docker的官方仓库

1
2
3
4
5
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian \
$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
tee /etc/apt/sources.list.d/docker.list > /dev/null
apt update

2.3   安装Docker

1
apt install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

2.4   验证Docker版本

1
2
docker -v
docker version

2.5   修改Docker镜像源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<EOF
{
"registry-mirrors": [
"https://docker.1ms.run",
"https://docker.mybacc.com",
"https://dytt.online",
"https://lispy.org",
"https://docker.xiaogenban1993.com",
"https://docker.yomansunter.com",
"https://aicarbon.xyz",
"https://666860.xyz",
"https://docker.zhai.cm",
"https://a.ussh.net",
"https://hub.littlediary.cn",
"https://hub.rat.dev",
"https://docker.m.daocloud.io"
]
}
EOF

2.6   重启相关服务

1
2
systemctl daemon-reload
systemctl restart docker

3   Docker创建应用

3.1   搭建DataEase

请提前为宿主机安装好Docker以及配置好镜像源,这里不作介绍。

3.1.1   下载DataEase部署脚本。

最新的DataEase V1.x部署脚本并解压(本文示例为v1.18.27版本)。

dataease-release-v1.18.27.tar.gzdataease-v1.18.27-online.tar.gz这两个文件数据完全一致,随意下载,本人解压并比对过文件哈希值。

v2.x开源社区版不支持创建用户,代码层面写死只有一个admin账户,若有用户管理的需求,可以不用考虑v2.x版本或者考虑商业版的v2.x。

3.1.2   修改配置文件install.conf

安装模式模式修改为local,端口这些自行根据需求改,如下配置文件是修改为8100。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
# 基础配置
## 安装目录
DE_BASE=/opt
## Service 端口
DE_PORT=8100
## 部署及运行模式,可选值有 local、simple、cluster,分别对应 本地模式、精简模式、集群模式
DE_ENGINE_MODE=local
## docker 网段设置
DE_DOCKER_SUBNET=172.19.0.0/16
## docker 网关 IP
DE_DOCKER_GATEWAY=172.19.0.1
## Apache Doris FE IP (外部 Doris 此参数无效)
DE_DORIS_FE_IP=172.19.0.198
## Apache Doris BE IP (外部 Doris 此参数无效)
DE_DORIS_BE_IP=172.19.0.199
## 登录超时时间,单位min。如果不设置则默认8小时,也就是480
DE_LOGIN_TIMEOUT=480
## 新建用户初始密码
DE_INIT_PASSWORD=DataEase123456

# 数据库配置
## 是否使用外部数据库
DE_EXTERNAL_MYSQL=false
## 数据库地址
DE_MYSQL_HOST=mysql
## 数据库端口
DE_MYSQL_PORT=3306
## DataEase 数据库库名
DE_MYSQL_DB=dataease
## 数据库用户名
DE_MYSQL_USER=root
## 数据库密码
DE_MYSQL_PASSWORD=Password123@mysql
## 数据库参数
DE_MYSQL_PARAMS="autoReconnect=false&useUnicode=true&characterEncoding=UTF-8&characterSetResults=UTF-8&zeroDateTimeBehavior=convertToNull&useSSL=false&allowPublicKeyRetrieval=true"

# Apache Doris 配置
## 是否使用外部 Apache Doris
DE_EXTERNAL_DORIS=false
## Doris 地址
DE_DORIS_HOST=doris-fe
## Doris 查询连接端口
DE_DORIS_PORT=9030
## Doris http端口
DE_DORIS_HTTPPORT=8030
## Doris 数据库名称
DE_DORIS_DB=dataease
## Doris 用户名
DE_DORIS_USER=root
## Doris 密码
DE_DORIS_PASSWORD=Password123@doris

# Kettle 配置
## 是否使用外部 Kettle - (目前还不支持外部Kettle,除非不需运行Kettle,否则请不要修改此参数)
DE_EXTERNAL_KETTLE=false
## Kettle 服务器地址
DE_CARTE_HOST=kettle
## Kettle 访问端口
DE_CARTE_PORT=18080
## Kettle 用户名
DE_CARTE_USER=cluster
## Kettle 密码
DE_CARTE_PASSWORD=cluster

3.1.2.1   不同安装模式的区别

DE_ENGINE_MODE=local
使用本地模式安装,DataEase 会自带 Doris 与 Kettle 组件,无需再做额外配置,但各组件均为单点,不具备高可用特性。
在此模式下,Excel 数据集、API 数据集以及定时同步的数据默认保存在自带的 Doris 组件中。

DE_ENGINE_MODE=simple
使用精简模式安装,系统不会额外安装 Doris 与 Kettle 组件,提供用户轻量级的应用系统,尤其是对接数据量较小的情况。
在此模式下,Excel 数据集或 API 数据集的相关数据存储在数据引擎中(默认配置自带的 MySQL 组件,用户可在系统管理界面配置数据引擎,数据引擎目前仅支持 MySQL 类型)。
注意:由于精简模式未配置 Kettle 与 Doris,故精简模式不提供定时同步模式。

DE_ENGINE_MODE=cluster
使用集群模式安装,系统不会额外安装 Doris 与 Kettle 组件,但会在系统管理模块提供 Doris 与 Kettle 的链接配置界面(请参考【系统管理】的【系统参数】说明),用户可独立安装 Doris 集群及 Kettle 并配置在 DataEase 中。集群模式下 Excel 数据集,API 数据集以及定时同步的数据通过 Kettle 抽取到 Doris 集群中。
Doris 安装部署可参考:http://doris.incubator.apache.org/zh-CN/
Kettle 安装部署可参考:http://www.kettle.org.cn/

3.1.3   安装DataEase

运行命令安装DataEase,并查看对应docker容器是否正常运行。

1
2
bash ./install.sh
docker ps -a

3.1.4   创建DataEase的踩坑记录

3.1.4.1   doris-be容器状态一直为unhealthy

问题:doris-be容器状态一直为unhealthy,一直在尝试反复启动。docker logs doris-be查看到如下日志输出:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
doris_role:be
DEBUG >>>>>> FE_SERVERS=[fe1:172.19.0.198:9010]
DEBUG >>>>>> BE_ADDR=[172.19.0.199:9050]
DEBUG >>>>>> feIpArray = 172.19.0.198
DEBUG >>>>>> feEditLogPortArray = 9010
DEBUG >>>>>> masterFe = 172.19.0.198:9010
DEBUG >>>>>> be_addr = 172.19.0.199:9050
DEBUG >>>>>> Append the configuration [priority_networks = 172.19.0.0/24] to /opt/apache-doris/be/conf/fe.conf
DEBUG >>>>>> registerMySQL = mysql -uroot -P9030 -h172.19.0.198 -e "alter system add backend '172.19.0.199:9050'"
DEBUG >>>>>> registerShell = /opt/apache-doris/be/bin/start_be.sh &
mysql -uroot -P9030 -h172.19.0.198 -e "show backends" | grep " 172.19.0.199 " | grep " 9050 "
10003 default_cluster 172.19.0.199 9050 -1 -1 -1 NULL NULL false false false 0 0.000 1.000 B 0.000 0.00 % 0.00 % 0.000 {"location" : "default"} java.net.NoRouteToHostException: No route to host (Host unreachable) {"lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} 1
DEBUG >>>>>> The 0 time to register BE node, be_join_status=0
DEBUG >>>>>> run command /opt/apache-doris/be/bin/start_be.sh &
DEBUG >>>>>> registered : 1
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.
ERROR 1105 (HY000) at line 1: errCode = 2, detailMessage = There is no scanNode Backend available.[10003: not alive]
DEBUG >>>>>> The 1 time to check is_alive >>>>>> 1
ERROR 1105 (HY000) at line 1: errCode = 2, detailMessage = There is no scanNode Backend available.[10003: not alive]

可以查看上述日志输出提示Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

原因:Doris作为分布式数据库,对于内存映射数量有要求,Linux系统默认参数值无法满足,例如PVE系统默认的vm.max_map_count=262144

解决方法1:请在运行doris容器的宿主机上,运行sysctl -w vm.max_map_count=2000000命令设置vm.max_map_count内核参数。若宿主机本身也是容器化的虚拟机,例如PVE的LXC容器,可以直接在PVE上运行命令修改参数。

解决方法2:换DataEase v2版本,v2系列不需要部署Doris。

3.1.4.2   在DataEase添加Excel数据集后,预览数据界面无法加载,并一直提示Access denied for user 'root@172.19.0.4'

原因:修改过install.conf的MySQL和Doris的密码都会导致出现该故障。据5939的issue反馈该问题在1.18.23已修复,但本人使用1.18.27版本部署,修改密码仍会出现该问题。

解决方法:不修改install.conf的MySQL和Doris的密码,直接使用模板预设的默认密码完成部署。

4   Docker Desktop(Windows)

4.1   Docker Unexpected error

问题:无法启用Docker Desktop,提示报错Docker Unexpected error

原因:之前有安装并卸载过Docker Desktop。重新安装Docker Desktop有可能触发此问题。

解决方法:

1
2
3
wsl --unregister docker-desktop
wsl --unregister docker-desktop-data
# 运行上面两条命令,然后重新启动Docker Desktop

5   参考文献

[1] Docker Unexpected error[EB/OL]. https://github.com/docker/for-win/issues/14034.
[2] Install Docker Engine on Debian[EB/OL]. https://docs.docker.com/engine/install/debian/#install-using-the-repository.
[3] DockerHub 国内加速镜像列表[EB/OL]. https://github.com/dongyubin/DockerHub.
[4] Docker 容器使用[EB/OL]. https://www.runoob.com/docker/docker-container-usage.html.
[5] [Question]配置doris数据源提示错误:Access denied for user 'root@172.19.0.4' (using password: YES)[EB/OL]. https://github.com/dataease/dataease/issues/5939.
[5] 安装模式[EB/OL]. https://dataease.io/docs/v1/installation/installation_mode/#11.

1   数学计算

  • 对于指数函数来说底数不能为负数,而对于代数运算来说却可以为负数。因为n总是表示正整数,底数为负数是可以的,这个式子仍然是有限次代数运算的极限
  • 乘除法的计算本质:计算过程中的错位相加是为了保证各行的小数点位置相同,实际就是保证各个数字的权重相同。

2   生活琐事

当花费大量时间却无法解决一个问题时,若非紧急状态,建议先将该问题放一边。等到放松或者忙完另外一件事情甚至于明天再重新去思考解决这个问题。

3   生活记录

  • 灭蟑螂:洗衣服+饭+白糖。
  • 去打印店,一定得输出PDF再打印。
  • 肠粉容易导致胃胀气。
  • 不要买大豆油,加热有腥臭味。买花生油。
  • 湖南人fh不分,弗兰银/湖兰人/胡建人。
  • 出门在外吃饭,看大货车司机。
  • 学生票要取纸票,得刷磁条才能享受优惠,否则检票时会面临补票的问题。
  • 四六级口语分两天,笔试一天(上午四,下午六)。
  • 2021花呗弹窗说需上报征信。
  • 京东白条的注销,需要下载京东金融白条>设置>账户安全>注销白条用户>继续注销,或者直接在京东金融客服,输入注销白条,可以直接跳转。
  • 信用卡(透支信用贷款),小额消费贷款(多笔记录不利于征信)

4   医学

  • 睡眠一定要规律,否则生物钟不好调整适应,会造成人体免疫力下降。
  • 关于外伤伤口的处理:生理盐水清洗伤口即可,剩下等身体自动修复。消毒可以用碘伏。P.S.切忌使用紫药水,不仅致癌,还会形成结痂无法观察伤口。
  • 烫伤疼痛明显:冷水冲洗30分钟。

4.1   药品清单

  • 蚬壳胃散-海螵蛸
  • 小柴胡冲剂
  • 复方黄芩片-肇庆新湖制药
  • 复方穿心莲-广州白云山和记黄埔中药
  • 氯芬黄敏片-广州白云山明兴制药
  • 复方氨酚烷胺片(感冒)
  • 维C银翘片-国药集团德众(佛山)药业有限公司
  • 腹可安片-广州白云山一药业
  • 正露丸(喇叭丸)-大幸药品
  • 桂林西瓜霜-桂林三金药业
  • 冰硼散(微毒性)
  • 维C片
  • 维B片
  • 盐酸小襞碱片
  • 枸地氯雷他定片-扬子江药业集团
  • 脾氨肽口服冻干粉
  • 攻肤之王-广州泽上堂生物科技有限公司

1   基础

ffmpeg -i input.avi -metadata key=value -codec copy output.avi
ffprobe "file" #查看metadata

1.1   查询命令

1
2
3
4
5
ffmpeg.exe -h -> help.txt # 打印帮助文件
ffmpeg -h encoder=libx264
ffmpeg -hwaccels # 查看支持的硬件加速选项
ffmpeg -codecs | grep cuvid # 查看cuvid提供的GPU编解码器(grep为Linux命令)
ffmpeg -f lavfi -i nullsrc -c:v nvenc -gpu list -f null none_output (-hwaccel_device N 和 -gpu N)

1.2   硬件编码

1
2
3
4
5
6
-c:v h264_nvenc -rc:v vbr_hq -cq:v 19 -b:v 2500k -maxrate:v 5000k -profile:v high
ffmpeg -hwaccel cuvid -c:v h264_cuvid -i <input> -c:v h264_nvenc -b:v 2048k -vf scale_npp=1280:-1 -y <output>
ffmpeg -vsync 0 -hwaccel cuvid -c:v h264_cuvid -i input.mp4 -c:a copy -c:v h264_nvenc -b:v 5M output.mp4
-hwaccel cuda -hwaccel_output_format cuda
ffmpeg -vsync 0 –hwaccel cuvid -c:v h264_cuvid –resize 1280x720 -i input.mp4 -c:a copy -c:v h264_nvenc -b:v 5M output.mp4
ffmpeg -r 30 -f image2 -i %4d.jpg -r 30 -c:v h264_nvenc -profile:v high -level 5.1 -preset slow -rc:v vbr_hq -cq:v 19 -b:v 2500k -maxrate:v 5000k ../output.mp4

2   实战案例

2.1   合并多个视频文件

1
2
3
4
5
6
ffmpeg -f concat -i filelist.txt -c copy output.mp4
# filelist.txt
# file '1.flv'
# file '2.flv'
# file '3.flv'
# file '4.flv'

3   常见知识点

  • yuv420p的p代表planar
  • k和K都是表示$10^3/2^{10}$,K之后的只有大写,比如M表示$10^6/2^{20}$(详见Expression Evaluation
  • bufsize配合maxrate参数使用可控制编码时的码率波动,例如264的cbr恒定码率编码中,同时设置b:v maxrate minrate bufsize(前三个都是设置为1M,bufsize设置为50k,最后编码出来的码率波动最小996kbit/s,1001kbit/s)。bufsize is the "rate control buffer",即码率控制缓存。作用是每次达到bufsize大小,都是计算并调整到average平均码率。
  • filter chain之间的filter用分号,普通的filter之间用逗号
  • aac编码:网络视频128k;高质量192k

4   常见错误/警告

4.1   时间戳问题

常见于 Non-monotonous DTS in output stream

完美的解决方式暂未找到,网上的解决方法基本为:先转为 mts 文件,后转为 mp4。(本质是重新编码,确实可以解决时间戳错误,但也会劣化音质和画质。)

4.2   deprecated pixel format used, make sure you did set range correctly

This is just a warning, not an error. You can safely ignore it when using ffmpeg from the command-line, and you don't have to fix anything.

The warning occurs when converting from a yuv420p source to JPEG, which makes ffmpeg choose yuvj420p as output format. That format is required for writing files with the mjpeg encoder.

These two pixel formats have different color ranges: the former is from 16–235, which is "limited range" (also called "MPEG" range), the latter defaults to 0–255, which is "full range". The warning is meant for using FFmpeg as a library in your own code (like here). See also the comments on this question.

R.I.P