Author Archives: guoguo

COS视频去音频处理脚本

手写了个python+ffmpeg的视频去音轨的脚本,多线程。 支持ctrl+关闭程序 相对完善的统计数据

Posted in 未分类 | Leave a comment

containerd启动容器报错

报错信息 系统 原因 解决

Posted in 小技巧 | Leave a comment

vmware虚拟机配置共享

环境: OS:CentOS-7-x86_64-Minimal-2009.iso 内核版本:kernel-ml-5.18.15-1.el7.elrepo.x86_64 虚拟机平台:VMware® Workstation 16 Pro 虚拟机平台版本:16.2.3 build-19376536 注意:不需要安装vmware-tools,vmware-tools不兼容kernel,无法配置目录共享

Posted in 小技巧 | Leave a comment

SSH登录Vmware虚拟机Linux服务器慢问题

现象: 每次通过ssh登录机器都特别慢,大约30秒,甚至更长 环境: OS:CentOS-7-x86_64-Minimal-2009.iso 虚拟机平台:VMware® Workstation 16 Pro 虚拟机平台版本:16.2.3 build-19376536 解决:

Posted in 小技巧 | Leave a comment

移动终端网络接入

1.1 终端接入网络 1.1.1 移动终端接入网络有如下的几种情况 终端设备在属地,终端设备通过基站,接入属地的网络 终端设备在国内漫游时,移动设备会漫游连接到当地的网络,联通和电信则需要漫游回属地的网络 终端设备在国外漫游时,需要漫游回属地的网络 1.1.2 基站接入分析 移动终端通过基站接入移动运营商网络,终端与基站之间是数据链路层,不涉及网络层(IP)和传输层(TCP),终端设备的IP地址是由运营商分配的,在切换基站时一般不会引起IP地址的变化。 有以下几种情况: 当设备进行重启、飞行模式切换等时,设备会重新发起接入,这时IP地址会发生改变 设备在同一区域内切换基站的过程中,如果没有发生断网情况下,即没有重新接入,IP地址是不会变化的 设备在区域间切换基站,比如联通设备从北京到河北,接入由北京联通变成河北联通,IP地址会发生变化 终端设备切换基站一般情况下可在50ms~200ms完成,TCP是基于连接的协议,连接状态由状态机来维护,连接完毕后,双方都会处于established状态,它们之间的连接由各自的IP和TCP的端口唯一标识,即使这个连接没有任何数据,但仍是保持连接状态。TCP的KeepAlive机制用于检测连接死活,一般时间为 7200 s,失败后重试 10 次,每次超时时间 75 s,以释放无效链接。这个时间比切换基站时间要大的多,因此TCP通道在切换基站时,其IP地址一般没有变化,所以基于IP和端口的已建立的TCP连接不会失效。 1.1.3 DNS解析 当前移动 DNS 的现状: 运营商 LocalDNS 出口根据权威 DNS 目标 IP 地址进行 NAT,或将解析请求转发到其他DNS 服务器,导致权威 DNS 无法正确识别运营商的 LocalDNS IP,引发域名解析错误、流量跨网。 域名被劫持的后果:网站无法访问(无法连接服务器)、访问到钓鱼网站等。 … Continue reading

Posted in 未分类 | Leave a comment

用detectron2做识别

config.yaml

Posted in 未分类 | Leave a comment

博客网站搭建

最近把网站迁移到国内的云服务厂商上,之前几次迁移部署都是采用编译安装的方式,非常的不方便,此次采用的是docker方式搭建环境的配置,前端也不再采用nginx,采用了能够自动生成和替换证书的ca#ddy来实现的。 安装workpress 安装docker和docker-compose 编写wordpress的docker-compose.yml文件 本地需要创建mysql和wordpress的目录,docker会把本地创建的目录挂载到docker镜像中,这样mysql的数据和wordpress的配置才会在docker销毁时不会丢失。 启动docker镜像 然后临时打云厂商的防火墙的8000端口,在本地看是docker是否能到安装配置页面,如果可以正常打开,说明wordpress已经安装配置完成,可以使用 docker-compose up -d 转到后台执行,我们现在需要把云厂商的防火墙关闭。 安装配置ca#ddy 编写执行脚本 编写Ca#ddy的配置文件 预创建目录 执行脚本启动服务器,服务启动后我们在本地机器上可以通过配置hosts的方式,连接上去,看是否能打开wordpress的安装页面。 配置证书 我们使用cloudflare的证书,需要先到其官方网站上注册 https://dash.cloudflare.com/login 账号。 接下来我们需要在网站上添加我们的网站 然后到自己的域名服务商修改域名服务器为cloudflare的,等cloudflare检测通过 接下来需要拿到我们的api key,点击cloudflare右上角 “我的个人资料” – “API令牌“ 配置ca#ddy 在服务器 caddy/conf 文件夹下编写文件 caddy.service 文件内容为: 接下来重启ca#ddy 此时用chrome打开网站,查看地址栏左侧是否提示锁的图标,如果不是也不用着急,有可能是域名解析还没有完全切换到新的域名服务器,这需要一定的时间。

Posted in 未分类 | Leave a comment

redis数据结构

数据结构在新版本的Redis中做了优化

Posted in 未分类 | Leave a comment

k8s服务访问

k8s基本网络模型 约法三单 pod之间可以直接通信,无需显式使用NAT接收和地址转换 node与pod之间可以直接通信,无需要明显地址转换 pod可以看到自己的ip跟别人看到它所用的ip是一样的,中间不经过转换 分类 underlay:与Host网络同层 ovrelay:只要与Host网络不冲突,ip可以自由分配 Kubenets Service Service工作原理: 通过kube-proxy设置宿主机iptables规则来实现,kube-proxy通过观察service的创建,然后通过修改本机的iptables规则,将访问service vip的请求转发到真实的Pod上。 基于iptables规则的service的实现,宿主机上有大量Pod时,规则的不断刷新占用大量CPU资源,新的模式:ipvs,通过把规则放到内核态,降低了维护规则的代价 Service的DNS记录:<myservice>.<mynamespace>.svc.cluster.local,访问这条记录时,返回的是Service的VIP或代理Pod的IP地址集合 Pod的DNS记录:<pod_hostname>.<subdomain>.<mynamespace>.svc.cluster.local,注意pod的hostname和subdomain都是在Pod中定义的 集群内访问 环境变量 Headless ServiceclusterIP: None不再提供虚拟IP来负载均衡 集群外访问(外部宿主机访问) NodePort:外部client访问任意一台宿主机的8080端口,就是访问Servicer所代理的Pod的80端口,由接收外部请示请求的宿主机做转发,即client -> nodeIP:nodePort -> serviceVIP:port -> podIp:targetIp LoadBalance:公有云提供的k8s服务自带的loadbalancer做负载均衡和外部流量 的入口 ExternalName:通过ExternalName或ExternalIp给Service挂在一个公有IP或者域名,当访问这个公有IP地址时,就会转发到Service所代理的Pod服务上。类似于软链或快捷方式 ClusterIP:虚拟IP地址,外部网络无法访问,只有k8s内部访问使用。更像是一个伪造的IP网络 仅仅用于Service这个对象,并由k8s管理和分配IP地址 无法被Ping通,没有一个“实体网络对象”来响应 只能结合Service Port组成一个具体的通信端口,单独的ClusterIP不具备通信的基础,并且它们属于k8s集群这样一个封闭的空间 不同Service下的Pod节点在集群间相互访问可以通过ClusterIP Service与Ingress Ingress:全局的、为了代理不同后端Sercie而设置的负载均衡服务,只能工作在7层,而service工作在四层 … Continue reading

Posted in Kubernetes | Tagged , | Leave a comment

k8s三层网络实现

字典 下一跳:如果ip包从主机A发送到主机B,需要经过路由设备X的中转,那么X的IP地址就应该配置为主机A的下一跳地址。 Host-gw模式:将每个 Flannel 子网(Flannel Subnet,比如10.244.1.0/24)的下一跳 ,设置成该子网对应宿主机的IP地址。也就是主机(host)充当这条容器通信路径里的网关(gateway),也就是host-gw的含义;无封装,纯路由,只经过协议栈一次,性能较高 边际网关协议:BGP,Border Gateway Protocol,大规模数据中心维护不同“自治系统”之间路由信息、无中心的路由协议; 它不会在宿主上创建任何网桥设备相当于:每个边界网关上运行着一个小程序,它们会将各自的路由表信息,通过TCP传输给其它边界网关。其它边界网关上的这个小程序,则会对收到的这些数据进行分析,然后把需要的信息添加到自己的路由表。 CNI:与k8s对接的部分 Felix:DeamonSet,wmgm宿主机上插入路由规则,即写入Linux内核的FIB转发信息库,以及维护Calico所需要的网络设备等工作 BIRD:BGP客户端,专门负责在集群里分发路由信息 边际网关:负责把自治系统连接在一起的路由器。它的路由表中有其它自治系统里的主机路由信息; Calico:集群中所有的节点,都是边界路由器,被称为BGP Peer;默认情况下,是一个Node-to-Node Mesh的模式。随着节点的增多,会以N^2的规模快速增长。一般推荐在少于100个节点的集群中 Calico Route Reflector的模式,大集群,它指定一个或几个专门节点,来负责与所有节点建立BGP连接,从而学习全局路由规则,其它节点,只需要给它交换路由信息。 Calico IPIP模式:添加的路由规则10.233.2.0/24 via 192.168.2.2 tunl0,下一跳地址是Node2 IP地址,但发出去包的设备是tunl0(注意,不是flannel UDP模式的tun0,它们的功能是不同的)它是一个IP隧道设备(IP tunnel),IP包进入IP隧道后,被内核IPIP驱动接管。它会将这个IP包直接封装在一个宿主机网络的Ip包中。 Calico IPIP模式: Flannel Host-gw模式 $ ip route … 10.244.1.0/24 via 10.168.0.3 … Continue reading

Posted in Kubernetes | Tagged , | Leave a comment