项目介绍
业务通过接收URL,对URL中的资源进行下载(支持分片、代理等功能)。服务器存在多个集群,这些集群共同消费一个RabbitMQ,每个集群下载的文件速度和数量取决于当前集群下的机器状态。比如万兆网卡机器的下载速度肯定要远远高于千兆网卡机器的下载速度。同时,不同集群使用docker-swarm进行服务部署,便于管理、维护。
集群情况
A机房
1集群:6台万兆网卡机器
2集群:12台千...
前言
如何白嫖B站的大会员视频?某多多上买一个1天的大会员,然后把想要看的番下载下来,这样就能低价看番了
目前B站的视频下载主要有两种解决方案:
使用外置工具来下载,比如JiJiDown这个下载工具,不过这个下载工具还是有些问题的,还需要大佬们继续打磨。另外,使用外置工具下载都会有封号、封IP的风险,请自行选择!!!
使用B站PC端的视频缓存工具来下载,不过这个缓存的视频都是经过特殊处理...
find命令查询符号链接目录的问题踩坑说明
需求:想查询目录/home/search/logsrvdata下的所有非空的子目录,
解决方案:使用命令find /home/search/logsrvdata -mindepth 1 -maxdepth 1 -type d -not -empty
遇到的问题:返回结果为空,验证是存在非空的子目录的
原因
/home/search/logsrv...
公司内部业务需要将RabbitMQ服务从3.6.16版本升级到4.1.1版本,需要梳理每个版本的主要升级内容,同时记录如何使用RabbitMQ4.1.1版本,以及升级过程中的注意事项。
基本信息
RabbitMQ4.1.1:2025年6月发布
RabbitMQ3.6.16:2018年6月发布
核心架构与存储系统
Khepri元数据存储:RabbitMQ 4.0 引入了 Khepri 作...
插件无法安装使用的问题
使用cursor时,发现WSL插件无法使用,在插件商店中也缺少了很多其他插件
解决方案
在cursor的安装目录找到resources/app/product.json文件
备份文件(防止出现问题)
将文件中的extensionsGallery节点下的内容(全部替换)
12345678910{ "galleryId": &quo...
前记本文记录了Salt的实战及相关经验,需要提前掌握Salt的基础概念等知识点,可以参考《自动化运维工具——Salt(saltstack)基础概念及安装部署》
环境相关配置nodegroups配置
nodegroups被称为“逻辑分组”,支持用户对所有的minion进行分组管理
为什么需要nodegroups举个例子,我有100台服务器,这些服务器上部署的环境如下:
20台WEB服务器
...
Salt(原名saltstack:2020 年更名为 Salt,强调开放生态)是一款开源的基础设施自动化与配置管理工具,由 Salt, Inc.(现为 VMware 旗下产品)开发,主要用于大规模服务器、网络设备、云基础设施的配置管理、任务自动化、远程执行和监控。它通过统一的平台实现对基础设施的集中控制,帮助企业和开发者高效管理复杂环境,降低运维成本,提升部署效率。
官网地址:http...
项目逻辑介绍本项目作为一个常驻后台服务,基于RabbitMQ消息队列构建了持续处理URL资源的流程,整体逻辑以“消息消费-资源处理-数据流转”为主线,具体如下:
首先,项目接收外部输入的 URL,基于该 URL 的特性完成一系列基础配置工作,包括代理策略配置(判断是否需要通过代理访问)、头部信息获取(提取 URL 的头部信息)以及资源类型预判(对 URL 指向的资源进行初步判断,如是否为可...
如果需要了解Mongo的使用方法,可以参考这篇文章:《分布式NoSQL数据库——MongoDB》
前言在使用go语言操作Mongo数据库时,出现了BUG。可是用的都是一套代码,之前的Mongo就没有出现过问题。以下是错误内容:
1err:server at 10.242.225.93:17085 reports wire version 5, but this version of the ...
etcd 是一个分布式、高可用、强一致性的用于配置共享和服务发现的键值(Key-Value)存储系统,由 CoreOS(现属于 Red Hat)开发,最初用于服务发现和配置管理。它设计为轻量级、易部署,支持分布式环境下的数据可靠存储,是云原生生态(如 Kubernetes、Docker Swarm)的核心组件之一。
官方网址:https://etcd.io
github地址:https...