本文面向对大规模文档去重感兴趣，且对散列 (hashing) 、图 (graph) 及文本处理有一定了解的读者。

老话说得好: 垃圾进，垃圾出 (garbage in, garbage out)，把数据处理干净再输入给模型至关重要，至少对大语言模型如此。虽然现在一些明星大模型 (严格来讲，它们很多是 API) 的存在让大家恍惚产生了数据质量好像不那么重要了的错觉，但事实绝非如此。
在 BigSc

BigCode 背后的大规模数据去重

在 PyTorch 中训练大语言模型不仅仅是写一个训练循环这么简单。我们通常需要将模型分布在多个设备上，并使用许多优化技术以实现稳定高效的训练。Hugging Face  Accelerate 的创建是为了支持跨 GPU 和 TPU 的分布式训练，并使其能够非常容易的集成到训练代码中。 Transformers 还支持使用 Trainer API 来训练，其在 PyTorch 中提供功能完整的训练

如何使用 Megatron-LM 训练语言模型

一, Feign是自带断路器的

feign.hystrix.enabled=true  是否开启熔断器
hystrix.command.default.execution.timeout.enabled=true  是否开启超时熔断, 如果为false, 则熔断机制只在服务不可用时开启
hystrix.command.default.execution.isolation.thread.time

FeignClient中使用熔断机制hystrix

转载自:  https://blog.csdn.net/cnh294141800/article/details/53768464
Paxos协议超级详细解释+简单实例
 


Basic-Paxos算法(可以先看后面的实际例子再看前面的具体介绍部分）
Paxos算法的目的
Paxos算法的目的是为了解决分布式环境下一致性的问题。
多个节点并发操纵数据，如何保证在读写过程中数据的一致性，并且解决方

Paxos协议超级详细解释+简单实例

引言
在Java应用程序的开发和维护过程中，了解和分析Java堆信息是一项重要的任务。本文将介绍如何获取Java堆信息的不同方法，并提供一些分析堆信息的实用技巧。
获取Java堆信息的方法
Java虚拟机（JVM）工具：
使用jcmd命令：在命令行中运行jcmd <pid> GC.heap_info，其中<pid>是Java进程的进程ID。这个命令会输出与Java堆有关的信息，包括堆的使用情况、对

如何获取和分析Java堆信息

从ffmpeg官网：http://ffmpeg.org/download.html 下载最新的ffmpeg安装包，然后通过如下命令解压：
解压 ffmpeg-*.tar.bz2  文件
进入解压的文件夹
wget https://ffmpeg.org/releases/ffmpeg-4.2.2.tar.bz2
tar jxf ffmpeg-4.2.2.tar.bz2
cd ffmpeg-4.2.2

Linux下安装ffmpeg，视频格式转换

一、根据微软的产品号GUID，调用msi.dll

    class Program
    {
        static void Main(string[] args)
        {
            if (GetProcuct("{GUID}") == INSTALLSTATE.INSTALLSTATE_DEFAULT)
            {
           

C# 检测某版本VC++是否安装

试验环境：visual studio 2015，Qt5.7.1 
  
1.在自己建立的qt项目的Resource目录下新建一个文本文件，改名为*.qss 
例如下面随便编写一个qss，试验运行后是否生效 
mainwindow.qss 
QDockWidget{
	border: 20px solid rgb(255,0,0);
	background: blue;
}
QWidget{
	bo

Qt加载qss文件

这个问题是面试腾讯光子的时候面试官提的，当时的问题是：sort自定义comp函数能用>=吗？当时的我想comp函数只要函数签名是对的应该就没问题吧，于是答了可以。面试结束后总感觉哪里不对，耿耿于怀，几番搜寻也只找到说要保证严格弱序，原理网上基本却没有。只能求助于源码了，打开<<STL源码剖析>>，看了一遍sort的实现，还是没能找出问题所在（这里要给自己提个醒，思考得不够）。我不服，又在网上搜索了

std::sort为什么保证严格弱序？

华为路由交换综合实验 ---IA阶段

目录
华为路由交换综合实验 ---IA阶段
实验拓扑
实验需求
实验步骤
1. 根据拓扑合理规划IP地址以及VLANIf地址
测试连通性
2. PC1 不能和PC2互通,实现各部门独立
SW1 上配置接口所属VLAN，及VLANIF
SW2上配置接口所属VLAN，及VLANIF
3. PC1 不能访问PC2 ，定义ACL
PC1 和PC2 实现了不能互通,策

华为路由交换综合实验 ---IA阶段

简介
Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine. Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient. Node.js' package ecosystem, np

nodejs基础【持续更新中】

网上有很多步骤， 讲了很多步骤，废话， 其实不如直接看代码， 而且也能直接运行，快速安装：

rm -f /etc/pptpd.conf
rm -f /etc/ppp
arch=`uname -m`
# Download pptpd
-.el6.$arch.rpm ]; then
  echo "pptpd-1.3.4-2.el6.$arch.rpm [found]"
else
  echo "p