一. 概述
最近有一个爬虫相关的需求，需要使用 scrapy 框架来爬取数据，所以学习了一下这个非常强大的爬虫框架，这里将自己的学习过程记录下来，希望对有同样需求的小伙伴提供一些帮助。
本文主要从下面几个方面进行介绍：
我的学习过程
需求分析
搭建项目
编写代码实现需求
部署爬虫项目到 SpiderKeeper
二. 我的学习过程
学习一个新的技术，首先就是去阅读它的官方文档，因为官方文档写的是比

【爬虫】从零开始使用 Scrapy

一. 概述
因为学习了 docker 和 k8s ，不管什么项目都想使用容器化部署，一个最主要的原因是，使用容器化部署是真的方便。上一篇文章 【爬虫】从零开始使用 Scrapy 介绍了如何使用 scrapy，如果需要启动或者定时运行 scrapy 项目可以部署如下两个组件：
scrapyd：它本质上就是帮我们执行了 scrapy crawl spidername 这个命令来启动 scrapy 项目

【爬虫】将 Scrapy 部署到 k8s

VCS和Verdi是IC设计中常用的两款开发工具。VCS是Synopsys公司的产品，和大家所熟知的ModeSim一样的都是EDA仿真工具。Verdi是Nocas公司（已经被Synopsys公司收购）的产品，早前的版本叫Debussy，是一款十分优秀的Debug工具。虽然VCS中的DVE也能查看波形和Debug，但是Verdi则显得更专业一些。唯一让很多初学者感到不舒服的就是他们都需要在Linux

Linux下VCS2014和Verdi2015的联合使用

从ffmpeg官网：http://ffmpeg.org/download.html 下载最新的ffmpeg安装包，然后通过如下命令解压：
解压 ffmpeg-*.tar.bz2  文件
进入解压的文件夹
wget https://ffmpeg.org/releases/ffmpeg-4.2.2.tar.bz2
tar jxf ffmpeg-4.2.2.tar.bz2
cd ffmpeg-4.2.2

Linux下安装ffmpeg，视频格式转换

一、根据微软的产品号GUID，调用msi.dll

    class Program
    {
        static void Main(string[] args)
        {
            if (GetProcuct("{GUID}") == INSTALLSTATE.INSTALLSTATE_DEFAULT)
            {
           

C# 检测某版本VC++是否安装

上菜
file_put.html

<form action="" method="post" enctype="multipart/form-data">
{#  这里必须要请求头格式才能把上传文件的对象传过去  enctype="multipart/form-data"#}
    姓名 <input type="text" name="user">
    头像 <input type="f

Ajax（form表单文件上传、请求头之contentType、Ajax传递json数据、Ajax文件上传）

简介
Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine. Node.js uses an event-driven, non-blocking I/O model that makes it lightweight and efficient. Node.js' package ecosystem, np

nodejs基础【持续更新中】

网上有很多步骤， 讲了很多步骤，废话， 其实不如直接看代码， 而且也能直接运行，快速安装：

rm -f /etc/pptpd.conf
rm -f /etc/ppp
arch=`uname -m`
# Download pptpd
-.el6.$arch.rpm ]; then
  echo "pptpd-1.3.4-2.el6.$arch.rpm [found]"
else
  echo "p

在CentOS 6 32/64 上安装 PPTP 方式 VPN 服务

1、背景
公司一个 RocketMQ 集群由4主4从组成，突然其中3台服务器“竟然”在同一时间下线，其监控显示如下：

依次查看三台机器的监控图形，时间戳几乎完美“吻合”，不可思议吧。
2、故障分析
出现问题，先二话不说，马上重启各服务器，尽快恢复集群，降低对业务的影响，接下来开始对日志进行分析。
Java 进程自动退出(rocketmq 本身就是一个java进程)，一种最常见的问题是由于内存溢出

一次 RocketMQ 进程自动退出排查经验分享（实战篇）

原创：微信公众号 码农参上（ID：CODER_SANJYOU），欢迎分享，转载请保留出处。
熟悉Spring的小伙伴们应该都对aop比较了解，面向切面编程允许我们在目标方法的前后织入想要执行的逻辑，而今天要给大家介绍的Java Agent技术，在思想上与aop比较类似，翻译过来可以被称为Java代理、Java探针技术。
Java Agent出现在JDK1.5版本以后，它允许程序员利用agent技术

偷天换日，用JavaAgent欺骗你的JVM

在Qt Charts发布之前， Qt比较著名两个画图插件是 qwt和Qcustom， 其中Qcustom较轻量，只需要在project 中包含qcustomplot.h 和 qcustomplot.cpp 几乎就可以使用。 相比Qcustom，qwt功能更为强大，但是它的安装十分麻烦，阻挡了很多人（包括我）的使用。 但是qwt只是对静态图表的表示非常不错，动态曲线性能并不突出。如果只是静态绘图，或

Qt Charts 动态实时绘制各种曲线图

目录
概
主要内容

Samangouei P, Kabkab M, Chellappa R, et al. Defense-GAN: Protecting Classifiers Against Adversarial Attacks Using Generative Models.[J]. arXiv: Computer Vision and Pattern Recognition, 2018