> 文章列表 > 分享Python采集66个PHP整站程序源码,总有一款适合您

分享Python采集66个PHP整站程序源码,总有一款适合您

分享Python采集66个PHP整站程序源码,总有一款适合您

分享Python采集66个PHP整站程序源码,总有一款适合您
 

Python采集的66个PHP整站程序源码下载链接:https://pan.baidu.com/s/1-5ZOBNbYfhvuuLbinAdlYA?pwd=boti 
提取码:boti

 

在线挂QQ站美化版 V1.0

EQPHP 中文免费开源TPS-MVC框架 V1.0

素描网源码 V1.3

建站宝盒站群版 V1.2

WordPress仿Mujiazi主题 V3.7.1

PHPnow Template Engine V1.0

建站之星(Sitestar)网站建设系统 V2.7 Build1012

MyQEE开源PHP多项目及模块化开发框架 V3.0 RC1

大格网页设计工作室全套源码 V2.0

旭东多语言企业网站管理系统XDcms V3.0.1

傻瓜式免费自助建站系统

城市订餐网站源码 V1.0

物流公司企业网站源码 V1.0

XYCMS企业建站系统 V1.7 PHP版

虎门服装批发网全站下载 V1.0

稻草人企业站 V1.1.5 UTF8

飞马网络企业网站系统 V2.0

import os
import shutilimport requests
from bs4 import BeautifulSoupfrom framework.base.BaseFrame import BaseFrame
from sprider.access.SpriderAccess import SpriderAccess
from sprider.plugin.SpriderTools import SpriderTools
from sprider.plugin.UserAgent import UserAgentclass CNSourceCoder:base_url = "http://www.downcode.com"max_pager = 10  # 每页的数量 影响再次采集的起始位置.word_image_count = 5  # word插入图片数量 同时也是明细采集图片和描述的数量page_end_number = 0word_content_list = []haved_sprider_count = 0  # 已经采集的数量sprider_detail_index = 0  # 明细方法采集的数量 累加

TayCMS免费企业建站系统 For PHP V1.8

Yourphp企业网站管理系统 V3.0 Build 20130712

Nitc企业模版免费下载 V3.2

软件工作室程序 V0.1

大型体育即时比分建站系统 V3 Bulid20130720

鱼福CMS企业网站系统 V2.0

仿易创5.2商业模板整站系统 V5.2

Win8风格企业网站 V1.0.1

WordPress淘宝客IShopping主题 V3.0

齐博B2B电子商务系统V1.0模板 绿色模板

软件工作室程序 V1.01

DESTOON4.0企业模板 皮革城模板 V4.0

DESTOON2.5企业模板 绿色模板 V2.5

阿西网站推广系统 V5.29

DESTOON4.0企业模板 橙色模板 V4.0

公主婚纱礼服馆整站 V1.0

海纳淘宝客程序 V2.0 Bulid0618

老人手机淘宝客程序 V1.0.1

玻璃轩整站程序帝国CMS V1.00

Htaccess文件在线生成器V2.0

新版奇闻趣事资讯源码 Dede内核 V2

奇闻屋文章资讯 V1.0 基于Dedecms内核

YCKIT V2013 SP1

爱客开源社区 V1.5.1

傻妞挂Q网整站源码 X2.0

轻量级婚庆网站源码 V1.0

外卖吧 V1.0

PhpFreeChat V2.1.0

X6CMS网站内容管理系统 V2.2

婚纱摄影网站源码(6kzz内核) V1.0

企业SEO数据管理系统 V3.0 全功能版

Drupal V6.28

拓商企业服务网 DT内核 V1.0

关于我们HTML源码 V1.3

12IK开源社区 V1.0

def sprider(self,sprider_name,sprider_count,start_number,pager_number,sprider_type,is_show_browse,root_path,first_column_name,second_column_name,is_record_db):"""http://www.downcode.com/sort/j_1_2_1.shtml:param sprider_name::return:"""self.first_folder_name=sprider_type.upper()self.base_path=root_pathself.first_column_name = first_column_nameself.second_column_name = second_column_nameself.sprider_start_count=start_numberself.is_record_db=is_record_dbBaseFrame().debug("开始采集[源码下载站]" + self.first_folder_name + "源码...")BaseFrame().right("本次采集参数:sprider_count(采集数量):" + str(sprider_count) + "")BaseFrame().right("本次采集参数:sprider_name(采集名称):" + sprider_name + "")sprider_url = self.base_url + "/{0}/{1}_1.shtml".format(self.first_column_name, self.second_column_name)# 根据栏目构建URLBaseFrame().debug("本次采集参数:sprider_url:" + sprider_url)self.second_folder_name = str(sprider_count) + "个" + sprider_name  # 二级目录也是wordTitleself.merchant = int(self.sprider_start_count) // int(self.max_pager) + 1  # 起始页码用于效率采集self.file_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_nameBaseFrame().right("本次采集参数:file_path=" + self.file_path + "")# 浏览器的下载路径self.down_path = self.base_path + os.sep + self.first_folder_name+ os.sep + self.second_folder_name+ "\\\\Temp\\\\"BaseFrame().right("本次采集参数:down_path=" + self.down_path + "")# First/PPT/88个动态PPT模板/动态PPT模板self.save_path = self.base_path + os.sep + self.first_folder_name + os.sep + self.second_folder_name + os.sep + sprider_nameBaseFrame().right("本次采集参数:save_path=" + self.save_path + "")if os.path.exists(self.down_path) is True:shutil.rmtree(self.down_path)if os.path.exists(self.down_path) is False:os.makedirs(self.down_path)if os.path.exists(self.save_path) is True:shutil.rmtree(self.save_path)if os.path.exists(self.save_path) is False:os.makedirs(self.save_path)response = requests.get(sprider_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))response.encoding = 'gb2312'soup = BeautifulSoup(response.text, "html5lib")#print(soup)element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})page_end_number = 1page_end_url = ""page_end_title = soup.find("a", attrs={"title": '最后页'})page_end_url = page_end_title.get("href")if page_end_url is None or page_end_url == "":page_end_number = 1else:page_end_number = (page_end_url.split(".shtml")[0].split("_")[3])self.page_count = self.merchantwhile self.page_count <= int(page_end_number):  # 翻完停止try:if self.page_count == 1:self.sprider_detail(element_list, page_end_number,sprider_count)passelse:if int(self.haved_sprider_count) == int(sprider_count):BaseFrame().debug("sprider采集到达数量采集停止...")BaseFrame().debug("开始写文章...")SpriderTools.builder_word(self.second_folder_name,self.word_content_list,self.file_path,self.word_image_count,self.first_folder_name)SpriderTools.copy_file(self.word_content_list,self.save_path,self.second_folder_name,self.file_path)SpriderTools.gen_passandtxt(self.second_folder_name, self.word_content_list, self.file_path)BaseFrame().debug("文件编写完毕,请到对应的磁盘查看word文件和下载文件!")breaknext_url = self.base_url + "/{0}/{1}_{2}.shtml".format(self.first_column_name,self.second_column_name,self.page_count)response = requests.get(next_url, timeout=10, headers=UserAgent().get_random_header(self.base_url))response.encoding = 'gb2312'soup = BeautifulSoup(response.text, "html5lib")element_list = soup.find_all('div', attrs={"class": 'j_text_sort_a'})self.sprider_detail(element_list, page_end_number,sprider_count)passself.page_count = self.page_count + 1  # 页码增加1except Exception as e:BaseFrame().error("sprider()执行过程出现错误:" + str(e))

八年PHP文件管理器 V2.6.7

仿优美电影网 For 光线CMS

Ecshop仿京东模板2012 V2.7.3

酒业公司网站整站 For Dedecms V5.7

U660版PR查询程序 V1.0

健康知识门户整站 For Dedecms 5.7

易企CMS V1.8

亿网家教网站管理程序 V2.0

PHP达达威客程序(仿猪八戒)

156sj.Com手机游戏站

Phpcms 2008 简体中文 UTF-8版

深喉咙企业网站生成系统Deepthroat V3.7 非集成(开源)版

SUN2008 企业网站管理系统

仿土豆视频网站程序第三期首发

好了就写到这吧~你有时间常去我家看看,我在这里谢谢你啦~~~

我家地址:亚丁号-知识付费平台 支付后可见 扫码付费可见