写在最前面※

【关于商品审核时间】

工作日

10:30之前提交审核的，11:00之前审完

15:00之前提交审核的，15:30之前审完

20:00之前提交审核的，20:30之前审完

周末/公共假期

20:00之前提交审核的，20:30之前审完

如果审核遇到问题，请将审核未通过的商品编号发到群里（如：6535408016756310200，可在商品管理中查看），我们会集中为大家处理。

商品前端展示与后台录入内容对照示例：

一、创建商品

点击“商品”—“创建商品”

二、设置产品参数

支付方式：在线支付。目前小店仅支持这一种支付方式

商品URL：（此项选填）可填入淘宝/天猫（其他平台暂不支持）商品链接后，点击获取宝贝详情，自动获取已有宝贝已有淘宝/天猫商品信息

-效果如图【抓取后的信息请认真核对，如有顺序颠倒、图片未能正常抓取 请手动补充调整】

产品标题：准确简洁的描述商品，如：不锈钢真空保温杯，长效保温，支持验货

※如果是虚拟商品，请在标题写清楚【线上发货，无物流信息】

卖点：四个汉字（前端不展示）

商家推荐语：用一句话描述并推荐一下商品的优点，如：大分量雨前龙井茶 （前端不展示）

商品类目：请根据商品属性选择，可参考：类目对应表：https://shimo.im/sheet/AbmrMa54LOgps9qT。不同类目涉及的商品规格信息不同。

商品规格：请按实际情况填写

价格：需不高于市场同类商品价格，并且在后续设置的订单套餐价格范围内

原价：不填

佣金比例：0

运费设置：运费默认为包邮，如果您设置运费的需求，请新建运费模板并选择。

※如何新建运费模板？

1.选择【运费设置】右边的【新建运费模板】

或者进入【物流】-【运费模板】新建运费模板

2.设置模板名称、宝贝地址

模板名称：请根据需求随意设置

宝贝地址：宝贝地址为商家发货地址，请选择商品上线后的实际发货地

3.选择计价方式

按件数计价：选择按件数计价，填写默认运费，如 1件10元，没增加1件，增加运费2元。

按重量计价：选择按件数计价，填写默认运费，如 1kg10元，每增加1kg，增加运费2元。

4.设置指定地区运费

如果有些地区不采用默认运费，需要单独设置。请点击【为指定地区设置运费】，设置特定地区的运费规则。计价方式 与之前选择的计价方式一致。

注意：此项不是必须设置，如统一运费规则，不需要设置此项。

5.点击【提交】完成新增运费模板

三、设置产品主图

主图要求如下：

1.必须上传5张图片

2.图片必须为正方形（长宽比1:1）简易图片裁剪教程：https://jingyan.baidu.com/article/cd4c29793d0a39756f6e6077.html

3.只支持png，jpg，jpeg三种格式的图片

四、产品详情

1.建议将详情内容做成宽度为600的图片后上传，每张图片大小最好控制在1M左右。只支持png，jpg，jpeg三种格式的图片。如需上传动图，请先将图片扩展名改为.jpg。

（修改方式：http://dwz.cn/7XOHP2）【请注意 一定要上传图片！文本形式的产品详情严重影响转化率，提交审核后会被驳回哦！】

2.详情页图片中要说明商品规格重量、特点、优势、使用方法、保质期等，从多角度尽量展示商品的全部细节。文字说明建议做成图片，便于阅读。

3.如无详情，可将主图图片辅以文字说明制作成详情图片，合理排序后上传。

五、订单套餐

1.首先点击“创建商品规格”

-规格名称：可根据产品名称填写

-子规格名称：可根据商品的规格类型填写，如：颜色、套餐组合、图案、瓶、盒等

-子规格选项：可填写商品的具体规格内容，如：商品重量、商品数量、商品尺寸等

【子规格的数量。选项可根据实际情况增加减少】

设置完成后点击确定

2.选择已经保存的规格名称，设置库存价格商品编码

商品编码不展示给用户，可自行设置

单价可以大于或者小于售价，但是必须有一个套餐价格与售价保持一致

库存数量可设置较大数值，防止商品卖光库存不足

六、商品管理

正在售卖商品：已经提交审核正在线上售卖商品可以在这里查看

提交申请商品：已提交审核但仍在审核中的商品可以在这里查看

下架商品：已被下架商品可以在这里查看

封禁商品：违规被封禁处理的商品可以在这里查看

保存为提交商品：完成商品创建，点击了【保存】的商品可以在这里查看，如需给保存商品提交审核 请点击【修改商品】

回收站：已删除商品可以在这里查看

七、商品资质

商品所需相关资质，请查看：【特殊类目商家资质要求】 对照上传。

了解禁止投放商品请查看：【头条小店禁售商品管理规范】

比Python，JavaScript才是更适合写爬虫的语言。原因有如下三个方面：

• JavaScript异步IO机制适用于爬虫这种IO密集型任务。JavaScript中的回调非常自然，使用异步网络请求能够充分利用CPU。
• JavaScript中的jQuery毫无疑问是最强悍的HTML解析工具，使用JavaScript写爬虫能够减少学习负担和记忆负担。虽然Python中有PyQuery，但终究还是比不上jQuery自然。
• 爬取结果多为JSON，JavaScript是最适合处理JSON的语言。

一、任务：爬取用户在Github上的repo信息

通过实例的方式学习爬虫是最好的方法，先定一个小目标：爬取github repo信息。入口URL如下，我们只需要一直点击next按钮就能够遍历到用户的所有repo。

https://github.com/{{username}}?tab=repositories

获取repo之后，可以做什么？

• 统计用户最常使用的语言，统计用户语言使用分布情况统计用户所获取的star数，fork数

二、爬虫双股剑：axios和jQuery

axios是JavaScript中很常用的异步网络请求库，相比jQuery，它更轻量、更专业。既能够用于浏览器端，也可以用于Node。它的语法风格是promise形式的。在本任务中，只需要了解如下用法就足够了：

axios.get(url).then((resp) => {
 请求成功，处理resp.data中的html数据
}).catch((err) => {
 请求失败，错误处理
})

请求之后需要处理回复结果，处理回复结果的库当然是用jQuery。实际上，我们有更好的选择：cheerio。

在node下，使用jQuery，需要使用jsdom库模拟一个window对象，这种方法效率较低，四个字形容就是：笨重稳妥。

如下代码使用jQuery解析haha.html文件

fs = require("fs")
jquery=require('jquery')
jsdom=require('jsdom') //fs.readFileSync()返回结果是一个buffer，相当于byte[] 
html = fs.readFileSync('haha.html').toString('utf8') 
dom= new jsdom.JSDOM(html) 
$=jquery(dom.window) console.log($('h1'))

cheerio只实现了jQuery中的DOM部分，相当于jQuery的一个子集。cheerio的语法和jQuery完全一致，在使用cheerio时，几乎感觉不到它和jQuery的差异。在解析HTML方面，毫无疑问，cheerio是更好的选择。如下代码使用cheerio解析haha.html文件。

cheerio=require('cheerio')
html=require('fs').readFileSync("haha.html").toString('utf8')
$=cheerio.load(html)
console.log($('h1'))

只需20余行，便可实现简单的github爬虫，此爬虫只爬取了一页repo列表。

var axios = require("axios")
var cheerio = require("cheerio")
axios.get("https://github.com/weiyinfu?tab=repositories").then(resp => {
 var $ = cheerio.load(resp.data)
 var lis = $("#user-repositories-list li")
 var repos = []
 for (var i = 0; i < lis.length; i++) {
 var li = lis.eq(i)
 var repo = {
 repoName: li.find("h3").text().trim(),
 repoUrl: li.find("h3 a").attr("href").trim(),
 repoDesc: li.find("p").text().trim(),
 language: li.find("[itemprop=programmingLanguage]").text().trim(),
 star: li.find(".muted-link.mr-3").eq(0).text().trim(),
 fork: li.find(".muted-link.mr-3").eq(1).text().trim(),
 forkedFrom: li.find(".f6.text-gray.mb-1 a").text().trim()
 }
 repos.push(repo)
 }
 console.log(repos)
})

三、更丰富的功能

爬虫不是目的，而是达成目的的一种手段。获取数据也不是目的，从数据中提取统计信息并呈现给人才是最终目的。

在github爬虫的基础上，我们可以扩展出更加丰富的功能：使用echarts等图表展示结果。

要想让更多人使用此爬虫工具获取自己的github统计信息，就需要将做成一个网站的形式，通过搜索页面输入用户名，启动爬虫立即爬取github信息，然后使用echarts进行统计展示。网站肯定也要用js作为后端，这样才能和js爬虫无缝衔接，不然还要考虑跨语言调用。js后端有两大web框架express和koa，二者API非常相似，并无优劣之分，但express更加流行。

如上设计有一处用户体验不佳的地方：当启动爬虫爬取github信息时，用户可能需要等待好几秒，这个过程不能让用户干等着。一种解决思路是：让用户看到爬虫爬取的进度或者爬取过程。可以通过websocket向用户推送爬取过程信息并在前端进行展示。展示时，使用类似控制台的界面进行展示。

如何存储爬取到的数据呢？使用MongoDB或者文件都可以，最好实现两种存储方式，让系统的存储方式变得可配置。使用MongoDB时，用到js中的连接池框架generic-pool。

整个项目用到的库包括：

• express：后端框架
• cheerio+axios：爬虫
• ws：websocket展示爬取过程
• webpack：打包工具
• less：样式语言
• echarts：图表展示
• vue：模板渲染
• jquery：DOM操作
• mongodb：存储数据
• generic-pool：数据库连接池

试用地址：

https://weiyinfu.cn/githubstatistic/search.html​

案例地址：https://github.com/weiyinfu/GithubStatistic

原文链接：https://zhuanlan.zhihu.com/p/53763115