文为你深入解析一款优秀且易用的HTML网页内容提取工具，此项功能能协助用户轻易提取到需要的网页数据。面对市面上琳琅满目的此类产品，我们又该如何从中择优录取？接下来，文章将从九大维度对若干流行的HTML网页内容提取工具进行全面评析，助你迅速挑选出最理想的那一款。

1.功能丰富程度

首先需考虑工具之功能多样性。部分工具仅支持基础文本提取，其他如图片、链接、表格等复杂元素亦可提取。针对个人需求选取更为完善的工具，将有效节约宝贵的时间与精力。

2.提取速度

对于海量网页处理，效率便是关键性的衡量指标之一。倘若选择的提取工具速度过低，必然会使整体流程相当耗费时间精力。因此，在试用或选用任何提取工具时，务必关注其运行速度能否满足您的实际需求。

3.使用难度

网页内容抓取优化应注重操作简易性，以满足用户对快速获取所需信息的诉求。选择具备易学特性的此类软件有助于降低用户在学习和掌握过程中的投入代价。

4.兼容性

在选用工具时应着重考量其适应性，部分工具仅适用于特定种类的页面，而另一些工具则可适应各类网页。若须应对多样格式的页面，选择兼容性优良的工具至关紧要。

5.提取精度

提取效率乃评估HTML网页内容提取工具绩效之主要标准之一。理想的工具应能精准抽取所需资讯，规避无关元素及关键信息的遗漏。

6.扩展性

部分工具配备丰富的拓展性功能，方便按需二次开发。若您有着特定要求，应选取能够满足这一条件的工具。

7.技术支持

优质的技术支持对于面对使用中出现问题时至关重要，故而在选用HTML页面信息提取器时需慎重考虑其技术支持的响应速度与提供的详实用户指南和教程情况。

8.用户口碑

衡量工具质量的主要标准之一即为用户反馈反馈。查阅相关用户的评论与体验信息可以深入了解各类工具的价值。通过使用搜索引擎以及论坛可获取他人对工具的评价意见。

9.价格

最终，定价策略在选择HTML网页内容提取工具时具有重要影响。部分工具提供免费服务，另有部分需购买使用授权。应根据自身财务状况做出明智决策，以避免不必要的奢侈消费。

经过分析总结来看，筛选出一款称心如意的HTML网页内容提取工具并非易事。然而，只要您遵循文中列举的九项指标展开客观评估，综合考虑各类因素，便有望选到最为贴合自身需求的利器。期望本文能为您提供实质性的参考作用!

方差对于单变量选择

# 计算变量的方差
# 如果方差接近于0，也就是该特征的特征值之间基本上没有差异，这个特征对于样本的区分并没有什么用，剔除
from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.1) #默认threshold=0.0
selector.fit_transform(df[numerical_features])

# 查看各个特征的方差,
selector.variances_ ,len(selector.variances_)

# 特征对应方差
all_used_features_dict = dict(zip(numerical_features,selector.variances_ ))
all_used_features_dict

数值特征和目标值之间的相关性

协方差

 如果协方差为正，说明X,Y同向变化，协方差越大说明同向程度越高；

 如果协方差维负，说明X，Y反向运动，协方差越小说明反向程度越高；

 如果两个变量相互独立，那么协方差就是0，说明两个变量不相关。

pearson系数

(1) 相关概念和值大小含义

相关系数也可以看成协方差：一种剔除了两个变量量纲影响、标准化后的特殊协方差。

可以反映两个变量变化时是同向还是反向，如果同向变化就为正，反向变化就为负。由于它是标准化后的协方差，因此更重要的特性来了，它消除了两个变量变化幅度的影响，而只是单纯反应两个变量每单位变化时的相似程度。

假设对于Pearson r相关性，两个变量都应该是正态分布的

pearson数值大小衡量相关性：

0.8-1.0 极强相关 | 0.6-0.8 强相关 | 0.4-0.6 中等程度相关 | 0.2-0.4 弱相关 | 0.0-0.2 极弱相关或无相关

(2) pearson 系数的优缺点：

 优点： 可以通过数值对变量之间相关性衡量，正值代表正相关、负值代表负相关、0代表不相关

 缺点： 没有对变量之间的关系进行提炼和学习，预测其实是学习不同特征之间的组合既关系。只能判别特征之间的线性相关性，如果是非线性相关就不可取。

(3) 适用场景

两个变量之间是线性关系，都是连续数据。

两个变量的总体是正态分布，或接近正态的单峰分布。

两个变量的观测值是成对的，每对观测值之间相互独立

(4) 相关代码

通过numpy

import numpy as np
np.corrcoef([a,b,c,d])

pandas中corr()函数

import matplotlib.pyplot as plt
plt.figure(figsize = (25,25))
#### 传入相关特征即可，输出为所有特征之间相关性
corr_values1 = data[features].corr()
sns.heatmap(corr_values1, annot=True,vmax=1, square=True, cmap="Blues",fmt='.2f')
plt.tight_layout()
plt.savefig('**.png',dpi=600)
plt.show()

利用scipy，输出两个值，第一个值为相关系数，第二个值越小代表两个之间相关性越高

import numpy as np
from scipy.stats import pearsonr
### 计算两个特征之间相关性，同时也可以计算特征和标签之间相关性
print("Lower noise", df(x, x1))

(5) 通过pearson系数删选特征

  5.1 通过和label之间的相关性之间，通过设置阈值删选

def del_corr_fea(df,cor_df):
    """
    df是原始数据，cor_df为通过pd.corr()获得特征间相关性矩阵，
    """
    cor_df = cor_df.reset_index()
    feature_col = [col for col in df.columns if col not in drop_fea_list]
    drop_fea = []
    for i,f in enumerate(feature_col):
        if f not in drop_fea:
            cor_df1 = cor_df[i+1:][[f,'index']]
            cor_df_sel = cor_df1[cor_df1[f]>=0.8]
            cor_df_sel.sort_values(by=[f],ascending = False,inplace = True)
            del_name = cor_df_sel['index'].values.tolist()[1:]
            drop_fea = del_name + drop_fea
    return drop_fea
drop_list_no_p = del_corr_fea(data_end,corr_values_fea_fea)

5.2 首先计算不同特征之间相关性，然后通过相关性取出相似性最高的几个特征，并保留和label间系数最高的特征

 def del_corr_fea(df,cor_df,cor_df_with_label):
    """
    df是原始数据，cor_df为通过pd.corr()获得特征间相关性矩阵，cor_df_with_label和标签之间相关性
    """
    cor_df = cor_df.reset_index()
    cor_df = cor_df.rename(columns = {'index':'feature'})
    feature_col = [col for col in df.columns if col not in drop_fea_list]
    drop_fea = []
    for i,f in enumerate(feature_col):
        if f not in drop_fea:
            print(len(drop_fea))
            cor_df1 = cor_df[i:][[f,'feature']]
            cor_df_sel = cor_df1[cor_df1[f]>=0.8]
            sort_corr_df = cor_df_sel.merge(cor_df_with_label,on = 'feature',how = 'left')
            ## p 更改为相关性矩阵的列名
            sort_corr_df.sort_values(by=['p'],ascending = False,inplace = True)
            del_name = sort_corr_df['feature'].values.tolist()[1:]
            drop_fea = del_name + drop_fea
    return drop_fea
drop_feature_list = del_corr_fea(data_end,corr_values_fea_fea,d_df)
len(drop_feature_list)

通过模型输出特征重要性（包括数值型和类别）

(1) 最简单方式（回归模型，分类可以去官网查 https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html#sklearn.feature_selection.SelectKBest.set_params）

from sklearn.feature_selection import SelectKBest,f_regression

print(data_end.shape)

sk=SelectKBest(f_regression,k=300)
# drop_columns 为不需要判别的列名
new_train=sk.fit_transform(data_end.drop(drop_columns,axis = 1),data_end['label'].astype('int'))
print(new_train.shape)

# 获取对应列索引
select_columns=sk.get_support(indices = True)
print(select_columns)
print(data_end.columns[select_columns])

(2) 通过树模型输出特征重要性，一般选用Xgboost、Lightgbm等，这里采用lightgbm示例。

ubmed按照简单的关键词检索出来的文献实在太多了，如果想查询其中中IF在1-2分或者是2-3分的文献，直接按照分值段进行文献筛选该如何操作呢？

PubMed按照影响因子筛选文献其实真的非常简单，小编手把手带你操作一次，看一次包会

操作步骤

步骤1：打开PubMed主页，点击页面右上角登录或注册（如下图）

步骤2：登陆PubMed账号后，点击右上方的My NCBI

步骤3：点击打开页面右下方的Manage Filters

步骤4：点击左上方 Create custom filter

步骤5：之后会出现以下窗口，接下来需要在框内输入影响因子检索式。（下一步会说明如何获取检索式）

步骤6：如何获取影响因子检索式？

影响因子检索式自动生成网站--Scholarscope

网址：

https://www.scholarscope.cn/tools/issn.html

这个网站可以直接输入分值段，自动生成影响因子检索式。影响因子检索式生成以后直接复制到第五步中的公式输入框内。

步骤7：添加影响因子检索式

比如说你想要添加1-2分的文献影响因子：

在Scholarscope自动生成检索式，粘贴检索式完成后，在Save filter as 中输入名称，如“1≤ IF ≤2”，(这里需要对筛选的分值段命名，方便以后筛选），点击save filter。

（其它分值段方式一样）

步骤8：各个分值段的检索式粘贴完成后，勾选上设置好的影响因子，这样就已经设置好了。

显示如下图所示：

步骤9：在PubMed随意挑选自己想要的影响因子的文献

接下来，打开PubMed主页，我们就可以快速进行检索，随意挑选自己想要的影响因子的文献。

显示如下图所示：

（这里我只做示范设置了两个分值，具体需要哪些分值按照自己需求添加即可）

注意：

在PubMed搜索文献以后，文献下方可以自动显示“影响因子、引用次数、全文下载链接、AMA格式引用”，以下蓝字文章里面有讲过如何让PubMed直接显示影响因子，这里就不多说了。

想让pubmed直接显示影响因子，我用两个最简单的方法搞定了！

附加学习

如何在PubMed中用字段检索进行精准找文献？

除了设置文献影响因子筛选公式，快速对检索内容进行影响因子分段外，“检索字段标识符（也就是字段检索）”方法也是查找文献常见方式之一，可以做到快，狠，准找到目标文献。

下面蓝字文章中我们列举了在pubmed 中检索文献的多个检索技巧。有小伙伴私聊说对自然语言检索中的第6点“检索字段标识符”不理解怎么操作，这里详细举例说明一下。

字段限制检索就是采用字段限制方式进行检索。

其规则是：

检索词1[字段标识] + 逻辑运算符 + 检索词2[字段标识]

并列条下系统默认空格为AND检索，运算符需大写。（一定要是输入法大写状态下的空格）

常用检索字段描述和标识：

（可快速查找某期刊/某年份发表的某类疾病/某方向的论文）

Title[ti]：篇名字段

Abstract[ab]：摘要字段

Authorname[au]：文章的作者，检索格式：姓+名。如："smith ja"[au]

Journaltitle[ta]：期刊名称，如：Medical Oncology [ta]

Dateof publication[dp]: 出版年份，如: 1993[dp]

MESH[mh]:主题词， 如：DNA[mh]

Language[la]：论文出版语种。语种检索时可只输入前3个字母，如：chi[la]=chinese[la]；English[lang]=eng[la]

举两个检索例子：

例1：查找作者为crick在1993年发表的有关DNA方面的文献

对应的检索式：DNA[mh] crick[au] 1993[dp]

例2：查找BMC cancer上中国人发表的文章

对应的检索式：BMC cancer[ta] Chinese[Affiliation]

基本上关于PubMed的各种使用技巧都已经讲完了，大家可以稍微整合一起学习一下，学以致用才是学习的最终目的。

文末福利【SCI英语科研论文写作视频+PPT],私信回复关键字母“SCI英文”即可领取！（一定要私信哦~点击我的头像进入主页面，点击右上角私信按钮）即可免费领取~

更多资源也可私信获得