Small分享 http://blog.sciencenet.cn/u/Small 为中国科研增添原动力! 加油!

博文

用代理查文献入门提高完全版

已有 34403 次阅读 2007-7-13 20:12 |个人分类:网络资源

内容摘要:
1.傲游Maxthon中代理的设置
2.代理猎手使用教程
3.代理猎手之验证字符窜
4.代理库思想的应用
5.代理的定位和挖掘
6.名校代理扫描
7.展望
-------------------------------------------------------------

1.傲游Maxthon中代理的设置

按图操作

按此在新窗口打开图片

按此在新窗口打开图片

按此在新窗口打开图片

点击,挂上代理即可

按此在新窗口打开图片

---------------------------------------------------------------------------

2.代理猎手使用教程

软件下载:

http://free.ys168.com/?kersenyao1

相应目录下

(1)代理猎手的设置

代理猎手.exe为绿色软件,把它放到一个文件夹双击中运行后自动产生一些相关文件

界面如下

按此在新窗口打开图片

点击 系统/参数设置

有两个参数需要设置,搜索参数设置&验证参数设置

搜索参数设置按下图设置,对于非宽带用户并发链接数相应改小

按此在新窗口打开图片

验证参数设置按下图进行设置,点添加,输入验证名,验证地址,特征字串

如图

按此在新窗口打开图片

最常用的两个特征字串为

yahoo

www.yahoo.com

Yahoo!

用于验证可以上国外网的代理

sciencedirect

www.sciencedirect.com

MiamiSearch

用于验证sd代理

(2)代理的导入

按此在新窗口打开图片

点添加结果随便添加一个结果后用ctrl+V添加代理(必须有一个代理后才可以粘贴)

或者点导入结果直接导入标准格式的代理text文件

(3)验证

系统/参数设置/验证参数设置 选择验证字串,选定点击使用再确定即可

然后点击验证全部或选定一些点验证就开始验证了,free的代理就是你想要的代理了

下图为sd验证结果,其中的free代理就可以用来免费获得sd的文献了,不过一般sd代理只能95年后文献的权限,关于95年前的后面会讲到

按此在新窗口打开图片

(4)代理扫描

在下图界面,点添加任务,按要求一步步填入相关数据即可,选择验证字串后点击三角就开始扫描代理了,主要用于名校代理的扫描

具体见我附的代理猎手使用教程集合

按此在新窗口打开图片

代理猎手使用教程集合

http://free.ys168.com/?kersenyao1

相应目录下

---------------------------------------------------------------------------

3.代理猎手之验证字符窜

验证字符串是代理验证的灵魂,其基本原理是对比目标网页对有无权限的区别响应,也就是说验证字符串是权限响应网页源文件中有,无权限响应网页源文件中没有的那些字符串,利用这个原理可以自己设计验证字符串.

(1)常用数据库的验证地址&验证字符串(包括sd95年前权限的验证)

(2)文章级验证举例

(3) sd books 的验证

验证字符串是代理验证的灵魂,其基本原理是对比目标网页对有无权限的区别响应,也就是说验证字符串是权限响应网页源文件中有,无权限响应网页源文件中没有的那些字符串,利用这个原理可以自己设计验证字符串.

(1)常用数据库的验证地址&验证字符串(包括sd95年前权限的验证)

a. sd www.sciencedirect.com  MiamiSearch

b. highwire http://www.iovs.org/cgi/reprint/46/3/1078.pdf  %PDF

c. acs http://pubs.acs.org/cgi-bin/article.cgi/jacsat/2005/127/i02/html/ja044834j.html  Mapping

d. kargar http://content.karger.com/ProdukteDB/produkte.asp?Aktion=JournalCurrentIssue&ProduktNr=223832  You are logged in as

e. ejs http://ejournals.ebsco.com/login.asp?bCookiesEnabled=TRUE  You have been authenticated

f. liebertonline http://www.liebertonline.com/toc/scd/14/1?part=  Welcome

g. IEEE http://ieeexplore.ieee.org/xpls/VadvSearch.jsp Advanced Search

h. NETLIBRARY http://legacy.netlibrary.com/titleselect/index.asp  University

i. 清华SD http://elsevier.lib.tsinghua.edu.cn SDOS

j. ingenta http://www.ingentaconnect.com Signed in as

k. nature http://www.nature.com/nature/journal/v435/n7044/pdf/435855a.pdf %PDF

l. science http://www.sciencemag.org/cgi/content/full/302/5644/406 References

m. ovid http://gateway1.ovid.com/ovidweb  Choose a database

n. Dekker http://www.dekker.com/index.jsp click here

o. isi http://isi/3.isiknowledge.com/portal.cgi frameset

p. Oclc http://newfirstsearch.oclc.org/html/webscript.html::sessionid=sp06sw04-64743-dsjwpud7-hk5z41:sessionid=sp06sw04-64743-dsjwpud7-hk5z41  FirstSearch Home

q. bmn http://www.bmn.com/ Access

下面三个为原创95年前sd验证方法,适合各种端口的验证

r. sd偏化学四面体 http://www.sciencedirect.com/science/subscriptionSummary/5289/J subscription from Volume 1

s. sd偏药剂controlledrealease http://www.sciencedirect.com/science/subscriptionSummary/4944/J subscription from Volume 1

t. sd偏医Surgical Oncology http://www.sciencedirect.com/science/subscriptionSummary/6170/J subscription from Volume 1

(2)文章级验证举例

文章级的验证用的最多的是pdf文献url地址/%PDF组合,关键在于pdf文献url地址的确定,对于有明确pdf超级链接的情况非常简单,复制快捷方式就是了,最多再在后面加.pdf

其他类型的要自己在应用过程中总结,主要是对比url地址,进行一些修改

如丁香园某sos求助http://www.dxy.cn/bbs/post/view?bid=167&id=4103841&sty=1&tpg=1&age=0

里给出的全文连接是:http://www.annalsnyas.org/cgi/content/full/1050/1/217

那么根据我的经验pdf文献url地址为:http://www.annalsnyas.org/cgi/reprint/1050/1/217.pdf

从而验证字符串组合为:http://www.annalsnyas.org/cgi/reprint/1050/1/217.pdf%PDF 

(3) sd books 的验证

转自丁香园 spring 的帖子 http://www.dxy.cn/bbs/post/view?bid=52&id=3900561&tpg=1&ppg=1&sty=1&age=0#3900561

我们知道Sciencedirect有不少书籍,平时没怎么用过,今天想要下载Current Topics in Developmental Biology上面的一篇,试了好多EZ、代理,包括YALE和Stanford的都没用。最后,还是用好久没有经营过的代理搞定。下面代理即可下载该书:

80.249.73.65:80

80.249.73.66:80

80.249.73.67:80

80.249.73.69:80

代理验证方法:

验证地址为该书的某一期,经验告诉我若有权限下载全文,在该页就会出现Full Text + Links 或PDF字样,若无权限则只出现SummaryPlus ,那么就可以用Full Text + Links 或PDF作为验证字符串。

-------------------------------------------------------------------------

4.代理库思想的应用

建立一个文件夹--代理库,把代理猎手.exe放进去运行一下,设好各个参数,就用这个代理猎手作为代理库的载体,另建文件夹代理扫描&初筛运行代理猎手.exe,这个用于代理扫描&初筛.

代理库思想---步骤一:通过各种途径获取代理,(步骤二:初筛代理猎手.exe初筛初sd有效代理),步骤三:导入代理库.[对于公布的文献代理,直接收入代理库,对于公布的大量出国代理进行步骤二筛选初文献代理后再收入代理库]

定期重复这三个步骤充实你的代理库,当代理库太过庞大时选择性清除过期失效代理,由于代理有死活无定的特点,清除也要注意.

代理获取途径:

(1)从一些检索或代理相关论坛获得

国内知名相关论坛如下

a.丁香园: http://www.dxy.cn/bbs/index.html  检索起家,但阳光计划后普通板块不在公布代理,但在其准中版检索讨论非常活跃,有很多技术性文章&极品资源

b.零点花园: http://www.soudoc.com/bbs/index.php

c.星荧论坛: http://ifstar.net/bbs/

d.鸭绿江代理论坛: http://forum.e2002.com/

f.代理中国论坛: http://bbs.proxycn.com/

(2)用软件对免费代理公布网页进行吸附(在线吸附对代理公布的格式要求比较严格,如果把网页保存下来在用Magicfilter进行提取,适用于多种代理公布格式,但这样想对比较费事.我倾向于在线吸附,一次一般吸附1万个代理左右,初筛后得到几十到几百个sd代理不等)

我用的在线代理吸附软件是acessdiver(AD),免费软件,下载地址: http://www.accessdiver.com/

AccessDiver是一个网站安全检测软件,同时它也是目前最好的网站破解工具之一,作者是jean,好像是法国人。目前的版本4.172.AD的功能比较全面,而暴力破解是它最基本、最常用的功能。其工作原理是使用大量代理,对已有的用户名+密码组合进行逐个验证,从中找到有效的组合。除此之外,AD的代理分析功能和字典制作功能也是比较实用的。当然,AD还有很多其它值得称道的功能,比如debug、exploit、Auto-Pilot等等。

我们主要用它的代理吸附功能(Web Proxy Leecher).

使用教程见黑娃的爆破教程,只要看AccessDiver附图教程v4.120之代理篇中★如何用AD提取代理--Leech Proxy这部分就可以了,其余的不用管.

黑娃的爆破教程下载

http://free.ys168.com/?kersenyao1

相应目录下

下面我演示一下,来几个截图.

界面如下,点击start leeching开始吸附

按此在新窗口打开图片

网页数据下载中

按此在新窗口打开图片

代理提取中

按此在新窗口打开图片

代理吸附完成后 点击保存按钮,存为text文件,导入初筛代理猎手.exe初筛得sd代理39枚(运气一般,我最多一次吸附到280个sd代理), 把得到的sd代理贴到代理库中,OK.

按此在新窗口打开图片

把我收集的代理公布网址共享一下,见下面的txt文件

http://free.ys168.com/?kersenyao1

相应目录下

定期添加代理到你的代理库中,代理库不断充实,使用时现验现用即可,因此验证字符串一定要掌握好.

把这次吸附到的sd代理公布在下面吧,其实你也可以轻易办到.

80.249.72.174:80

80.249.73.68:80

133.14.149.147:444

134.76.63.97:8080

134.147.177.131:8000

134.147.177.134:8000

134.147.177.135:8000

134.147.177.139:8000

134.147.177.140:8000

140.96.178.113:8080

140.128.30.11:80

141.30.84.157:80

161.53.86.10:8080

161.53.156.3:80

168.172.128.94:80

193.136.43.145:80

193.136.43.148:80

193.136.43.150:80

193.136.43.156:80

193.136.157.20:80

193.136.157.25:80

193.136.157.32:80

193.136.157.34:80

193.136.157.36:80

193.136.157.38:80

193.136.157.39:80

193.136.157.40:80

193.136.157.43:80

193.136.157.48:80

193.136.157.52:80

193.136.157.53:80

193.136.157.62:80

194.27.157.73:80

202.56.253.183:443

202.185.111.160:80

202.185.111.179:80

203.197.196.178:80

211.25.50.156:80

217.126.192.243:80

------------------------------------------------------------------------

5.代理的定位和挖掘

(1)代理的批量定位

我一般用ProxyJusticer(小木虫出品,绿色软件,无需安装)

在小木虫有下载,需要注册一下小木虫

小木虫主页:http://emuch.net/bbs/

ProxyJusticer下载帖:http://emuch.net/bbs/viewthread.php?tid=100564

下载后解压缩到一个文件夹下

出现了下图的一些文件

按此在新窗口打开图片

点击ProxyJusticer文件

开始运行,界面如下

按此在新窗口打开图片

把要定位的代理直接拷贝到全部代理下,点击批注按钮即可。批注完毕后可以直接拷入代理猎手,其批注同时

被导入代理猎手。

ProxyJusticer猎手的定位往往很不精确,有时还发生错误(比较少),但它的优点是批量定位,是一个不错的软件。

(2)代理的精确定位

挂上代理,上一些权限内的常用数据库,如ingenta,wiley等,都会显示代理的机构名,这个就比较精确了。

(3)代理的挖掘

这个是一个比较深奥的学问了,我略知一二,据说老二是这方面的高手。

我一般是通过代理的精确的定位知道机构名,是大学或图书馆才有研究价值,然后google找到大学主页&图书馆主页,研究一下就会对这个代理的权限有一定的了解。

还有一种是用代理猎手对各个数据库杂志进行验证,也能知道一个大概。

对于代理的挖掘,我觉得是要不断的积累,逐渐的你就会知道你所要的资源在哪个ip段的代理,那么用代理猎

手扫描那个ip段就ok了,理论上代理几乎能搞定一切文献资源。

-------------------------------------------------------------------------

6.名校代理扫描

论坛上公布的一些代理的权限一般都比较低,即使偶尔有几个高权限的,不是限制太高你看不到,就是使用人数过多而很快死亡,所以要想长期拥有高权代理还是得自己动手。用代理猎手挂上搜,高权代理其实也是很容易得到的。

引用前辈一篇文章如下

『『『『教你如何用proxyhunter找大学代理

由于国外大学图书馆购买的数据库大多数是用IP登陆方式,所以获取这些大学的代理就成为我们利用这些数据库的唯一方式,我介绍的方法是最常用的、最基本的方法,希望大家能找到自己有用的数据库。

下面以哈佛大学为例进行说明:

具备条件:

1.proxyhunter(必要)

2.Iplocation(可选)

3.windows系统

4.宽带网络(可选)

5.时间和金钱(必要)

假设我们已知哈佛的主页是harvard.edu,我们首先利用windows系统的ping功能得到主机位置。我得到的结果是:128.103.60.209。

下一步利用IPlocation或是http://www.checkdomain.com/,在这里用,checkdomain,得到如下结果:

Netname: HARVARD-UNIV

Netblock: 128.103.0.0 - 128.103.255.255

下一步没得说,用proxyhunter开工吧,一般来讲,如果这个大学确实有代理,应该可以搜到,如果运气好的话

(IP地质恰好位于你搜索顺序的前列),很快可以得到。

本人搜索到两个以后就停工了,太费时间,必要时可以拿出来分享。 』』』』

我的步骤:

a.google已知的高权大学名,找到该大学或其图书馆的域名

b.ping域名得到主机名,如耶鲁大学域名为www.yale.edu,ping得主机为130.132.51.8,也可以用代理猎手的

“辅助工具/主机IP 域名”  功能,那么你要搜索的ip段即为130.132.0.0-130.132.255.255

c.代理猎手添加任务:ip段,端口(我一般搜80,8080,8000,8888,3128,2301),验证字符串(我一般用y

ahoo)

d.设置好后,开搜,晾一边就可以了,定时去看看搜索结果,其中的free项就是你要的高权代理了,出现的fre

e代理有两种情况,一种是普通的文献代理,另一种,挂上后,无论输什么网址都只出现一个同样的网页,高手说,这样的代理也具有文献权限,用法是挂上代理,地址栏内输www.sciencedirect.com,回车,出来那个讨厌的网页,不管它,去掉代理,重新登陆www.sciencedirect.com,文献权限就在了哦。

下面把我总结的一些高权大学域名及主机名给大家分享一下

sd全库大学(指所订杂志均从创刊开始可以下全文) 域名 以及主机ip

1.耶鲁大学

www.yale.edu

130.132.51.8

2.悉尼大学

http://www.usyd.edu.au/

129.78.64.24

3.哈佛大学

http://www.harvard.edu/

128.103.60.24

4.加拿大多伦多大学

www.utoronto.ca

128.100.132.30

5.东京大学 black 能上

www.u-tokyo.ac.jp

133.11.128.254(050620)

157.82.0.0-157.82.255.255(原来)

6.密西根大学

http://www.umich.edu/

141.211.144.190

7.日本九州大学

http://www.kyushu-u.ac.jp/

133.5.1.1

8.University of Ottawa, Canada’s university  多库多杂志

http://www.uottawa.ca

137.122.14.100

9.加州大学 多库多杂志

128.32......

169.229.....

10.牛津大学

http://www.ox.ac.uk/

163.1.0.45

11.剑桥大学

http://www.cam.ac.uk/

131.111.8.46

12.韩国汉城大学

www.snu.ac.kr

147.46.10.48

13.犹他大学

www.usu.edu

129.123.41.190

14.美国 南加州大学

www.usc.edu

128.125.19.146

15. 韩国浦项工科大学校 sd偏化药 acs ingenta nature science dekker

Pohang University of Science and Technology

http://www.postech.edu/

141.223.5.10

16.香港大学

学校主页:http://www.hku.hk/

图书馆:http://lib.hku.hk/

主机:147.8.145.50

sd acs highwire kargar ejs netlibrary ingenta nature science

17.Queen’s University Library

130.15.....

sd全库 RSC

18.美国University of Illinois at Urbana-Champaign

141.142.204.131:80

多杂志 sd非全库

上述觉大多数都是sd全库

我比较喜欢的几个是悉尼大学,日本九州大学,加州大学,Queen’s University Library,University of Ottawa, Canada’s university。

-------------------------------------------------------------------------

7.展望

我这个教程着眼于free代理,对于加密代理,我只是略知一二,需要google的深度应用&爆破甚至拿到网站的管理权限,我就不在这儿说了,如果高手有兴趣也可以作一个教程。

我觉得对于专业人士,检索为辅,专业为主,够用就行了,切不可成迷于检索而本末倒置,真正难搞定的,到丁香园sos版求助,那里大牛多的是,呵呵。


https://blog.sciencenet.cn/blog-2333-4481.html

上一篇:收集别人的代理资源
下一篇:分子建模与化学信息学相关软件
收藏 IP: .*| 热度|

0

发表评论 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-22 09:44

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部