代码之家 › 专栏 › 技术社区 › John

代理的规模,性能(加载外部内容)?

proxy

John · 技术社区 · 7 年前

我确信这个问题的答案是非常主观的,我只想知道有哪些选择(用于构建一个代理来加载外部内容)。

通常我在php中使用curl并传递proxy.url之类的变量来获取内容。然后使用javascript进行ajax调用来填充内容。

编辑: yql(yahoo query language)对我来说似乎是一个非常有前途的解决方案,但是它有一个每日使用的限制,这从本质上阻止了我在大型项目中使用它。

我还有别的选择吗?我对任何语言、任何平台都是开放的,关键的标准是:性能和可伸缩性。

请分享你对这个话题的想法、想法和经验。

谢谢,

2 回复 | 直到 16 年前

Tim 16 年前

你不需要代理服务器或其他东西。只需创建一个cronjob,每隔5分钟(或任何时候)获取一次内容。

您只需要创建一个脚本,从web获取内容并将其保存到cronjob启动的文件、数据库等。

如果有人请求你的页面,你只需要发送缓存的内容,并做任何你想做的事情。

我认为可扩展性和性能不会有问题。

Eli 16 年前

根据需要对内容执行的操作,可以考虑使用erlang。它闪电迅速,难以置信的可靠,并伟大的缩放。

推荐文章

Pedro Henrique · 如何为自己分配代理陷阱?

1 年前

Kwang Sing · 在chrome扩展中为请求添加前缀的正确设置是什么?

1 年前

devops-admin · 如何将Nginx配置为转发代理服务器?

2 年前

surfmuggle · Playwright-API测试-连接超时错误-公司代理背后的可能原因

2 年前

Torprendido · 为什么ember数据存储在y域中的2个webb应用程序之间共享令牌?

2 年前

Shuxin · 为什么创建Java动态代理需要接口参数

2 年前

kwarter · 如何模拟RestTemplate代理调用?

2 年前

Ansh Vohra · github.com在我的互联网上没有响应,但当我打开代理服务器时正在工作

2 年前

Lesha Pipiev · 通过自定义代理向S3发送PUT对象请求

2 年前

Maciej Dobosz · 在线代理如何在不被阻止的情况下工作,同时代理所有CSS/images/font资产?

2 年前