【技巧】利用robots协议查看网站上不能用搜索引擎爬取的信息---以DHS为例
robots协议（爬虫协议）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
1、查看robots协议的方法：
在网站域名根目录后面输入robots.txt，即可查看相关网站的robots协议。
比如上图的美国国土安全部网址：https://www.dhs.gov/，在其网址添加robots.txt后敲击回车键，即可查看美国国土安全部网站的robots协议。
看查看该网站允许搜索引擎的爬虫可以访问哪些网页和文件，而哪些网页、文件是禁止爬虫访问的。而这些爬虫不能访问的网页，有的是普通用户可正常访问的。
2、用例
比如上图我们看见美国国土安全部网站禁止搜索引擎的爬虫访问INSTALL文件。在美国国土安全部官网的搜索栏目我们搜索INSTALL，就可看见一些与INSTALL相关的文件，比如：国土安全主承包商信息。
美国国土安全主承包商信息：
1、埃森哲（Accenture)
企业联络人：Irene Rivera
irene.c.rivera@accenturefederal.com
网站：www.accenture.com/
合同：US VISIT HSSCHQ-04-D-0096，2014年
FEMA的选择权-风险图
业务范围：
以可预期的结果解决复杂的挑战
敏捷系统开发
财务即服务（和传统ERP）
大数据与分析
身份管理和认证
调查案件管理
云计算
面向服务的架构（SOA）
商业和贸易备战和应对
2、AECOM
企业联络人：Shawn Ralston
Shawn.ralston@aecom.com
网站：www.aecom.com/
合同：HSFEHQ12D0882，HSFE6015D0003，70FB8018D00000012，70Z05018DAECOMT06，HSCG5014DPSL008
业务范围：
A＆E，建筑和建筑法规支持
声学设计
航空测绘与摄影，激光雷达与遥感
试车
工程服务
环境实验室服务
环境与岩土钻探服务
消防工程
测绘
价值工程
3、阿里昂科技公司(Alion Science and Technology Corporation)
企业联络员：Clairesse Jackson
cjackson@alionscience.com
网站：www.alionscience.com/
供应商注册：https : //suppliers.alionscience.com/
完成供应商资料信息后，请上传公司功能文档。SBLO，采购和业务开发团队使用此数据库来识别有潜在商机的公司。
DHS合同：美国海岸警卫队CG-1b3 /人力系统集成办公室，用于采购支持合同
业务范围：
DHS基础设施主题专业知识
频谱管理
关键基础设施专业知识
计划管理支持
采购管理
企业网络系统和应用程序安全
软件开发
应用程序集成和实施服务
任务应用支持
客户关系管理/企业架构
4、AMR应急管理办公室（AMR Office of Emergency Management）
企业联络人：Mike Pontius
mike.pontius@amr.net
合同：HSFEHQ-07-D-0589
联邦国家地面和空中救护车以及辅助公交
服务
业务范围：
救护车服务
医疗空中救护车
医疗运输
特殊需要的过境运输
5、阿特金斯（Atkins）
企业联络人：克里斯·哈克尼斯·克里斯托弗·哈克尼斯@ atkinsglobal.com
网站：
northamerica.atkinsglobal.com/About_Us/Pages/Be_a_Supplier.aspx
合同：
HSFEHQ-09-D-0370
HSFEHQ-09-D-0701
业务范围：
通讯工程（注册通讯分配设计师-RCDD）
经济分析
环境修复
设施管理服务
消防与生命安全工程
岩土工程与测试
工业卫生师服务
影像分析
土地调查
激光雷达数据采集
6、BAE系统情报与安全（BAE Systems Intelligence & Security）
企业联络人：Diane Dempsey
Diane.Dempsey@baesystems.com
网站：http：//www.baesystems.com/supplierdiversity
业务范围：
信息保障
数据库管理
网络工程/管理
网络安全
情报分析
7、巴特尔国家生物防御研究所（Battelle National Biodefense Institute, LLC）
企业联络人：Rodney Templon
rodney.templon@nbacc.dhs.gov
网站：www.bnbi.org
合同：HSHQDC-15-C-00064国家生物防御分析对策中心，马里兰州迪特里克堡
业务范围：
科学设备，材料化学品和消耗品经销商
IT设备和服务经销商
当地设计和建筑施工承包商
大数据与分析
计划管理支持
8、BI公司
企业联络：Mark Rushworth
mark.rushworth@bi.com
合同：HSCECR-09-R-00004
业务范围：
合同制造商
塑胶成型
PCBA制造商
印刷与促销
打包
办公家具
电子产品
办公用品
9、布兹·艾伦·汉密尔顿（Booz Allen Hamilton）
企业联络：Ashley Burton
smallbusinesscompliance@bah.com
网址：https：//doingbusiness.bah.com
DHS EAGLE：Amit Kohli
Kohli_amit@bah.com
网站：DHS EAGLE II
业务范围：
电脑设备
信息管理分析和计划（包括变更管理，IT体系结构，知识管理，风险分析）
信息系统工程和设计（包括EDI，数据库设计，软件开发，软件维护和许可，软件工程）
信息系统的运营和管理（包括资产管理，IT基础架构支持，数据库管理，大型机支持，座位管理，媒体和视频电话会议）
信息系统安全性（包括信息保证，灾难恢复，热站点/冷站点支持，PKI，软件/硬件维护和许可）
10、CACI联邦公司（CACI Federal, Inc.）
企业联络：Calvin Freeman
cfreeman@caci.com
网站：https：//www.caci.com/about-caci
DHS EAGLE II HSHQDC-13-D-E2095 FCI
业务范围：
关键基础设施主题专业知识
事件管理的准备，响应和恢复能力
边境管理技术
云服务
知识管理服务支持
物流支持服务
应用程序集成和实施服务
移动解决方案
11、凯捷政府解决方案（Capgemini Government Solutions）
企业联络：Brad Johnson
bradley.johnson@capgemini-gs.com
网站：https：//www.capgemini.com/ us-zh / service / capgemini -government-solutions /
业务范围：
敏捷开发支持
大数据分析和数据科学支持
云服务
财务分析/管理
移民和边境安全专长
信息技术支持
面向任务的应用程序开发
12、CDM史密斯（CDM SMITH）
企业联络人：Garrett Skinner
skinnerga@cdmsmith.com
网址：http：//www.cdmsmith.com/
业务范围：
咨询服务
工程
施工
运作方式
13、综合保健服务公司（CHSi）Comprehensive Health Services, Inc. (CHSi)
业务发展：Kathleen Cyphert
Kathleen.Cyphert@caliburnintl.com
小型企业联络人：Susan Thibodeaux
Susan.Thibodeaux@caliburnintl.com
网站：https：//www.caliburnintl.com/
业务范围：
专用于DHS Med考试和其他要求的医学专业解决方案
与医疗相关的IT解决方案（基础架构；数据分析；应用程序；移动；安全性）
紧急情况，大流行和灾难准备，响应，恢复（救护车，空中医疗，移动医疗）
环境/健康工业卫生（环境修复，工业卫生服务，设施管理服务，消防和生命安全工程）
14、盟约航空安全有限公司（Covenant Aviation Security, LLC）
企业联络人：Christine Mueller
chris.mueller@covenantsecurity.com
网站：www.covenantsecurity.com/
业务范围：
专业的服务
行政服务
基于计算机的培训课程开发
制服和值班装备
办公用品
表格与印刷
15、德勤服务有限公司（Deloitte Services, LP）
企业联络官：Tracey Thompson
trthompson@deloitte.com
网址：https：//www2.deloitte.com/us/en.html
企业注册：https：//vendorportal.gps.deloitte.com
业务范围：
企业应用
客户关系管理
供应链管理
税务服务
战略与运营
企业风险服务
技术整合
人力资本
组织绩效
财务咨询服务
16、露莓（Dewberry）
分包合同管理员：：Darlene Edwards
dedwards@dewberry.com
网站：www.dewberry.com
合同：FEMA HSFEHQ-09-D-1129
HQ HSHQDC-13-D-RS003，HSFLGL-09-D-00006
业务范围：
A＆E，建筑和建筑法规支持
声学设计
采购与项目开发
航空测绘与摄影，激光雷达与遥感
减少空气和噪音
艺家
航空设计
17、安永会计师事务所（Ernst & Young LLP）
企业联络： Dan Featherly
Dan.featherly@ey.com
网址：http：//www.ey.com
合同：ICE HSCEMS-12-A-00018，HSCEMS-13-F-00078
业务范围：
财务管理
绩效改善与组织变革
项目，计划和风险管理
18、FJC安全服务有限公司（FJC Security Services, Inc.）
企业联络：Stephanie Stevens
sstevens@FJCSecurity.com
网站：www.FJCSecurity.com
业务范围：
保安服务
校服
靶场
安全培训学校
健康检查服务
19、福陆政府集团（Fluor Government Group）
企业联络人：Debra Sampson
debra.sampson@fluor.com
网址：http：//www.fluor.com
合同：HSFEHQ-06-D-0487，HSFEHQ-12-D-0880
业务范围：
建筑器材，材料
赈灾
工程服务
员工扩充
20、通用动力信息技术（General Dynamics Information Technology）
企业联络：Ludmilla Parnell
联系通用动力：smallbusiness@gdit.com
网站：请访问www.gdit.com，然后选择“合作伙伴”以获取信息和注册说明。注册时，您可以输入公司信息以及上传功能文档（强烈建议）。通用动力信息技术公司使用该数据库搜索可能与他们合作的公司。
合同：EAGLE II FCI
业务范围：
服务台支持（服务台，NOC / SOC，DevOps专业知识）
云和基础设施服务
敏捷发展
服务器配置，存储配置（VMWare，Citrix，Microsoft等）中的可视化专业知识
网络安全
COTS软件集成专业知识（例如：Oracle，TIBCO，IBM和Microsoft产品）
21、格兰·桑顿律师事务所（Grant Thornton, LLP）
企业联络：Kristen Lillard
kristen.lillard@us.gt.com
网站：www.grantthornton.com
业务范围：
财务管理
组织改善
信息技术支持
22、格伦利建筑公司（Grunley Construction Company, Inc.）
企业合规经理：Carrie Lieberman
carrielieberman@grunley.com
网站：https：//www.grunley.com/subcontractors
业务范围：
浇筑混凝土基础和结构承包商
结构钢和预制混凝土承包商
框架承包商
砌体承包商
玻璃和玻璃承包商
屋顶承包商
其他基础，结构和建筑外部承包商
其他建筑装修承包商
电气承包商及其他布线安装承包商
石膏板和保温承包商
23、哈斯克尔公司（The Haskell Company）
企业联络人：Robin F. Waddell
robin.waddell@haskell.com
网站：https：//vendor.haskell.com/common/home.aspx
合约：HSCG4709D3EFK20
业务范围：寻找：
商业建筑学科
工业建设学科
一般食品服务制造业
专业承包商
建筑贸易服务
24、IBM美国联邦（IBM US Federal）
企业联络：Mary Hellem
mmhellem@us.ibm.com
注册您的公司以获得机会：www.supplier.connection.net
合同：
TSA OASIS（HSTS03-07-A-CIO925）
FEMA EADIS（HSFEHQ-08-J-2009）
FEMA风险图（HSFEHQ-11-C-1598）
USCIS-HSHQDC-09-J-0001
CBP ACE和ASC O＆M -HSBP1012F00472
业务范围：
基础设施服务
服务访问和交付
服务平台和基础设施
组件框架
服务接口和集成
应用服务
客户服务
过程自动化
商业管理
数字资产服务
业务分析服务敏捷服务
25、ICF国际（ICF International）
企业联络人：Mark Youman
Mark.youman@icf.com
网站：http：//www.icifi.com/contract-us/partner-with-icf
合同：专业和计划管理服务一揽子购买协议（BPA）
业务范围：
应急管理计划制定
运营连续性
关键基础设施保护
国内威胁评估与减少
信息技术安全解决方案
国际体制建设
组织改善
大流行防范
监管支持
战略传播
漏洞评估
26、英格尔斯造船（Ingalls Shipbuilding）
企业联络人：Joan Branson
joan.branson@hii-ingalls.com
请参阅下面的链接，以获取有关“如何与Ingalls造船公司开展业务”的信息。请转到以下网站，然后选择“小型企业”。请填写供应商信息表并以电子方式提交。列出您的能力时，请具体说明。这些信息的提交将使您的业务进入Ingalls造船潜在供应商数据库。
网站：https：//spars.huntingtoningalls.com/procurement/index.html
业务范围：
桥式起重机
侧向起重机
船货起重机
风扇马达
电源
扭力计
断开开关
配电盘
消磁系统
提升
杂项 硬件
电线电缆
水泵
27、雅各布斯工程集团有限公司（Jacobs Engineering Group, Inc.）
企业联络：Willie Franklin
Willie.franklin@jacobs.com
首席合同经理Amanda Reyes
Amanda.reyes@jacobs.com
合同：HSFLBP-10-R-00001
业务范围：
建筑自动化
复制
价值工程
试车
28、骑士点系统（Knight Point Systems)
企业联络：阿尔芒·德卡瑟
adekaser@knightpoint.com
业务范围：
网络安全/信息保障
网络基础架构支持与现代化
应用开发与服务
云技术
29、科特建筑公司(Korte Construction Company)
企业联络人：Sandy Grapperhaus
Sandy.grapperhaus@korteco.com
网站：www.korteco.com
业务范围：
设计建造施工
总承包
施工管理
30、莱多斯(Leidos)
企业联络：Chireda Gaither
chireda.b.gaither@leidos.com
网站：www.leidos.com
业务范围：
网络安全
边界与运输安全
基础设施保护产品
应急准备
反应训练
信息分析
31、Leo A Daly
企业联络人：Debra Crafter
drcrafter @ leoadaly.com
网站：www.leoadaly.com，www.lan-inc.com
合同：HSCG83-08-D-3WF070
业务范围：
专业咨询
测绘
环境实验室服务
环境与岩土钻探服务
消防工程
32、洛克希德·马丁公司-信息系统和全球解决方案
Lockheed Martin - Information Systems & Global Solutions
企业联络： Marquita Peoples Gadson
Marquita.l.peoples-gadson@lmco.com
网站：供应商多元化信息：
www.lockheedmartin.com/us/suppliers/doingbusiness.html
业务范围：
通常需要TS / SI许可（IS＆S）
软件工程服务
信息保障
系统分析与设计服务
编程支持服务
COTS硬件和软件
服务台支持
“绿色”技术
卫生保健IT服务
网络安全
33、Mantech
企业联络：Tess Palao
tess.palao@mantech.com
网站：www.mantech.com
合同：EAGLE II FCI，TABBS
业务范围：
训练
企业IT
旧版软件维护
软件开发
信息保障
计划管理和采购支持服务
系统工程与技术协助服务
34、Marinette Marine Corporation
企业联络：Jeffrey Freeman
jeffrey.freeman@us.fincantieri.com
网站：www.marinettemarine.com
http://www.fincantierimarinegroup.com/
合同编号HSCG23-06-D0ARB001
合同编号DTCG23-02-C-AGL001
业务范围：
造船设计与制造，包括：
造船
船只
船
驳船
油轮
零件，服务与维修
设计服务
35、迈克尔·贝克（Michael Baker Jr.，Inc.）
联络人：Morgan Karimi
morgan.karimi@mbakerintl.com
网站：www.mbakercorp.com
合同：FEMA HSFEHQ-04-D0025，多灾种洪水地图现代化
业务范围：
测量与工程
设计
建筑服务
环境实验室服务
环境与岩土钻探服务
36、Morpho Detection，Inc.
企业联络人：Lee Martin
lee.martin@morphodetection.com
业务范围：
金属零件组装
电子组装
电气元件
电脑板
电子五金
37、莫滕森(Mortenson)
企业联络人：Brenda Furst
Brenda.furst@mortenson.com
网站：http：//www.mortenson.com/
业务范围：
商业建筑学科
工业建设学科
专业承包商
38、摩托罗拉解决方案有限公司(Motorola Solutions, Inc.)
供应商多元化经理：Rosa Botello
rosa.botello@motorolasolutions.com
网站：https : //www.motorolasolutions.com/en_us.html
业务范围：
全球系统整合
关键任务站点开发
网络实施
基础设施
设备
智能公共安全解决方案
39、诺斯罗普·格鲁曼公司（信息技术）
Northrop Grumman (Information Technology)
企业联络：Ron Penick
lSSector.SEB@ngc.com
网址：https : //oasis.northgrum.com
合同：HSHQDC06D00022
业务范围：
系统工程学
整合服务
面向任务的应用程序开发
信息共享/企业
建筑解决方案
公共安全无线解决方案
执法解决方案
紧急Dis灾服务
40、临时住房伙伴关系（PATH）
Partnership for Temporary Housing (PATH)
企业联络人：贝基·阿里哈特（Becky Arehart）
rarehart@dewberry.com
合同：HSFEHQ-09-D-0700
业务范围：
FEMA IA-临时住房支持
FEMA IA大众护理计划
建筑/材料
工程服务
环境服务
暖通空调用品
医疗用品/服务
个人卫生用品
制冷设备
电话电缆维修
41、佩拉顿(Peraton)
企业联络：Etmara Offe
eoffe@peraton.com
业务范围：
定制计算机编程服务
计算机系统设计服务
网络运营
数据处理与托管
工程服务
42、Robbins-Gioia，LLC
企业联络人：Lorie Moody
contract@robbinsgioia.com
网站：https：//www.teamrg.com/
业务范围：
组织和业务流程改进支持
预算和财务管理支持
需求开发与分析
企业资源管理
TS / SI间隙
项目成本管理/估算
信息共享
43、SAIC
企业联络人：丽塔·布鲁克斯（Rita Brooks）
Marguerite.brooks@saic.com
网址：http：//www.saic.com/sbp
业务范围：
COTS整合
应急准备和灾难响应
企业架构
信息保障/网络
LMR安装和支持
物流
移动应用开发和部署
系统工程支持
战术交流
44、Serco，Inc.
合伙人关系总监：Darryl Scott
darryl.scott@serco-na.com
网站：www.serco-na.com/
合同：http：//www.serco-na.com/contracts
业务范围：
生物识别
大数据分析
调查和执法案件管理
网络和信息系统安全
物流与供应链管理
软件/网页开发
45、邵氏环境与基础设施有限公司(Shaw Environmental and Infrastructure, Inc.)
企业联络人：Rachel Kazibutowski
合同：HSFEHQ-09-D-0698
业务范围：
设计建造
电的
击剑
一般建筑
运输/处置
暖通空调
便携式厕所
调查服务
散装食品分销商
医疗用品和设备租赁
46、Sirva Relocations，LLC
企业联络人：Tom Higgins
tom.higgins@sirva.com
Dena Ostrander
dena.ostrander@sirva.com
杰夫·马戈利斯（Jeff Margolis）
jeff.margolis@sirva.com
网站：www.sirva.com
业务范围：
房地产服务
经纪人
物业管理服务
房地产关闭律师
家用承运人
单身家庭房地产评估师
物业督察
维修与改良
承包商和经理
47、Skanska USA Building，Inc.
企业联络人：Jeffery B. Triveli
Jeffery.trivelli@skanska.com
业务范围：
施工
电的
水暖
场地准备
网站清理
便携式厕所
机械
加热
空调
48、波音公司(THE BOEING COMPANY)
企业联络：Tina Ho
Tina.n.ho@boeing.com
网站：www.boeingsuppliers.com
C4ISR
业务范围：
•移动平台C4ISR
•网络服务
•命令和控制
•网络安全
•威胁跟踪关联
•跨域数据共享功能
•语义信息管理
•通信和数据分发
•生物识别和跟踪
•行李和货物筛选与篡改警告
•信息保证
49、GEO集团(THE GEO GROUP)
企业联络：Eric smith
esmith@geogroup.com
合同编号：HSCEMEM-10-D-00001
业务范围：
•洗衣干洗用品
•办公设备
•印刷
•囚犯亚麻布
•培训用品
•生食
•办公计算机维护合同
50、Vencore，Inc.
企业联络人：Ryan Crawford
SBLO@vencore.com
网站：www.vencore.com
业务范围：
系统工程与集成
信息服务与技术
网络安全
国土安全
地理空间情报
51、VF Imagewear
企业联络人：Jenny Brennan
jenny.brennan @ vfc.com
网站：www.vfimagewear.com
合同：TSA HSTS07-10-0-00004
业务范围：腰带
袜子
领带
毛衣
外套
礼帽
裤子
鞋类
上衣
52、VSE公司(VSE Corporation)
企业联络人：Christine Kaineg
crkaineg@vsecorp.com
网站：www.vsecorp.com
业务范围：
旧版系统支持
过时管理
原型制作
逆向工程
技术插入
供应链管理
外国军售
管理咨询
流程改进