1. NCBI数据库入门先搞清楚它到底能干什么刚接触生物信息分析的人十有八九第一个撞上的就是NCBI。这四个字母的全称是美国国家生物技术信息中心但说实话名字本身不重要重要的是它底下挂着的那一堆数据库——GenBank、PubMed、BLAST、SRA、dbSNP、RefSeq、Taxonomy……每一个单拎出来都够写一本手册。很多人第一次打开NCBI首页看到满屏的链接和搜索框直接懵了不知道该点哪个。我刚开始做序列分析那会儿也是这样导师丢过来一句“去NCBI上把这个基因的序列找出来”我愣是在首页转了十几分钟才摸到门路。后来用多了才明白NCBI本质上就是一个超大型的生物数据超市你需要的序列、文献、变异位点、表达数据、物种分类信息它基本都有关键是你得知道去哪个货架拿、怎么拿、拿回来怎么用。这篇内容适合三类人看第一类是生物、医学、农学相关专业的学生正在做课题需要查序列、找文献、做比对第二类是刚进入生物信息岗位的从业者需要系统地把NCBI的常用功能过一遍第三类是做数据库开发或数据管理的人想了解NCBI这套体系的设计逻辑借鉴到自己的项目里。不管你是哪一类我都会尽量把每一步讲透包括我踩过的坑和后来总结出来的省事办法。提示NCBI的界面和功能会不定期更新但核心逻辑和数据库结构十几年没大变过。掌握了底层逻辑界面怎么改你都能找到入口。2. 核心数据库拆解与选型逻辑2.1 GenBank、RefSeq、Ensembl到底用哪个这是被问得最多的问题之一。三个都是序列数据库但定位完全不同。GenBank是原始提交库任何人都可以往里面提交序列所以它的特点是“全但杂”。同一个基因可能有几十条甚至上百条不同实验室提交的序列长度不一、注释质量参差不齐。好处是信息最原始、最全面坏处是你得自己判断哪条靠谱。RefSeq是NCBI自己维护的参考序列库每一条序列都经过人工审核或自动化流程筛选注释规范、冗余度低。做基因功能分析、设计引物、做进化树优先用RefSeq。它的登录号通常以NM_、NR_、NP_、NC_开头看到这些前缀就知道是RefSeq。Ensembl是欧洲生物信息研究所维护的和NCBI是竞争又互补的关系。它的强项在于基因组注释和比较基因组学如果你做的是全基因组层面的分析Ensembl的注释往往更细致。但如果你只是查一个基因的mRNA序列NCBI的RefSeq通常更快更直接。我的习惯是查单基因序列用RefSeq做基因组比对用Ensembl找原始提交数据用GenBank。三者之间可以互相跳转NCBI的每条RefSeq记录里都会标注对应的GenBank原始序列。2.2 PubMed和PMC的分工PubMed是文献摘要库收录了超过3000万条文献记录但大部分只有摘要没有全文。PMC是全文库收录了开放获取的全文文章。很多人不知道的是PubMed里有一部分文章会标注“Free PMC article”点进去就能看全文。搜索文献的时候我建议用MeSH词表来搜而不是直接敲关键词。MeSH是医学主题词表NCBI给每篇文章都打了MeSH标签用MeSH词搜索的查准率比自由词高很多。比如你搜“lung cancer”出来的结果可能包含各种不相关的文章但如果你用“Lung Neoplasms”[MeSH]来搜结果就精准得多。2.3 SRA和GEO高通量数据的入口SRA是序列读取存档库存放的是高通量测序的原始数据比如RNA-seq、ChIP-seq、WGS的fastq文件。GEO是基因表达数据库存放的是处理后的表达矩阵和实验设计信息。两者经常配合使用你在GEO上找到感兴趣的实验然后通过GEO页面提供的链接跳转到SRA去下载原始数据。这里有个坑要注意SRA的数据量非常大一个项目动辄几十上百GB。下载之前一定要看清楚数据量别贸然点下载。我见过有学生用校园网下了一个200GB的SRA项目直接把实验室的带宽占满了被全组人追着骂。2.4 数据库选型速查表需求场景推荐数据库登录号前缀注意事项查单基因mRNA序列RefSeqNM_ / XM_XM_是预测序列NM_是实验验证的查蛋白质序列RefSeqNP_ / XP_同上XP_是预测的查基因组序列RefSeq / GenBankNC_ / CM_NC_是完整基因组CM_是染色体查文献摘要PubMedPMID用MeSH词搜索更精准查文献全文PMCPMC ID只有开放获取的才有全文查测序原始数据SRASRR / ERR / DRR注意数据量先看大小再下载查表达谱数据GEOGSE / GSM看平台和样本设计是否匹配你的需求查变异位点dbSNPrs注意版本号不同版本位点信息可能不同查物种分类Taxonomytaxid做宏基因组分析必备3. 序列检索与下载的完整实操3.1 从基因名到序列一步步走通假设你要查人类TP53基因的mRNA序列。最直接的办法是在NCBI首页的搜索框里输入“TP53”然后在下拉框里选择“Gene”数据库。出来的结果第一条通常就是TP53的基因页面里面汇总了这个基因的所有信息基因组位置、转录本、蛋白质产物、相关疾病、通路信息等等。在基因页面里往下翻找到“mRNA and Protein(s)”部分你会看到多个转录本。这里要注意一个基因往往有多个转录本选哪个取决于你的实验目的。如果做功能实验通常选最长的那个或者注释最完整的那个如果做定量PCR选你实验验证过的那个。点进具体的mRNA记录后页面上方有一个“Send to”按钮点开可以选“File”下载FASTA格式的序列也可以选“Clipboard”直接复制。我一般习惯下载FASTA文件方便后续用软件处理。注意下载序列时一定要看清楚是mRNA还是基因组序列。mRNA序列里没有内含子基因组序列里有。如果你要做引物设计用mRNA序列来设计跨外显子的引物可以避免扩增到基因组DNA。3.2 BLAST比对参数怎么设才靠谱BLAST是NCBI最核心的工具之一用来做序列相似性搜索。很多人用BLAST就是默认参数直接跑但其实参数设置直接影响结果的质量。最关键的几个参数Database选nr还是refseq_rnanr是全库结果多但杂refseq_rna是参考序列库结果少但精。做物种鉴定用nr做基因注释用refseq_rna。Organism可以限定物种范围。如果你确定序列来自人类就限定Homo sapiens能大幅减少无关结果。Expect threshold默认是10意思是随机匹配的期望值。这个值越小结果越严格。我一般设成1e-5过滤掉大部分噪音。Word size默认11对于短序列50bp要调小到7否则可能找不到匹配。Max target sequences默认100如果你要看更多结果可以调到500或1000。跑完BLAST之后结果页面会按得分从高到低排列。重点看几个指标Query cover查询序列覆盖度、E value期望值、Per. ident相似度。Query cover低于80%的结果要谨慎对待可能是部分匹配。E value小于1e-5通常认为是显著匹配。Per. ident低于90%的话同源性可能不够高需要进一步验证。3.3 批量下载别一个个点用脚本如果你需要下载几十上百条序列一个个点“Send to”会疯掉。NCBI提供了批量下载的接口可以用命令行工具或者Python脚本搞定。最常用的工具是NCBI的Datasets命令行工具安装之后可以用一行命令下载整个基因组或一组序列。比如datasets download genome accession GCF_000001405.40 --include genome,gtf这条命令会下载人类基因组的参考序列和注释文件。GCF_开头的是RefSeq的参考基因组GCA_开头的是GenBank的。如果只是下载一组序列可以用efetch工具esearch -db nucleotide -query TP53[Gene] AND Homo sapiens[Organism] | efetch -format fasta tp53_sequences.fasta这个管道命令的意思是先在nucleotide库里搜索人类TP53基因的所有序列然后把结果以FASTA格式输出到文件里。esearch和efetch是Entrez Direct工具集的一部分安装之后可以直接在命令行用。实操心得批量下载之前先用esearch看一下结果数量如果超过500条建议加上更多筛选条件否则下载下来的序列质量参差不齐后续处理很麻烦。4. 数据上传与管理的避坑指南4.1 怎么从NCBI下载自己上传的数据这个问题在热搜里出现了说明很多人遇到过。你上传数据到NCBI之后过了一段时间想重新下载但忘了登录号或者找不到入口。解决办法分几种情况。如果你上传的是GenBank序列提交成功后NCBI会给你一个登录号同时发邮件到你注册的邮箱。翻邮件是最直接的办法。如果邮件找不到了可以登录NCBI的Submission Portal在“My Submissions”里能看到你所有的提交记录。如果你上传的是SRA数据登录SRA的Submission Portal在“My Submissions”里能找到所有项目。每个项目有BioProject号PRJNA开头、BioSample号SAMN开头和SRA号SRR开头。用这些号可以在SRA数据库里检索到你的数据。如果连账号都忘了那就比较麻烦。可以尝试用当时提交时填写的邮箱去搜或者联系NCBI的支持团队提供提交时的详细信息让他们帮你找回。注意NCBI的数据一旦公开就很难完全删除。即使你申请撤稿数据也会保留在历史记录里。所以上传之前一定要确认数据没问题尤其是涉及人类样本的数据要确保符合伦理规范。4.2 数据上传前的自查清单上传数据到NCBI之前我建议过一遍这个清单序列是否去除了载体污染用VecScreen跑一遍把载体片段切掉。测序峰图质量是否合格低质量碱基Q20要修剪或标注。注释信息是否完整至少要有物种名、基因名、序列类型。人类样本数据是否去除了个人身份信息NCBI对隐私保护很严格。文件格式是否正确GenBank用.GB格式SRA用.sra格式FASTA用.fa格式。元数据是否填写完整BioSample里的属性字段尽量填全方便别人检索。4.3 版本更新与数据同步NCBI的数据库不是静态的每天都有新数据加入旧数据也可能被修订。如果你在做一个长期项目需要定期同步NCBI的数据有几个策略可以用。对于小规模数据可以定期手动下载更新。对于大规模数据建议用NCBI的FTP站点做增量同步。NCBI的FTP站点按日期组织文件你可以写一个脚本每天检查新文件并下载。# 示例用wget镜像NCBI的RefSeq人类基因组目录 wget -r -np -nH --cut-dirs3 -R index.html* \ https://ftp.ncbi.nlm.nih.gov/genomes/refseq/vertebrate_mammalian/Homo_sapiens/这个命令会递归下载人类RefSeq基因组目录下的所有文件但排除index.html。实际使用时要根据需求调整路径和过滤条件。实操心得NCBI的FTP站点结构比较深建议先用浏览器打开看看目录结构确认路径正确再写脚本。另外FTP站点的文件更新有延迟通常比网页版晚1-2天。5. 常见问题与排查技巧实录5.1 搜索不到结果怎么办这是新手最常遇到的问题。搜一个基因名结果为零或者出来的结果完全不相关。排查思路如下第一检查搜索的数据库对不对。基因名要在Gene库里搜序列要在Nucleotide库里搜文献要在PubMed里搜。选错库等于白搜。第二检查物种限定。如果你搜“TP53”但不限定物种出来的结果可能包含小鼠、大鼠、斑马鱼等各种物种。加上“Homo sapiens[Organism]”限定一下。第三检查基因名是否准确。有些基因有别名比如TP53也叫P53、BCC7、LFS1。用别名再搜一次试试。第四检查是否有拼写错误。NCBI的搜索对拼写很敏感一个字母错了就搜不到。第五如果还是搜不到试试用登录号直接搜。如果你知道序列的登录号直接输入登录号是最快最准的。5.2 下载的序列和预期不符有时候下载下来的序列长度不对或者注释信息缺失。可能的原因下载的是部分序列CDS区而不是全长mRNA下载的是基因组序列而不是mRNA序列下载的是预测序列XM_开头而不是验证序列NM_开头下载的是旧版本序列NCBI已经更新了解决办法在序列记录页面仔细看“Definition”和“Comment”字段确认序列的类型和版本。如果发现版本不对在记录页面找“Previous Version”链接可以查看历史版本。5.3 BLAST结果全是低质量匹配跑BLAST出来一堆E value很大的结果或者Query cover很低。可能的原因和解决办法问题现象可能原因解决办法结果全是E value1序列太短或质量差检查序列质量调小Word sizeQuery cover50%序列有重复区域或嵌合体检查序列是否拼接错误结果全是同一物种数据库选择太窄换nr库重新搜没有结果序列方向反了用反向互补序列再搜一次结果太多太杂数据库太大限定物种或换refseq库5.4 页面加载慢或打不开NCBI的服务器在国外国内访问有时候确实慢。几个应对办法避开高峰时段早上或深夜访问通常快一些用NCBI的API接口而不是网页界面API的响应速度通常更快如果只是查序列可以用国内的镜像站点比如一些大学和研究所维护的NCBI镜像批量下载用FTP而不是网页FTP的稳定性更好提示NCBI的E-utilities API有请求频率限制每秒不超过3次请求。批量操作时要在脚本里加延时否则会被封IP。5.5 登录号格式搞混了NCBI的登录号有很多种格式新手容易搞混。这里列一下常见的NM_ / NR_ / NP_RefSeq的mRNA、非编码RNA、蛋白质XM_ / XR_ / XP_RefSeq的预测序列NC_ / NG_ / NT_ / NW_RefSeq的基因组序列AC_ / CM_ / DS_ / GG_GenBank的基因组序列SRR / ERR / DRRSRA的测序读取GSE / GSM / GPLGEO的数据集、样本、平台PRJNA / PRJEB / PRJDBBioProject号SAMN / SAMEABioSample号rsdbSNP的变异位点PMIDPubMed的文献编号PMCPMC的全文编号记住这些前缀看到登录号就知道是什么类型的数据能省很多时间。6. 进阶技巧让NCBI用起来更顺手6.1 用My NCBI保存搜索策略如果你经常搜同一个主题的文献或序列建议用My NCBI功能保存搜索策略。登录NCBI账号后在搜索结果页面点“Create alert”可以设置定期自动搜索并邮件通知你新结果。做文献综述的时候特别有用不用每天手动搜。6.2 用Collections管理下载的数据NCBI的Collections功能可以把你下载的序列、文献、变异位点组织成集合方便后续查找和分享。比如你做一个项目把相关的所有序列都加到一个Collection里下次直接打开Collection就能看到全部数据不用重新搜。6.3 用Genome Workbench做本地分析NCBI的Genome Workbench是一个免费的桌面软件可以本地浏览基因组、做比对、可视化变异。如果你需要频繁查看基因组数据装一个比每次开网页方便得多。它支持直接导入NCBI的登录号自动从网上下载数据。6.4 用Entrez Direct做自动化Entrez Direct是NCBI官方提供的命令行工具集包含esearch、efetch、elink、esummary等命令。用它可以写脚本自动化完成搜索、下载、格式转换等操作。比如你要下载某个物种的所有线粒体基因组esearch -db nucleotide -query mitochondrion[Title] AND Homo sapiens[Organism] AND complete genome[Title] \ | efetch -format fasta human_mito.fasta这条命令会搜索人类完整的线粒体基因组序列并以FASTA格式下载。比网页操作快得多而且可以集成到更大的分析流程里。6.5 数据格式转换的常用工具从NCBI下载的数据格式可能和你的分析软件不兼容需要转换。常用的转换工具seqkit处理FASTA/Q格式的瑞士军刀支持统计、过滤、转换、拆分BiopythonPython的生物学数据处理库可以读写GenBank、FASTA、PubMed等格式samtools处理SAM/BAM格式的比对文件bedtools处理BED格式的基因组区间文件比如用seqkit统计一个FASTA文件的基本信息seqkit stats sequences.fasta输出会显示序列条数、总长度、平均长度、GC含量等信息快速了解数据概况。实操心得从NCBI下载的GenBank格式文件用Biopython读取后可以方便地提取CDS、翻译成蛋白质、计算密码子偏好性。我经常用这个流程做基因注释的批量处理。7. 数据库设计思路的借鉴虽然大部分人用NCBI只是查数据但如果你做数据库开发NCBI的设计思路很值得借鉴。第一是分层设计。原始数据GenBank、参考数据RefSeq、衍生数据dbSNP、GEO分开存储各司其职。这样既保证了原始数据的完整性又提供了高质量的参考数据。第二是统一标识符体系。每个实体都有唯一的登录号不同数据库之间通过登录号关联。比如一个基因有Gene ID它的mRNA有NM_号蛋白质有NP_号变异位点有rs号这些号之间可以互相跳转。第三是版本控制。NCBI的每条记录都有版本号数据更新时版本号递增旧版本保留可查。这对于科研的可重复性很重要。第四是API优先。NCBI的所有功能都有对应的API接口网页界面只是API的一个前端。这种设计让自动化处理成为可能。如果你在设计自己的数据库可以参考这几点给每个实体分配唯一ID、建立实体之间的关联关系、保留版本历史、提供API接口。这些原则不管用什么数据库软件都适用。8. 我个人的使用体会用了这么多年NCBI最大的感受是它的功能远比大多数人想象的要多。很多人只用了它10%的功能就以为已经掌握了。实际上光是E-utilities这一套API就够写好几篇教程。另一个感受是NCBI的文档其实很全但藏得比较深。每个工具页面底部都有Help链接点进去有详细的使用说明和参数解释。遇到问题先看官方文档比在网上搜答案靠谱得多。最后说一个省时间的技巧把常用的搜索和下载操作写成脚本存成别名或者函数。比如我在.bashrc里定义了一个函数输入基因名和物种名就能自动下载对应的RefSeq序列。这种小工具积累多了效率提升非常明显。提示NCBI的数据是公共资源使用时要注意引用规范。发表文章时如果用了NCBI的数据或工具要在方法部分注明数据库名称、登录号和访问日期。这是基本的学术规范也是对数据贡献者的尊重。
