跳至主要内容

什么是 sitemap.xml 和 robots.txt? 原创 二师兄

一、什么是 sitemap.xml

 通俗一点说,   sitemap.xml 就是你网站的“导航地图”,但它不是给用户看的,而是专门给搜索引擎看的   


 简单举个例子��:

 假如你的网站有下面几个页面:

  首页:    /  

  常见问题页:    /faq/windows-error  

  英文版页面:    /en  

  中文版页面:    /zh  

 你通过 sitemap.xml 告诉搜索引擎,比如谷歌:“这些页面都很重要,你赶紧来收录一下!”


  sitemap.xml 文件长啥样?

 其实就是个简单的清单,看个例子��:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url><loc>https://fixpc.app/</loc></url>
  <url><loc>https://fixpc.app/faq/windows-blue-screen</loc></url>
  <url><loc>https://fixpc.app/en</loc></url>
  <url><loc>https://fixpc.app/zh</loc></url>
</urlset>

 

 怎么自动生成 sitemap.xml 呢?

 最简单的办法是使用插件,比如 Next.js 项目里用    next-sitemap    插件就行,每次更新网站的时候它会自动帮你更新这个文件,非常省心!



 二、什么是 robots.txt

 robots.txt 你可以理解为网站门口的一块“公告牌”,专门告诉搜索引擎:哪些页面可以抓取,哪些页面不能抓取。

 比如:

User-agent: *
Disallow: /api/
Allow: /
Sitemap: https://fixpc.app/sitemap.xml

 解释一下这段内容��:

   Disallow: /api/    表示告诉搜索引擎:“后台接口的数据你别抓!”

   Allow: /    表示网站其他所有网页都可以抓。

   Sitemap:    后面的网址,就是上面介绍过的那个 sitemap.xml 文件的地址。

 


 三、 sitemap.xml robots.txt 有啥用?

 文件名

 用途

 是否必须?

 sitemap.xml

 告诉搜索引擎快速收录你网站的各个页面

 ✅ 必须

 robots.txt

 限制搜索引擎抓取不必要或敏感的页面

 ✅ 必须


最佳实践(开发小技巧):

  使用 Next.js 的小伙伴们,推荐用    next-sitemap    插件,一次性自动搞定 sitemap.xml 和 robots.txt。

  配置一下你的    next.config.js    文件,填写上你的网站域名,比如:    https://fixpc.app    ,就能实现自动化,省时又省力!

 

 ✨ 好啦,这下大家明白 sitemap.xml 和 robots.txt 是什么了吗?赶紧动手试试看吧~✨

 
   

评论

此博客中的热门博文

用了 Claude Code 之后,我不再续费 Cursor 了!国内使用 Claude Code 教程 原创 周星星 摆烂工程师

最近深度使用了一段时间的Claude Code,总体感觉: 快、准、贵 。 谷歌也出了对应的Gemini Cli,但是有人翻出对应的源码之后,发现是逆向了Claude Code。 两者我都体验使用过了, 个人感受:Claude Code 强于 Gemini Cli 。 我简单的让Claude Code 生成一个网页介绍如何安装和使用,几十秒之后就完成了。 

小白如何快速检测代理节点IP的好坏 原创 haha

  前言基础概要   最近有很多做外贸的朋友问我, “这个IP靠谱吗?是不是原生IP?”,或者我的读者或者粉丝经常问我为啥Google Voice、Facebook、Tiktok、Netflex、Spotify这网站或者APP时会遇到封号或者无法登录的问题。