阅读更多系列文章请访问我的GitHub博客,示例代码请访问这里。
File System的问题
我们通常会使用File System模块对文件进行读取,如下:
fs.readFile('./test.txt', (error, buffer) => {
if (error) {
console.error(error)
} else {
// 读取文件成功
res.write(buffer)
}
})
这样操作简单有效,但这也存在一些问题:
- 占用内存 使用fs读取文件,它是一次性将文件的所有内容读取到内存中,再一次性发送到客户端,因此会占用大量内存。
- 资源使用效率低 从磁盘读取文件期间,磁盘处于忙碌状态,而网络处于空闲状态。 磁盘读取完成后,开始发送文件时,情况正相反,网络处于忙碌状态,此时磁盘却处于空闲状态。
Stream流
相比File System,Stream流读取文件是读一份,发一份,Stream流的写入操作也有同样特点,因此可以解决File System在上面提到的2个问题。
接下来实现一个简单的流,将1.txt文件的内容写入到2.txt中:
示例代码:/lesson24/stream.js
const fs = require('fs')
// 创建一个可读流。
const readStream = fs.createReadStream('./1.txt')
// 创建一个可写流。
const writeStream = fs.createWriteStream('./2.txt')
// 将可读流读取的数据,通过管道pipe推送到写入流中,即可将1.txt的内容,写入到2.txt中。
readStream.pipe(writeStream)
// 读取出现错误时会触发error事件。
readStream.on('error', (error) => {
console.error(error)
})
// 写入完成时,触发finish事件。
writeStream.on('finish', () => {
console.log('finish')
})
使用Zlib压缩文件
可以使用Zlib模块,配合Stream流,实现文件压缩功能,如下:
示例代码:/lesson24/gzip.js
const fs = require('fs')
// 引入zlib模块,用于实现压缩功能
const zlib = require('zlib')
// 创建一个可读流。
const readStream = fs.createReadStream('./google.jpg')
// 创建一个可写流。
const writeStream = fs.createWriteStream('./google.jpg.gz')
// 创建一个Gzip对象,用于将文件压缩成.gz文件
const gzip = zlib.createGzip()
// 将可读流读取的数据,先通过管道pipe推送到gzip中,再推送到写入流中。
// 也就是先将可读流的数据压缩,再推送到可写流中。
readStream.pipe(gzip).pipe(writeStream)
// 读取出现错误时会触发error事件。
readStream.on('error', (error) => {
console.error(error)
})
// 写入完成时,触发finish事件。
writeStream.on('finish', () => {
console.log('finish')
})
使用流传输文件到前台
学习了流,我们就可以更加高效地将文件传输到前台:
示例代码:/lesson24/server.js
const http = require('http')
const zlib = require('zlib')
const url = require('url')
const fs = require('fs')
const server = http.createServer((req, res) => {
const {
pathname
} = url.parse(req.url, true)
// 创建一个可读流。
const readStream = fs.createReadStream(`./${pathname}`)
// 创建一个Gzip对象,用于将文件压缩成.gz文件
const gzip = zlib.createGzip()
// 将读取的内容,在通过管道推送到res中,该方法不经过压缩
readStream.pipe(res)
// 处理可读流报错,防止请求不存在的文件
readStream.on('error', (error) => {
console.error(error);
res.writeHead(404)
res.write('Not Found')
res.end()
})
})
server.listen(8080)
但可以看到,在这个例子里,虽然实现了使用流传输文件,但并没有用到gzip压缩,在传输时还是更多地消耗网络资源,接下来可以引入gzip压缩。
文件经过gzip压缩后传输到前台
但此时如果只是简单的用readStream.pipe(gzip).pipe(res)
传输文件,浏览器在访问时无法直接打开,而是会触发文件下载。
这是因为未设置请求头属性content-encoding的值,导致浏览器无法识别用gzip压缩过的文件,这就需要修改请求头res.setHeader('content-encoding', 'gzip')
,让浏览器可以识别。
这样浏览器就可以正常打开文件了,但若浏览器访问的是不存在的文件,浏览器会报错“无法访问此网站”,这是因为请求头属性content-encoding已被设置为gzip,但服务端传给浏览器的是Not Found字符串,浏览器无法识别。
此时可以使用fs.stat方法,先检查文件是否存在,若不存在则返回Not Found,若存在则继续传输。
示例代码:/lesson24/server_gzip.js
const http = require('http')
const zlib = require('zlib')
const url = require('url')
const fs = require('fs')
const server = http.createServer((req, res) => {
const {
pathname
} = url.parse(req.url, true)
// 文件的相对路径
const filepath = `./${pathname}`
// 检查文件是否存在
fs.stat(filepath, (error, stat) => {
if (error) {
console.error(error);
res.setHeader('content-encoding', 'identity')
res.writeHead(404)
res.write('Not Found')
res.end()
} else {
// 创建一个可读流。
const readStream = fs.createReadStream(filepath)
// 创建一个Gzip对象,用于将文件压缩成.gz文件
const gzip = zlib.createGzip()
// 向浏览器发送经过gzip压缩的文件,设置响应头,否则浏览器无法识别,会自动进行下载。
res.setHeader('content-encoding', 'gzip')
// 将读取的内容,通过gzip压缩之后,在通过管道推送到res中,由于res继承自Stream流,因此也可以接收管道的推送。
readStream.pipe(gzip).pipe(res)
// 处理可读流报错,防止文件中途被删除或出错,导致报错。
readStream.on('error', (error) => {
console.error(error);
res.setHeader('content-encoding', 'identity')
res.writeHead(404)
res.write('Not Found')
res.end()
})
}
})
})
server.listen(8080)