GoLang—数据存储

更新时间:2019-10-09 17:13:33点击次数:237次
数据存储可以分为三大类:文件存储、关系型的数据库(SQL)和非关系型的数据库(NoSQL)。本文主要讲述文件存储的实现方式。

文件存储根据不同的文件实现不同的存储方式:普通文件(如txt读写)、CSV文件、数据的序列化和持久化。

普通文件(如txt读写)
普通文件的读写可以使用os或io/ioutil包实现,两者的实现方式如下所示。

package main

import (
"fmt"
"io/ioutil"
"os"
)

func main() {
// 使用ioutil的WriteFile对文件执行写入操作
data := []byte("Hello World!\n")
err := ioutil.WriteFile("data1.txt", data, 0644)
if err != nil {
panic(err)
}
// 使用ioutil的ReadFile对文件执行读取操作
read1, _ := ioutil.ReadFile("data1.txt")
fmt.Print(string(read1))

// 使用os的Create创建文件对象
file1, _ := os.Create("data2.txt")
// 使用defer,当程序执行结束将自动关闭文件对象file1
defer file1.Close()
// 使用文件对象file1对文件写入数据
bytes, _ := file1.Write(data)
fmt.Printf("Wrote %d bytes to file\n", bytes)

// 使用os的Open打开文件data2.txt,生成文件对象file2
file2, _ := os.Open("data2.txt")
defer file2.Close()
// 根据数据data的长度定义相应的数组
read2 := make([]byte, len(data))
// 由文件对象file2调用Read读取文件的数据内容,并将数据加载到数组read2
bytes, _ = file2.Read(read2)
fmt.Printf("Read %d bytes from file\n", bytes)
fmt.Println(string(read2))
}

CSV文件
CSV 格式是一种文件格式,它可以让文本编辑器非常方便地读写由文本和数字组成的表格数据。CSV 的应用非常广泛,包括微软的 Excel 和苹果的 Numbers 在内的绝大多数电子表格程序都支持 CSV 格式,因此包括 Go 在内的很多编程语言都提供了能够生成和处理 CSV 文件数据的函数库。对 Go 语言来说,CSV 文件可以通过encoding/csv包进行操作,实现代码如下。

package main

import (
"encoding/csv"
"fmt"
"os"
"strconv"
)

type Post struct {
Id int
Content string
Author string
}
func main() {
// 创建文件posts.csv
csvFile, err := os.Create("posts.csv")
if err != nil {
panic(err)
}
defer csvFile.Close()
// 创建数据
allPosts := []Post{
Post{Id: 1, Content: "Hello World!", Author: "Sau Sheong"},
Post{Id: 2, Content: "Bonjour Monde!", Author: "Pierre"},
Post{Id: 3, Content: "Hola Mundo!", Author: "Pedro"},
Post{Id: 4, Content: "Greetings Earthlings!", Author: "Sau Sheong"},}
// 使用csv的NewWriter方法对文件csvFile进行写入操作
writer := csv.NewWriter(csvFile)
// 遍历allPosts的每行数据,将每行数据依次写入CSV文件
for _, post := range allPosts {
// 将strconv.Itoa(post.Id)转换成字符串格式
// 变量line以数组的形式表示
line := []string{strconv.Itoa(post.Id), post.Content, post.Author}
// 将数组line写入CSV文件
err := writer.Write(line)
if err != nil {
panic(err)
}
}
// 调用Flush方法来保证缓冲区中的所有数据都已经被正确地写入文件里面
writer.Flush()

// ………………………………………………………………………………………分界线………………………………………………………………………………………

// 打开CSV文件
file, err := os.Open("posts.csv")
if err != nil {
panic(err)
}
defer file.Close()
// 使用csv的NewWriter方法对文件csvFile进行读取操作
reader := csv.NewReader(file)
// 设置每行数据里面的字段数量
// 如果FieldsPerRecord的值为正数,并且CSV文件里面读取出的字段数量少于这个值时,Go就会抛出一个错误。
// 如果FieldsPerRecord的值为0,那么读取器就会将读取到的第一条记录的字段数量用作FieldsPerRecord的值。
// 如果FieldsPerRecord的值为负数,即使在读取过程中发现数据里面缺少了某些字段,读取进程也不会被中断。
reader.FieldsPerRecord = -1
// 一次读取所有数据
// 多次读取可使用Read()
record, err := reader.ReadAll()
if err != nil {
panic(err)
}
// 将已读取的数据依次输出
var posts []Post
for _, item := range record {
// 将字段Id转化为整型
id, _ := strconv.ParseInt(item[0], 0, 0)
post := Post{Id: int(id), Content: item[1], Author: item[2]}
posts = append(posts, post)
}
fmt.Println(posts[0].Id)
fmt.Println(posts[0].Content)
fmt.Println(posts[0].Author)
}

数据的序列化和持久化
go的encoding/gob包用于管理由 gob 组成的流(stream),这是一种在编码器(encoder)和解码器(decoder)之间进行交换的二进制数据,这种数据原本是为序列化以及数据传输而设计的,但它也可以用于对数据进行持久化,并且为了让用户能够方便地对文件进行读写,编码器和解码器一般都会分别包裹起程序的写入器以及读取器。简单来说,go的encoding/gob包类似python的pickle模块,两者实现的功能是相同的。
但两者对比发现,encoding/gob包的使用方法却没有python的便捷,具体的使用过程如下所示。

package main

import (
"bytes"
"encoding/gob"
"fmt"
"io/ioutil"
)

type Post struct {
Id int
Content string
Author string
}

func store(data interface{}, filename string) {
// 定义字节缓冲区对象buffer
// 这是拥有Read方法和Write方法的可变长度(variable-sized)字节缓冲区
// 换句话说,bytes.Buffer既是读取器也是写入器。
buffer := new(bytes.Buffer)
// 对缓冲区对象buffer设置编码,生成编码器encoder
encoder := gob.NewEncoder(buffer)
// 将数据data写入编码器encoder(字节缓冲区对象buffer)
err := encoder.Encode(data)
if err != nil {
panic(err)
}
// 将缓冲区对象buffer的数据内容以字节的方式写入文件,生成二进制数据文件
err = ioutil.WriteFile(filename, buffer.Bytes(), 0600)
if err != nil {
panic(err)
}
}

func load(data interface{}, filename string) {
// 读取文件filename的数据内容
raw, err := ioutil.ReadFile(filename)
if err != nil {
panic(err)
}
// 定义字节缓冲区对象buffer,并将文件内容raw加载到字节缓冲区对象buffer
buffer := bytes.NewBuffer(raw)
// 在字节缓冲区对象buffer设置解码器dec
dec := gob.NewDecoder(buffer)
// 将解码后的数据写入参数data
err = dec.Decode(data)
if err != nil {
panic(err)
}
}

func main() {
post := Post{Id: 1, Content: "Hello World!", Author: "Sau Sheong"}
store(post, "post1")
var postRead Post
load(&postRead, "post1")
fmt.Println(postRead.Id)
}

本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责,本站只提供参考并不构成任何投资及应用建议。本站是一个个人学习交流的平台,网站上部分文章为转载,并不用于任何商业目的,我们已经尽可能的对作者和来源进行了通告,但是能力有限或疏忽,造成漏登,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息
  • 项目经理 点击这里给我发消息