我要评论duckdb的主要优点
- 内存内执行：duckdb主要在内存中操作，但也支持内存外执行。这使得它能够非常快速有效地执行计算。
- 完整的sql支持：duckdb支持广泛的sql特性，这使得它对于各种类型的数据操作非常灵活。
- 事务支持：duckdb支持事务，这是在许多应用程序中维护数据完整性和一致性的关键特性。
- 向量化执行：duckdb使用向量化查询执行，从而提高cpu利用率和性能。
- 易于集成：duckdb为多种编程语言提供api，包括python、r、c++、rust、java和go。这使得将duckdb集成到现有工作流和系统中变得更加容易。
- 开源：duckdb是开源的，这意味着它的源代码可以免费修改或增强。这允许社区驱动的改进和对特定用例的适应性。
环境准备
在开始使用duckdb和go之前，需要安装duckdb go驱动程序。你可以使用go的包管理器下载。在终端上运行以下命令：
github.com/marcboeker/go-duckdb
- 连接数据库
package main
import (
"database/sql"
"log"
_ "github.com/marcboeker/go-duckdb"
)
func main() {
// empty datasource means, that db will be solely in-memory, otherwise you could specify a filename here
db, err := sql.open("duckdb", "")
if err != nil {
log.fatal("failed to connect to database:", err)
}
defer db.close()
}
安装了驱动程序后，现在可以从go应用程序建立到duckdb的连接。sql.open() 函数用于连接到duckdb，空数据源名称表示我们正在使用内存中的数据库，你也可以指定数据库文件名称，实现数据持久化，相对于当前项目所在目录。
初始化表和数据
现在连接已经建立，你可以执行各种数据库操作了。我们首先创建表，然后插入初始化数据进行测试：
package main
import (
"database/sql"
"fmt"
"log"
"time"
_ "github.com/marcboeker/go-duckdb"
)
var db *sql.db
var err error
func main() {
// empty datasource means, that db will be solely in-memory, otherwise you could specify a filename here
db, err = sql.open("duckdb", "data.db")
if err != nil {
log.fatal("failed to connect to database:", err)
}
defer db.close()
init_data()
}
func init_data() {
// create table
_, err := db.exec(`
create table employee (
id integer,
name varchar(20),
start_dt timestamp,
is_remote boolean
)`)
if err != nil {
log.fatal(err)
}
// insert some data in table
_, err = db.exec(`
insert into employee (id, name, start_dt, is_remote)
values
(1, 'john doe', '2022-01-01 09:00:00', true),
(2, 'jane smith', '2023-03-15 10:00:00', false)`)
if err != nil {
log.fatal(err)
}
}
在处理较大的数据集时，考虑使用事务和预处理语句以提高效率和安全性。记住，总是处理错误并在完成后关闭连接。
查询单行或多行
要获取数据，可以使用queryrow() 函数来选择单行：
func query_one() {
// variables to store query result
var id int
var name string
var startdt time.time
var isremote bool
// query single row
if err := db.queryrow("select id, name, start_dt, is_remote from employee where id = ?", 1).scan(&id, &name, &startdt, &isremote); err != nil {
if err == sql.errnorows {
log.println("no rows found.")
} else {
log.fatalf("unable to execute query: %v", err)
}
} else {
fmt.println("select 1 row result:\nid:", id, "name:", name, "start datetime:", startdt, "is remote:", isremote)
}
}
不要忘记处理任何错误并正确关闭连接和结果集，如上所示。
要选择多行，可以使用query() 函数：
func query_all() {
// variables to store query result
var id int
var name string
var startdt time.time
var isremote bool
// query multiple rows
rows, err := db.query("select id, name, start_dt, is_remote from employee")
if err != nil {
log.fatal(err)
}
defer rows.close()
// print the results
fmt.println("results:")
for rows.next() {
err = rows.scan(&id, &name, &startdt, &isremote)
if err != nil {
log.fatal(err)
}
fmt.println("id:", id, "name:", name, "start datetime:", startdt, "is remote:", isremote)
}
err = rows.err()
if err != nil {
log.fatal(err)
}
}
我们用sql命令调用query()函数，从employee表中选择所有记录。
- 然后使用rows.next()进入循环，该循环遍历查询返回的每一行。
- 在循环中，我们使用scan()函数将当前行的列复制到id、name、startdt和isremote变量中。
- 然后使用fmt.println()函数打印这些变量。
- 循环结束后，使用rows.err()检查迭代过程中的错误。如果有错误，我们使用log.fatal（err）打印它。
错误处理和事务
在现实世界中，go代码必须准备好处理错误和处理事务。sql包提供了所有必要的工具：
func trans_insert() {
// error handling and transactions
tx, err := db.begin()
if err != nil {
log.fatal(err)
}
defer tx.rollback()
_, err = tx.exec(`
insert into employee (id, name, start_dt, is_remote)
values
(3000000000, 'id int64 instead of int32', '2022-06-17 11:00:00', true)`)
if err != nil {
log.printf("error: %s\n", err.error()) // do not fail, just print the error in output
}
err = tx.commit()
if err != nil {
log.fatal(err)
}
}
此代码开始事务，尝试执行插入语句，然后提交事务。如果在执行期间发生错误，它将回滚在该事务中所做的任何更改。
完整代码
package main
import (
"database/sql"
"fmt"
"log"
"time"
_ "github.com/marcboeker/go-duckdb"
)
var db *sql.db
var err error
func main() {
// empty datasource means, that db will be solely in-memory, otherwise you could specify a filename here
db, err = sql.open("duckdb", "data.db")
if err != nil {
log.fatal("failed to connect to database:", err)
}
defer db.close()
// init_data()
query_one()
// trans_insert()
query_all()
}
func init_data() {
// create table
_, err = db.exec(`
create table employee (
id integer,
name varchar(20),
start_dt timestamp,
is_remote boolean
)`)
if err != nil {
log.fatal(err)
}
// insert some data in table
_, err = db.exec(`
insert into employee (id, name, start_dt, is_remote)
values
(1, 'john doe', '2022-01-01 09:00:00', true),
(2, 'jane smith', '2023-03-15 10:00:00', false)`)
if err != nil {
log.fatal(err)
}
}
func trans_insert() {
// error handling and transactions
tx, err := db.begin()
if err != nil {
log.fatal(err)
}
defer tx.rollback()
_, err = tx.exec(`
insert into employee (id, name, start_dt, is_remote)
values
(3000000000, 'id int64 instead of int32', '2022-06-17 11:00:00', true)`)
if err != nil {
log.printf("error: %s\n", err.error()) // do not fail, just print the error in output
}
err = tx.commit()
if err != nil {
log.fatal(err)
}
}
func query_one() {
// variables to store query result
var id int
var name string
var startdt time.time
var isremote bool
// query single row
if err := db.queryrow("select id, name, start_dt, is_remote from employee where id = ?", 1).scan(&id, &name, &startdt, &isremote); err != nil {
if err == sql.errnorows {
log.println("no rows found.")
} else {
log.fatalf("unable to execute query: %v", err)
}
} else {
fmt.println("select 1 row result:\nid:", id, "name:", name, "start datetime:", startdt, "is remote:", isremote)
}
}
func query_all() {
// variables to store query result
var id int
var name string
var startdt time.time
var isremote bool
// query multiple rows
rows, err := db.query("select id, name, start_dt, is_remote from employee")
if err != nil {
log.fatal(err)
}
defer rows.close()
// print the results
fmt.println("results:")
for rows.next() {
err = rows.scan(&id, &name, &startdt, &isremote)
if err != nil {
log.fatal(err)
}
fmt.println("id:", id, "name:", name, "start datetime:", startdt, "is remote:", isremote)
}
err = rows.err()
if err != nil {
log.fatal(err)
}
}
最后总结
duckdb对go的支持允许开发人员直接从他们的go应用程序中执行强大的数据分析操作。强大的数据管理系统和通用高效的编程语言之间的这种集成为更先进的数据处理应用打开了大门。有了本文提供的基础知识，你就可以开始探索这些可能性了。
以上就是golang操作duckdb实战案例分享的详细内容，更多关于golang操作duckdb的资料请关注代码网其它相关文章！
发表评论