Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
19 changes: 17 additions & 2 deletions .env.example
Original file line number Diff line number Diff line change
Expand Up @@ -11,22 +11,37 @@ APP_ORIGIN=http://localhost:48731
POSTGRES_DB=devtodo
POSTGRES_USER=devtodo
POSTGRES_PASSWORD=replace-with-a-database-password
# 外部 PostgreSQL(compose.external-db.yaml):填写完整 URL,并删除/忽略上面的
# POSTGRES_*。每个 TaskDock 中枢必须使用独立 database;只共享服务器,不共享库。
# 外部数据库(compose.external-db.yaml):填写完整 URL,并删除/忽略上面的
# POSTGRES_* / MYSQL_*。每个 TaskDock 中枢必须使用独立 database;只共享服务器,
# 不共享库。PostgreSQL 和 MySQL 共用同一套连接参数。
# DATABASE_URL=postgres://taskdock_app:[email protected]:5432/taskdock
# 可选:迁移专用 DDL 角色;为空时复用 DATABASE_URL。
# MIGRATION_DATABASE_URL=postgres://taskdock_migrator:[email protected]:5432/taskdock
# DATABASE_SSL_MODE=verify-full
# DATABASE_SSL_CA=/run/secrets/db-ca.pem
# 内置 MySQL(compose.mysql.yaml):改用这一组变量即可,DB_DIALECT 可省略——
# 只要出现 MYSQL_* 变量或 mysql:// URL,引擎会自动识别为 MySQL。
# DB_DIALECT=mysql
# MYSQL_HOST=mysql
# MYSQL_PORT=3306
# MYSQL_USER=taskdock
# MYSQL_PASSWORD=replace-with-a-mysql-password
# MYSQL_DATABASE=taskdock
# 外部 MySQL:同样用完整 URL,迁移角色复用 MIGRATION_DATABASE_URL。
# DATABASE_URL=mysql://taskdock:[email protected]:3306/taskdock
# MIGRATION_DATABASE_URL=mysql://taskdock_migrator:[email protected]:3306/taskdock
DB_POOL_MAX=10
DB_POOL_WARM=0
DB_APPLICATION_NAME=taskdock-api
# PgBouncer transaction mode 不能保持 LISTEN 会话;此时设为 false。
# MySQL 没有 LISTEN/NOTIFY,该变量会被忽略(多实例推送改用进程内通知 + 可选 Redis)。
DB_LISTEN_ENABLED=true
DB_CONNECT_TIMEOUT_MS=5000
# 远端库建议不要 30 秒就回收空闲连接。
DB_IDLE_TIMEOUT_MS=300000
DB_QUERY_TIMEOUT_MS=30000
# 以下三项只对 PostgreSQL 是语句级硬超时;MySQL 用 max_execution_time(仅 SELECT)
# 和 innodb_lock_wait_timeout,写入不会被语句级强杀。
DB_STATEMENT_TIMEOUT_MS=30000
DB_LOCK_TIMEOUT_MS=5000
# 启动时数据库未就绪的最长等待时间;0 表示只尝试一次。
Expand Down
44 changes: 44 additions & 0 deletions .github/workflows/ci.yml
Original file line number Diff line number Diff line change
Expand Up @@ -43,6 +43,17 @@ jobs:
--health-interval 5s
--health-timeout 5s
--health-retries 20
mysql:
image: mysql:8.4@sha256:a81d043930e51745522bd5c430961cf8286f0a23f0a9a2a6e0108f7ea71b0902
env:
MYSQL_ROOT_PASSWORD: root_test_password
MYSQL_DATABASE: devtodo_mysql_test
ports: ['3306:3306']
options: >-
--health-cmd "mysqladmin ping -h 127.0.0.1 -uroot -proot_test_password --silent"
--health-interval 5s
--health-timeout 5s
--health-retries 30
steps:
- uses: actions/checkout@v4
- uses: pnpm/action-setup@v4
Expand All @@ -52,6 +63,24 @@ jobs:
- run: pnpm install --frozen-lockfile
- name: Block known high-severity dependency advisories
run: pnpm audit --audit-level=high --registry=https://registry.npmjs.org
# `docker compose config` resolves interpolation and anchors, so a broken
# anchor, a missing required variable or a YAML typo fails here instead of
# at deploy time. It never pulls images.
- name: Validate Compose files
shell: bash
run: |
set -euo pipefail
export APP_VERSION=validate APP_ORIGIN=http://localhost:3000
export POSTGRES_PASSWORD=validate MYSQL_PASSWORD=validate MYSQL_ROOT_PASSWORD=validate
export DATABASE_URL=postgres://validate:[email protected]:5432/validate
export BOOTSTRAP_TOKEN=validate-token-at-least-32-characters-long
export ACCESS_TOKEN_SECRET=validate-secret-at-least-32-characters-long
export REFRESH_TOKEN_PEPPER=validate-pepper-at-least-32-characters-long
export CORS_ALLOWED_ORIGINS=http://localhost:3000
export OWNER_USERNAME=validate OWNER_PASSWORD=validate-password
docker compose -f compose.yaml config --quiet
docker compose -f compose.external-db.yaml config --quiet
docker compose -f compose.mysql.yaml config --quiet
- run: pnpm format:check
- run: pnpm lint
- run: pnpm tokens:check
Expand All @@ -67,6 +96,21 @@ jobs:
- run: pnpm build
- name: Verify precompressed static delivery
run: pnpm exec tsx scripts/check-static-delivery.ts
# MySQL is a first-class engine: dialect probes, the full integration
# smoke and the HTTP runtime smoke all run against a real server.
- name: MySQL dialect, integration and runtime gates
shell: bash
run: |
set -euo pipefail
TASKDOCK_MYSQL_TEST_URL=mysql://root:[email protected]:3306 \
pnpm test:mysql-compat
TASKDOCK_TEST_DATABASE_URL=mysql://root:[email protected]:3306/devtodo_mysql_test \
pnpm test:integration
# The runtime smoke needs a database with no Owner, so give it a
# separate schema instead of relying on the cleanup above.
node -e "const mysql=require('mysql2/promise');(async()=>{const c=await mysql.createConnection({host:'127.0.0.1',port:3306,user:'root',password:'root_test_password'});await c.query('CREATE DATABASE IF NOT EXISTS devtodo_mysql_runtime CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci');await c.end();})()"
TASKDOCK_TEST_DATABASE_URL=mysql://root:[email protected]:3306/devtodo_mysql_runtime \
pnpm test:mysql-runtime
- name: PostgreSQL restart and mobile loading benchmark
shell: bash
run: |
Expand Down
22 changes: 22 additions & 0 deletions .github/workflows/release.yml
Original file line number Diff line number Diff line change
Expand Up @@ -48,6 +48,18 @@ jobs:
--health-interval 5s
--health-timeout 5s
--health-retries 20
mysql:
image: mysql:8.4@sha256:a81d043930e51745522bd5c430961cf8286f0a23f0a9a2a6e0108f7ea71b0902
env:
MYSQL_ROOT_PASSWORD: root_test_password
MYSQL_DATABASE: devtodo_mysql_test
ports:
- 3306:3306
options: >-
--health-cmd "mysqladmin ping -h 127.0.0.1 -uroot -proot_test_password --silent"
--health-interval 5s
--health-timeout 5s
--health-retries 30
steps:
- name: 检出代码
uses: actions/checkout@v4
Expand Down Expand Up @@ -126,6 +138,16 @@ jobs:
run: pnpm test:integration
- name: 构建
run: pnpm build
- name: MySQL 方言与集成测试
env:
TASKDOCK_MYSQL_TEST_URL: mysql://root:[email protected]:3306
TASKDOCK_TEST_DATABASE_URL: mysql://root:[email protected]:3306/devtodo_mysql_test
run: |
set -euo pipefail
pnpm test:mysql-compat
pnpm test:integration
node -e "const mysql=require('mysql2/promise');(async()=>{const c=await mysql.createConnection({host:'127.0.0.1',port:3306,user:'root',password:'root_test_password'});await c.query('CREATE DATABASE IF NOT EXISTS devtodo_mysql_runtime CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci');await c.end();})()"
TASKDOCK_TEST_DATABASE_URL=mysql://root:[email protected]:3306/devtodo_mysql_runtime pnpm test:mysql-runtime
- name: OpenAPI 检查
run: pnpm openapi:check

Expand Down
5 changes: 5 additions & 0 deletions CHANGELOG.md
Original file line number Diff line number Diff line change
Expand Up @@ -17,6 +17,11 @@

## 未发布

- 新增 MySQL 8.4 支持:`DATABASE_URL` 换成 `mysql://` 或使用离散 `MYSQL_*` 即可切换引擎,也可以保留 PostgreSQL 不动;`compose.mysql.yaml` 提供内置 MySQL 部署,`compose.external-db.yaml` 对两种引擎通用。方言差异集中在 `@devtodo/database`(占位符、类型转换、`ILIKE`、保留字 `rank`/`cursor`),存储层仍是同一份实现。
- MySQL 的能力边界写在 `docs/adr/0005-mysql-support.md`:跨实例实时推送降级为进程内通知或 Redis pub/sub,搜索退化为 owner 范围内的 `LIKE` 扫描,语句级超时只覆盖 SELECT,迁移改为逐文件提交。
- 新增 MySQL 合并基线 `packages/database/migrations/mysql/0013_baseline.sql`(等价于 PostgreSQL `0013`);此后每个 schema 变更两边各出一个同版本迁移,并有测试保证版本与表集合一致。
- 新增 `pnpm test:mysql-compat`、`pnpm test:mysql-runtime`;`pnpm test:integration` 与 `pnpm test:pg-runtime` 现在由 `TASKDOCK_TEST_DATABASE_URL` 的 scheme 选择引擎,CI 同时跑 PostgreSQL 与 MySQL 两套门禁。

- 新增外部 PostgreSQL 部署:`DATABASE_URL`/离散 `PG*`、SSL CA、连接池、启动重试;提供 `compose.external-db.yaml`,可连接 NAS、共享数据库服务器或托管 PostgreSQL。一个 PostgreSQL 服务器可承载多个应用,但每个 TaskDock 中枢必须使用独立 database。
- 降低远端数据库延迟下的请求开销:v2 投影冷加载由 11 条 SELECT 改为 1 条、缓存失效改为 change feed 增量追赶;mutation 按实体类型批量 upsert/append;`/sync/push` 改为单事务 + 每 mutation savepoint;retention 清理移出请求事务。
- 新增可选 Redis:多 API 副本共享登录限流、冷启动投影缓存;投影缓存故障回退数据库,不进入权威写路径。生产环境配置 Redis 后认证限流在故障时 fail-closed;`AUTH_RATE_LIMIT_REQUIRE_SHARED=true` 可在其他环境强制该行为。
Expand Down
10 changes: 5 additions & 5 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -20,7 +20,7 @@
<img src="https://img.shields.io/badge/自托管-Docker-2496ED?style=flat-square&logo=docker&logoColor=white" alt="Docker 自托管" />
</p>

TaskDock 是一个给自己用的任务工作台,跑在你自己的服务器上。想法先记下来,再用目录、日期、流程和步骤把它安排明白,每个任务都能附上一份 Markdown 笔记。中枢放在 NAS、家用服务器或云主机上,浏览器和 Android 手机连过去用;断网时照样能看能改,连上以后再同步。数据只落在你自己的 PostgreSQL 里,没有托管后端,也没有团队和权限那一套。
TaskDock 是一个给自己用的任务工作台,跑在你自己的服务器上。想法先记下来,再用目录、日期、流程和步骤把它安排明白,每个任务都能附上一份 Markdown 笔记。中枢放在 NAS、家用服务器或云主机上,浏览器和 Android 手机连过去用;断网时照样能看能改,连上以后再同步。数据只落在你自己的数据库里(PostgreSQL 或 MySQL),没有托管后端,也没有团队和权限那一套。

## 功能

Expand Down Expand Up @@ -48,7 +48,7 @@ TaskDock 是一个给自己用的任务工作台,跑在你自己的服务器

- **网页 / PWA**:中枢启动后用浏览器打开 `APP_ORIGIN` 就能用,不用另装客户端。界面按屏幕自适应:手机单手记录,平板双栏,桌面支持拖放和键盘操作。HTTPS 下可以安装为 PWA 并离线打开。
- **Android**:原生 Jetpack Compose 客户端,Room 本地存储,和网页端共用一套 API 与同步协议。APK 附在每个 Release 里。
- **中枢**:Fastify + PostgreSQL 组成的单用户服务端。所有设备的数据最终汇集在这里,也只在这里。
- **中枢**:Fastify + PostgreSQL/MySQL 组成的单用户服务端。所有设备的数据最终汇集在这里,也只在这里。

## 下载与部署

Expand Down Expand Up @@ -79,7 +79,7 @@ docker compose --profile operations run --rm bootstrap

**升级**:先按 [备份与恢复](docs/BACKUP_RESTORE.md) 做一份备份,再把 `.env` 里的 `APP_VERSION` 改成新版本,重复 `pull` / `migrate` / `up -d`。出问题时把版本号改回去,并按备份文档处理数据库。

完整的变量说明、外部 PostgreSQL、Caddy 网关和回滚步骤在[部署说明](docs/DEPLOYMENT.md)里。
完整的变量说明、外部数据库(PostgreSQL/MySQL)、Caddy 网关和回滚步骤在[部署说明](docs/DEPLOYMENT.md)里。

## 版本

Expand All @@ -93,7 +93,7 @@ TaskDock 现在处于 **2.0 预览阶段**,发出来的都是预发布版本

## 数据与安全

- 任务、安排和笔记保存在自托管中枢的 PostgreSQL 里;默认 Compose 不把数据库端口映射到宿主机。
- 任务、安排和笔记保存在自托管中枢的 PostgreSQL(默认)或 MySQL 里;两种 Compose 都不把数据库端口映射到宿主机。
- 应用端口默认只绑定 `127.0.0.1`,要直连 HTTP 得显式设置 `TASKDOCK_BIND_ADDRESS=0.0.0.0`;公网请走 HTTPS。
- 密码至少 6 位,6 位纯数字也可以,没有字符种类限制。
- 用 HTTP 也能访问,但界面会提示这是明文传输,密码和会话信息不做加密。可信局域网可以接受,公网不建议。
Expand All @@ -104,7 +104,7 @@ TaskDock 现在处于 **2.0 预览阶段**,发出来的都是预发布版本
## 文档

- [部署说明](docs/DEPLOYMENT.md)——环境变量、首次部署、升级与回滚、Caddy 网关
- [外部 PostgreSQL](docs/EXTERNAL_DATABASE.md)——接现有数据库、共享数据库服务器
- [外部数据库](docs/EXTERNAL_DATABASE.md)——接现有 PostgreSQL/MySQL、共享数据库服务器
- [备份与恢复](docs/BACKUP_RESTORE.md)
- [安全说明](docs/SECURITY.md)——认证、限流、代理信任、密钥处理
- [同步协议](docs/SYNC_PROTOCOL.md)——离线队列、冲突处理、游标
Expand Down
7 changes: 3 additions & 4 deletions apps/api/src/bootstrap-owner.ts
Original file line number Diff line number Diff line change
@@ -1,8 +1,8 @@
import { createPoolFromEnv } from '@devtodo/database';
import { openDatabase, readDatabaseSettings } from '@devtodo/database';
import { DomainError } from '@devtodo/domain';
import { z } from 'zod';
import { AuthService } from './auth.js';
import { PostgresStore } from './postgres-store.js';
import { SqlStore } from './sql-store.js';
import { assertProductionSecrets } from './runtime-secrets.js';

const requiredEnv = (name: string): string => {
Expand Down Expand Up @@ -34,8 +34,7 @@ async function main(): Promise<void> {
)
throw new Error('production token secrets must contain at least 32 characters');
}
const { pool } = createPoolFromEnv(process.env);
const store = new PostgresStore(pool);
const store = new SqlStore(openDatabase(readDatabaseSettings(process.env)));
try {
await store.init();
if (await store.hasOwner()) {
Expand Down
Loading
Loading