OpenCreator(原 KrillinAI)完全指南:以 Codex 为核心的本地 AI 创作工作区架构与实战
OpenCreator原 KrillinAI完全指南以 Codex 为核心的本地 AI 创作工作区架构与实战【免费下载链接】OpenCreatorFormerly KrillinAI. Open-source AI workspace for creators, powered by Codex. Create videos, images, voice, avatars, translations, and edits with Agents in one place.项目地址: https://gitcode.com/GitHub_Trending/kr/OpenCreator导读OpenCreator 是一个面向创作者的开源 AI 工作区它不重复实现 Agent 循环而是直接以 Codex CLI 作为执行引擎在其上叠加本地 Runtime、可视化工作区与 Desktop 宿主让脚本、视频、图像、音声、字幕、翻译与剪辑在同一个工作区中持续推进。本文以官方日语版 README 为主线结合仓库源码深入解读其制作工具矩阵、双模式工作流、系统架构、启动方式、环境变量与安全边界帮助读者从能用进阶到理解其设计原理。项目背景OpenCreator 曾用名为 KrillinAI本文所引用的界面截图与视频示例均可能产出于旧名称时期。项目定位两条相互连通的工作流OpenCreator 面向希望在本地环境中持续进行创作与开发工作的个人和团队。核心设计决策是不重建 Agent 引擎而是将 Codex CLI 作为执行引擎再围绕它构建三件事稳定的本地 Runtimeapps/daemonFastify 服务可视化工作区apps/web唯一的 React 前端实现Desktop 宿主apps/desktopElectron。产品整合了两类相互协作的工作流AI 内容创作提供视频翻译、视频下载、缩略图生成、图像生成、智能配音、视频生成等专用制作工具通用 Agent 工作区按项目组织会话让 Run 在后台持续运行并统一管理审批、附件、文件、Skills、MCP、调度、通知、记忆与诊断。一个值得注意的实现原则是Web 是唯一的前端实现Desktop 加载同一份 Web 构建只额外提供需要操作系统能力的功能目录选择、窗口生命周期、托盘、原生通知。因此在相同的数据与内容视口下两个平台共享同一套 UI 与 Runtime 行为——这在 apps/desktop/package.json 中体现为基于 Electron Preload Bridge 的薄壳设计通用产品逻辑并不会被复制成两份。核心特性一览特性说明 Codex 原生直接复用 Codex 的 Agent 循环、模型、推理、工具调用、会话、Skills 与 MCP无需维护第二套执行引擎 开箱即用的 DesktopDesktop 应用内置 Codex CLI按需启动本地 Runtime 并自动准备默认项目 受管 Runtime 组件查看内置/使用中/最新版 yt-dlp定期检查更新并支持手动更新更新失败仍保留当前可用版本 多模态创作视频、图像、音声、字幕、文档在一条联动工作流中制作与管理 双操作模式可视化工作区与 Agent 会话共享同一状态机步骤、进度、结果同步 版本管理每次修改生成新版本旧设置与输出始终可比较、可复核 Skills 与 MCP浏览、安装、调用 Skills通过 Codex 原生配置管理 MCP 记忆支持全局/项目/线程级记忆保存摘要与可复现的 Run 输入快照 本地安全数据、附件、日志默认留在本地提供审批与脱敏后的诊断信息制作工具矩阵当前发布版共包含 9 个制作工具条目其中 6 个标记为可用实际可用的模型与服务取决于本地 Codex 环境与 AI 服务设置。从 Dashboard 即可发起视频翻译、视频下载、缩略图/图像生成、智能配音与 Seedance 视频生成。制作工具状态功能视频翻译✅ 可用导入本地或公开视频由云端或本地 Whisper 服务转写利用 LLM 上下文完成字幕分割、对齐、术语处理与翻译可配置双语字幕、配音或自定义音色样本、字幕样式、横屏/竖屏构图导出 SRT、音轨或视频视频下载✅ 可用解析 YouTube、Bilibili 等受支持的公开链接查看可用画质与格式下载视频或音频供后续制作使用缩略图生成✅ 可用组合主题、视频链接与可选参考图生成并对比多张内容缩略图方案图像生成✅ 可用基于提示词与可选参考图用 GPT Image 生成图像可配置宽高比与生成数量逐张预览与下载火柴人动画即将推出通过引导式工作流开发角色、分镜、配音与动画自动剪辑开发中分析长视频、定位高光时刻将选中片段加工为可复用的短视频智能配音✅ 可用从脚本生成配音可选音色、语速与情感表达视频生成✅ 可用用 Seedance 从提示词与参考图生成视频逐版本预览、重新生成与下载数字分身开发中组合脚本、音声与虚拟形象表现制作口播视频制作工具仍在持续追加中。相关实现分散于 apps/daemon/src/creator如视频翻译、缩略图、图像生成、智能配音等模块与 apps/daemon/src/creator-servicesKling 鉴权、上游请求等基础设施。会话与工作区如何协同推进OpenCreator 将可视化工作区与Agent 会话视为同一创作任务的两种界面而非两条独立工作流。任务先用自然语言描述需要精确控制时切到可视化工具细粒度工作区操作精确调整字幕、镜头、音声与生成参数灵活的会话式编辑用自然语言告诉 Agent 要改什么持续打磨结果同步状态会话与工作区共享当前任务状态无需重复描述独立版本每次修订生成独立版本不覆盖旧结果与旧设置。这套双界面 共享状态机的思路在系统架构一节会进一步展开。模型支持矩阵语言模型来自 Codex 的模型目录或所配置的 OpenAI 兼容提供商图像、视频、音声、转写模型则使用设置 → AI 服务中配置的服务。类别支持模型/服务语言模型GPTOpenAI、DeepSeek、Qwen、Kimi、GLMZ.ai、GrokxAI、Doubao、ERNIE、Hunyuan图像GPT Image视频Seedance音声与转写Whisper、OpenAI TTS、MiniMax、Edge TTS、Aliyun Speech从仓库看语音转写并非单一实现根 README 与日语版均提到按 Runtime 能力选择云服务或本地转写方案Whisper、whisper.cpp、faster-whisper、WhisperKit对应 runtime/krillinai/pkg 下的 whisper 系列实现。典型使用案例视频翻译Krillinai 时期成果以下公开示例制作于 OpenCreator 仍叫 KrillinAI 的时期展示的是当前视频翻译工作区所继承的能力字幕对齐、翻译、配音、竖屏视频工作流。项目曾用一段 46 分钟的本地视频单次运行生成字幕文件——无需人工调整字幕公开结果表现为无缺失、无重叠、断句自然、翻译质量高。示例包含三类输出字幕翻译、配音dubbing、竖屏模式均由视频翻译工作流产出。相关处理链路转写 → 对齐 → 翻译 → 样式 → 输出在源码中有多处印证例如 apps/daemon/src/creator/smart-dubbing 与 packages/protocol/src/creator.ts 中的契约定义。视频生成Seedance用文本提示词或参考图生成 AI 视频可配置模型、宽高比、分辨率与时长并在项目工作区中逐版本预览、重新生成与下载。对应实现见 apps/daemon/src/video-generation/service.ts 与其 API 路由 apps/daemon/src/api/routes.video-generation.ts。视频下载解析公开视频链接、对比可用格式、将视频或音频直接下载到项目中。底层依赖受管组件 yt-dlp见后文第三方 Runtime 组件执行器实现位于 apps/daemon/src/creator/download。火柴人动画即将推出OpenCreator 与艺术家 Harbor HsiaBehance 作品 Stickman 的作者合作开发了这套原创角色库为未来统一角色形象的故事与动画工作流做准备。规划中的流程将从角色与故事创意开始引导完成分镜生成、镜头确认、配音、音乐与带版本管理的动画输出。快速开始环境要求Node.js 22 及以上pnpm 9.15.0通过仓库packageManager字段固定见 package.json终端可执行的 Codex CLI用于真实模型任务的 Codex CLI 有效登录。先确认本地环境node --version pnpm --version codex --version从源码启动 Webgit clone OpenCreator 仓库地址 cd OpenCreator corepack enable pnpm install pnpm web:dev打开http://127.0.0.1:19861/。开发服务器按需启动本地 daemon并通过同源代理注入临时 Runtime 令牌——无需手动复制连接令牌。首次启动时 Runtime 会准备默认项目连接完成后即可直接使用输入栏。仅操作 daemon 时运行pnpm daemon:devdaemon 只监听本地回环地址并将连接地址与临时令牌一次性打印到标准输出。这一点与源码一致服务监听地址固定为127.0.0.1见 apps/daemon/src/api/server.tsWeb 开发端口默认19861同文件allowedWebOrigins默认值。Desktop 应用Desktop 与浏览器使用同一份来自apps/web的 React 前端项目、会话、任务、设置等通用行为调用同一个 Daemon/APIElectron 只补充真实系统路径、窗口控制、托盘与原生通知。开发模式pnpm desktop:dev本地打包命令输出pnpm desktop:package当前平台的可执行目录本地验证用pnpm desktop:dist当前平台的安装包pnpm desktop:release正式发布打包入口pnpm --filter opencreator/desktop verify:package验证既有 Desktop 包打包过程会从当前工作区重新构建 Web记录 commit、dirty 状态、平台、架构与 Web 哈希然后比对apps/web/dist与应用内嵌资源不一致则打包失败。签名、公证、Windows 构建与发布要求参见 Desktop 发布运行手册 与 Windows Desktop 发布指南。相关打包脚本集中在 apps/desktop/scripts如prepare-daemon.mjs、prepare-codex-runtime.mjs、package-release.mjs、verify-package.mjs。核心工作流会话与 Run选择项目或新建会话输入任务选择权限级别、Profile、模型与推理强度Run 运行期间可排队后续任务或中断当前处理立即继续在 Timeline 中查看推理摘要、工具调用、文件变更、审批与最终结果在任务中心全局跟踪运行中、已完成、失败与等待审批的任务。Run 的生命周期管理、并发控制与状态持久化由 apps/daemon/src/runs 承担如manager.ts、state.ts、concurrency.ts。Skills 与 MCP在插件中心浏览 Skill 市场、安装历史与本地可用 Skills在输入栏用/或添加菜单选择 Skill使下一个任务遵循其工作流MCP 管理复用 Codex 原生命令与配置而不是维护第二套执行引擎OpenCreator 默认使用当前$CODEX_HOME因此修改全局 Skills 或 MCP 配置前务必确认影响范围。Skill 市场的模型与通用逻辑在 packages/skill-market/srccatalog.ts、types.ts、source-skills.jsondaemon 侧安装与管理逻辑见 apps/daemon/src/codex/skills。调度与专用任务线程每个调度都拥有一个持久化的专用 OpenCreator 会话自动触发、手动执行与用户跟进复用同一会话按queue或skip策略串行执行删除调度会归档其专用会话但保留既有 Runs、结果与底层 Codex 历史底层 Codex 线程发生轮换或恢复时OpenCreator 的任务条目与页面路由不变。调度子系统cron 解析、校验、仓库、协调器、绑定修复位于 apps/daemon/src/scheduler并有对应的单元测试apps/daemon/test/unit/scheduler-*.test.ts 等与性能基准文档docs/performance。OpenCreator 系统架构架构的核心观点可视化工作区与 Agent 会话不是两条工作流而是同一创作任务的两个界面。每个创作工作流被建模为状态机——素材输入、配置、生成、确认、修改、导出都成为显式状态与事件。工作区操作与会话命令进入同一状态机当前步骤、配置、进度、版本与结果同时投射回两个界面从而在不引入第二数据源的前提下保持同步。创作是迭代过程因此修订不会覆盖当前结果每次修正或重新生成都从既有工作流状态派生新版本旧版本的设置与输出保留供查看、对比与持续改进。----------------------------- ------------------------------------ | Browser Access | | Desktop Host | | | | Shared Web build Electron | ---------------------------- ----------------------------------- | | -------------------------------------- v ---------------------------------------------------------------------------- | Creator Experience / apps/web | | Dashboard / Creator Tools / Agent Conversation / Settings / Files | --------------------------------------------------------------------------- | -------------------------------------v-------------------------------------- | Collaboration Core | | Shared workflow state / Steps / Progress / Results / Versions | --------------------------------------------------------------------------- | Runtime API SSE -------------------------------------v-------------------------------------- | Local Runtime / apps/daemon | | Projects / Runs / Approvals / Schedules / Memory / Notifications | | Component status / Update checks / Verified updates / Safe fallback | -------------------------------------------------------------------------- | | | v v v --------------------- --------------------- ------------------------- | Local Data | | Codex Engine | | Media Toolchain | | SQLite / Files | | CLI / app-server | | FFmpeg / yt-dlp | | System credentials | | Skills / MCP | | Whisper / AI services | --------------------- --------------------- -------------------------组件职责实现创作体验Dashboard、制作工具、Agent 会话、设置、文件apps/web· React 18 · Vite · TypeScript协作核心同步工作区步骤、会话上下文、进度、结果与修订历史共享工作流状态 ·CreatorCollaborationPanel· 版本历史本地 Runtime管理项目、Runs、审批、调度、记忆、通知apps/daemon· Fastify · Runtime API · SSERuntime 组件追踪内置/使用中/最新版本定期检查仅安装用户请求的更新yt-dlp nightly · 更新验证 · 可用版本回退Codex 引擎提供 Agent 循环、会话、推理、工具、Skills、MCPCodex CLI · app-server媒体工具链下载、转写、转换、生成、导出创意媒体yt-dlp · Whisper · FFmpeg · 已配置 AI 服务本地数据本地保存项目数据、Runs、附件、输出与凭据SQLite · 文件系统 · 系统凭据存储Desktop 宿主加载共享 Web 构建并补充操作系统能力apps/desktop· Electron · Preload Bridge核心原则工作区与 Agent 会话是同一工作流状态的同步投影两者向同一状态机派发事件不维护并行的任务状态修订创建新版本而非替换旧结果保留每次创作迭代的上下文与输出前端不直接启动 Codex也不依赖 Codex 原始 JSONL 事件格式daemon 负责进程生命周期、事件归一化、持久化、审批、调度与通知 outboxAgent 循环、Skills、MCP 的执行中Codex 仍是唯一事实来源Browser Bridge 与 Desktop Bridge 不分别实现通用产品逻辑的副本。源码印证Runtime API SSE 的通道由 apps/daemon/src/api/server.ts 与 apps/daemon/src/api/sse.ts 提供事件归一化位于 apps/daemon/src/events通知 outbox 的持久化实现可见 apps/daemon/src/notifications/repository.ts 与 apps/daemon/src/storage/migrations.tsWeb、Daemon、Desktop 共享的 Runtime 契约定义在 packages/protocol/src。仓库结构OpenCreator/ ├── apps/ │ ├── web/ # 唯一的 React 前端实现 │ ├── daemon/ # 本地 Fastify Runtime 与 Codex 适配器 │ ├── desktop/ # Electron Main、Preload、原生能力、打包 │ └── harness/ # Runtime 命令行验证工具 ├── packages/ │ ├── protocol/ # Web、Daemon、Desktop 共享的 Runtime 契约 │ └── skill-market/ # Skill 市场的模型与通用逻辑 ├── docs/ # 设计文档、API 参考、运行手册、测试报告 ├── scripts/ # 仓库级检查 └── .runtime/ # 首次启动时创建的本地 Runtime 数据配置指南AI 服务 API 密钥打开设置 → AI 服务为当前工作区配置模型、转写、音声与图像提供商。为后续新增制作工具预留的额外服务分类可能一并显示。每个分类只显示所选提供商需要的字段Base URL、API Key、模型、代理或提供商专属凭据。凭据保存在本地 Runtime 的系统凭据存储中绝不能提交到仓库。部分本地或系统级提供商如 Edge TTS不需要 API Key。第三方 Runtime 组件打开设置 → 第三方组件可查看当前使用的 yt-dlp nightly 版本、OpenCreator 内置版本及其来源、可用的最新版。OpenCreator每 7 天检查一次更新但绝不自动安装更新必须由用户显式触发且下载、验证或安装失败时当前可用版本仍会被继续使用。组件状态与更新逻辑在 daemon 侧有对应实现可参见 apps/daemon/src/creator/yt-dlp 与相关更新管理测试。Runtime 环境变量大多数用户无需设置环境变量仅在需要隔离数据、指定特定 Codex 可执行文件或自定义受管项目目录时使用。环境变量默认值用途OPENCREATOR_DATA_DIR.runtimeOpenCreator 数据库、Runs、附件与受管工作区OPENCREATOR_CODEX_BINcodexCodex CLI 可执行文件路径CODEX_HOME~/.codexCodex 会话、配置、Skills、MCP、Profiles 的事实来源OPENCREATOR_DEFAULT_CWD当前工作目录daemon 的默认工作目录OPENCREATOR_DEFAULT_PROJECT_ROOTRuntime 默认策略受管项目根目录设置后 OpenCreator 使用其下的OpenCreator/子目录OPENCREATOR_CODEX_THREAD_ROTATION_RUN_THRESHOLD50轮换长时运行调度背后 Codex 线程的终态 Run 数阈值0禁用预防性轮换源码级补充说明这些变量在 apps/daemon/src/startup.ts 中被逐项解析OPENCREATOR_DATA_DIR、OPENCREATOR_CODEX_BIN、OPENCREATOR_DEFAULT_CWD、OPENCREATOR_DEFAULT_PROJECT_ROOT等其中CODEX_HOME的优先级是CODEX_HOME ?? OPENCREATOR_CODEX_HOME线程轮换阈值在 apps/daemon/src/api/server.ts 处读取。此外packages/config/src/index.ts 中的resolveOpenCreatorPaths还支持OPENCREATOR_HOME、OPENCREATOR_CONFIG_FILE、OPENCREATOR_CREDENTIALS_FILE、OPENCREATOR_RUNTIME_DIR、OPENCREATOR_CREATOR_DIR等路径类变量默认根为~/.opencreator开发通道为~/.opencreator/development并统一生成config.toml、credentials.json、runtime/codex、creator-codex、creator、logs等目录布局。同时隔离 Runtime 数据与 Codex 环境的示例OPENCREATOR_DATA_DIR/path/to/opencreator-data \ CODEX_HOME/path/to/codex-home \ pnpm web:dev数据与安全Runtime 数据默认存储在仓库根目录的.runtime/下路径内容.runtime/app.sqlite项目、线程、Runs、事件、调度、通知、附件元数据、审批、记忆、摘要.runtime/runs/各 Run 脱敏后的日志、诊断与元数据.runtime/attachments/受控附件文件.runtime/workspaces/Runtime 管理的项目工作区Codex 的会话与配置仍在$CODEX_HOME需与.runtime/分开备份。安全边界daemon 只监听127.0.0.1除健康检查外所有 API 都要求 Bearer 令牌见 apps/daemon/src/api/server.ts/healthz开放其余请求校验令牌HTML 预览默认禁用脚本、导航与弹窗仅允许受控的同一工作区内相对资源敏感记忆需要二次确认OpenCreator 不会自动持久化未确认的建议诊断信息与 Run 日志在返回或导出前会进行脱敏实现见 apps/daemon/src/diagnostics/redactor.ts 与 apps/daemon/src/security/redaction.tsDesktop 包启用 ASAR 完整性与 Cookie 加密并禁用 RunAsNode、NODE_OPTIONS与 Node CLI Inspector。备份、恢复、清理与重置的完整流程参见 用户指南与故障排查。开发与测试常用命令命令用途pnpm web:dev启动 Web按需拉起本地 daemonpnpm daemon:dev仅启动 daemonpnpm desktop:dev构建依赖并以开发模式启动 Electronpnpm test运行工作区单元与集成测试pnpm typecheck全仓库 TypeScript 检查pnpm build构建所有 workspacepnpm e2e运行 Web 的 Playwright E2E 测试pnpm smoke:ci运行 fake Codex Runtime 冒烟测试pnpm perf:check核对已记录的性能基准提交变更前至少执行pnpm test pnpm typecheck pnpm build修改 Desktop、Host Bridge、Runtime 代理或共享前端工作流时还需通过 Web/Desktop 一致性测试、打包应用的 E2E 与 Web 构建哈希验证——仅通过 Web 单元测试不足以证明 Desktop 可以发布。真实 Codex 冒烟测试默认关闭需显式启用OPENCREATOR_RUN_REAL_CODEX_SMOKE1 \ pnpm --filter opencreator/daemon test -- test/smoke/real-codex-smoke.test.ts延伸文档导航用户指南与故障排查Runtime API v1Codex 原生 Runtime 设计Desktop 发布运行手册Windows Desktop 发布指南可视化组件指南其他语言版本英文正本 README.md、简体中文、한국어、Bahasa Indonesia、Español、Français、Deutsch、Português、Русский、العربية。结语OpenCreator 的价值不在于重造一个 Agent而在于把 Codex 的 Agent 能力、本地数据的所有权、可视化创作的精细控制与持续迭代的版本语义收敛进一套共享状态机的双界面工作区。理解其架构图、环境变量与安全边界后无论从源码启动、定制数据目录还是为 Desktop 打包做验证都能按图索骥。创作在本地进行工作持续推进——这正是 OpenCreator 的设计初衷。【免费下载链接】OpenCreatorFormerly KrillinAI. Open-source AI workspace for creators, powered by Codex. Create videos, images, voice, avatars, translations, and edits with Agents in one place.项目地址: https://gitcode.com/GitHub_Trending/kr/OpenCreator创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考