u/innolot
▲ 0 r/vulkan
Vulkan — now with Gizmo drag and AI natural language
Been building a Vulkan-based 3D CAD engine from scratch as a learning project.
This update adds two things I've been wanting for a while:
**Transform Gizmo**
Axis handles for Move/Rotate/Scale with ray-cast hit testing and drag projection math.
Hover highlights, T/R/S mode switching, ESC to cancel.
**Local LLM natural language interface**
Hooked up llama-server (Qwen..., runs locally) to an winapi / swift / gtk input box.
You type something like "make 3 random cubes and zoom to fit" and it converts it to a JSON action array that the engine executes. No API key, no internet.
Works for view switching (top/front/iso), visual styles, grid, lighting, object creation, delete, select all.
Still a work in progress — sphere/cylinder primitives and sketch tools are next.
학습 프로젝트로 처음부터 Vulkan 기반 3D CAD 엔진을 구축하고 있습니다.
이번 업데이트는 제가 한동안 원해오던 두 가지를 추가합니다:
- 변형 기즈모 구현
Ray-Cast 클릭 테스트와 프로젝션 수학을 이용한 이동/회전/스케일용 Axis 핸들 구현
선택 하이라이트, T/R/S 모드 전환, ESC를 사용 명령 취소
- 로컬 LLM 자연어 인터페이스(offline)
llama-server(Qwen..., 네트워크가 아닌 로컬로 진행)를 winapi / swift / gtk로 입력 박스에 연결했습니다.
'3개의 무작위 큐브를 만들고 맞게 확대'와 같은 것을 입력하면, 이를 JSON 액션 배열로 변환하여 엔진이 실행합니다. API 키와 인터넷은 필요하지 않습니다
뷰 전환(평면뷰/정면뷰/ISO), 시각 스타일, 그리드, 조명, 객체 생성, 삭제, 전체 선택에 작동합니다.
아직 진행 중인 작업이며, 여러 도형 요소와 스케치 도구가 다음입니다.
u/innolot — 15 days ago
▲ 3 r/vulkan
llama와 vulkan backend로 빌드 후 나의 vulkan 프로젝트와 결합하여 프롬프트로 명령하면 수행되도록 개발
Build llama.cpp with Vulkan backend, then integrate it with my Vulkan project so that prompt-based commands can be executed.
llm이라서 그런지 영어 한국어 모두 가능하다
Since it’s an LLM, it seems both English and Korean are supported.
안타깝지만 한글 입력 문제로 프롬프트 창만 imgui를 안썼다
Unfortunately, I didn‘t use the prompt window imgui because of the Korean input problem.
u/innolot — 22 days ago
▲ 18 r/vulkan
https://youtu.be/qkoAWHCNWqo?si=ZuhH696dYedoJC5o
gltf 파일을 열 수 있도록 라이브러리를 추가하고 zoom extents 도 같이 되도록 했다
I added a library so that I could open the gltf file and made zoom extents together
u/innolot — 28 days ago