Lo primero es que seas capaz de ver la camara en el propio PC con VLC, para saber que estás cogiendo su video. Luego cuando sea para emitir por Internet, ya desactivarías (no activarías) la reproducción local.
Para que la capturadora capture:
En el menú tienes "Medio->Abrir dispositivo de captura". Por ahí tendrás que tocar y darle al botón reproducir para comprobar que lo has hecho bien. Yo tenía sintonizado canales y capturado video compuesto externo hace tiempo con una sintonizadora Aver de la era analógica y con una versión anterior del VLC (algo ha cambiado) pero no recuerdo ahora exactamente que opciones elegía.
Para emitir:
Pues una de dos:
Puedes primero conseguir lo anterior y luego elegir dicha reproducción en la lista de reproducción, dar al botón derecho del ratón y elegir "Emitir". Se te abrirá una pantalla donde primero aparece desde donde capturas el video (ya debería aparecer lo que hiciste antes) y al darle a siguiente te permite configurar como vas a emitir. Que si en local (reproducción normal), que si a un archivo, que si a internet, y que contenedor y codificación vas a usar para el video.
La otra forma sería hacer lo de "Medio->Abrir dispositivo de captura", y en vez de darle a reproducir, le das al desplegable que hay al lado de ese botón reproducir y selecionas emitir. Y ya estás en lo descrito en el parrafo anterior.
Cuando estás configurando todas estas cosas, si marcas la casilla "Mostrar más opciones" podrás ver como el VLC va creando una cadena con las opciones que pones. Se puede modificar, por lo que igual te viene bien copiarla y luego pegarla cuando quieras hacer lo mismo. Y supongo que para algo te valdrá cuando quieras hacer la configuración a través de comandos. En la versión de VLC que tengo ahora, aparecen dos cadenas de las cuales sólo te deja modificar la segunda ... En su momento, era una sóla cadena modificable con lo que podías configurar desde ahí todo.