fix fog blending for sprites

Resources/Shaders/LongSprite.fs

@@ -27,15 +27,25 @@ varying vec4 fogDensity;
 
 void main() {
 	gl_FragColor = texture2D(mainTexture, texCoord);
+
+	// linearize
 #if LINEAR_FRAMEBUFFER
 	gl_FragColor.xyz *= gl_FragColor.xyz;
 #endif
+
 	gl_FragColor.xyz *= gl_FragColor.w; // premultiplied alpha
 	gl_FragColor *= color;
 
-	vec4 fogColorPremuld = vec4(fogColor, 1.0);
-	fogColorPremuld *= gl_FragColor.w;
-	gl_FragColor = mix(gl_FragColor, fogColorPremuld, fogDensity);
+	vec4 fogColorP = vec4(fogColor, 1.0);
+
+	// linearize
+#if LINEAR_FRAMEBUFFER
+	fogColorP.xyz *= fogColorP.xyz;
+#endif
+
+	fogColorP *= gl_FragColor.w; // premultiplied alpha
+
+	gl_FragColor = mix(gl_FragColor, fogColorP, fogDensity);
 
 	if (dot(gl_FragColor, vec4(1.0)) < 0.002)
 		discard;

Resources/Shaders/SoftLitSprite.fs

@@ -20,7 +20,6 @@
 
 uniform sampler2D depthTexture;
 uniform sampler2D mainTexture;
-
 uniform vec3 sRGBFogColor;
 uniform vec2 zNearFar;
 
@@ -68,15 +67,25 @@ void main() {
 	computedColor.xyz += emission;
 
 	gl_FragColor = texture2D(mainTexture, texCoord.xy);
+
+	// linearize
 #if LINEAR_FRAMEBUFFER
 	gl_FragColor.xyz *= gl_FragColor.xyz;
 #endif
+
 	gl_FragColor.xyz *= gl_FragColor.w; // premultiplied alpha
 	gl_FragColor *= computedColor;
 
-	vec3 fogColorPremuld = sRGBFogColor;
-	fogColorPremuld *= gl_FragColor.w;
-	gl_FragColor.xyz = mix(gl_FragColor.xyz, fogColorPremuld, fogDensity.xyz);
+	vec4 fogColorP = vec4(fogColor, 1.0);
+
+	// linearize
+#if LINEAR_FRAMEBUFFER
+	fogColorP.xyz *= fogColorP.xyz;
+#endif
+
+	fogColorP *= gl_FragColor.w; // premultiplied alpha
+
+	gl_FragColor = mix(gl_FragColor, fogColorP, fogDensity);
 
 	float soft = depth * depthRange.z + depthRange.x;
 	soft = smoothstep(0.0, 1.0, soft);

Resources/Shaders/SoftSprite.fs

@@ -44,15 +44,25 @@ void main() {
 		discard;
 
 	gl_FragColor = texture2D(mainTexture, texCoord.xy);
+
+	// linearize
 #if LINEAR_FRAMEBUFFER
 	gl_FragColor.xyz *= gl_FragColor.xyz;
 #endif
+
 	gl_FragColor.xyz *= gl_FragColor.w; // premultiplied alpha
 	gl_FragColor *= color;
 
-	vec3 fogColorPremuld = fogColor;
-	fogColorPremuld *= gl_FragColor.w;
-	gl_FragColor.xyz = mix(gl_FragColor.xyz, fogColorPremuld, fogDensity.xyz);
+	vec4 fogColorP = vec4(fogColor, 1.0);
+
+	// linearize
+#if LINEAR_FRAMEBUFFER
+	fogColorP.xyz *= fogColorP.xyz;
+#endif
+
+	fogColorP *= gl_FragColor.w; // premultiplied alpha
+
+	gl_FragColor = mix(gl_FragColor, fogColorP, fogDensity);
 
 	float soft = depth * depthRange.z + depthRange.x;
 	soft = smoothstep(0.0, 1.0, soft);

Resources/Shaders/Sprite.fs

@@ -27,15 +27,25 @@ varying vec4 fogDensity;
 
 void main() {
 	gl_FragColor = texture2D(mainTexture, texCoord);
+
+	// linearize
 #if LINEAR_FRAMEBUFFER
 	gl_FragColor.xyz *= gl_FragColor.xyz;
 #endif
+
 	gl_FragColor.xyz *= gl_FragColor.w; // premultiplied alpha
 	gl_FragColor *= color;
 
-	vec3 fogColorPremuld = fogColor;
-	fogColorPremuld *= gl_FragColor.w;
-	gl_FragColor.xyz = mix(gl_FragColor.xyz, fogColorPremuld, fogDensity.xyz);
+	vec4 fogColorP = vec4(fogColor, 1.0);
+
+	// linearize
+#if LINEAR_FRAMEBUFFER
+	fogColorP.xyz *= fogColorP.xyz;
+#endif
+
+	fogColorP *= gl_FragColor.w; // premultiplied alpha
+
+	gl_FragColor = mix(gl_FragColor, fogColorP, fogDensity);
 
 	if (dot(gl_FragColor, vec4(1.0)) < 0.002)
 		discard;

Resources/Shaders/Sprite.vs

@@ -53,7 +53,8 @@ void main() {
 	gl_Position = projectionViewMatrix * vec4(pos, 1.0);
 
 	color = colorAttribute;
-
+
+	// sprite texture coord
 	texCoord = spritePosAttribute.xy * 0.5 + 0.5;
 
 	// fog.

Sources/Draw/GLLongSpriteRenderer.cpp

@@ -23,7 +23,7 @@
 #include "GLProgram.h"
 #include "GLRenderer.h"
 #include "IGLDevice.h"
-#include "SWFeatureLevel.h"
+#include "SWFeatureLevel.h" // for fastRcp
 #include <Core/Debug.h>
 #include <Core/Settings.h>
 
@@ -111,6 +111,7 @@ namespace spades {
 			viewOriginVector.SetValue(viewOrigin.x, viewOrigin.y, viewOrigin.z);
 
 			Vector3 fogCol = renderer.GetFogColor();
+			//fogCol *= fogCol; // linearize
 			fogColor.SetValue(fogCol.x, fogCol.y, fogCol.z);
 
 			const client::SceneDefinition &def = renderer.GetSceneDef();

Sources/Draw/GLSoftLitSpriteRenderer.cpp

@@ -28,7 +28,7 @@
 #include "GLRenderer.h"
 #include "GLShadowShader.h"
 #include "IGLDevice.h"
-#include "SWFeatureLevel.h"
+#include "SWFeatureLevel.h" // for fastRcp
 #include <Core/Debug.h>
 #include <Core/Settings.h>
 
@@ -230,7 +230,7 @@ namespace spades {
 			fogDistance.SetValue(renderer.GetFogDistance());
 
 			Vector3 fogCol = renderer.GetFogColor();
-			fogCol *= fogCol; // linearize
+			//fogCol *= fogCol; // linearize
 			fogColor.SetValue(fogCol.x, fogCol.y, fogCol.z);
 
 			const client::SceneDefinition& def = renderer.GetSceneDef();

Sources/Draw/GLSoftSpriteRenderer.cpp

@@ -130,7 +130,7 @@ namespace spades {
 			fogDistance.SetValue(renderer.GetFogDistance());
 
 			Vector3 fogCol = renderer.GetFogColor();
-			fogCol *= fogCol; // linearize
+			//fogCol *= fogCol; // linearize
 			fogColor.SetValue(fogCol.x, fogCol.y, fogCol.z);
 
 			const client::SceneDefinition &def = renderer.GetSceneDef();

Sources/Draw/GLSpriteRenderer.cpp

@@ -23,7 +23,7 @@
 #include "GLProgram.h"
 #include "GLRenderer.h"
 #include "IGLDevice.h"
-#include "SWFeatureLevel.h"
+#include "SWFeatureLevel.h" // for fastRcp
 #include <Core/Debug.h>
 
 namespace spades {
@@ -110,7 +110,7 @@ namespace spades {
 			viewOriginVector.SetValue(viewOrigin.x, viewOrigin.y, viewOrigin.z);
 
 			Vector3 fogCol = renderer.GetFogColor();
-			fogCol *= fogCol;
+			//fogCol *= fogCol; // linearize
 			fogColor.SetValue(fogCol.x, fogCol.y, fogCol.z);
 
 			const client::SceneDefinition &def = renderer.GetSceneDef();